Pada zaman dahulu, lautan luas di sekitar daerah Semporna bukan sekadar tempat ombak beralun dan angin berbisik. Ia adalah nadi perdagangan dunia. Kapal-kapal dagang dari Tanah Besar Cina, negara di Timur Tengah, dan pelbagai penjuru dunia singgah membawa barang dagangan serta sejuta harapan.
Pada suatu hari, sebuah kapal dagang yang amat besar telah datang dari Tanah Arab, sarat dengan muatan dan diketuai oleh seorang nakhoda yang hebat digelar Syarif. Dikatakan, Syarif ini bukan sebarangan orang, dikatakan dirinya adalah seorang yang warak dan memiliki ilmu batin yang amat luar biasa.
Kerana akan waraknya nakhoda itu maka setiap yang dikatanya akan dimakbulkan. Kalau katanya, jatuhlah daun yang ada di atas pokok. Maka dengan takdir Tuhan, daun itu pun jatuhlah di atas bumi. Kalau dikatanya, patahkan sayap burung itu, supaya tidak boleh terbang ke seberang, maka sayap burung itu pun patahlah dan jatuhlah ia di atas sungai (perumpamaan). Sungguh hebat sekali ilmu yang dimiliki Syarif itu.
Sebab itu dia tidak gentar belayar ke mana sahaja sehinggalah kapal besarnya itu menghampiri sebuah pulau yang dinamakan Pulau Timbun Mata.
Pulau Timbun Mata ketika itu kononnya terkenal kerana kesuburan tanahnya untuk bercucuk tanam. Apa sahaja yang ditanam di atas tanah akan tumbuh dengan subur dan berbuah lebat. Sehingga pulau itu terkenal dan menjadi tumpuan penduduk kampung yang berdekatan, yang mahu hidup sebagai petani.
Diceritakan orang juga kononnya sesiapa sahaja yang datang dan berhijrah ke pulau itu dan bekerja sebagai petani, maka mereka akan menjadi petani yang rajin dan setiap hari tidak jemu-jemu mengusahakan tanaman mereka.
Antara tanaman mereka yang paling menjadi ialah tanaman padi. Jenis padi yang mereka usahakan pula ialah Padi Bukit dan Padi Emas.
Kedua jenis padi ini sentiasa memberi pulangan yang sangat baik kepada mereka. Jika dilihat dari kejauhan buah Padi Bukit dan Padi Emas itu memang kelihatan seperti kilauan emas apabila dipanah cahaya matahari.
Oleh kerana syarif itu yang baru sahaja tiba dan melihat keadaan tersebut dirinya telah tertarik untuk ingin lebih tahu tentang tanaman jenis padi tersebut yang menurutnya sungguh cantik dan menarik.
Syarif itu pun mengarahkan anak kapalnya untuk berlabuh, Lalu kapal mereka pun berlabuhlah dengan tenang hanya beberapa kilometer sahaja jauhnya dari Pulau Timbun Mata. Kemudian dia pun mengarahkan beberapa orang anak kapalnya untuk pergi ke Pulau Timbun Mata bagi mendapatkan sedikit benih tanaman yang berkilau seperti emas itu untuk dibawa pulang ke negeri mereka.
Maka pergilah panglimanya bersama dua orang anak kapal berkayuh menaiki sampan mengharungi ombak untuk sekian lama sebelum sampailah mereka bertiga ke pulau itu. Sangatlah takjub mereka dengan suasana dan kesuburan tanah di pulau itu.
Mereka pun tanpa membuang masa pergilah berjumpa dengan petani yang sedang menjaga padi yang berbuah seperti emas itu sambil menyatakan hajat mereka.
Sebagai ketua rombongan panglima itu pun cubalah menyampaikan niat dan tujuan mereka bertiga datang ke pulau tersebut kepada lelaki tersebut iaitu untuk mendapatkan tanaman yang berbuah seperti emas itu untuk dibawa balik ke negeri mereka.
Namun, tidak seperti yang diharapkan, rombongan yang dihantar ke pulau itu disambut dengan dingin. Para petani memperolok-olok mereka, bersikap sombong dan tamak, malah enggan berkongsi walau sekarung padi.
Mereka lupa adab dan budi, lupa bahawa tetamu harus dilayan dengan hormat. Hanya seorang petani yang berhati bengis memberi dua karung ‘padi emas’ tetapi sebenarnya penuh dengan niat jahat.
Setelah seorang demi seorang petani ditemui, tiada siapa pun yang memberikan layanan yang baik, melainkan layanan yang buruk, penuh ejekan dan penghinaan yang menyedihkan. Mereka seolah-olah tidak menghormati dan tidak memuliakan tetamu yang datang.
Sehinggalah sampai kepada seorang petani yang hitam dan bengis mukanya, sama seperti petani-petani yang lain dia juga memperolok-olokkan rombongan panglima utusan nakhoda kapal besar itu.
Namun akhirnya petani itu pun memberikan dua karung padi seperti yang diminta. Setelah siap semuanya, maka panglima itu pun mengarahkan anak kapalnya untuk berkemas dan membawa karung yang berisi padi itu balik ke kapal.
Syukur kepada Tuhan kerana ada juga petani yang sudi menjualkan padi mereka kepada nakhoda kapal kita itu, kata dalam hati panglima yang mengetuai rombongan yang diarah nakhoda kapal itu sambil berkalih kepada dua orang anak kapal yang bersama-samanya pergi ke Pulau Timbun Mata itu.
Mereka pun mengangkat dua karung beras itu di bahu dan membawanya ke perahu, maka mereka pun berkayuhlah kembali. Lalu sesampai mereka di kapal, maka nakhoda itu pun dengan rasa tidak sabar mengarahkan beberapa anak kapalnya yang lain membuka karung itu.
Namun diceritakan orang-orang tua, setelah karung itu dibuka, alangkah terkejutnya nakhoda itu apabila mendapati bahawa yang dimuatkan di dalam karung itu sebenarnya adalah bunga lalang.
Rasa kecewa bertukar menjadi murka. Dengan suara yang menggigil amarah, Syarif menyumpah agar seluruh tanaman padi emas di pulau itu bertukar menjadi lalang. Dan dengan kehendak Tuhan, seluruh sawah padi bertukar menjadi belukar tidak berguna. Syarif menyambung sumpahnya – agar tanah subur itu bertukar menjadi batu. Maka tanah yang dulu menjadi harapan, kini kering, keras dan tandus. Malah, beberapa petani yang masih leka di sawah turut bertukar menjadi batu!
Namun, tidak semua penduduk pulau menerima balasan sumpahan itu. Ada seorang lelaki dari suku kaum Bajau yang warak dan berilmu. Apabila dia menyedari kehancuran tanah airnya akibat keangkuhan para petani dan sumpahan dari Syarif, dia pun berdoa dan menyumpah kembali – agar kapal Syarif itu pula menjadi batu. Maka kapal besar yang gah di tengah lautan itu, perlahan-lahan menjadi batu dan kekal di situ sebagai peringatan.