Akan tetapi, Sunan Kalijaga mempunyai syarat yang harus dipenuhi oleh Ki Ageng Pandanaran.
Syarat tersebut adalah, Ki Ageng Pandanaran harus ikut dengan Sunan Kalijaga untuk mengembara dan meninggalkan semua harta yang dimiliki oleh Ki Ageng Pandanaran.
Syarat tersebut dipenuhi oleh Ki Ageng Pandanaran dan memutuskan untuk pergi mengikuti Sunan Kalijaga.
Sunan Kalijaga pun berangkat terlebih dahulu dan disusul oleh Ki Ageng Pandanaran, ketika Ki Ageng Pandanaran, istri Ki Ageng yaitu Nyi Ageng Pandanaran mengatakan bahwa ingin ikut mengembara bersama suaminya.
Akan tetapi istrinya mengatakan bahwa ia tidak rela untuk meninggalkan harta bendanya, lalu ia menyuruh Ki Ageng untuk berangkat terlebih dahulu. Kemudian Nyi Ageng Pandanaran menyimpan emas dan perhiasan lainnya di dalam tongkatnya yang terbuat dari bambu. Setelah itu Nyi Ageng Pandanaran menyusul suaminya.
Dalam perjalanan, Sunan Kalijaga dihadang oleh tiga orang penyamun atau perampok, lalu Sunan Kalijaga memberi tahu ketiga perampok tersebut bahwa nanti akan ada seorang wanita tua yang membawa emas dan perhiasan di dalam tongkat bambunya.
Pada saat Nyi Ageng Pandanaran lewat, ketiga perampok tersebut menghadang dan merampas tongkat bambu yang Nyi Ageng pegang. Nyi Ageng tidak dapat berbuat apa-apa selain merelakan harta berharganya dirampas.
Pada saat Nyi Ageng bertemu dengan suaminya dan Sunan Kalijaga, ia bercerita sambil menangis tentang perampokan yang dialaminya saat perjalanan tadi.