Tetapi sahabat bilal masih tetap menolak dan berkata “Wahai Abu Bakar, disaat waktu sholat telah tiba di setiap harinya, diriku mendatangi Rasulullah dan aku berkata kepada Rasulullah ‘Wahai Rasul, waktu sholat’ atau rasul yang bergantian datang menuju rumahku dan berkata ‘Wahai bilal, Waktu sholat’ dan kami pun lalu bersamaan pergi ke masjid, lalu diriku naik ke atas Menara, dan sebelum diriku melantunkan adzan, diriku pandang terlebih dahulu wajah Rasulullah SAW.
Dan hal itu kulakukan sehari lima kali wahai abu bakar, dan hal itupun berulang setiap hari. Tapi sekarang sudah tidak ada lagi Rasulullah, lalu bagaimana bisa diriku mampu untuk melantunkan suara adzan tanpa adanya Rasulullah disisku wahai Abu Bakar?”
Sahabat bilal bukanya tidak mau adzan lagi, tetapi dirinya tak kuasa ketika mengingat kenangan Bersama Rasulullah. Siapakah orangnya yang tidak merindukan Rasulullah SAW. Apalagi seseorang yang sangat dekat dengan Rasul. Bilal menangis dan tidak kuasa lagi membendung cucuran air matanya.
Kemudian Khalifah Abu Bakar juga turut menangis dan memberikan izin kepada bilal untuk tidaklagi melantunkan adzan “Kalau seperti itu alasanmu, wahai bilal kamu boleh pergi”. Sahabat bilal lantas berangkat pergi menuju kota suriah sebab sudah tidak kuasa lagi tinggal di kota Madinah.
Sahabat bilal lantas tinggal suriah. Disuatu malam Sahabat bilal tertidur, dalam lelapan tidurnya ia bermimpi berjumpa dengan nabi Muhammad SAW. Dalam mimpi itu, sang Rasul berkata kepada sahabat bilal “Betapa keringnya hatimu hai bilal, betapa gersangnya hatimu hai bilal.
Sudah begitu lama kamu tidak menziarahiku, sudah begitu lama dirimu tidak bertemu aku. Apakah kamu sudah tidak lagi rindu terhadapku wahai bilal..?” kehadiran Rasulullah dalam mimpi bilal sungguh menyedihkan. Sahabat bilal lantas terbangun dari tidurnya. Airmata sahabat bilal lalu berlinang, dan menangislah ia sejadi-jadinya.
Waktu itu, kekhalifahan islam telah berpindah dan dipimpin oleh Khalifah Umar bin Khatab. Saudara-saudara bilal lantas menyuruh bilal untuk bersegera berziarah kemakam Nabi Muhammad SAW. Kemudian berangkatlah sahabat bilal menuju masjid Nabawi di madinah. Ia pergi dengan mengendarai seekor unta.