Ayah beliau Habib Muhsin bin Ahmad Al-Hamid terkenal dengan sebutan Al-Bakry Al-Hamid, ulama yang sangat dihormati.
Ibundanya seorang wanita salehah bernama ‘Aisyah, dari keluarga Al-Abud Ba Umar dari Masyaikh Al-‘Amudi.
Beliau mempelajari Alquran dari seorang guru bernama Syaikh Said Ba Mudhij, di Wadi ‘Amd.
BACA JUGA:Kisah Karomah Mbah Ali Mas’ud yang Bisa Tidur Dalam Air
Sedangkan ilmu fiqih dan tasawuf beliau pelajari dari ayahnya Al-Habib Muhsin bin Ahmad Al-Hamid.
Pada usia 26 tahun, bertepatan tahun 1921 Masehi, Al-Habib Sholeh meninggalkan Hadramaut dan hijrah ke Indonesia ditemani Syeikh Fadli Sholeh Salim bin Ahmad Al-Asykariy.
Setibanya di Indonesia, beliau singgah di Jakarta beberapa hari. Mendengar kedatangan Habib Sholeh, sepupu beliau Habib Muhsin bin Abdullah Al-Hamid, meminta Habib Sholeh untuk tinggal sementara di kediamannya di Kota Lumajang.
Setelah menetap beberapa hari, beliau pindah ke Tanggul, Jember, Jawa Timur. Dan akhirnya menetap di Tanggul, hingga akhir hayat beliau. Sebelum memulai dakwahnya di Jember.
Habib Sholeh pernah mengasingkan diri lebih dari tiga tahun. Beliau berkhalwat dengan membaca Alqur’an, bersalawat dan berdzikir.