Чорний камінь обрамлений срібною оправою. Цей камінь має позаземне походження, і він був принесений Джибрилем (алейхі салямі) пророку Ібрагіму (алейхи салямі). До того як Хаджаруль-Асвад був поміщений у кут Кааби, він зберігався на горі Абу Кубайс.
Згідно з мусульманським переказом, під час потопу (за пророка Нуха) цей камінь був принесений з раю та охоронявся ангелами на горі Абу Кубейс. Потім ангел Джибріль приніс його пророку Ібрахіму під час будови Кааба. Спочатку він був білим яхонтом, але поступово почорнів, просочившись людськими гріхами.
Кааба побудована навколо священного Чорного каменю, який захований у східному кутку, на висоті 1,525 м. Мусульмани вірять, що пророк Мухаммед одного разу поцілував камінь, тому під час їх обов'язкової, один раз у житті, принаймні, поїздки до Мекки вони намагаються поцілувати Чорний камінь, якщо це можливо.
Сирійська армія зруйнувала Каабу у Мухаррам у 64 році по Хіджрі (683 рік), і перед наступним хаджем Абдулла ібн аз-Зубайр заново збудував Каабу. Ібн аз-Зубайр хотів зробити Каабу такою, якою її бачив пророк Мухаммед, на підставі, закладеній пророком Ібрахімом.