Gjatë historisë së saj Qabja e shenjtë është shkatërruar dhe rindërtuar pesë herë.
Hera e parë, kur u ndërtua Qabeja, është nga Ademi alejhi selam. Pas shkatërimit të saj ajo u rindërtua nga Ibrahimi alejhi selam (Abraham).
Hera e tretë kur u rindërtua Qabja e Madhnushme është kur u rindërtua nga Kurjeshët (paria e Mekës) para se Muhammedi [ Paqja, Meshira e Zotit qofshin mbi të] të shpallej profet. Në rindrtimin e Qabes se Bekuar mori pjese edhe vetë Profeti Muhammed [ Paqja, Meshira e Zotit qofshin mbi të].
Kur Muhammedi alejhi selam, më pas i Dërguari i All-llahut, ishte tridhjetë e pesë vjeç, kurejshët vendosën të ndërtojnë Qaben, e cila gjer atëherë ishte një grumbull gurësh në një truall paksa të ngritur. Ishte e lartë nëntë arshin (6.30 m) që nga koha e Ismailit alejhi selam.
Nuk kishte kulm (çati) dhe disa hajdutë kishin vjedhur prej saj një arkë ari, e cila në atë kohë ndodhej brenda këtij grumbulli. Për shkak të traditës së vet dhe vlerës së madhe historike, si dhe të ndërtimit që i bëri Ibrahimi alejhi selam, Qaben gjithnjë e kanë vizituar të gjithë kalimtarët e Mekës.
Ndodhte që shumë prej tyre të merrnin me vete nga një copë dhé apo gur, si simbol shenjtërie apo bereqeti (veprim i ndaluar ky). Pesë vjet para pejgamberisë së të Dërguarit alejhi selam, Qabja përmbytet nga shpërthimi i pendës Arem. Kurejshët u frikësuan, sepse Qabja ishte gati të rrënohej, prandaj vendosën ta rindërtonin duke i ruajtur themelet dhe vendin e saj të mëparshëm. Vendosën ta ndërtonin vetëm me pasurinë e fituar në mënyrë të ndershme, pa përzierje të kamatës, ryshfetit, të hollave të vjedhura dhe të plaçkitura.
Ata frikësoheshin t’i rrëzonin mbetjet ekzistuese të Qabes. Këtë e filloi Velid bin Mugire Mahzumi e të tjerët pas tij, kur panë se Velidit gjatë pastrimit nuk i ndodhi asgjë e keqe. Pasi e rrëzuan Qaben gjer në themelet që i kishte ndërtuar Ibrahimi alejhi selam, përpiluan edhe planin e ndërtimit të saj.
Çdo fisi i caktuan sasinë e gurëve që do të sillnin dhe pjesën e murit që do të ndërtonin, kështu, të gjithë ishin pjesëmarrës në ndërtim. Sollën një ndërtues romak, të quajtur Bakum, dhe ndërtimi shkoi sipas planit, derisa erdhën në lartësinë e vendit ku duhej vendosur haxherul-esvedi (guri i zi).
Çdo fis e konsideronte veten të privilegjuar, që këtë punë të ndershme ta bënte ndonjëri prej tyre. Grindja mes tyre zgjati katër apo pesë ditë dhe kanosej rreziku që të shpërthente një përleshje e përgjakshme rreth tempullit të Shenjtë, në tokën e Shenjtë. Në tërë këtë rrëmujë, më i maturi ishte Ebu Umeje bin Mugire Mahzumi, i cili dha këtë propozim: Personi i parë, i cili do të paraqitet në dyert e Haremit të Qabes, le të vendosë dhe të zgjidhë këtë problem.
Desh All-llahu që ky person të jetë Muhammedi alejhi selam. Kur e panë, brohoritën “El-Emin El-Emin” (ngaqë ishte i njohur me këtë epitet, që do të thotë: i besueshmi, besniku) jemi të kënaqur që ky të vendosë.
Kur i Dërguari i All-llahut alejhi selam u afrua më afër, ata ia parashtruan çështjen dhe kërkuan zgjidhje nga ai. I Dërguari i Allahut alejhi selam kërkoi një copë pëlhurë, e shtriu në tokë dhe në mes të saj vuri “Gurin e Shenjtë”, pastaj u tha kryetarëve të fiseve të ngatërruara që të afroheshin, të kapnin nga një cep të pëlhurës dhe të gjithë së bashku ta ngrinin “Gurin e Shenjtë” gjer te vendi ku do të vendosej. Pastaj i Dërguari i Allahut alejhi selam e mori atë me duart e veta dhe e vendosi ku duhej. Me këtë veprim të mirë ishin të kënaqura të gjitha palët.
Për shkak se Kurejshëve nuk u mjaftoi pasuria e mbledhur për ta ndërtuar Qabenë, në themelet e vjetra, ata e ndërtuan më të vogël duke lënë një pjesë të saj jashtë. Sot kjo pjesë njihet me emrin “ Hixhri Islamil”. Mes derës së Qabes së Shenjtë dhe Gurit të Zi ndodhet një hapësirë që nxë dy përsona.
Sa herë që Profeti Muhammed [ Paqja, Meshira e Zotit qofshin mbi të] shkonte atye ngjiste rupin pas murit të Qabes se Shenjtë. Ku vend quhet “ Multezem” dhe është vendi i vetëm që nuk mbulohet. Profeti i njerzimit, Muhammedi [ Paqja, Meshira e Zotit qofshin mbi të] e ngjisthe trupin dhe faqen pas murit të Qabes së Shenjtë në këtë vend, ngrinte duart lart dhe lutej duke qarë.
Umer ibn Hattibi, shoku i ngushtë i profetit tonë të dashur, Muhammedit [ Paqja, Meshira e Zotit qofshin mbi të] kur e pa Profetin [ Paqja, Meshira e Zotit qofshin mbi të] në këtë gjendje, filloi edhe ai të qajë.
Profeti Muhammed [ Paqja, Meshira e Zotit qofshin mbi të] i tha: “ Po, o Umer. Këtu është vendi ku duhet të derdhen lotët.” ( Hakimi, 1/624) Është e këshillueshme për të gjithë ata/o njerëz që vizitojnë Qaben e Shenjtë të shkojnë në këtë vend dhe të luten.