Gimsteinar hafa frá örófi alda verið tákn auðs og valda, eru í veldisprotum og kórónum konunga og drottninga. Í Egyptalandi til forna voru gimsteinar mikilsmetnir. Þó ekki endilega sömu steinar og nú eru verðmætastir. Það var liturinn sem skipti mestu máli, ekki endilega tegundin. Hálfgagnsæir eða ógagnsæir steinar eins og lapis lazuli, kóralar, turquise og carnelian voru í hávegum hafðir en eru ekki meðal dýrustu steina í dag.
Elstu heimildir um gimsteina eru um 7000 ára gamlar. Indverjar urðu snemma stórtækir í viðskiptum með gimsteina og sáu Rómverjum fyrir perlum og beryl og fengu í staðinn gullpeninga. Þá seldu Indverjara Solómon Ísraelskonungi gull, silfur, gimsteina og fílabein þúsund árum fyrir Krist.
Til forna trúðu menn því að gimsteinar hefðu töfra- og lækningamátt. Sá sem setti emerald undir tunguna átti að geta séð inn í framtíðina. Peridot sem dæmi boðaði heppni og góða heilsu og veitti vörn gegn martröðum.
Á miðöldum eiga sér stað hægfara breytingar á verðmati gimsteina samhliða því að sú tækni að skera og slípa steina og bæta þannig útlit þeirra, þróast. Demantar fara að koma inn sem verðmætir steinar ásamt rúbín og safír. Lengi vel voru einu demantanámurnar í Indlandi.
Rúbin og safír eru eins og menn vita í dag sama steindin, þ.e. Kórund, liturinn ræður því hvort hann telst vera rúbin eða safír. Rauð kórund er rúbin, allir aðrir litir eru safírar. Lengi vel var ógjörningur að greina mjög líkar tegundir, t.d. rúbin og spinel sem dæmi, en þær tegundir finnast gjarnan á sömu slóðum. Rauður spinel líkist mjög rúbin en hefur þó allt aðra eðliseiginleika. Það er ekki fyrr en seint á 19. öld að sú tækni verður til að greina á milli þessara tegunda.