Im biblischen Hohenlied Salomos, diesem weltliterarischen Liebesgesang des Alten Testaments, werden die Reize der Frau nach allen Regeln der Dichtkunst beschrieben. Und weil blasse lange Hälse vor 2500 Jahren offenbar als Schönheitsideal galten, heißt es dort im 5. Vers des 7. Kapitels: »Dein Hals ist wie ein Elfenbeinturm.« Der Marienkult des Mittelalters verwendete diesen Terminus vom überragenden Bau aus Elefantenzahn in der Lauretanischen Litanei als Attribut der Mutter Jesu: Die Jungfrau Maria wurde zum »turris eburnea«, weil der Turm die Standhaftigkeit gegenüber dem Bösen und der Elefant, der als keusches Tier galt, die Reinheit symbolisierte. Etliche turmartige, aus Elfenbein geschnitzte Aufbewahrungsgefäße für geweihte Hostien sind aus dieser Zeit überliefert.
An diese Bildtradition knüpfte 1837 der französische Kritiker Charles-Augustin Sainte-Boeuf (1804-69) an, als er in seinen »Pensées d’août« (August-Gedanken) den Dichter Alfred Comte de Vigny (1797-1863) durchaus positiv als überlegenen Denker im Elfenbeinturm beschrieb. Von Sainte-Boeuf übernahmen Schriftsteller wie der Italiener Gabriele d’Annunzio sowie die Engländer Oscar Wilde und Henry James das markante Wort.
Im Deutschen erschien es nach dem Zweiten Weltkrieg vor allem in der Literaturkritik - nun in negativer Bedeutung als Vorwurf gegen eine elitäre, überzüchtete Form der Dichtkunst. Seither ist die Redewendung »Der sitzt im Elfenbeinturm« für einen weltfremden Zeitgenossen immer populärer geworden. Den Studenten der 68er kam sie gerade recht, um Professoren zu bespötteln, die sich mit dem Verweis auf Forschungsinteressen nicht um Tagespolitik und dringende Probleme kümmerten. Noch heute hört man den Satz häufig, wenn Persönlichkeiten des öffentlichen Lebens, voran Künstler oder Wissenschaftler, als unnahbare hochmütige Einzelgänger erscheinen. Autor Peter Handke wehrte sich gegen solche Vorwürfe, indem er den Spieß umkehrte und in seinem 1972 verfassten Bekenntnis »Ich bin ein Bewohner des Elfenbeinturms« ein hohes Lied auf den literarischen Individualismus anstimmte.