Seit seinen Anfängen als Journalist 1938 und seinen ersten veröffentlichten Kurzgeschichten kurz darauf war das Interesse an ihm als Autor stetig gestiegen. Man bat ihn um Artikel und Rezensionen (»Negro books, of course«, wie er sich beklagte.), andere Autoren baten ihn, ihre Manuskripte zu redigieren. Er hielt Vorträge und war im Radio zu hören. Des Dogmas ledig, hatte er sich wieder auf seine Anfänge als liberaler Humanist und Kosmopolit besonnen, auf seine Studien der großen Literatur, die er auch als Kommunist nie aufgegeben hatte, und sein immenses Interesse an der Moderne. Nach dem Krieg, mit der finanziellen Sicherheit einer zweiten Ehe im Rücken, dachte er ernsthaft an einen Roman. Sich seiner Fertigkeiten nicht sicher, hatte er die letzten Jahre über mehrere Angebote von Verlagen abgelehnt, ihm ein Jahr lang ein Monatsgehalt für einen solchen zu zahlen.
Die Idee für Invisible Man selbst kam ihm 1945 bei der Lektüre von Lord Raglans großem Werk über den Archetyp des Helden, aber es sollte noch etwas dauern, bis er, andere Romanprojekte verwerfend, ausschließlich daran zu arbeiten begann. Es sollte keinesfalls ein autobiographisches Buch werden, auch wenn persönliche Erfahrungen und Erlebnisse einflossen, insbesondere seine Beziehung und spätere Lösung von der KP. Das Buch ist weit universeller angelegt, wie ein erster Abriss seiner Idee für Agent und Verleger zeigt: »Ich weiß nur soviel«, schrieb er ihnen, »der Unsichtbare wird sich die ganze Leiter des Negerdaseins nach oben arbeiten, wobei er mit dessen verschiedensten Formen und Persönlichkeitstypen in Kontakt kommt wird; er wird sich in der schwarzen Mittelklasse bewegen, in der Linken und dann wieder absteigen in die chaotische Atmosphäre der Harlemer Unterwelt. Seinen Aufstieg bewerkstelligt er mit Opportunismus und Unterwürfigkeit. Psychologisch ist er ein Verräter an sich selbst, seinen Leuten und an der Demokratie, wobei sein Verrat in eben seiner Unterwürfigkeit und seinem Opportunismus besteht.« Und seiner Schwächen sei er sich in hohem Maße bewusst. »Er ist etwas sehr Seltenes, ein Neger und ein wahrer Individualist… Er ist darüber hinaus das Inbild eines bestimmten Typs von Schwarzen, der sich in dem Vakuum bewegt, für das das weiße Amerika durch seine Unfähigkeit, Neger als Menschen zu sehen, gesorgt hat. Man könnte ihn als das unterdrückte moralische Gewissen Amerikas bezeichnen, das für soviel Verwirrung sorgt: Man sieht ihn nicht, man ignoriert ihn, und doch ist er ein menschlicher Fakt, der für Konflikte sorgt, die man immer zu spät entdeckt.« Dass er sich ein Monumentalwerk vorgenommen hatte, war ihm ebenfalls bereits klar. Er hielt es da ganz mit Ishmaels Maxime vom gewaltigen Thema für ein gewaltiges Buch.
Vom ersten Augenblick an war das Schlimmste für ihn die Vorstellung, man könnte sein Buch als großartiges, aber eben doch nur als das Werk eines Negers bezeichnen, könnte ihn mit derselben herablassenden Art, denselben oberflächlichen Komplimenten feiern wie selbst Größen vom Kaliber eines Hughes oder Wright. Nicht zuletzt also in dem schier verzweifelten Verlangen, sich ganz bewusst in die »Weltliteratur« zu schreiben, bettete er die Geschichte seines Unsichtbaren in ein vielschichtiges Fundament aus Historie, Mythos, Ritual, Zahlenmystik, Folklore, literarischen Anspielungen und Psychologie; zu würzen verstand er sie mit Elementen verschiedenster Stile und Gattungen von der Tragödie über die Komödie bis hin zur Farce. (Es war ihm damit so ernst, dass er zeitlebens aufbrausen sollte, wollte einer seiner Leser die eine oder andere Doppelbedeutung nicht sehen.) So sollte Invisible Man die Geschichte von Amerikas Schwarzen allgemein nachzeichnen, und das im experimentellen literarischen Kontext eines Eliot, Joyce, Melville, Dostojewski oder Mark Twain.
Sechs Jahre sollte es dauern, bis das Werk fertig war. Ein Abgabetermin nach dem anderen wurde verschoben. Ellison lebte von Vorschüssen, dem einen oder anderen Vortrag, vor allem aber vom Einkommen seiner Frau. Mehr und mehr kapselte er sich dabei ab vom Leben in Harlem. Wann immer sich eine Möglichkeit bot, nicht in der kleinen Wohnung schreiben zu müssen, nahm er sie an. Er hatte kaum etwas anderes im Kopf, als sich und damit die amerikanischen Schwarzen in die Literaturgeschichte zu schreiben. Er sah nichts als sein Werk und das Versprechen ewigen Ruhmes.
Offizielles Erscheinungsdatum war der 14. April 1952. Aber bereits die Reaktionen auf die vorab verschickten Rezensionsexemplare nahmen sich wie die Vorbeben einer größeren Erderschütterung aus. Auch wenn es sich nicht vermeiden ließ, dass immer wieder von »Negerschriftsteller« und »Negerliteratur « die Rede war, so ahnte man alles in allem Größeres, »dessen Wert und Genie womöglich erst künftige Generationen verstehen«. Letztlich maß man das Buch jedoch, Ellisons Träumen entsprechend, nicht nur an der schwarzen Literatur, sondern nach allgemeinen literarischen Maßstäben. »Die Geographie der Hölle«, hieß es in der New York Times, »steckt noch in den Kinderschuhen, aber Invisible Man »gehört im Regal neben die klassischen Bemühungen der Menschheit, den Strom der Unterwelt von der Quelle bis zur Mündung zu kartographieren.«
Gefiel das Buch dem überwiegenden Teil den weißen Rezensenten, galt für die schwarzen das Gegenteil. Ironie der schwarz-weißen Realität Amerikas, druckten glücklicherweise die großen, wichtigen Zeitungen und Magazine die Ansicht der weißen Kritik. Und bei genauerer Hinsicht erweisen sich die Meinungen der schwarzen wie der kommunistischen Kritik zumeist als von Neid und persönlicher Rachsucht geprägt bis verständnislos. (Immerhin sorgten sie dafür, dass man ihn nicht als Sympathisanten, geschweige denn als Kommunisten verdächtigen sollte in der Rotenhatz, die mit Beginn des Koreakriegs in Fahrt kam.)