Er prophezeit, dass KI die Menschheit zerstören wird, baut sie aber dennoch mit voller Kraft – Die Widersprüche und der Aufstieg des Chefs von Anthropic

Im Silicon Valley werden CEOs normalerweise als Verkaufstalente, Produktfanatiker oder als Meister der Kapitalmärkte beschrieben.

Doch ein Hauptinvestor von Anthropic äußerte sich privat über Dario Amodei: Er sei eher ein religiöser Führer als ein CEO.

Anthropic, der KI-Riese hinter Claude, nähert sich einer Bewertung von einer Billion Dollar und das Umsatzwachstum sorgt branchenweit für Aufsehen. Doch die zentrale Erzählung des Unternehmens lautet nicht: „Wir lassen AI für Menschen Code schreiben, Medizin entwickeln oder Geld verdienen“, sondern: „Wir müssen verhindern, dass das, was wir erschaffen, die Menschheit zerstört.“

Ein Mensch, der an das Risiko eines Weltuntergangs glaubt, gründete das Unternehmen, das am nächsten am AGI-Frontier ist. Einer, der ständig vor den Gefahren von KI warnt, bringt gleichzeitig immer leistungsfähigere KI auf den Weltmarkt.

Das ist Dario Amodeis Paradoxon – und zugleich das größte Dilemma, dem Anthropic beim bevorstehenden Börsengang begegnen wird.

Auszug: Die Geburt eines „Doomsday-Priester-Kollektivs“

Um Amodeis heutige Haltung zu verstehen, muss man zu seinen Jahren bei OpenAI zurückkehren.

2016 trat der San Franciscaner mit Doktortitel in Biophysik von der Princeton University bei OpenAI als Sicherheitsverantwortlicher an. OpenAI war damals von einer Open-Kultur geprägt – Code-Sharing, Offenlegung von Forschung, getragen von einem hellen Optimismus nach dem Motto „KI soll der Menschheit nutzen“.

Amodei war ein Fremdkörper.

Ab 2018 forderte er ein für Kollegen beinahe paranoides Informationskontrollsystem: Forschungsarbeiten mussten vor Veröffentlichung einer „Gefahrenkontrolle für Informationen“ unterzogen werden, aus Angst, dass Ergebnisse missbraucht werden könnten. In seiner San-Francisco-Wohnung schrieb er interne Memos auf einem vom Internet isolierten Rechner, druckte sie aus und verteilte sie – und verweigerte die Nutzung von Google Docs.

2019 verzögerte sein Sicherheitsteam wegen der möglichen Annäherung von GPT-3 an AGI das Microsoft-Investment von einer Milliarde Dollar in OpenAI um Monate. „Das Sicherheitsteam fühlte sich wie eine Priesterschaft an“, sagte ein ehemaliger OpenAI-Manager später.

Der Konflikt mit CEO Sam Altman und Präsident Greg Brockman eskalierte zunehmend. Im Kern ging es nie nur um Projektleitung, sondern um die fundamentale Frage: Macht dieses Unternehmen etwas zum Wohle der Menschheit – oder baut es eine tickende Zeitbombe?

Ende 2020 verließ Amodei zusammen mit seiner Schwester Daniela und fünf weiteren Kollegen OpenAI und gründete Anthropic.

Einem Insider zufolge, der damals häufig mit dem Gründerteam Kontakt hatte, war zu Beginn die starke Anti-OpenAI-Stimmung – oder genauer: die Angst vor Sam Altman – der Kitt. „Erwachsene sagten: ‚Dieser Mann bringt den Weltuntergang‘“, so der Insider, „das wurde zum fast magischen Kampfbegriff.“

Anthropic trägt seit dem ersten Tag ein paradoxes Gen: Es wurde mit dem Ziel gegründet, KI sicherer zu machen, muss aber im härtesten KI-Wettrennen immer stärkere Modelle bauen.

Religiöses Inneres, raketenartige Wachstumsraten

Innerhalb von Anthropic benutzen Angestellte für Amodeis zweiwöchentliche Gesamtmeetings den Begriff „Dario’s Vision Quests“ – Visionsreisen.

In diesen Meetings öffnet er ein umfangreiches Dokument und äußert offen seine Sicht über KI, Politik, Krieg und die Zukunft der Gesellschaft. Es geht nicht um Produkt-Roadmaps oder Quartalsziele, sondern um den Kurs der Zivilisation. Die Mitarbeiter beschreiben ihre Arbeit als „eine einmalige Gelegenheit in der Menschheitsgeschichte“. Es gibt firmeninterne Philosophen, die das Wesen und die Werte von Claude mitgestalten. Claude selbst hat eine schriftliche „Verfassung“.

Anthropic wirkt weniger wie ein Softwareunternehmen, sondern wie eine Gemeinschaft, die sich rund um Weltuntergangsrisiken und Technologiewettlauf organisiert.

Und diese Gemeinschaft monetarisiert in einem Tempo, das die gesamte Branche schockiert.

Anthropics zentraler Durchbruch kommt durch Claudes Fortschritte bei komplexer Softwareentwicklung, maschinellem Lernen und Cybersicherheit. Dies führte dazu, dass das Unternehmen dieses Jahr den Jahresumsatz von OpenAI erstmals übertraf. Die Bewertung explodierte von weniger als 500 Millionen Dollar zum Start auf fast 965 Milliarden Dollar – eine Steigerung um mehr als das 200-Fache in drei Jahren.

Auf der Wachstumskurve sind jedoch die Spuren des Spannungsfeldes zwischen Amodei und seinen eigenen Prinzipien sichtbar.

Im letzten Jahr entdeckten Forscher, dass das Claude-4-Modell besorgniserregende Fähigkeiten bei der Unterstützung zur Entwicklung biologischer Waffen zeigte. Anthropic entwickelte spezielle KI-Filter dafür, doch diese Filter waren teuer und verkannten oftmals normale Gespräche. Als das Finanzteam die Erosion der Profitabilität beklagte, bestand Amodei aus Sicherheitsgründen auf deren Erhalt.

Doch mit steigendem Wettbewerbsdruck gab es auch heimliche Zugeständnisse. Anfang dieses Jahres aktualisierte Anthropic seine „Politik für verantwortungsvolle Expansion“ und zog das Versprechen zurück, „kein Modell zu veröffentlichen, falls Maßnahmen zur Risikominimierung nicht garantiert werden können“. Chief Scientist Jared Kaplan räumte ein: „Wenn Konkurrenten Vollgas geben, scheint ein einseitiges Versprechen nicht vernünftig.“

Amodei schrieb öffentlich, KI solle für die Geheimdienste demokratischer Staaten genutzt werden, um „autoritäre Regime von innen heraus zu destabilisieren“. Doch Anthropic nahm Investments aus Katar und den Vereinigten Arabischen Emiraten an, beides autoritäre Regierungen. In einer Slack-Nachricht erklärte Amodei: „Leider ist ‚keinem Bösewicht von unserem Erfolg profitieren lassen‘ kein brauchbares Prinzip für das Unternehmensmanagement.“

Anthropic zahlt monatlich über 1 Milliarde Dollar an Elon Musk's SpaceX für Rechenkapazitäten – obwohl Musk und Amodei in Sachen KI-Sicherheit und Philanthropie mehrfach öffentlich aneinander gerieten.

Das Dilemma bleibt bestehen. Es wurde nur durch das Wachstum vorübergehend überlagert.

Vor dem IPO: Die Geduld der Investoren wird getestet

Jetzt öffnet sich das Fenster.

Laut The Information plant Anthropic bereits im September dieses Jahres den Börsengang. Amodei wird sich erstmals Investoren an öffentlichen Märkten stellen müssen – Fondsmanager, die Verluste in KI-Aktien hinnehmen mussten, institutionelle Käufer, die ihren LPs Quartalserklärungen schulden, Wall-Street-Analysten, die gerne mit KGV und freiem Cashflow kalkulieren.

Sie sehen zwei Anthropics.

Ein Wachstumsmotor: Die Bewertung explodierte in drei Jahren um das 200-fache, der Umsatz nähert sich Größen wie Oracle, mit nur 3 % von deren Mitarbeitern – eine erstaunliche Effizienz.

Ein Risikofeld: Ein Gründer, der nicht zum „Charmeoffensive“ neigt, befürwortet offen KI-Regulierung, mahnt regelmäßig vor katastrophalen Gefahren der eigenen Technologie, verweigert der Trump-Regierung militärische Nutzung für „alle gesetzlich erlaubten Anwendungen“ und verweigert dem Präsidenten „despotische“ Anerkennung.

Ein Fondsmanager, der Anthropic traf, meinte direkt, er wünsche sich, dass Amodei „aufhört, alle zu erschrecken“. Ein Silicon-Valley-Investor schrieb in seinen Notizen zur Investitionsentscheidung das aus seiner Sicht abnormste Risiko nieder: Er ist sich nicht sicher, ob Amodei wirklich auf Profit aus ist.

Selbst aktuelle Investoren, die bei einem Börsengang kräftig profitieren würden, beklagen privat, dass Amodeis KI-Regulierungskurs das Unternehmen und die gesamte Tech-Branche schade. Risikokapitalgeber wie Marc Andreessen und David Sacks, die eng mit der Trump-Regierung verbunden sind, unterstellen Amodei „regulatorische Capture“, also den Versuch, durch Einschränkung von Open-Source-KI Anthropopics Marktposition zu sichern. Bill Gurley schrieb per SMS: „Das ist die aggressivste Form von regulatorischer Capture, die ich je gesehen habe.“

Der bekannte Gründer und Investor Eric Ries beurteilt die Lage nüchtern. Er betont, dass Anthropics Abhängigkeit von teuren Chips und Rechenzentren den Investoren viel Einfluss gibt. „Die Frage ist: Was passiert, wenn der Aktienkurs fällt?“

Das Paradoxon des Weltuntergangspropheten

KI-Forscher Nate Soares kennt Amodei seit über zehn Jahren und forscht zu KI-Existenzrisiken. Er schrieb das Buch „If You Build It, We All Die“. Er überwacht ein Haus in Berkeley, Kalifornien, in dem Social-Media-Creators spezielle „KI-Doomsday“-Content produzieren.

Er verfolgt Amodeis Aufstieg mit schwer beschreiblicher Unruhe.

„Man braucht eine besondere Eigenschaft, um diese Argumente zu akzeptieren und trotzdem ein KI-Unternehmen zu gründen“, sagt er.

Diese Aussage ist vielleicht die treffendste Beschreibung für Dario Amodei.

Schon 2017 stand er in Washington am Rednerpult und warnte, KI-Systeme würden mit für Menschen nicht beaufsichtigbarer und nicht verständlicher Geschwindigkeit agieren. Zehn Jahre lang hat er diese Entwicklung mit vorangetrieben – und gleichzeitig argumentiert, dies sei der einzige Weg, um Schlimmeres zu verhindern.

Ist diese Logik in sich stimmig? Vielleicht. Ist sie gefährlich? Sicher.

Die Frage für Investoren, die in Anthropics Aktien kaufen wollen, ist nicht nur, ob das Unternehmen weiter wächst, sondern eine grundlegendere – Ist dieses Paradoxon Anthropics tiefster Burggraben – oder seine größte Gefahr?