More. Everything. Forever – AI Overlords, Space Empires, and Silicon Valley’s Crusade to Control the Fate of Humanity, von: Adam Becker, Basic Books, 2025, 30 EUR (gebundenes Buch)

“If you don’t sign up your kids for cryonics then you are a lousy parent” (Eliezer Yudkowsky, in 2010). Und bevor ich als Vater zweier 7-Jähriger in tiefe Selbstzweifel geriet, las ich auf der nachfolgenden Seite: „‘What’s being done now in the commercial cryonics industry is garbage. They’re making puddles of pink mush in a liquid nitrogen tank. It’s nothing that could ever be used for anything’, tells Michael Hendricks, a neurobiologist at McGill University.” Und es ist aktuell nicht absehbar, wann und ob überhaupt jemals die wissenschaftlichen Grundlagen für diese Art der Konservierung (im weiteren Sinne: Unsterblichkeit) bestehen.

Cryonics ist eine der Ambitionen des Silicon Valley, die der Autor Adam Becker einmal nüchtern betrachtet. Zweifelsohne sind wir aktuell in einer Zeit des KI-Hypes und einer fast grenzenlosen Technologie-Faszination (um nicht zu sagen: Technologie-Gläubigkeit). Ich selbst bin natürlich auch Teil der Fan-Gemeinde gegenwärtiger KI-Fähigkeiten, wenn ich auch glaube, dass ich ein halbwegs gutes Verständnis der Grenzen habe. Kurzum, das Buch von Adam Becker hilft, einen nüchternen und kühlen Blick inmitten dieses Hypes zu bewahren. Das Buch wurde von Kritikern weithin als kluge und überaus lesenswerte Demontage der unhinterfragten Technologie-Utopien gelobt. Welche seiner Argumente die Leserschaft folgt, kann jede/r selbst entscheiden – auch wenn manche Stimmen anmerken, dass Beckers eigene Skepsis gegenüber zukünftigen technologischen Durchbrüchen stellenweise vielleicht etwas zu kategorisch ausfällt.

Adam Becker ist Wissenschaftsjournalist mit einem Doktortitel in Astrophysik. Er hat unter anderem für die New York Times, die BBC, NPR, Scientific American, New Scientist und Quanta geschrieben. Sein erstes Buch, What Is Real?, wurde als Editor’s Choice der New York Times Book Review ausgezeichnet und stand auf der Longlist des PEN Literary Science Writing Award. Er war Science-Journalism-Fellow am Santa Fe Institute sowie Science Communicator in Residence am Simons Institute for the Theory of Computing. Er lebt in Kalifornien.

Grenzen der Technologie vs. Entgrenzte Technologiefantasien

Adam Becker macht die Leserschaft mit Ambitionen und Visionen im Silicon Valley vertraut, die sich vielfach wie Science Fiction lesen. Die Evangelisten des technologischen Fortschritts wollen das aber keineswegs als Science Fiction verstanden wissen, sondern verknüpfen ihre Visionen regelmäßig mit Deadlines. Futuristen wie Ray Kurzweil sehen den Durchbruch zu einer Superintelligenz in Reichweite, ebenso den vollständigen Brainscan und Upload unseres Bewusstseins in den Cyberspace. Kurz: Unsterblichkeit (bei völliger Entkörperlichung). Nanoroboter verwandeln unter Leitung dieser Superintelligenz schließlich das gesamte Universum in ein gigantisches Rechenzentrum.

Die Hoffnung und das Heilsversprechen: Die Lösung aller Probleme der Menschheit. Becker entlarvt diese Haltung treffend als den Versuch, eine nicht existierende AGI quasi als Flaschengeist um drei Wünsche zur Rettung der Welt zu bitten. Nur, darauf weist Adam Becker hin, gilt leider: “Technology doesn’t solve social and political problems, any more than it causes them. The prospect of nuclear war was made possible through technology, but it’s a live concern because of geopolitics. Humans could come together and choose to rid the world of nuclear weapons, just as we could come together to end global warming. Applying more intelligence and technology to these problems won’t solve them; they’re fundamentally political.” (S. 175)

Was dieses Narrativ so attraktiv macht für das Silicon Valley (wie realistisch auch immer es sein mag): “First, these ideas are reductive, in that they make all problems into problems about technology. (…) Second, these ideas are profitable, aligning nicely with the bottom line of the tech industry via the promise of perpetual growth. (…) Third, and perhaps most importantly, these ideas offer transcendence (…) you can ignore scarcity of resources, not to mention legal restrictions. (…) the ideology of technological salvation.” (28f) Wie Becker treffend analysiert, resultiert diese Ideologie nicht zuletzt aus einer tiefen Verachtung für echte Fachexpertise: Die finanzielle Elite setzt ihren immensen Reichtum fälschlicherweise mit allumfassender Intelligenz und Unfehlbarkeit gleich.

Superintelligenz

Im Zentrum der Zukunftshoffnungen (und auch Zukunftsängste) im Silicon Valley steht natürlich der technologische Durchbruch zur Superintelligenz (auch liebevoll „Singularität“ genannt). Vor einiger Zeit hatte ich zum Zeitpunkt der Erwartungen dieses Meilensteins eine Einschätzung der „AGI Experten Community“ gepostet (vergleiche: Artificial General Intelligence (AGI) – Experten zur Frage, wann wir den Durchbruch erwarten können …)

Der Prognose eines nahen Durchbruchs liegt unter anderem die Hypothese zugrunde, dass sich technologischer Fortschritt (über die Menschheitsgeschichte) exponentiell entwickelt bzw. entwickelt hat. Das aber stellt Becker klar infrage. Hier glänzt Becker mit seinem physikalischen Hintergrund und erinnert daran, dass jedes exponentielle Wachstum in der Natur – sei es bei Bakterienkolonien oder bei der Rechenleistung – unweigerlich an physikalische Grenzen stößt: „I think maybe Kurzweil’s law is a little too simplistic, because it doesn’t take into account the fact that complexity also increases exponentially with advancements in technology. (…) ‘Put differently’, they wrote, ‘it is around 18 times harder today to generate the exponential growth behind Moore’s law than it was in 1971’” (page 62)

Becker führt wissenschaftliche Analysen zur Dynamik von Forschungsergebnissen an: “The 2020 Stanford-MIT research on Moore’s law was part of a broader study, which came to a similar conclusion about the entire economy. The authors of that study provide compelling evidence that research productivity today – imperfectly measured as the translation of industrial R&D into economic growth – is over forty times lower than it was in the 1930s.” (67).

Worauf Becker auch hinweist: Der Begriff Intelligenz ist äußerst unscharf. Was genau zeichnet eigentlich die „Allgemeine Künstliche Intelligenz“ aus (AGI: Artificial General Intelligence)? Weder gibt es ein tieferes Verständnis davon, wie das menschliche Gehirn funktioniert; noch gilt, dass das „künstliche neuronale Gehirn“ ähnlich funktioniert wie das menschliche Gehirn – auch wenn die sprachliche Gleichsetzung dies suggeriert. Adam Becker lässt verschiedene Stimmen aus der Wissenschaft zur Sprache kommen, etwa: “A recurring flaw in AI alarmism is that it treats intelligence as a property of individual minds, rather than recognizing that this capacity is distributed across our civilization and culture. (…) Most cognitive scientists would agree that intelligence is not a quantity that can be measured on a single scale and arbitrarily dialed up and down but rather a complex integration of general and specialized capabilities that are, for the most part, adaptive in a specific evolutionary niche.” (112)

Und Becker hinterfragt auch die sogenannte „Orthogonality thesis“, wonach eine KI mit falschen Intentionen zur Auslöschung der Menschheit führen wird. “It just doesn’t seem to be the case that motivations are totally or even mostly divorced from intelligence. Intelligence requires reflection, self-examination, critically evaluating one’s own actions and drives. Without that capacity, there would be a great deal of other intelligent behaviour that an AI wouldn’t be able to engage in, such as modifying its behaviour in response to changing circumstances or even undertaking many forms of learning. We grow and change with increased experience and wisdom. Why would an AI not do that? ‘Complex minds are likely to have complex motivations,’ says tech entrepreneur and software developer Maciej Ceglowski. ‘That may be part of what it even means to be intelligent’” (page 110)

Ceglowski weiter: “When we look at where AI is actually succeeding, it’s not in complex, recursively self-improving algorithms. It’s the result of pouring absolutely massive amounts of data into relatively simple neural networks”, he [Ceglowski] says. (…) Ceglowski, who was born in Poland, says the idea that a superintelligent being would inevitably want to improve itself is ‘unabashedly American’” (page 111)

Wer die aktuelle Diskussion rund um LLMs verfolgt, der kennt auch die Grenzen dieses algorithmischen Ansatzes: All the LLM knows about are tokens and the connections between them. ChatGPT and other LLMs are text-prediction generators. (page 115)

EFFECTIVE ALTRUISM & LONGTERMISM

Ganz erstaunliche Blüten treibt ein Diskurs um sogenannten Effective Altruism (EA). Zu Beginn war „Effective Altruism“ das, was der Name auch suggeriert: Ein Ansatz, um bei der Bekämpfung der „Plagen der Menschheit“ – also etwa Armut – den effizientesten Weg zu finden. (Einige Kritiker des Buches merken an dieser Stelle fairerweise an, dass Becker diese positiven, pragmatischen Errungenschaften der EA-Bewegung in seiner teils sehr polemischen Abrechnung etwas zu kurz kommen lässt).

Von diesen Wurzeln hat sich EA in Teilen inzwischen gelöst. Ausgehend von einer utilitaristischen Ethik (kurz: Die Maximierung des Gemeinwohls als Summe des Nutzens einer maximalen Anzahl von Individuen) fließt in die Überlegungen zur Maximierung dieses „Gemeinwohls“ der Nutzen zukünftiger Generationen ein. Wir kennen diese ethische Denkfigur aus der Diskussion um Klimagerechtigkeit. EA treibt diese Gedankenspiele jedoch mathematisch auf die Spitze, aus Sicht eines Ottonormalverbrauchers in geradezu absurde Dimensionen. Nämlich:

Die Entwicklung der Menschheit wird basierend auf den eingangs skizzierten Ideen in eine sehr ferne Zukunft extrapoliert (=Longtermism). Die Menschheit besiedelt hierbei das gesamte Universum, auf Milliarden von Planeten, und dies für einen mathematisch unvorstellbar großen Zeitraum. In ethischen Überlegungen wird dann eine unvorstellbar große Anzahl von Menschen (zukünftige Generationen) berücksichtigt: 1.000.000.000.000.000.000.000.000. Mag die Wahrscheinlichkeit für solche menschliche Populationen im gesamten Universum auch verschwindend gering sein, so ergibt die Multiplikation dieser unvorstellbaren großen Zahlen mit den geringen Wahrscheinlichkeiten doch absurd hohe Nutzenvorteile, die uns völlig den Blick für die realen Probleme der Gegenwart vernebeln:

“MacAskill and Greaves arrive at a stunning conclusion. ‘Every $100 spent [on AI safety] has, on average, an impact as valuable as saving one trillion [lives] … far more than the near-future benefits of [malaria] bednet distribution.’ For a strong longtermist, investing in a Silicon Valley AI safety company is a more worthwhile humanitarian endeavor than saving lives in the tropics.” (S. 167)

SONSTIGES

Abschließend noch eine interessante Rechnung, die Adam Becker zu den „Grenzen des Wachstums“ aufgezeigt hat (Grenzen im Übrigen, die Silicon Valley Evangelisten durch eine Besiedelung des Universums überwinden möchten), und zwar hinsichtlich der verfügbaren Energie:

Becker weist darauf hin, dass unser Energieverbrauch in den letzten Jahrzehnten jährlich um rund 3 Prozent gestiegen ist. „If humanity’s energy usage continues to grow by a more modest 2.3 percent per year, then in about four hundred years, we’d reach Earth’s limit – we’d be using as much energy as the Sun provides to the entire surface of the Earth annually.” (24)

Und selbst bezogen auf unser Sonnensystem gibt es ein Limit, auch wenn das beim Blick in den Himmel schwer vorstellbar ist: “(…) the energy available in space is just as finite, and just as subject to limits on growth. If growth in humanity’s energy usage were to continue at the same rate past the four-hundred-year mark, in 1350 years we’d be using all the energy produced by the sun.” (24)

Viel Spaß beim Lesen!