Die Macht der Computer und die Ohnmacht der Vernunft

Der Mensch und seine Werkzeuge

Die Geschichte des Menschen ist untrennbar mit der Geschichte seiner Werkzeuge verbunden. Mit ihrer Hilfe hat er seine natürliche Umwelt tief greifend verändert und seine Möglichkeiten potenziert. Sie sind Ausdruck des planvollen menschlichen Denkens. Denn bevor ein Werkzeug zum ersten Mal benutzt wird, wird sein Gebrauch geistig vorweggenommen. In dem Augenblick, in dem es existiert und benutzt wird, geschieht eine Verwandlung: Das Werkzeug wird zur Summe aller Dinge, die mit seiner Hilfe verwirklicht werden können. Es beginnt einen Raum aufzuspannen, der auf den Benutzer zurückwirkt. Die Art und Weise, wie jemand eine Geige betrachtet, der selbst noch nie auf dem Instrument gespielt hat, unterscheidet sich deutlich von der Wahrnehmung eines Geigers. Für diesen besteht ein Teil der Identität des Instruments in den Möglichkeiten, die es ihm bietet.

„In diesem Buch geht es nur vordergründig um Computer. Im Wesentlichen wird der Computer hier lediglich als Vehikel benutzt, bestimmte Ideen vorzutragen, die viel wichtiger als Computer sind.“ (S. 9)

Ein Werkzeug (ein Instrument, eine Maschine usw.) ist aber noch mehr: Es beeinflusst die Alltagswahrnehmung und die Lebenswelt derjenigen, die es benutzen, und kann dadurch ganze Kulturen prägen. So umfasst z. B. die Alltagswahrnehmung der Seefahrer eine ganze Welt, die nicht nur aus den Schiffen, den Seilen und der Takelage besteht und auch nicht nur aus den notwendigen Fähigkeiten wie dem Segelsetzen oder dem Navigieren, sondern vor allem aus den dazugehörigen Erfahrungen, Erlebnissen und Mythen. Ähnliches gilt für die Kohle- und Stahlwirtschaft, die in vielen Ländern zwei Jahrhunderte lang ganze Regionen geprägt hat. Die entsprechenden Maschinen greifen teilweise massiv in das Leben von Menschen ein, die die Werkzeuge weder erfunden haben noch verstehen, ja die nicht einmal mit ihnen arbeiten. So löste die Einführung der Baumwollpflückmaschinen im Süden der USA eine riesige soziale Umwälzung aus, weil sie auf einen Schlag Heerscharen von schwarzen Baumwollpflückern arbeitslos machte, die daraufhin vom Land in die großen Städte des Nordens abwanderten.

Die Macht der Maschinen

Die Macht, die Maschinen in der Welt der Menschen erlangt haben, rührt zum einen von ihrer schieren Nützlichkeit her. Maschinen dienen dem Menschen als Prothese. Sie erledigen Dinge schneller, länger und zuverlässiger als er, sie können fast beliebige Lasten transportieren und schier unendliche Entfernungen zurücklegen. Sie verleihen dem Menschen Macht über die Natur.

„Ohne Frage hat die Einführung des Computers in unsere bereits hoch technisierte Gesellschaft (...) lediglich die früheren Zwänge verstärkt und erweitert, die den Menschen zu einer immer rationalistischeren Auffassung seiner Gesellschaft und zu einem immer mechanistischeren Bild von sich selbst getrieben haben.“ (S. 25)

Zum anderen beruht die Macht der Maschinen auf ihrer Tendenz, sich zu verselbstständigen. Die Maschine, die die Menschheit vor dem Computer am stärksten verändert hat, war die Uhr. Die Erfindung der Zeit bzw. das Verständnis, das wir modernen Menschen von ihr haben, ist eine der größten geistigen Umwälzungen in der Geschichte; sie hat die gesamte Naturwahrnehmung des Menschen verändert und das Aufkommen der modernen Naturwissenschaft überhaupt erst möglich gemacht. Die entsprechende Denkweise ist uns derart in Fleisch und Blut übergegangen, dass wir uns nur mit Mühe in den Zustand hineinversetzen können, der davor herrschte.

„Wie immer intelligente Maschinen auch hergestellt werden können – ich bleibe bei der Auffassung, dass bestimmte Denkakte ausschließlich dem Menschen vorbehalten sein sollten.“ (S. 28)

Über Jahrtausende empfanden die Menschen die Zeit als rhythmisch, das Zeitempfinden war an immer wiederkehrende Vorgänge in der Natur gebunden wie an den Auf- und Untergang der Sonne und den Wechsel der Jahreszeiten. Erst allmählich und dann immer tiefgreifender begann sich in der frühen Neuzeit ein anderes, lineares Zeitverständnis durchzusetzen. Es fand seinen Ausdruck in der Uhr. Die Uhr ist eine der mächtigsten Maschinen überhaupt, und sie unterscheidet sich von allen anderen dadurch, dass sie keine Prothese ist. Sie ist eine autonome Maschine – die erste in der Geschichte und die mächtigste bis zum Aufkommen des Computers.

Die Rolle der Regeln und der Sprache

Wesentliche Kennzeichen einer Maschine sind ihre Zuverlässigkeit, ihre Regelmäßigkeit – und ihre Gleichgültigkeit. Eine automatische Stanzpresse verformt das Blech ebenso zuverlässig, wie sie die Hand des Arbeiters zermalmt, der nicht rechtzeitig reagiert. Sie ist blind gegenüber ihrem Gegenstand. Eine Maschine folgt den Regeln, die für sie relevant sind, z. B. jenen der Physik. Wenn die Maschine einmal nicht richtig funktioniert, gehen wir nicht davon aus, dass sich die Regeln geändert haben, sondern dass etwas passiert ist, was die Maschine an der Befolgung der Regeln hindert.

„Der Computer wird zum unentbehrlichen Bestandteil jeder Struktur, sobald er so total in die Struktur integriert ist, so eingesponnen in die verschiedensten lebenswichtigen Substrukturen, dass er nicht mehr herausgenommen werden kann, ohne die Gesamtstruktur zu schädigen.“ (S. 49 f.)

Die Maschinen, mit denen wir heute zu tun haben, bestehen nicht mehr notwendigerweise aus beweglichen Teilen. Auch voll elektronische Werkzeuge werden als solche bezeichnet. Darin drückt sich ein Wandel in der Vorstellung dessen aus, was eine Maschine tut: Sie überträgt nicht mehr unbedingt Kraft, sondern auch Informationen. Eines ist aber gleich geblieben: Sie folgt in ihrer Tätigkeit genauen, eindeutigen Regeln.

„Die eigentliche Frage lautet: ‚Lässt sich alles, was wir tun möchten, in Begriffen eines effektiven Verfahrens beschreiben?‘ Die Antwort darauf lautet: ‚Nein.‘“ (S. 97)

Nun lässt sich gar nicht so einfach definieren, was eindeutige Regeln sind. Besteht etwa ein Kochrezept aus eindeutigen Regeln? Anweisungen wie „vorsichtig unterheben“ oder „umrühren, bis die Masse fest wird“ können von einem Anfänger leicht missverstanden werden, während ein geübter Koch sie auf Anhieb richtig umsetzt. Maschinen, die Regeln zuverlässig befolgen sollen, müssen diese in einer absolut eindeutigen Sprache erhalten. Eine Maschine, die jeden ihrer Zustände eindeutig beschreiben kann, nennt man eine Turingmaschine (nach dem britischen Mathematiker Alan Turing). Im Prinzip sind alle modernen Computer Turingmaschinen.

„Die oft wiederholte Binsenwahrheit, dass ein Computer nur das tun könne, was man ihm gesagt hat, stellt sich somit wie die meisten banalen Äußerungen über komplexe Sachverhalte als zumindest problematisch heraus. Es gibt viele Möglichkeiten, einem Computer etwas zu ‚sagen‘.“ (S. 150)

Jeder Prozess, der mit den Regeln einer formalen Sprache eindeutig beschrieben werden kann, wird als effektives Verfahren bezeichnet. Doch nicht jede Fragestellung lässt sich in den Begriffen eines effektiven Verfahrens beschreiben. So sind längst nicht alle menschlichen Entscheidungsprozesse auf effektive Verfahren reduzierbar und damit einer maschinellen Berechnung zugänglich. Der Grund dafür liegt in erster Linie in der Rolle der Sprache. Die Sprache, jedenfalls die natürliche Sprache, besitzt außer einer formalen Ebene auch eine Bedeutungsebene. Der Mensch nimmt jedes Zeichen – und erst recht ein aus vielen Zeichen bestehendes Gebilde wie eine Sprache – vor einem kulturellen Hintergrund wahr. Er denkt Dinge mit, die er weiß oder nur ahnt, obwohl sie in der Sprachäußerung selbst nicht explizit enthalten sind. So ist unser Denken in der Lage, über Irrtümer und Widersprüche in einer Sprachäußerung hinwegzusehen, weil wir ahnen, was uns gesagt werden soll. In der Logik des Computers ist das nicht möglich.

Nicht so präzise, wie die meisten denken

Obwohl Computerprogramme auf präzisen, formalen Sprachen beruhen, ist es ein weit verbreitetes Vorurteil und vielleicht der gefährlichste Mythos, der über Computer existiert, dass Computerprogramme als Ganzes stringente, logische und in sich geschlossene Gebilde seien. Zwar gibt es eine bestimmte Art von Computerprogrammen, die auf einem überschaubaren Satz von mathematischen Regeln und gut fundierten physikalischen Theorien beruhen. Solche Programme kommen beispielsweise in der Raumfahrt zur Anwendung oder bei Fragestellungen der Grundlagenforschung. Die große Mehrzahl der angewandten Computerprogramme aber, vor allem die umfangreichsten und wichtigsten unter ihnen, die täglich in der Industrie, in der Verwaltung oder im Universitätssektor zum Einsatz kommen, sind in diesem Sinne nicht theoretisch fundiert.

„Der Mythos von der technischen, politischen und gesellschaftlichen Zwangsläufigkeit ist ein wirksames Beruhigungsmittel für das Bewusstsein. Seine Funktion besteht darin, die Verantwortung jedem von den Schultern zu nehmen, der an ihn glaubt.“ (S. 317)

Das liegt zum einen an der komplizierten Entstehungsgeschichte eines durchschnittlich großen Computerprogramms. Dieses wird in der Regel von Programmierern zusammengestellt, deren Arbeit sich über Jahre erstreckt. Mitglieder des Teams kommen und gehen, die Rahmenbedingungen der Arbeit verändern sich, die Anforderungen an das Programm werden immer wieder umformuliert, Teile werden ausgetauscht und unter anderen Bedingungen neu geschrieben – kurz, das Ganze nimmt so komplexe Formen an, dass kein einzelnes Teammitglied, geschweige denn ein Außenstehender, das Programm noch zur Gänze versteht.

„In der Rhetorik der technischen Elite ist die korrumpierte Sprache fest verankert.“ (S. 328)

Dazu kommt ein Mythos, den vor allem Computerwissenschaftler selbst pflegen, nämlich dass ein Prozess erst präzise formuliert sein müsse, bevor ein Computer ihn simulieren könne. Das ist nicht der Fall. Die leistungsfähigsten Programme zeichnen sich gerade dadurch aus, dass kein Programmierer mehr vorhersagen kann, was das Programm letztlich tun wird. Ein großes, komplexes Computerprogramm ist ein chaotisches System. Der Laie hingegen nimmt Computer immer noch durch Metaphern der Mechanik war, wie sie die Physik und die Industrie des 18. und 19. Jahrhunderts geprägt haben.

Die Erfahrungen mit ELIZA

Die Erfahrungen mit dem Computerprogramm ELIZA sind gut geeignet, um bestimmte Probleme und Gefahren im Umgang mit Computern zu veranschaulichen. ELIZA ist ein Dialogprogramm, das es dem Nutzer ermöglicht, über eine Schreibmaschine eine „Unterhaltung“ mit einem Computer zu führen, dessen Antworten ebenfalls über eine Schreibmaschine ausgegeben werden. Für ELIZA existieren verschiedene Skripte, d. h. Sammlungen von Sätzen, dazu Regeln, um Sätze zu bilden, die sich jeweils auf ein bestimmtes Thema beziehen. So kann das Programm eine Unterhaltung über die Benutzung eines Bankkontos oder über das Eierkochen führen. Eine bekannte Version ist „Doctor“, in der das Programm einen Therapeuten nachahmt. Das ist relativ einfach zu bewerkstelligen, da ein Großteil der Antworten des Computers darin besteht, die Aussagen des Gegenübers in veränderter Form zu wiederholen und dadurch zu spiegeln oder den Gesprächspartner zum Weitersprechen zu ermuntern, ohne selbst allzu viel von sich preiszugeben.

„Die instrumentelle Vernunft hat aus Worten einen Fetisch gemacht, der von schwarzer Magie umgeben ist. Und nur die Magier haben die Rechte der Eingeweihten. Nur sie können sagen, was die Worte bedeuten. Und sie spielen mit Worten und betrügen uns.“ (S. 334)

Es war erschreckend zu sehen, wie schnell die Menschen vergaßen, dass sie mit einer Maschine kommunizierten, und sich dem Programm gegenüber wie zu einem Menschen verhielten. Selbst jene, die das Programm kannten und wussten, dass es auf bestimmte Schlüsselwörter reagierte, liefen Gefahr, solches Verhalten anzunehmen. Die zweite und vielleicht noch erschreckendere Erfahrung war, wie unkritisch und geradezu begeistert manche Psychologen und Therapeuten das Programm annahmen und tatsächlich der Meinung zu sein schienen, es könne in absehbarer Zeit einen menschlichen Therapeuten ersetzen.

Wofür Computer nicht zuständig sein sollten

Computer sind aufgrund ihrer formalisierten Sprache in der Wahrnehmung der realen Welt beschränkt. Das Problem: Wie soll man damit umgehen, wenn bestimmte Aspekte der Realität nicht mit der Wahrnehmung des Computers übereinstimmen? Es gibt unzählige Beispiele dafür, wie Computerprogrammierer die Wirklichkeit ihren Programmen anpassen – indem sie die Realität auf eine Art und Weise eingeben, dass die Programme sie verarbeiten können. Sie haben aus ihrer Sicht oft keine andere Wahl, das Programm muss ja funktionieren.

„Was für eine Bedeutung könnte es haben, von Risiko, Mut, Ausdauer und Durchhaltevermögen zu sprechen, wenn von Maschinen die Rede ist?“ (S. 366)

Was bei diesem Prozess auf der Strecke bleibt, ist nicht wenig. Es existiert z. B. eine von einem Computer erzeugte Weltkarte, auf der die Lage von tausenden Erdbebenherden eingezeichnet ist und die auch die Umrisse der Platten zeigt, aus denen die Erdkruste besteht. Damit aber die Seismologen diese Karte mit vertretbarem Zeitaufwand erstellen konnten, berücksichtigten sie nur Daten, die bereits in standardisierter, computerlesbarer Form vorlagen – und das waren lediglich jene ab 1961. Das heißt, die gesamte Geschichte der Seismologie bis 1961, Tausende Beobachtungen und Messungen von Erdbeben in aller Welt, die bis dahin getätigt wurden, sind in die Karte überhaupt nicht eingegangen.

Ein abstoßendes Beispiel liefert der Vietnamkrieg. Dort bedienten Offiziere, die keine Ahnung von Computern hatten, Programme, die ihnen beispielsweise sagten, welche Gebiete eine genügend hohe Dichte an Vietcongs aufwiesen und folglich zu Bombenzielen erklärt werden konnten. Auch in diesem Fall waren wieder nur Daten eingegeben worden, die in maschinenlesbarer Form vorlagen, d. h. weitgehend solche, die von anderen Computern stammten. Hier zeigt sich auf krasse Weise, wie sogar Entscheidungen über Leben und Tod auf eine Maschine abgeschoben werden. Was dabei völlig verdrängt wird, ist, dass es in Wahrheit immer noch Menschen sind, die handeln.

Aufbau und Stil

Die Macht der Computer und die Ohnmacht der Vernunft besteht aus zehn Kapiteln plus Vorwort und Einleitung. Die Einleitung und die ersten beiden Kapitel ließen sich auch als eigenständigen Beitrag über die Entstehung des wissenschaftlich-technologischen Denkens lesen. Geht es hier um die Art und Weise, wie der Mensch das Verhältnis zu seinen Werkzeugen entwickelt, so beschreiben die folgenden Teile die Arbeitsweise von Computern. Am Schluss rücken die politischen und gesellschaftlichen Implikationen in den Vordergrund.

Weizenbaums Buch ist im Grunde ein Essay – ein zugegeben sehr langer und umfassender, der sein Thema auf vielfältige Weise umkreist und zuspitzt, in der stilistischen Qualität zuweilen schwankt, aber häufig mit verblüffenden Einsichten brilliert. Etwas aus dem Rahmen fallen jene Abschnitte, in denen es um die Funktionsweise der Computer geht: Sie haben eher nüchternen, fachlichen Charakter, während der Rest des Buches ganz von einer skeptischen, humanistisch-liberalen Grundhaltung geprägt ist. Weizenbaums Persönlichkeit bleibt hinter seinem Text immer präsent: durch die Art und Weise, wie er in seine Argumente persönliche Erfahrungen einstreut, wie er zuweilen emotional wird, wie er die Zitate auswählt oder mit Quellen umgeht. Diese persönliche Schreibhaltung stimmt mit seinem Grundanliegen überein: dem Beharren auf der individuellen Wahrnehmung, auf dem genuin Menschlichen, dem Einfordern von Zivilcourage und gesundem Menschenverstand.

Interpretationsansätze

• Weizenbaums Buch ist eine eindringliche Warnung vor der Macht der Computer – und nicht nur der Computer, sondern grundsätzlich vor der modernen Technik und ihrem bedenkenlosen Einsatz. Die Tatsache, dass Weizenbaum lange Jahre an der vordersten Front der Computerforschung gearbeitet hat, verlieht dem Buch seine besondere Argumentationskraft: Hier spricht kein Fortschrittsfeind, sondern ein Insider.
• Weizenbaum fordert immer wieder den gesunden Menschenverstand, die Autonomie des Einzelnen, den kritischen Umgang mit dem Computer und auch mit der Sprache. Diese Forderung ist heute genauso aktuell wie vor 30 Jahren.
• Weizenbaum ist ein Kritiker der künstlichen Intelligenz. Die Vertreter dieser Informatik-Fachrichtung nennt er spöttisch „künstliche Intelligentsia“ und führt ihnen vor Augen, dass ihre Reduzierung des Menschen auf ein informationsverarbeitendes System zu kurz greift und nur Ausdruck ihrer naturwissenschaftlichen Fachidiotie ist.
• Weizenbaums Haltung ist deutlich geprägt von einem zutiefst europäischen Liberalismus, Skeptizismus und Humanismus. Daher ist es nicht erstaunlich, dass das Buch in Europa, besonders in Deutschland, einen größeren Einfluss hatte als in den USA.
• Beeindruckend ist die prognostische Qualität des Buches. Als es geschrieben wurde, war selbst für Fachleute noch nicht vorstellbar, in welchem Ausmaß Computer tatsächlich einmal den Alltag durchdringen würden. Man denke nur an Börsenturbulenzen durch automatisierte Programme.

Menschen, Maschinen und Computer

Maschinen sind fast so alt wie die Menschheit. Selbst die primitivste Waffe kann bereits als einfache Maschine gesehen werden. Die große Mehrzahl von ihnen wurde und wird dafür eingesetzt, die Möglichkeiten und Fähigkeiten des Menschen zu erweitern.

Eine Zäsur in der Geschichte der Maschinen brachte der Computer. Indem er die analoge durch die digitale Wahrnehmung ersetzte, veränderte er den Umgang mit der Welt tiefgreifender, als den meisten Menschen bewusst ist. Während das 20. Jahrhundert von Erfindungen aus dem 19. dominiert wurde – nämlich elektrischer Strom, Eisenbahn, Auto, Telefon –, wird der Computer als die folgenreichste Erfindung des 20. Jahrhunderts das 21. dominieren, insbesondere durch das Internet, eine Folgetechnologie des Computers.

In den 1970er Jahren, als Weizenbaums Buch erschien, waren Computer noch schrank- bis zimmergroße Ungetüme. Obwohl jeder wusste, dass es sie gab, spielten sie in der Alltagswelt der meisten Menschen noch keine Rolle. Umso größer waren die Ängste und Unsicherheiten, die man mit ihnen verband – während andererseits die Verheißungen des kommenden Computerzeitalters in naivem Fortschrittsglauben überhöht wurden.

Entstehung

Joseph Weizenbaum arbeitete in den 50er und 60er Jahren an der vordersten Front der Computerforschung, erst in der Industrie, u. a. bei General Electric, dann am Massachusetts Institute of Technology (MIT). Dort entwickelte er 1966 das Computerprogramm ELIZA, mit dem der Nutzer in einen Dialog treten konnte. Auf der Grundlage relativ einfacher linguistischer und formaler Prinzipien reagierte das Programm auf die eingegeben Sätze. Besonders erfolgreich war die Version „Doctor“, die die Reaktionen eines Psychoanalytikers simulierte. Was Weizenbaum als Parodie gedacht hatte, entwickelte eine erschreckende Eigendynamik. Die Art und Weise, in der viele Nutzer auf das Programm reagierten, es vermenschlichten und ihre kritische Distanz völlig aufgaben, entsetzte Weizenbaum und führte bei ihm zu einer zunehmenden Skepsis gegenüber dem unkritischen Einsatz von Computern.

Die Erfahrung mit ELIZA war, wie Weizenbaum im Vorwort erläutert, die Initialzündung zur Konzeption des Buches. Dazu kam seine Wut über den Einsatz von Computern im Vietnamkrieg, der verbunden war mit bewusster Datenfälschung und dem Abschieben von Entscheidungen über Leben und Tod auf Computerprogramme. Dies bestärkte Weizenbaum in seiner Überzeugung, dass der Mensch bestimmte Arten von Entscheidungen grundsätzlich nicht dem Computer überlassen dürfe. Im Januar 1972 veröffentlichte er einen aufsehenerregenden Artikel mit dem Titel Alptraum Computer in der deutschen Wochenzeitung Die Zeit, worin er viele dieser Gedanken und Befürchtungen äußerte; im Mai desselben Jahres erschien ein ähnlicher Artikel mit dem Titel On the Impact of the Computer on Society in der Wissenschaftszeitschrift Science. Beide Veröffentlichungen, ausgeweitet und weiterentwickelt, führten schließlich zu dem 1976 erschienenen Buch Die Macht der Computer und die Ohnmacht der Vernunft.

Wirkungsgeschichte

Die Macht der Computer und die Ohnmacht der Vernunft gilt als ein Schlüsselwerk der Wissenschafts- und Technikkritik, auch weil es – im Gegensatz etwa zu den Schriften Paul Feyerabends oder Jürgen Habermas’ – von einem Insider verfasst wurde, einem Pionier seiner Branche. Zwar schreibt Weizenbaum selbst: „Ich bin mir völlig darüber im Klaren, dass ich in diesem Buch nichts sage, was nicht schon von anderen Leuten besser und deutlicher gesagt worden wäre.“ Trotzdem war sein Beitrag in der Kombination aus Prägnanz und inhaltlicher Tiefe einzigartig.

Das Buch hatte in Europa, besonders in Deutschland, eine stärkere oder zumindest anhaltendere Wirkung als in den technologisch dominierenden USA. Gut möglich, dass Weizenbaum dem fortschrittsoptimistischen Amerika – wo er immerhin den größten Teil seines Lebens verbracht hat – als allzu zögerlicher und ängstlicher Mitteleuropäer erscheint, der konservativen Humanismus mit übertriebenem Skeptizismus verbindet. Die Tatsache aber, dass Computer inzwischen unsere Lebensabläufe in einem Ausmaß und mit einer Selbstverständlichkeit dominieren, wie das vor mehr als 30 Jahren weder die kühnsten Propheten noch die kritischsten Bedenkenträger für möglich gehalten hätten, verleiht dem Buch seine ungebrochene Aktualität.