At the Singularity Summit 2007, one of the speakers called for democratic, multinational development of artificial intelligence. So I stepped up to the microphone and asked:
Suppose that a group of democratic republics form a consortium to develop AI, and there’s a lot of politicking during the process—some interest groups have unusually large influence, others get shafted—in other words, the result looks just like the products of modern democracies. Alternatively, suppose a group of rebel nerds develops an AI in their basement, and instructs the AI to poll everyone in the world—dropping cellphones to anyone who doesn’t have them—and do whatever the majority says. Which of these do you think is more “democratic,” and would you feel safe with either?
I wanted to find out whether he believed in the pragmatic adequacy of the democratic political process, or if he believed in the moral rightness of voting. But the speaker replied:
The first scenario sounds like an editorial in Reason magazine, and the second sounds like a Hollywood movie plot.
Confused, I asked:
Then what kind of democratic process did you have in mind?
The speaker replied:
Something like the Human Genome Project—that was an internationally sponsored research project.
I asked:
How would different interest groups resolve their conflicts in a structure like the Human Genome Project?
And the speaker said:
I don’t know.
This exchange puts me in mind of a quote from some dictator or other, who was asked if he had any intentions to move his pet state toward democracy:
We believe we are already within a democratic system. Some factors are still missing, like the expression of the people’s will.
The substance of a democracy is the specific mechanism that resolves policy conflicts. If all groups had the same preferred policies, there would be no need for democracy—we would automatically cooperate. The resolution process can be a direct majority vote, or an elected legislature, or even a voter-sensitive behavior of an artificial intelligence, but it has to be something. What does it mean to call for a “democratic” solution if you don’t have a conflict-resolution mechanism in mind?
I think it means that you have said the word “democracy,” so the audience is supposed to cheer. It’s not so much a propositional statement or belief, as the equivalent of the “Applause” light that tells a studio audience when to clap.
This case is remarkable only in that I mistook the applause light for a policy suggestion, with subsequent embarrassment for all. Most applause lights are much more blatant, and can be detected by a simple reversal test. For example, suppose someone says:
We need to balance the risks and opportunities of AI.
If you reverse this statement, you get:
We shouldn’t balance the risks and opportunities of AI.
Since the reversal sounds abnormal, the unreversed statement is probably normal, implying it does not convey new information.
There are plenty of legitimate reasons for uttering a sentence that would be uninformative in isolation. “We need to balance the risks and opportunities of AI” can introduce a discussion topic; it can emphasize the importance of a specific proposal for balancing; it can criticize an unbalanced proposal. Linking to a normal assertion can convey new information to a bounded rationalist—the link itself may not be obvious. But if no specifics follow, the sentence is probably an applause light.
I am tempted to give a talk sometime that consists of nothing but applause lights, and see how long it takes for the audience to start laughing:
I am here to propose to you today that we need to balance the risks and opportunities of advanced artificial intelligence. We should avoid the risks and, insofar as it is possible, realize the opportunities. We should not needlessly confront entirely unnecessary dangers. To achieve these goals, we must plan wisely and rationally. We should not act in fear and panic, or give in to technophobia; but neither should we act in blind enthusiasm. We should respect the interests of all parties with a stake in the Singularity. We must try to ensure that the benefits of advanced technologies accrue to as many individuals as possible, rather than being restricted to a few. We must try to avoid, as much as possible, violent conflicts using these technologies; and we must prevent massive destructive capability from falling into the hands of individuals. We should think through these issues before, not after, it is too late to do anything about them . . .
Hi, i made this german translation if anyone is interested:
Applaus-Lichter
Pseudo-Überzeugungen
Von Eliezer_Yudkowsky
11. September 2007
Auf dem Singularity Summit 2007 rief einer der Redner zu einer demokratischen, multinationalen Entwicklung der KI auf. Also trat ich ans Mikrofon und fragte:
Angenommen, eine Gruppe demokratischer Republiken bildet ein Konsortium zur Entwicklung der KI, und während des Prozesses gibt es viel politisches Taktieren - einige Interessengruppen haben einen ungewöhnlich großen Einfluss, andere werden über den Tisch gezogen - mit anderen Worten, das Ergebnis sieht aus wie die Produkte moderner Demokratien. Alternatives Szenario: Angenommen, eine Gruppe von Rebellen-Nerds entwickelt eine KI in ihrem Keller und weist der KI an, mit jedem auf der Welt eine Umfrage zu machen (dafür bekommt jeder der noch keines hat ein Mobiltelefon) - und dann das zu machen, was die Mehrheit wünscht. Welche von diesen Optionen ist Ihrer Meinung nach "demokratischer", und würden Sie sich bei beiden sicher fühlen?
Ich wollte herausfinden, ob er an die pragmatische Angemessenheit des demokratischen politischen Prozesses glaubte oder ob er an die moralische Rechtmäßigkeit der Stimmabgabe glaubte. Der Sprecher antwortete:
Das erste Szenario klingt wie ein Leitartikel im Reason-Magazin und das zweite klingt wie ein Hollywood-Plot.
Verwirrt fragte ich:
An was für einen demokratischen Prozess haben Sie gedacht?
Der Sprecher antwortete:
So etwas wie das Human Genome Project - das war ein international gesponsertes Forschungsprojekt.
Ich habe gefragt:
Wie würden verschiedene Interessengruppen ihre Konflikte in einer Struktur wie dem Human Genome Project lösen?
Und der Sprecher sagte:
Ich weiß es nicht.
Dieser Austausch erinnert mich an ein Zitat (das ich bei Google nicht gefunden habe, aber das von Jeff Gray und Miguel gefunden wurde) von irgendeinem Diktator, der gefragt wurde, ob er beabsichtige, seinen Bananen-Republik in Richtung Demokratie zu bewegen:
Wir glauben, dass wir uns bereits in einem demokratischen System befinden. Einige Faktoren fehlen noch, wie die freie Meinungsäußerung.
Der Kern einer Demokratie ist der spezifische Mechanismus, der politische Konflikte löst. Wenn alle Gruppen die gleiche bevorzugte Politik hätten, wäre keine Demokratie erforderlich - wir würden automatisch zusammenarbeiten. Der Konfliktlösungsprozess kann eine direkte Stimmenmehrheit oder eine gewählte Legislative oder sogar ein wählersensitives Verhalten einer KI sein, aber es muss jedoch etwas sein. Was bedeutet es, eine "demokratische" Lösung zu fordern, wenn Sie keinen Konfliktlösungsmechanismus im Sinn haben?
Ich denke, es bedeutet, dass das Wort "Demokratie" gesagt wurde, und dass das Publikum Beifall klatschen soll. Es ist nicht so sehr eine aussagekräftige Aussage, als ein Äquivalent des "Applause" -Lichts, das einem Studiopublikum sagt, wann es klatschen soll.
Dieser Fall ist nur insofern bemerkenswert, als dass ich das Applaus-Licht mit einem politischen Vorschlag verwechselt habe, mit anschließender allgemeiner Peinlichkeit. Die meisten Applaus-Lichter sind offensichtlicher und können durch einen einfachen Umkehrtest erkannt werden. Angenommen, jemand sagt:
Wir müssen die Risiken und Chancen der KI ausbalancieren.
Wenn Sie diese Aussage umkehren, erhalten Sie:
Wir sollten die Risiken und Chancen der KI nicht ausbalancieren.
Da die Umkehrung abnormal klingt, ist die nicht umgekehrte Aussage wahrscheinlich normal, was bedeutet, dass keine neuen Informationen übermittelt werden. Es gibt viele legitime Gründe, um einen Satz auszusprechen, der isoliert nicht aussagekräftig wäre. "Wir müssen die Risiken und Chancen der KI ausbalancieren" kann ein Diskussionsthema einführen; es kann die Bedeutung eines spezifischen Vorschlags für die Abwägung betonen; es kann einen unausgewogenen Vorschlag kritisieren. Das Verknüpfen mit einer normalen Behauptung kann einem eingeschränkten Rationalisten neue Informationen vermitteln - die Verbindung selbst ist möglicherweise nicht offensichtlich. Wenn aber keine Besonderheiten folgen, ist der Satz wahrscheinlich ein Applaus-Licht.
Ich bin versucht, einmal einen Vortrag zu halten, der nur aus Applaus-Lichtern besteht, und zu sehen, wie lange es dauert, bis das Publikum anfängt zu lachen:
Ich möchte Ihnen heute vorschlagen, die Risiken und Chancen fortschrittlicher künstlicher Intelligenz in Einklang zu bringen. Wir sollten die Risiken vermeiden und, soweit möglich, die Chancen wahrnehmen. Wir sollten uns nicht unnötig mit unnötigen Gefahren auseinandersetzen. Um diese Ziele zu erreichen, müssen wir vernünftig und rational planen. Wir sollten nicht in Furcht und Panik handeln oder der Technophobie nachgeben. aber wir sollten auch nicht mit blinder Begeisterung handeln. Wir sollten die Interessen aller Parteien respektieren, die an der Singularität beteiligt sind. Wir müssen sicherstellen, dass die Vorteile fortschrittlicher Technologien so vielen Menschen wie möglich zur Verfügung stehen, anstatt auf einige beschränkt zu sein. Wir müssen versuchen, gewalttätige Konflikte mit diesen Technologien so weit wie möglich zu vermeiden. und wir müssen verhindern, dass massive zerstörerische Fähigkeiten in die Hände von Individuen fallen. Wir sollten diese Fragen vorher durchdenken, nicht danach, es ist zu spät, um etwas dagegen zu unternehmen ...