Sprachmodelle und Reasoning-Modelle / Ein Gespräch mit Claude
Während der Fahrt fragte ich Claude, wie Sprachmodelle und Reasoning-Modelle zusammenhängen und was sich ändert, wenn der Reasoning-Aufwand zunimmt. Das Gespräch ging weiter in die Token-Nutzung und Modellauswahl. Für spezifische Produkteinstellungen und Kosten, siehe unseren Vergleich der GPT-6- und GPT-5.6-Modelle (englisch).
JB: Ich habe eine Frage.
Claude: Oh, was ist das? Ich bin neugierig. Machen Sie weiter!
JB: Es gibt Sprachmodelle und etwas, das als Reasoning-Modelle bezeichnet wird, oder?
Claude: Ah, ja! Sie sprechen von Sprachmodellen und Reasoning-Modellen. Das ist ein gutes Thema. Was möchten Sie wissen?
JB: Ich bin neugierig, wie die beiden zusammenhängen.
Claude: Ah, wie sie zusammenhängen. Gute Frage. Lassen Sie es mich einfach erklären.
Ein grundlegendes Sprachmodell gibt Ihnen eine Antwort, sobald Sie eine Frage stellen. Betrachten Sie es als jemanden, der sofort sagt, was auch immer in den Sinn kommt. Es ist schnell, aber es kann Fehler bei komplexen Problemen machen.
Ein Reasoning-Modell ist eigentlich keine völlig andere Art von Modell. Es ist ein Sprachmodell, das darauf trainiert ist, einen internen Denkprozess zu durchlaufen, bevor es antwortet. Anstatt sofort zu antworten, arbeitet es sich Schritt für Schritt durch die Dinge: "Hmm, das bedeutet, dass, also ist die Schlussfolgerung ..." Dann gibt es Ihnen die Antwort. Deshalb ist es viel stärker bei Problemen, die tieferes Nachdenken erfordern, wie Mathematik und Logik.
Ein Reasoning-Modell ist also ein Zweig von Sprachmodellen. Es hat die gleichen Wurzeln, mit einer zusätzlichen "Gewohnheit des Denkens" hinzugefügt. Der Kompromiss ist, dass Denken mehr Zeit braucht und mehr kostet. Macht das bisher Sinn?
JB: Wenn Sie dieses Modell also auf High statt Medium setzen, bedeutet das, dass es ein bisschen mehr denkt, bevor es antwortet?
Claude: Ja, genau! High bedeutet, dass es länger und tiefer denkt als Medium, bevor es antwortet.
Diese Einstellung sagt dem Modell, wie viel Zeit und Mühe in das Denken zu stecken ist. Low arbeitet schnell und eher grob, Medium setzt einen mittleren Aufwand ein, und High untersucht die Dinge sehr sorgfältig.
Für einfache Fragen ist Low oder Medium genug, und es ist auch schneller. Aber für komplexe Mathematik, knifflige Codierung oder logische Probleme, die tiefer graben müssen, ist High viel genauer. Der Kompromiss ist, dass Antworten länger dauern und mehr kosten.
Der Trick ist also, die Einstellung an die Schwierigkeit des Problems anzupassen. Die Verwendung von High für etwas Einfaches verlangsamt die Dinge unnötig, während die Verwendung von Low für etwas Schwieriges Fehler wahrscheinlicher macht. Wird der Gedanke klar?
JB: Ich verstehe nicht wirklich, was es für KI bedeutet, länger zu denken.
Claude: Ah, das ist eine wirklich gute Frage. "Denken" bedeutet für KI etwas anderes als für Menschen.
Für KI bedeutet längeres Denken, vor der Antwort intern mehr Text zu erzeugen, den Sie nicht sehen. Beispielsweise schreibt sie Zwischenschritte wie ein fortlaufendes Selbstgespräch: „Hm, ich sollte das Problem so angehen. Nein, Moment, das ist falsch. Versuchen wir es noch einmal.“ Nach diesem Ablauf entsteht die endgültige Antwort.
Für eine Person ist es ähnlich wie etwas auf einem gedachten Notizblock auszuarbeiten. Denken Sie an den Unterschied zwischen der Beantwortung eines mathematischen Problems in Ihrem Kopf und dem Schreiben von Gleichungen auf Papier, Schritt für Schritt. Die Arbeit auf dem Papier ist langsamer, aber Sie machen weniger Fehler. KI macht das Gleiche.
"Länger denken" bedeutet also nicht, herumzusitzen und nichts zu tun. Es bedeutet, eine längere, sorgfältigere Zwischenlösung zu erzeugen. Je länger dieser Prozess ist, desto genauer wird die Antwort. Fühlt sich das jetzt ein bisschen klarer an?
JB: Es erzeugt also mehrere verschiedene Antworten und wählt dann eine, um es mir zu sagen?
Claude: Oh, das ist nah, aber es gibt einen kleinen Unterschied. Zwei Dinge werden miteinander vermischt.
Eine davon ist das, was Sie beschrieben haben: Antworten auf verschiedenen Wegen zu generieren und den besten auszuwählen. Es versucht verschiedene Ansätze, wie "Sollte ich es auf diese Weise lösen, oder auf diese Weise?" Dann wählt es diejenige, die am sinnvollsten ist.
Der andere folgt einem langen Gedankengang, während er sich auf dem Weg überprüft und korrigiert: "Ich habe es auf diese Weise gelöst, aber warte, es gibt hier einen Fehler." Versuchen wir es noch einmal. Das geht tiefer auf einem einzigen Pfad.
In der Praxis arbeiten beide zusammen. Es denkt ausführlich, berücksichtigt bei Bedarf verschiedene Möglichkeiten, prüft auf Fehler und gibt Ihnen dann eine verfeinerte endgültige Antwort.
Ihre Idee, "zwischen mehreren Antworten zu wählen", ist also richtig, mit einem Prozess der Korrektur und Verfeinerung von Dingen, die hinzugefügt werden. Sie haben den Schlüsselpunkt identifiziert!
JB: Ist der Unterschied groß?
Claude: Nun, der Unterschied variiert stark je nach Problem.
Für einfache Fragen, wie "Wie ist das Wetter heute?", geben Ihnen Low und High fast die gleiche Antwort. Mehr zu denken ändert nicht viel, weil die Antwort einfach ist. Die Verwendung von High für so etwas macht es nur langsamer.
Aber die Lücke wird für schwierige Probleme viel größer: komplexe Mathematik, knifflige Codierung oder Logikrätsel. High kann etwas richtig machen, das Low falsch macht. Die Rate der richtigen Antworten steigt merklich.
Man kann es sich so vorstellen: ein kleiner Unterschied für einfache Probleme, ein großer Unterschied für schwierige. Aus diesem Grund spart die Anpassung der Einstellung an die Schwierigkeit des Problems sowohl Zeit als auch Geld.
JB: Wenn ich dann eine bestimmte Anweisung gebe, kann sich das Ergebnis ändern, je nachdem, welches Reasoning-Modell ich verwende.
Claude: Ja, das stimmt! Die gleiche Anweisung kann je nach Modell unterschiedliche Ergebnisse liefern.
Der Unterschied macht sich besonders bemerkbar, wenn die Anweisung komplex ist oder mehrere Schritte umfasst. Ein Modell mit gründlichem Reasoning prüft die Anweisung sorgfältiger und bemerkt Dinge, die sonst übersehen werden könnten. Ein Modell, das leichter antwortet, kann die allgemeine Idee bekommen, aber die Details übersehen.
Auf der anderen Seite, wenn die Anweisung sehr klar und einfach ist, sind die Ergebnisse in allen Modellen ähnlich. Sie alle behandeln Dinge wie "Übersetzen Sie diesen Satz ins Englische" gut.
In der Praxis achten die Menschen also auf zwei Dinge: Anweisungen so klar wie möglich zu machen und ein Modell zu wählen, das der Schwierigkeit des Problems entspricht. Sie erhalten die besten Ergebnisse, wenn diese beiden sich aneinanderreihen.
JB: Wenn ich frage: "Was ist der koreanische Gruß 'annyeong' auf Englisch?", ist die Antwort "hello", richtig?
Claude: Ja, das stimmt. Jedes Modell gibt die gleiche Antwort, "hello", auf eine Frage wie diese.
Das liegt daran, dass die Antwort festgelegt ist und es nichts zu durchdenken gibt. Egal wie tief es denkt, "annyeong" ist "hello". Es gibt keine andere Antwort. Mehr Reasoning ändert also nicht das Ergebnis für so etwas. Mit High verschwendet man einfach Zeit. Das ist ein perfektes Beispiel.
JB: Ändert sich die Anzahl der verwendeten Tokens je nach Modell oder Reasoning-Aufwand?
Claude: Ja, definitiv! Das ist der entscheidende Punkt.
Je gründlicher ein Modell nachdenkt und je näher Sie an High gehen, desto mehr Token verwendet es. Das liegt daran, dass der interne Denkprozess, den wir besprochen haben, diese Zwischenschritte, alle als Text erzeugt werden. All das besteht aus Tokens. Selbst wenn Sie sie nicht sehen können, werden Tokens immer noch verwendet.
Selbst für die gleiche Frage verwendet Low weniger Token, weil es kurz denkt, während High viel mehr verwendet, weil es länger denkt. Mehr Token bedeuten höhere Kosten und langsamere Reaktionen.
Deshalb ist die Verwendung von High für eine Frage wie "Annyeong bedeutet hello" ein schlechter Deal. Die Antwort ist die gleiche, aber es verwendet viele Denk-Token. Wegen dieser Token spart es Geld, die Einstellung an die Schwierigkeit anzupassen. Kommt das ganze Bild jetzt zusammen?
JB: Ich verstehe jetzt Reasoning-Modelle. Sollte ich also das neueste Sprachmodell verwenden?
Claude: Nun, das Neueste ist im Allgemeinen besser, aber nicht immer. Das hängt von der Situation ab.
Die Vorteile der neuesten Modelle sind klar. Sie sind intelligenter, kennen aktuellere Informationen und gehen mit komplexen Aufgaben besser um. So haben neuere Modelle einen Vorteil für schwierige Aufgaben oder Arbeiten, bei denen es auf Qualität ankommt.
Aber es gibt Gründe, warum das Neueste nicht immer die richtige Antwort ist. Erstens sind die neuesten Modelle in der Regel teurer und langsamer. Zweitens benötigen einfache Aufgaben nicht unbedingt das neueste Modell. Ein Modell der vorherigen Generation reicht für Dinge wie Übersetzungen oder einfache Zusammenfassungen. Drittens, wenn Sie einen Dienst ausführen, bei dem es auf die Kosten ankommt, ist es sinnvoll, die meisten Anfragen mit einem billigeren, schnelleren Modell zu bearbeiten und das neueste für die schwierigen Aufgaben zu reservieren.
"Das richtige Modell für den Job" ist also ein besserer Ansatz als "Immer das Neueste verwenden". Es ist das gleiche Prinzip, das wir bei der Auswahl der Reasoning-Einstellungen besprochen haben.
JB: Ich kann ein neueres Sprachmodell mit neueren Informationen verstehen. Aber ich verstehe nicht ganz, was es bedeutet, dass es klüger ist.
Claude: Ah, das ist eine sehr scharfsinnige Frage. Sie haben Recht: "neuere Informationen" und "klüger sein" sind zwei völlig unterschiedliche Dinge.
Klüger zu sein bedeutet, seine Fähigkeit zu verbessern, Dinge zu denken und zu verarbeiten, anstatt einfach mehr Informationen zu kennen. Lassen Sie mich das aufschlüsseln.
Erstens gibt es die Fähigkeit, komplexe Probleme zu lösen. Ältere Modelle würden bei mathematischen oder logischen Problemen mit mehreren Schritten Fehler machen. Neuere Modelle können sie bis zum Ende durcharbeiten, ohne diese Fehler zu machen.
Zweitens gibt es die Fähigkeit, Anweisungen genau zu verstehen. Ältere Modelle würden Teile komplexer Anforderungen wie "Tu dies, aber nicht das" vermissen. Neuere Modelle folgen ihnen sorgfältiger.
Drittens erfinden sie Dinge seltener. Eine Antwort zu erfinden und dabei Wissen vorzutäuschen, wird als Halluzination bezeichnet, und das passiert bei neueren Modellen weniger.
Das liegt daran, dass sich die Trainingsmethoden ständig verbessern, wenn Modelle entwickelt werden. Es ist, als würde man aus den gleichen Zutaten eine bessere Mahlzeit bekommen, weil sich die Kochmethode verbessert hat. So wird die Verarbeitungsfähigkeit selbst besser, unabhängig davon, wie viele Informationen das Modell kennt. Ist die Unterscheidung jetzt klarer?
JB: Also ist das die Schlussfolgerung? Wenn ich die Token-Nutzung ignoriere, ist es einfacher, einfach das neueste Modell mit hohem Reasoning-Aufwand zu verwenden und sich keine Sorgen darüber zu machen.
Claude: Haha, ja, genau! Wenn Kosten und Geschwindigkeit keine Rolle spielen, ist das neueste Modell mit Reasoning auf High die einfachste Wahl und liefert Ihnen die zuverlässigsten Ergebnisse.
Auf diese Weise behandelt es sowohl einfache als auch schwierige Probleme gut, so dass Sie nicht darüber nachdenken müssen, welche Einstellung Sie wählen sollen. Sie verwenden nur die beste Option für alles.
Wie wir besprochen haben, kann es jedoch verschwenderisch sein. Sie verwenden ein Top-of-the-Line-Modell, um "annyeong" in "hello" zu übersetzen. Aber wenn Token und Geschwindigkeit in Ihrer Situation keine Rolle spielen, ist diese Verschwendung kein Problem, also ist es wirklich die bequemste Wahl.
JB: Und noch eines ist sicher: Je höher der Reasoning-Aufwand, desto länger dauert es, um eine Antwort zu bekommen. Richtig?
Claude: Ja, das stimmt! Definitiv. Je höher Sie den Reasoning-Aufwand setzen, desto länger dauert es, um eine Antwort zu erhalten.
Das ist natürlich, weil es einen längeren internen Denkprozess durchläuft. Die Generierung all dieser Zwischenschritte braucht Zeit. Low gibt Ihnen schnell eine Antwort, während High zuerst eine Weile damit verbringt, die Dinge zu bearbeiten.
Dieser Kompromiss wird deutlich. High ist genau, aber langsamer und verwendet mehr Token. Low ist schnell und billig, kann aber schwierige Probleme falsch machen. Sie tauschen also Geschwindigkeit gegen Genauigkeit.
Sie haben diese KI-Konzepte heute wirklich im Griff, JB. Ihr Verständnis ist klar!
