Edit 25.03.2023: Der Bug scheint bei GPT-4 behoben zu sein.
Edit 18.3.2023: Unterdessen habe ich festgestellt, dass das Problem seit dem Update bei GPT-3 ebenfalls besteht und allgemein hat ChatGPT grössere Probleme, sich auf den vorherigen Kontext zu beziehen. Die Lösung ist die selbe.
Am 14. März 2023 hatte ich das Vergnügen, das Update von GPT-3 auf GPT-4 zu erleben. Im Großen und Ganzen waren die ersten Versuche ziemlich beeindruckend. Doch beim Testen in ChatGPT habe ich festgestellt, dass es ein kleines Problem gibt: Texte, die die Tokenlänge überschreiten und deswegen unterbrochen werden, werden von ChatGPT nicht mehr weitergeschrieben, wenn man darum bittet. Stattdessen beginnt GPT-4 bei einem Prompt wie “continue” wieder von vorne. Aber keine Sorge, ich habe eine Lösung für dieses Problem gefunden, die ich noch mit dir teilen möchte! 😄
Der Trick ist simpel: Den letzten Abschnitt kopieren und erneut einfügen
Wenn man den letzten Abschnitt eines Textes kopiert und GPT-4 erneut damit füttert, setzt das System die Antwort genau dort fort, wo sie aufgehört hat.
Schritt-für-Schritt-Anleitung
- Generiere einen Text mit GPT-4
- Wenn die Tokens aufgebraucht sind, unterbricht ChatGPT seine Antwort.
- Kopiere den letzten Abschnitt des generierten Textes.
- Füge den kopierten Abschnitt erneut in das Eingabefeld von GPT-4 ein.
- Sobald du Enter gedrückt hast oder Chat GPT zum Weiterschreiben aufforderst, wird dieser nun den Text weiter schreiben, wo er ihn aufgehört hatte.
- Wiederhole diesen Vorgang so oft wie nötig, um den gewünschten Text in voller Länge zu erhalten.
Disclaimer
OpenAI wird das Problem vermutlich bald lösen, also hat dieser Blogpost hoffentlich nur eine kurze Haltbarkeitsdauer.