Zusammenfassung
Vor zwei Jahren habe ich ChatGPT Wissensfragen zu HPLC gestellt. Viele Antworten waren richtig, es gab aber auch frappierend falsche Antworten. Die gleichen Fragen habe ich jetzt wieder gestellt, Ergebnis:
Bezahlversion ChatGPT; bei klaren Vorgaben („Bitte antworte nach wissenschaftlichen Standards, für ein Fachpublikum und hab´ ein besonderes Augenmerk auf den Praxisbezug im Labor“) gab erstens viel mehr Antworten und zweitens alle bis auf zwei – siehe weiter unten – waren richtig und hilfreich.
Kostenlose Version, Google, Perplexity: Wesentlich kleinere Anzahl von (richtigen) Antworten, daneben auch völlig inhaltslose Aussagen.
Schließlich: Je spezifischer die Frage (z. B. Probleme bei OPA-Derivatisierung), umso spezifischer – wenn auch nicht immer treffsicher – die Antworten. Das gilt für alle hier erwähnten Tools.
Die Fragen: Retentionszeit und Bodenzahl
Eine Frage war: Wie erhöhe ich die Retentionszeit in der RP-HPLC? Lediglich folgende zwei Antworten waren bei der Bezahlversion der ChatGPT falsch bzw. – etwas milder formuliert – ungenau:
Bei Halbierung der Flussrate …
* „… bleibt die Bodenzahl zunächst ähnlich“ (diese Aussage ist nur für ≤ 1,7 µm-Teilchen und kleine Moleküle weitestgehend wahr)
* „… erfolgt keine Änderung der Selektivität“ (das gilt nur für isokratische Trennungen, bei Gradientenläufen kann bei einer Änderung der Flussrate die Selektivität sich sehr wohl ändern)
Kostenlose Version ChatGPT, Google, Perplexity:
Besonders schwierig für die Suche wird es, wenn die Antworten wahrhaftig erscheinen. So lautet eine klassische, falsche Antwort: Bei kleineren Teilchen nimmt die Retentionszeit zu. Erst durch meinen hartnäckigen Einwand, dass – falls dies eintritt – es mit einer größeren Packungsdichte bei den kleineren Teilchen zusammenhängt, waren die Tools anschließend „kleinlaut“. Ebenso hat Perplexity sehr „selbstbewusst“ behauptet, die Erhöhung des pH-Wertes führt zu einer längeren Retentionszeit. Als ich auf saure Komponenten hinwies, kam zunächst die übliche Ausrede – natürlich inkl. dem obligatorischen Lob – und dann erst die richtige Einschränkung …
Hier noch einige Beispiele, bevor ich zum Fazit komme:
Google
• Gradientenlauf: „Ein sehr starker Gradient kann die Retentionszeiten verkürzen. Versuchen Sie stattdessen, den Gradienten zu verlangsamen, um die Retentionszeiten zu verlängern und gleichzeitig die Peaks zu verschärfen“ (Peaks werden bei einem langsameren Gradienten nicht schärfer!).
• Stationäre Phase anpassen: „Verwenden Sie eine stärker polare stationäre Phase. Dies erhöht die Wechselwirkung zwischen Analyten und Säule“ (wohl bemerkt, hier ist von RP-HPLC die Rede!).
* Bodenzahl:
„Eine höhere Flussrate kann erforderlich sein, um die Trennleistung zu maximieren“ (falsch, die Trennleistung/Bodenzahl nimmt bei Flusserhöhung im üblichen Arbeitsbereich ab).
Kostenlose ChatGPT:
„In der Praxis resultiert die größte Effizienzsteigerung meist aus einer Kombination aus sauberem System, optimaler Flussrate und qualitativ hochwertiger Säule – nicht allein durch höheren Druck“ (netter Satz aber nichtssagend!)
Ich verzichte hier auf weitere Beispiele und komme nach der Recherche zum Fazit aus meiner Sicht, im Focus steht hier die Suche von wissenschaftlichen Inhalten:
• Sicherlich bekannt, kann jedoch nicht genug wiederholt werden: Klare Vorgaben, letzten Endes richtiges prompten ist bei einer Suche das A und O
• Je spezifischer die Frage, umso größer die Chance für eine „gute“ Antwort. Vermutlich gibt es weniger, dafür aber qualitativ besseres Datenmaterial zu finden
• Die hier besprochenen Tools (außer Google) erkennen Zusammenhänge; die Qualität der gefundenen Daten im wissenschaftlichen Kontext ist aber nicht immer gegeben. Genau das ist jedoch der Erfolgsschlüssel für die Suche. Und: Offensichtlich sind die verwendeten Algorithmen (noch) nicht in der Lage, wissenschaftliche Zusammenhänge auf den Wahrheitsgrad zu beurteilen. Diese digitalen Assistenten sind (noch) nicht autonom: Autonom heißt ja, gemäß Vorgaben nicht nur selbstständig richtig suchen, sondern die Ergebnisse auch beurteilen; es fehlt einfach ein vorgeschaltetes maschinelles Lernen. Das bedeutet: Es kommt bei einer wissenschaftlichen Suche mithilfe von generativen KI-Tools immer stärker auf das Urteilsvermögen und somit auf das fachspezifische Wissen der Suchenden an, diese Notwendigkeit sollte nicht unterschätzt werden.
Ich wünsche Ihnen eine schöne Vorweihnachtszeit und ein Frohes Fest (menschliche Aussage, kein Ergebnis einer KI-Suche)
