Fine-tuning
Fine-tuning ist das Weitertrainieren eines bestehenden Sprachmodells anhand eigener Beispiele, damit es einen bestimmten Stil, ein Format oder eine Fähigkeit übernimmt. Es verändert die Gewichte des Modells und brennt das Verhalten ein — es liefert kein Wissen zur Laufzeit, wie es RAG tut.
Man startet von einem vortrainierten Modell und trainiert es auf Hunderten bis Tausenden Eingabe-Ausgabe-Paaren, die genau zeigen, wie es sich verhalten soll — ein Tonfall, ein striktes Ausgabeformat, eine Klassifikation, die es immer wieder verfehlt. Ergebnis ist ein Modell, das diese eine Sache verlässlicher und oft mit kürzeren Prompts erledigt. Worin Fine-tuning schlecht ist: Fakten aktuell zu halten — was in die Gewichte gebrannt ist, bleibt eingefroren, bis neu trainiert wird.
Beim Bau eines Produkts ist Fine-tuning selten der erste Schritt und oft gar nicht nötig. Ein gut geschriebener Prompt plus RAG löst die meisten Probleme schneller und bleibt änderbar. Greifen Sie dann dazu, wenn Sie eine enge Aufgabe mit hohem Volumen haben, bei der Prompt-Anweisungen nicht reichen, oder wenn Sie konsistente strukturierte Ausgaben in Masse brauchen. Die Kosten sind real: ein sauberer, gelabelter Datensatz, Evals als Nachweis der Verbesserung und ein Plan zum Neutrainieren, wenn sich der Bedarf verschiebt. Für uns ist es ein gezieltes Werkzeug, kein Standard.
// faq
Häufige Fragen
- Muss ich Fine-tuning betreiben, um gute Ergebnisse zu bekommen?
- Meist nicht. Die meisten Teams kommen schneller weiter mit einem präzisen Prompt und RAG — beide bleiben änderbar und können Quellen nennen. Fine-tuning lohnt sich bei engen Aufgaben mit hohem Volumen, wo Prompting allein Format oder Stil nicht stabil hält. Probieren Sie erst Prompting und Retrieval, messen Sie mit Evals und tunen Sie nur, wenn die Daten eine klare Lücke zeigen.