Anpassen — Anpassung und Fine-Tuning

Modelle, die Ihr Geschäft kennen und dort laufen, wo Ihre Daten liegen.

Ein allgemeines Modell kennt weder Ihre Produkte noch Ihre Begriffe oder Ihre Ausnahmen. Onega passt KI auf die leichteste Weise an Ihre Arbeit an, die Ihre Tests besteht: zuerst bessere Anweisungen und Retrieval, Fine-Tuning, wenn die Nachweise zeigen, dass es sich lohnt, und ein kleineres Modell auf Ihrer eigenen Hardware, wenn Kosten, Latenz oder Daten es erfordern.

01 — Die Stufenleiter

Die leichteste Methode, die Ihre Tests besteht.

Jede Stufe kostet in Aufbau und Pflege mehr als die vorherige, deshalb steigen wir nur auf, wenn der Evaluierungsdatensatz zeigt, dass die vorherige Stufe nicht ausreicht.

  1. 01

    Anweisungen und Richtlinien

    Prompts, Ausgabeschemata, Beispiele und Leitplanken, abgestimmt auf Ihre Fälle. Schnell zu ändern; kein Training.

  2. 02

    Retrieval

    Antworten, gestützt auf Ihre Dokumente und Datensätze, über Embeddings, Suche und Reranking, mit angezeigten Quellen.

  3. 03

    Fine-Tuning

    Open-Weight-Modelle, mit parametereffizienten Methoden an Ihren freigegebenen Beispielen angepasst, für Tonalität, Format, Klassifizierung oder Fachsprache.

  4. 04

    Destillation

    Ein kleineres Modell, darauf trainiert, bei Ihrer Aufgabe mit einem größeren gleichzuziehen, sodass es auf Hardware läuft, die Ihnen gehört, zu Kosten, die Sie planen können.

02 — Evaluierung zuerst

Nichts geht ohne Evaluierungsdatensatz live.

Vor jeder Anpassung erstellen wir einen Evaluierungsdatensatz aus Ihren eigenen Beispielen. Jede Option wird daran bewertet: das Basismodell, die abgestimmten Anweisungen, Retrieval und das feinabgestimmte Modell. Sie sehen die Bewertungen, die Fehler und die Kosten, bevor Sie sich entscheiden.

  • Testfälle aus echten, freigegebenen Beispielen, mit einer Holdout-Stichprobe, auf die niemand optimiert
  • Bewertungsregeln, abgestimmt mit den Menschen, die die Arbeit machen
  • Fehlerkategorien erfasst, nicht weggemittelt
  • Kosten pro Anfrage und Latenz, gemessen auf Ihrer Hardware
  • Regressionsläufe bei jeder Änderung an Modell, Prompt oder Daten

03 — Ihre Daten

Trainingsdaten unter Ihrer Kontrolle.

  • Das Training läuft in Ihrer Umgebung oder auf Infrastruktur, die Sie freigeben. Ihre Daten werden nicht zum Training an einen Modellanbieter gesendet, es sei denn, Sie entscheiden es so.
  • Eine dokumentierte Rechtsgrundlage und die Freigabe des Dateneigentümers, bevor personenbezogene Daten verwendet werden.
  • Schwärzung oder Pseudonymisierung der Trainingsdaten, wo die Aufgabe es zulässt.
  • Jeder Datensatz, jedes Basismodell und jedes feinabgestimmte Modell wird mit Version und Lizenz erfasst und in der KI-Stückliste von OneVeer geführt, wenn es dort bereitgestellt wird.
  • Open-Weight-Lizenzen werden vor Trainingsbeginn gegen Ihre beabsichtigte Nutzung geprüft.

04 — Bereitstellung und angepasste Lösungen

Angepasst, dann hinter Ihren Richtlinien bereitgestellt.

Bereitgestellt mit OneVeer

Auf Ihrer Hardware, hinter einem Alias.

Ein feinabgestimmtes oder destilliertes Modell wird als GGUF paketiert, sodass OneVeer es auf Ihrer CPU oder GPU hinter einem veröffentlichten Alias bereitstellen kann. Anwendungen rufen weiterhin den Alias auf; die Rückkehr zum vorherigen Modell ist eine Konfigurationsänderung, kein Release.

Onega-Produkte

Auf Ihre Prozesse konfiguriert.

Richtlinien, Aliasse und Leitplanken in OneVeer; Kategorien, Routing-Regeln, Vorlagen und Konnektoren in OneMail; Modellanbieter in OneDesk. Jede Konfiguration wird vor dem Go-live an Ihren Fällen getestet.

Lösungen, die Sie bereits besitzen

Abgestimmt und unter eine Richtlinie gebracht.

KI-Funktionen in Ihrem CRM, Servicedesk oder Ihrer Dokumentenplattform, abgestimmt und evaluiert an Ihren Fällen und, wo diese Systeme es zulassen, über OneVeer geleitet, für eine Richtlinie und einen Prüfpfad.

05 — Der Ablauf

Vom Evaluierungsdatensatz zum bereitgestellten Modell.

  1. 01

    Model Evaluation Sprint · 2–3 Wochen

    Ein Evaluierungsdatensatz aus Ihren Beispielen, Ausgangswerte für infrage kommende Modelle und Methoden, eine Prüfung von Daten und Lizenzen, eine Empfehlung und ein Festpreisangebot.

  2. 02

    Anpassen · 3–5 Wochen

    Anweisungen, Retrieval oder Training wie empfohlen, in Ihrer Umgebung, bewertet an der Holdout-Stichprobe.

  3. 03

    Begleiteter Betrieb · 2–3 Wochen

    Das angepasste Modell bei echter Arbeit, während Menschen seine Ausgaben prüfen, gemessen an der Ausgangsbasis.

  4. 04

    Übergabe

    Model Card, Datennachweis, Evaluierungsergebnisse, Regressionssuite, Bereitstellungskonfiguration und Runbook.

06 — Häufige Fragen

Fragen, die Daten- und KI-Teams stellen.

Brauchen wir Fine-Tuning?

Oft nicht. Viele Aufgaben lassen sich mit klaren Anweisungen, Beispielen und Retrieval lösen. Wir empfehlen Fine-Tuning, wenn der Evaluierungsdatensatz eine Lücke zeigt, die diese Mittel nicht schließen können, oder wenn ein kleineres, feinabgestimmtes Modell dieselbe Messlatte zu geringeren Kosten auf Ihrer eigenen Hardware erreicht.

Welche Modelle können Sie per Fine-Tuning anpassen?

Open-Weight-Modelle, deren Lizenzen Ihre beabsichtigte Nutzung erlauben, in Größen, die zu Ihrer Hardware passen. Gehostete Modelle lassen sich anpassen, wo der Anbieter es anbietet und Ihre Datenrichtlinie es zulässt. Die Lizenz und ihre Bedingungen werden im Assessment festgehalten.

Wie viele Daten brauchen wir?

Das hängt von der Aufgabe ab. Der Model Evaluation Sprint zeigt Ihnen, ob Ihre Beispiele ausreichen und von ausreichender Qualität sind, bevor Sie für ein Training bezahlen.

Wem gehört das feinabgestimmte Modell?

Das Eigentum an Gewichten, die mit Ihren Daten trainiert wurden, wird in der Leistungsbeschreibung vereinbart, bevor das Training beginnt. Die Lizenzbedingungen des Basismodells gelten in jedem Fall zusätzlich.