Adattamento — Personalizzazione e fine-tuning

Modelli che conoscono il vostro business e vengono eseguiti dove risiedono i vostri dati.

Un modello generico non conosce i vostri prodotti, la vostra terminologia o le vostre eccezioni. Onega personalizza l'IA per il vostro lavoro nel modo più leggero che superi i vostri test: prima istruzioni migliori e retrieval, il fine-tuning quando le evidenze dicono che si ripaga, e un modello più piccolo sul vostro hardware quando costi, latenza o dati lo richiedono.

01 — La scala

Il metodo più leggero che supera i vostri test.

Ogni gradino costa più del precedente da realizzare e da mantenere, per questo saliamo solo quando il set di valutazione mostra che il gradino precedente non basta.

  1. 01

    Istruzioni e policy

    Prompt, schemi di output, esempi e guardrail calibrati sui vostri casi. Rapidi da modificare; nessun addestramento.

  2. 02

    Retrieval

    Risposte fondate sui vostri documenti e record tramite embedding, ricerca e reranking, con le fonti in evidenza.

  3. 03

    Fine-tuning

    Modelli open-weight adattati sui vostri esempi approvati con metodi efficienti in termini di parametri, per tono, formato, classificazione o linguaggio di settore.

  4. 04

    Distillazione

    Un modello più piccolo addestrato per eguagliarne uno più grande sul vostro compito, così da funzionare su hardware di vostra proprietà a un costo pianificabile.

02 — Prima la valutazione

Nulla va in produzione senza un set di valutazione.

Prima di qualsiasi personalizzazione, costruiamo un set di valutazione a partire dai vostri esempi. Ogni opzione viene valutata su di esso: il modello di base, le istruzioni calibrate, il retrieval e il modello sottoposto a fine-tuning. Vedete i punteggi, gli errori e i costi prima di scegliere.

  • Casi di test tratti da esempi reali e approvati, con un campione di controllo (holdout) su cui nessuno effettua ottimizzazioni
  • Regole di punteggio concordate con le persone che svolgono il lavoro
  • Categorie di errore registrate, non diluite nelle medie
  • Costo per richiesta e latenza misurati sul vostro hardware
  • Test di regressione a ogni modifica di modello, prompt o dati

03 — I vostri dati

Dati di addestramento sotto il vostro controllo.

  • L'addestramento avviene nel vostro ambiente o su un'infrastruttura che approvate. I vostri dati non vengono inviati a un provider di modelli per l'addestramento, a meno che non siate voi a deciderlo.
  • Una base giuridica documentata e l'approvazione del data owner prima che venga utilizzato qualsiasi dato personale.
  • Oscuramento o pseudonimizzazione dei dati di addestramento dove il compito lo consente.
  • Ogni dataset, modello di base e modello sottoposto a fine-tuning viene registrato con la sua versione e licenza, ed elencato nella distinta dei componenti di IA di OneVeer quando viene servito lì.
  • Licenze open-weight verificate rispetto all'uso previsto prima dell'inizio dell'addestramento.

04 — Erogazione e soluzioni personalizzate

Personalizzati, poi serviti dietro la vostra policy.

Serviti da OneVeer

Sul vostro hardware, dietro un alias.

Un modello sottoposto a fine-tuning o distillato viene impacchettato in formato GGUF, così che OneVeer possa servirlo sulla vostra CPU o GPU dietro un alias pubblicato. Le applicazioni continuano a chiamare l'alias; tornare al modello precedente è una modifica di configurazione, non un rilascio.

Prodotti Onega

Configurati sui vostri processi.

Policy, alias e guardrail di OneVeer; categorie, regole di instradamento, template e connettori di OneMail; provider di modelli di OneDesk. Ogni configurazione viene testata sui vostri casi prima del go-live.

Soluzioni che già possedete

Calibrate e ricondotte sotto un'unica policy.

Funzionalità di IA nel vostro CRM, service desk o piattaforma documentale, calibrate e valutate sui vostri casi e, dove lo consentono, instradate attraverso OneVeer per un'unica policy e un'unica traccia di audit.

05 — Come si svolge

Dal set di valutazione al modello in esercizio.

  1. 01

    Model Evaluation Sprint · 2–3 settimane

    Un set di valutazione costruito dai vostri esempi, punteggi di baseline per modelli e metodi candidati, una verifica di dati e licenze, una raccomandazione e una proposta a prezzo fisso.

  2. 02

    Personalizzazione · 3–5 settimane

    Istruzioni, retrieval o addestramento secondo la raccomandazione, nel vostro ambiente, con punteggi calcolati sul campione di controllo.

  3. 03

    Esercizio supervisionato · 2–3 settimane

    Il modello personalizzato sul lavoro reale, con persone che ne rivedono l'output, misurato rispetto alla baseline.

  4. 04

    Consegna

    Model card, registro dei dati, risultati delle valutazioni, suite di regressione, configurazione di erogazione e runbook.

06 — Domande frequenti

Le domande che ci pongono i team dati e IA.

Abbiamo bisogno del fine-tuning?

Spesso no. Molti compiti si risolvono con istruzioni chiare, esempi e retrieval. Raccomandiamo il fine-tuning quando il set di valutazione mostra un divario che questi strumenti non riescono a colmare, oppure quando un modello più piccolo e calibrato raggiunge lo stesso livello a un costo inferiore sul vostro hardware.

Su quali modelli potete eseguire il fine-tuning?

Modelli open-weight le cui licenze consentono l'uso che intendete farne, in dimensioni adatte al vostro hardware. I modelli ospitati possono essere personalizzati dove il provider lo offre e la vostra policy sui dati lo consente. La licenza e le relative condizioni sono indicate nell'assessment.

Di quanti dati abbiamo bisogno?

Dipende dal compito. Il Model Evaluation Sprint vi dice se i vostri esempi sono sufficienti, e di qualità adeguata, prima che paghiate qualsiasi addestramento.

Di chi è la proprietà del modello sottoposto a fine-tuning?

La proprietà dei pesi addestrati sui vostri dati viene concordata nello statement of work prima dell'inizio dell'addestramento. Si applicano sempre anche i termini di licenza del modello di base.