Din egen model er billigere, end du tror

Der er en regning, ingen taler højt om, når man bygger på AI. Hver gang et dokument skal læses, forstås og lægges ind i en vidensbase, koster det penge. Ikke mange penge pr. dokument, men mange dokumenter. Og det er rutinearbejde, som betales til den dyreste model på markedet.

Hos broberg.ai har vi stillet et simpelt spørgsmål: skal det virkelig være verdens klogeste model, der udfører det arbejde?

Spørgsmålet er blevet konkret i Trail, et af vores flagskibsprodukter.

Regningen ligger ved indgangen

Først en præcisering, fordi mange tror det modsatte. En vidensbase i Trail koster ikke penge hver måned, fordi viden skal vedligeholdes. En Neuron, der er kompileret én gang, ligger der. Den koster først noget igen, hvis nye fakta gør den forældet og skal skrives ind i den.

Regningen ligger ved indgangen. I Trail bliver kilder ikke hakket i stykker og indekseret. De bliver læst af en sprogmodel, som skriver en varig graf af Neurons på dine vegne. Der er hverken vektorindeks at genopbygge eller embedding-drift at holde øje med. Men den læsning koster. For en enkelt kilde er det småpenge. For en virksomhed, der lægger tusindvis af rapporter, mails, PDF'er og mødereferater ind i sin hjerne, er det ikke længere småpenge.

Det er den regning, Trail Scout fjerner.

Kurateringen er facitlisten

Det, der gør det muligt, er noget, Trail allerede gør. Modellen foreslår, mennesket beslutter, og hver ændring kan efterprøves og rulles tilbage.

Alle de beslutninger er i realiteten en facitliste. Hver godkendelse, rettelse og afvisning er et menneske, der har sagt, hvad der var rigtigt. Og en facitliste er præcis det, man skal bruge for at lære en lille model at gøre arbejdet.

Metoden kaldes destillation. En stor model er lærer, en lille model er elev, og eleven lærer at udføre netop den ene opgave lige så godt som læreren. Ikke at skrive digte eller løse matematikolympiader. Bare at læse en kilde og kompilere den korrekt til Neurons og forbindelser.

Vores egen elevmodel hedder Scout, fordi den går foran på stien og sorterer terrænet, før resten kommer til.

Kvaliteten ligger i rammerne

Den oplagte indvending er, at en lille model må være dårligere. Det er den også, hvis man lader den skrive frit. Men en stor del af kvaliteten ligger i rammerne omkring modellen.

To eksempler fra vores arbejde. Modellen skal pege på det præcise tekststykke i kilden bag hver Neuron, og et maskinelt tjek kontrollerer bagefter, at stykket faktisk står der. Kan det ikke findes, ryger Neuron'en ud. Og modellen får listen over de Neurons, der allerede findes, så den kun kan forbinde til noget, der eksisterer. Den kan ikke opfinde en forbindelse.

Ingen af delene kræver en stor model. De kræver ordentlig systemdesign. Og de gør en lille, specialiseret model påfaldende troværdig på sin egen opgave.

Fra ét projekt til en platform

Her bliver det interessant som produkt. Vi bygger ikke Scout som én model, men som den første af mange.

En virksomheds viden ligner ikke alle andres. En rådgivende ingeniør, en fysioterapiklinik og et rederi har vidt forskellige begreber, dokumenttyper og sammenhænge. Den generelle frontier-model kender dem alle sammen lidt. En model trænet på kundens egen kuraterede viden kender netop dem godt.

Trail Scout bliver derfor en platform til både træning og inferens af kundespecifikke modeller. Samme fremgangsmåde, som vi bruger på vores egen model, anvendt på kundens egen hjerne:

• Basismodellen er altid open source. Ingen kunde bliver låst til en leverandør, og licensen er kendt fra starten.
• Kundens kuraterede viden er træningsmaterialet. Den ligger der allerede, som et biprodukt af almindelig brug.
• Modellen kører, hvor kunden vil have den. På egne maskiner eller i EU.
• Prisen pr. ingest falder drastisk, fordi frontier-modellen ikke længere skal læse hvert eneste dokument.

Frontier-modellen forsvinder ikke. Den bliver nødudgangen. Når den lille model er usikker, eller noget ser forkert ud, går opgaven videre til den store. Hvor ofte det sker, er det tal, vi måler fremgang på, og det skal falde måned for måned, efterhånden som ny kuratering gør modellen bedre.

Vi tager vores egen medicin

Vi er i gang lige nu. Planen ligger, træningsmaterialet er ved at blive bygget, og de første modeller er ikke trænet endnu. Vi ved derfor ikke præcis, hvor tæt vi kan komme på frontier-modellen på vores egen opgave. Derfor måler vi det ordentligt fra starten, mod en facitliste, der aldrig har været brugt til træning, i stedet for at gætte.

Men retningen er svær at komme udenom. Det arbejde, de dyreste modeller i verden udfører i dag, er for en stor dels vedkommende rutinearbejde på snævre opgaver. Og det er præcis dét, man kan lære en lille model at gøre godt, billigt og tæt på sine egne data.

Som altid bygger vi det til os selv først. Scout skal køre på vores egne hjerner, før den bliver tilbudt til nogen andres.