Hybrid AI – en ny dimension av möjligheter

Nuförtiden när vi pratar om AI handlar det nästan alltid om generativ AI, speciellt generativa språkmodeller. Men som Gartner säger, "AI handlar inte bara om GenAI." Efter ett par år med olika chattbotar och copilot-liknande användningar tror vi att nästa stora grej för företag och industri är hybrid AI, som blandar generativ och icke-generativ AI.

Denna blogg reflekterar över rollen av icke-generativ AI i RAG-lösningar (Retrieval Augmented Generation) och introducerar värdet av prediktiva modeller i ett nytt Hybrid AI-ramverk som vi skulle kunna kalla PAG, från orden "Prediction Augmented Generation".

Sammanfattning: Vad har hänt hittills

Låt oss börja med en sammanfattning. I början av 2023 såg vi en banbrytare dyka upp. ChatGPT kom och, äntligen, efter år av skepticism och missförstånd kring AI, kunde folk få en känsla för dess potential. Om du är som jag, testade du ChatGPT och tänkte, "Wow, den pratar faktiskt!"

Chattbotar svarade på frågor precis som en människa skulle göra. Men vi märkte snabbt problemen med de generativa modellerna bakom verktyg som GPT. Riktiga, värdefulla frågor är inte bara rolig trivia; de ser mer ut så här…

Dessa frågor kräver intern kunskap om ert företags verksamhet, affärer, produkter, kunder, interna riktlinjer och mer. För dessa frågor svarar GPT antingen med "Jag vet inte" eller så hittar den på ett svar.

Den olyckliga sanningen är att chattbottar baserade på GenAI svarade på frågor precis som en människa som inte arbetar på ert företag. 

Introducerar semantisk sökning 

Lyckligtvis har vi ett annat knep i rockärmen: Semantisk sökning. Detta gör det möjligt för en chattlösning att söka igenom hav av interna dokument för att hitta de mest relevanta informationsbitarna att använda i svaret på en fråga. Generativ AI utvecklar sedan den informationen, på gott och ont, tack vare dess otroliga förmåga att efterlikna mänskligt språk, främst baserat på internettexter. Genom sin utveckling kommer GenAI dock alltid att göra svaret mer lättförståeligt och handlingsbart.

Semantisk sökning är den "inhämtande" delen av RAG, Retrieval Augmented Generation. Det är inte generativ AI, men det är fortfarande AI eftersom en bra semantisk sökmodell är språkkunnig. Den har tränats på mänskligt språk, så den förstår sammanhanget i en fråga. Till exempel, om du ber en semantisk sökmodell att hitta den mest relevanta texten för frågan "Vilka celler tilldelas förstagångsförbrytare?" så kommer den att returnera text från riktlinjer om utrymmeshantering i ett fängelse och hoppa över all dokumentation du har om battericeller eller cancerceller.

Denna användning av icke-generativ AI för semantisk sökning har sina rötter i Natural Language Processing (NLP) och Natural Language Understanding (NLU). Och även om chatupplevelsen med RAG får oss att tänka på det som ”Generativ AI”, är det troligen den icke-generativa ”R” i ”RAG” som ger mest värde.

Så, spoiler alert: alla som använder RAG idag använder redan Hybrid AI.

Även om RAG är användbart, finns det begränsningar.

Nu märker folk ett större problem med chatbots. De mest värdefulla frågorna ser faktiskt ut så här…

Det är här RAG bryter samman, eftersom det inte finns något användbart som kan "inhämtas":

• Ett försäljningsteam inom kontorsmaterial har inget magiskt dokument som talar om för dem om John Smith sannolikt kommer att köpa en ny LCD-skärm.
• En controller för utrustning i ett gruvföretag har inget magiskt dokument som talar om för dem vilken komponent som behöver bytas ut i en borrningsenhet.
  
  

Maskininlärning och prediktiva insikter

Lyckligtvis har vi ett annat knep i rockärmen: Maskininlärning.

Kommer du ihåg ML? Det har funnits i flera år men har aldrig fått samma genomslagskraft som GPT. Kanske fick ML till och med ett dåligt rykte för att konsumera mycket PoC-tid med relativt liten påverkan. En del av orsaken kan vara att de råa utgångarna från maskininlärning är sannolikheter. Vad är sannolikheten att någon kommer att köpa en produkt? Vad är sannolikheten att någon tillhör den här kategorin? Det har visat sig vara svårt att använda en maskin som bara spottar ut sannolikheter – med andra ord, ML pratade inte…

Så låt oss sammanfatta maskininlärning. Det är en modell som lär sig av tidigare data för att förutsäga och förklara nutiden och framtiden.

För ett typiskt affärsfall av ML kan vi träna en prediktiv modell på försäljningsdata från offerter som har accepterats och avvisats tidigare. Sedan, för en ny offert, förutsäger modellen om den kommer att accepteras eller avvisas. Det fungerar eftersom accept/avvisa-beslutet påverkas av alla detaljer vi har om prospektet, produkten, priset, marknaden – till och med årstiden, vem vet.

Som en extra bonus kommer ML-prediktioner med en indikation på varför utfallet sannolikt kommer att vara på ett visst sätt. I prospekteringsexemplet ovan kan modellen förutsäga att en offert kommer att accepteras och samtidigt avslöja att, för detta specifika fall, är det den geografiska platsen för prospektet eller betalningsplanen för produkten som mest påverkar deras beslut att köpa. Sådana insikter är värdefull ammunition för försäljningsproffs när de diskuterar med prospektet. 

För ett typiskt industriellt use case kan vi träna en prediktiv modell på sensordata från online-maskiner som har fungerat bra och de som har misslyckats under det senaste året. Denna modell kan sedan känna igen tidiga tecken på fel och relatera dem till specifika maskinkomponenter – grunden för prediktivt underhåll.

Förutsägelser där fakta inte är tillgängliga

Hur prediktiva modeller ersätter semantisk sökning

Prediktiva modeller som dessa kan ersätta den semantiska sökningen i Retrieval Augmented Generation (RAG) och skapa något vi kan kalla PAG: Prediction Augmented Generation.

En PAG-lösning fungerar på ett liknande sätt som RAG, men den söker inte efter svaret på en fråga i något magiskt internt dokument som kan förutsäga framtiden. Istället utnyttjar den prediktiva modeller.

PAG-arkitekturen kompletterar maskininlärning (ML) med generativ AI (GenAI) och använder GenAI både som översättare och kommunikatör.

Som översättare kommer GenAI att:

• Först översätta den mänskliga frågan till indata för en prediktiv modell.
• Därefter översätta modellens output (sannolikheter och motiveringar) till ett meningsfullt, mänskligt svar.

Som kommunikatör kommer GenAI sedan att utveckla denna information – korrekt eller inte – genom att utnyttja sin kusliga förmåga att efterlikna mänskliga svar, främst baserat på internettext.

Denna användning av icke-generativ AI för förutsägelser sätter "P" i "PAG" och ger det största värdet, medan chattupplevelsen säkerställer att, till skillnad från många ML-modeller tidigare, kommer fördelarna att realiseras av människor som helt enkelt vill ha någon att prata med.

Precis som med RAG är resultatet ett exempel på hybrid-AI, som kombinerar GenAI med NonGen – men till skillnad från RAG erbjuder lösningen användbara råd även i frånvaro av hårda fakta.

Hybrid-AI som kombinerar icke-generativ AI med generativ AI. Exemplet med PAG.

Två typer av use cases för Prediction Augmented Generation (PAG)

Det finns många olika användningsfall för PAG, där man utnyttjar molnteknologier som både förbrukar och tillhandahåller modellprediktioner.

En grupp av use cases använder prediktioner i batchprocesser som matar ett företags datalager. Till exempel kan en prospekteringsmodell ha tränats på data från tusentals tidigare offerter. Varje offert kan ha innehållit 100 faktorer som användes för att träna modellen, inklusive information om produkter, priser, kunder, prospekter osv. Vid slutet av varje arbetsdag blir nya data tillgängliga om dessa eller nya kunder, prospekter osv., och den prediktiva modellen används för att "poängsätta" alla prospekter i dagens batch utifrån hur sannolikt det är att de köper vissa produkter. Dessa poäng sparas i en databas tillsammans med andra detaljer om prospekten, redo att användas av säljpersonalen nästa dag.

En annan grupp av use cases hämtar prediktioner från modellen "on demand." För detta skapar vi ett API som gör modellen tillgänglig, så att vilken applikation som helst kan använda den genom att skicka in de detaljer som modellen behöver för att göra en prediktion. Till exempel kan samma prospekteringsmodell ovan användas vid behov när en ny prospekt dyker upp. Först samlas de 100 faktorerna in för den nya prospekten (tillgängliga i försäljningsdatabasen), och dessa matas in i modellens API. API:et returnerar en enda poäng—som visar hur sannolikt det är att prospekten köper en viss produkt—som sedan kan användas av applikationen.

Exempel på ett PAG-fall med anonymiserade kunddata: Prospector Agent.

Låt oss se hur detta ser ut ur en säljares perspektiv som har PAG aktiverat i en AI-assistent. I de följande tre exemplen använder AI-agenten batch-poängsättning och utför följande steg:

• Tar den naturliga språkfrågan från användaren.
• Känner igen från sammanhanget att användaren söker information om färdigpoängsatta prospekter.
• Översätter den naturliga språkfrågan till krav för modellens indata: antalet prospekter som krävs och att de ska ordnas efter prioritet.
• Hämtar de bästa prospekterna från databasen där prospekterna poängsattes föregående natt.
• Hämtar kontaktuppgifterna för dessa prospekter, med vetskap om att syftet är att hjälpa säljare med prospekteringsuppgifter.
• Strukturerar den resulterande informationen i ett lättanvänt format och levererar den tillsammans med mänskliga råd.
  
  
  

Chatboten har blivit ett prediktivt stödverktyg som tillhandahåller all information som användaren behöver i samma chattfönster, vilket också kan användas för att hämta fakta om kunder och produkter, genom att använda RAG och PAG omväxlande.

Fördelarna med att använda GenAI för att tolka ML-utdata är ännu mer slående när vi introducerar ett ML-trick som kallas "förklarbarhet". Detta är när modellen ger skäl för en förutsägelse, baserat på påverkan av vissa datapunkter. Det bästa sättet att beskriva detta är genom en annan demonstration, denna gång med hjälp av on-demand förutsägelser.

I nedanstående tre exempel känner AI-agenten igen att användaren har en ny prospekt och söker modellpoäng, sedan

• Bekräftar interaktivt vilket exakt företag som övervägs som en prospekt – vilket möjliggör att nödvändiga detaljer hämtas för den prospekten.
• Hämtar prospektens detaljer och matar in dem i modellens API, som returnerar en poäng för sannolikheten att vinna försäljningen, tillsammans med vilken datapunkt som mest påverkade den förutsägelsen.
• Översätter poängen och den påverkande datapunkten till mänskligt klingande råd för användaren.

Det sista steget demonstrerar den verkliga synergien mellan prediktiv modellering och generativ AI: poängen i sig är av liten nytta för användaren. Historien har visat att siffror kan vara svåra att tolka och lita på när de är avsedda för användning i beslutsstöd. Med PAG får användaren mänskliknande råd med resonemang, inte bara en siffra. I slutändan sparas tid genom att inte följa upp svaga leads, och det finns en större chans att gynnsamma offerter görs till nöjda nya kunder.

Det föregående exemplet demonstrerade hybrid-AI med strukturerade, operativa data från affärsapplikationer. Detta representerar en stor familj av operativa användningsfall, som tillhandahåller beslutsstöd i sammanhanget av försäljning, kundsupport och CRM.

Maskininlärningsmodeller utmärker sig dock också med ostrukturerade data, såsom fysiska mätningar och realtidsövervakning av maskiner. Detta öppnar dörren för en annan familj av användningsfall inom prediktivt underhåll i industrier där utrustning och sensorer genererar tidsseriedata.

Nästa exempel representerar denna familj av användningsfall, med data från sensorer i bärbara enheter. Data samlades in i en forskningsstudie av anställda som upplevde stress under skiftarbete.

Exempel på use case med IoT-data: Stressvarning för medarbetare.

Bilden ovan illustrerar träningen av en stressprediktormodell, med både fysiska mätningar från en bärbar enhet och textdata från en skriftlig undersökning.

De fysiska mätningarna relaterar till hjärtfrekvens, svettning och rörelsesignaler, som samlats in under ett arbetsskift. Undersökningstexten kombinerar en enkel enradig beskrivning av skiftet, tillhandahållen av medarbetaren, med en bedömning av deras stressnivåer.

Genom att kombinera dessa data tränas ML-modellen så att stressnivåer kan förutsägas efter framtida arbetsskift, när medarbetaren tillhandahåller en enradig sammanfattning av skiftet och de motsvarande fysiska signaldata från den bärbara enheten samlas in för att komplettera indata till modellen.

I den följande demonstrationen använder AI-agenten on-demand poängsättning och utför följande steg:

• Tar den naturliga språkförskjutningssammanfattningen från användaren.
• Hämtar samma användares fysiska data från molnlagring (med kännedom om användarens ID).
• Tillhandahåller den kombinerade indata till ML-modellens API.
• Tar emot en poäng som indikerar sannolikheten att medarbetaren är stressad.
• Översätter poängen till meningsfulla, skräddarsydda råd.
  
  

Kombinera prediktiva modeller med GenAI.

Det sista steget demonstrerar kraften i att kombinera prediktiva modeller med GenAI: råd om vad man ska göra, specifikt för den stressnivå som modellen förutspår, berikas med den "kunskap" som modeller som GPT har från stora mängder internettext.

Råd om hälsa och säkerhet bör dock behandlas med försiktighet, och i de flesta fall skulle vi välja att ytterligare berika agentens råd med interna riktlinjer om tillgänglig hjälp eller procedurer att följa enligt arbetsgivaren. Detta återför vår gamla vän, Semantisk Sökning, i en sömlös pipeline av Prediktion, Hämtning och Generering (PRAG?).

Medarbetares stressagent representerar den bredare familjen av "prediktivt underhåll" användningsfall, där mer värde förväntas komma från industriell användning av PAG med ansluten utrustning, såsom i gruv- eller tillverkningsindustrin. I detta sammanhang kan behovet av ingripande identifieras av en lösning som övervakar IoT-data på två sätt:

1. Anomali-detekteringsmodell: när en viss signal visar oväntat beteende, vilket motiverar en inspektion.
2. Maskininlärningsmodell: när den komplexa kombinationen av flera, interagerande signaler liknar omständigheter som ledde till fel i det förflutna - något som endast avslöjas av en modell som har lärt sig av historiska data.

I båda fallen drar prediktivt underhåll nytta av Hybrid AI på följande sätt:

Modellen ger förutsägelsen (sannolikheten) för ett problem tillsammans med indikatorer på varför ett problem är sannolikt, såsom vilka specifika signaler som har störst inverkan på en förutsägelse eller vilka historiska fel som föregicks av det mest liknande beteendet. Förutsägelsen, tillsammans med skälen för att rekommendera ingripande, kan användas i en slutlig Semantisk Sökning genom teknisk dokumentation för att ge råd om vilka maskinkomponenter som bör inspekteras och ge detaljer om deras standardunderhållskrav, livscykel, etc.

PAG och demonstrationerna här är ett stort steg mot att förverkliga nästa revolution inom AI, som förutspåtts av Gartner, som föreslog att Hybrid AI skulle komma denna sommar med följande uttalanden:

"Overfocusing on Gen AI can lead to ignoring the broader set of alternative and more established AI techniques, which are a better fit for the majority of potential AI use cases."

"Organizations that develop the ability to combine the right AI techniques are uniquely positioned to build AI systems that have better accuracy, transparency and performance, while also reducing costs and need of data."

Leinar Ramos, Gartner Senior Director Analyst

Sammanfattningsvis väckte ankomsten av ChatGPT ett förnyat intresse för AI som ett kraftfullt verktyg i digitaliseringen av företag och industri eftersom – "Wow, det PRATAR!"

Men sedan introduktionen och framgången med RAG-lösningar har det blivit tydligt att rollen för Generativ AI är att sammanfatta, berika och kombinera resultaten av NonGen AI, vilket gör dessa resultat handlingsbara med större säkerhet och specifika rekommendationer.

I denna blogg har vi utökat denna hybridfilosofi för att visa fördelarna med att kombinera GenAI med prediktiva modeller från maskininlärning. Det resulterande Hybrid AI-ramverket som vi här kallar Prediction Augmented Generation (PAG), har visat sig gynna operativa användningsfall (t.ex. försäljning) samt IoT-användningsfall (visat för personlig hälsa och, i förlängningen, prediktivt underhåll av maskiner).

Men sedan introduktionen och framgången med RAG-lösningar har det blivit tydligt att rollen för Generativ AI är att sammanfatta, berika och kombinera resultaten av NonGen AI, vilket gör dessa resultat handlingsbara med större säkerhet och specifika rekommendationer.

I denna blogg har vi utökat denna hybridfilosofi för att visa fördelarna med att kombinera GenAI med prediktiva modeller från maskininlärning. Det resulterande Hybrid AI-ramverket som vi här kallar Prediction Augmented Generation (PAG), har visat sig gynna operativa användningsfall (t.ex. försäljning) samt IoT-användningsfall (visat för personlig hälsa och, i förlängningen, prediktivt underhåll av maskiner).

Om författaren

Tony Shepherd har en doktorsexamen i Computer Science från University College London, med sin avhandling inriktad på maskininlärning.  Han arbetar som Senior Consultant i twoday's Data & Analytics-team.