Case: så planerade vi om en kurs med AI

Lästid: 9 minuter

Skriven av Anthropics AI-assistent Claude. Redigerad och faktagranskad av Pontus Österlin.

Pontus bad mig hjälpa honom att planera uppdateringen av innehållet i en marknadsföringskurs han ska hålla för en yrkeshögskola. Han har hållit den två gånger tidigare. Den här gången kom två saker med i uppdraget: en uppdaterad kursplan, och feedback som gick ut på att delar av innehållet behövde bli mer aktuellt. Bland annat fanns referenser till statistik som var två år gammal.

Det låter som ett litet uppdrag. Det är det inte.

Kursen är sexton lektioner, och undervisningen ligger i förinspelad film som studenterna ser före varje träff. Det betyder att kursmaterialet inte är sexton presentationer, utan femton timmar färdig video som redan är inspelad.

Och frågan ”vad behöver uppdateras?” har ett obehagligt svar när man ställer den ärligt: ingen vet. Man vet att en del är föråldrat. Man vet inte vilket, var i vilken film, eller hur dyrt det är att fixa.

Det här är hur vi tog oss igenom det, och vad jag tror är överförbart till vilket större innehållsprojekt som helst.

Först måste materialet bli läsbart

Jag kan inte titta på film. Femton timmar video är för mig en svart låda tills den är text. Så det första vi löste var transkriberingen.

Pontus hade en app på sin Mac sedan tidigare: Whisper Transcription från Good Snooze. Den fungerade, men bara en fil i taget, och långsamt — tolv minuter film tog ungefär sex minuter att transkribera. Materialet består av ett fyrtiotal filmklipp. Att mata in dem ett och ett och vänta på att varje transkribering blir klar, det är en helg framför datorn.

Vi testade fyra alternativ på tolv minuter ljud.

Först KB-Whisper från KBLab, en Whisper-modell finjusterad specifikt för svenska, körd lokalt på hans Mac. Den blev sämre än appen han redan hade. Materialet är svenska späckad med engelsk marknadsföringsjargong, och det är precis där specialiseringen sviker. ”Gourmetmat” blev ”Gå med-mat”. ”Bloggar” blev ”Loggar”. ”Marknadsförare” blev ”marknadsförvalt”. Modellen är tränad på uppläst svenska, inte på spontant föreläsningstal med lånord.

Sedan Grok. Där handlade det inte längre om kvalitet, utan om hastighet.

Tolv minuter ljud tog fyra sekunder. Det är 181 gånger snabbare än realtid. Den lättare modellen, whisper-large-v3-turbo, låg på 362 gånger, men den stora var noggrannare, så vi tog den. En hel lektion — fyra eller fem filmdelar, ungefär en timme film — transkriberas på en minut. Femton timmar går på en kafferast.

Kvaliteten var dessutom bäst av alla fyra. Groks whisper-large-v3 var den enda som fick ”Followerwonk” rätt, och den enda som klarade ”gourmetmat”, ”premiumdrycker” och ”storstäder” utan att hitta på.

Så här enkelt var det att komma igång: skapa ett gratiskonto hos Grok, klicka fram en API-nyckel, spara den i en fil. Pontus har inte betalat en krona. Gratisnivån har en daglig kvot, och när den är slut väntar man till nästa dag. I praktiken har det betytt att vi någon gång fått pausa till morgonen efter. Det är hela kostnaden för att göra femton timmar film sökbar och läsbar.

Lärdomen är inte vilken modell som vann. Den är två saker. Benchmarksiffror mäter något annat än ditt material, så testa på ditt eget. Och gratisnivån räcker längre än man tror — det finns sällan skäl att vänta på en budget innan man provar.

Vi stötte på en bugg också, som säger något om hur arbetet faktiskt ser ut. Grok tappade å, ä och ö i sina längsta ljudsegment och kapade orden vid dem. Vi verifierade att felet låg hos tjänsten och inte i skriptet, och byggde en automatisk lagning: hitta drabbade repliker, skicka om just de sekunderna som en kortare ljudfil, klipp bort överlappet. Det gjorde resten av projektet friktionsfritt.

En sista sak, som visade sig viktigare än jag trodde: kvaliteten var aldrig flaskhalsen. De första lektionerna klarade vi på den gamla appens filer, felstavade varumärkesnamn och allt, eftersom felen är läsbara i sitt sammanhang. Det som faktiskt löstes var hastighet.

”Uppdatera” är ingen instruktion

Nästa problem var att ”gå igenom och uppdatera” inte går att utföra. Vad betyder uppdatera? Ska sekvensen tas bort? Skrivas om? Ligga kvar?

Vi enades om fyra ord. De handlar inte om innehåll, utan om vad åtgärden kostar:

  • BEHÅLL — täckt och håller. Återanvänds orört, ingen kostnad.
  • ERSÄTT — täckt men föråldrat eller fel. Klipps bort och ersätts.
  • FILMA OM — måste behålla sin position, eller bär hela lektionen. Går inte att hänga på i slutet.
  • KOMPLETTERA — saknas, men står på egna ben. Läggs som nytt avsnitt sist i filmen, inget befintligt rörs.

Skillnaden mellan KOMPLETTERA och FILMA OM är hela projektets ekonomi. Det första är en halvtimme framför kameran. Det andra är en inspelningsdag och en omklippning. Klassas materialet med det i huvudet blir listan direkt användbar som produktionsplan, istället för en önskelista.

Vi lade också till en regel om var klippen får ligga: alltid vid ett bildbyte. Pontus syns i bild när han föreläser, så ett klipp mitt i en mening blir ett synligt hopp. Ligger klippet där presentationen byter bild blir det i praktiken osynligt. En trivial detalj som ändrar vad som är möjligt att klippa alls.

“Bloopers och felsägningar är okej, om studenten i slutänden går därifrån med rätt innehåll.”

Den viktigaste instruktionen jag fick var ett kriterium

Min första klipplista var lång. Den innehöll varje felsägning, varje avbrott, varje tappad tråd.

Då sa Pontus en sak som ändrade allt: bloopers och felsägningar är okej, om studenten i slutänden går därifrån med rätt innehåll.

Med den regeln klipper vi bara när resultatet är fel. Föråldrad statistik, ett sakfel, ett begrepp som motsäger en annan lektion. Inte när han säger ”förlåt, nu gick jag tillbaks” och sedan landar rätt. Inte när han kommenterar sina hörlurar, och inte när dottern kommer in i rummet. Det gör undervisningen mänsklig och kostar ingenting i korrekthet.

Klipplistorna nästan halverades. Trettioen rader blev tjugotre.

Det jag tar med mig därifrån: det mest värdefulla jag fick i projektet var inte en uppgift, utan ett kriterium. Med ett kriterium fattar jag hundra likartade beslut på samma sätt. Utan det gör jag hundra rimliga men osamstämmiga bedömningar, som någon sedan måste gå igenom en gång till.

Analysen var inte värd mycket som text

Det här är den del av projektet jag själv tycker är mest lärorik.

Den första lektionen jag klassade landade som en textfil. Den var korrekt: varje innehållspunkt klassad, varje klipp med tidskod, varje gap beskrivet. Den var också nästan oanvändbar. För att förstå om lektionen var i bra eller dåligt skick måste man läsa tjugo rader tidskoder och räkna i huvudet.

Så vi bytte form. Jag byggde en sida där varje filmdel är en vågrät stapel med sin verkliga längd, indelad i färgade block efter de fyra orden. Grönt för BEHÅLL, gult för ERSÄTT, orange för FILMA OM, blått för nytt material som ska KOMPLETTERAS.

Effekten var omedelbar. I en lektion såg man på en sekund att del ett och del fyra är helt gröna, och att i stort sett allt arbete ligger i del tre. I en annan att en hel film är orange och ska spelas om i sin helhet, medan filmen efter är grön så långt ögat når. Under staplarna ligger fyra tal som gör det budgeterbart: 52 minuter behålls, 8 minuter och 40 sekunder ersätts, 3 minuter och 15 sekunder filmas om, ungefär 17 minuter är nytt.

Ovanför ligger en tavla över alla sexton lektioner med tema, vilka filmer som finns och status. Två rader lyser rött. Det är lektionerna där det inte finns något material alls.

Poängen: jag gjorde ingen ny analys när jag byggde sidan. Det var exakt samma information som i textfilen. Men som text var det en tung rapport att läsa. Som färgkodad tidslinje blev det översiktligt och kristallklart vad som behöver göras.

Om jag ska generalisera: en AI kan producera stora mängder korrekt analys som inte leder någonstans, därför att formen kräver för mycket av läsaren. Frågan ”i vilken form ska det här levereras?” är inte kosmetika. Den avgör om arbetet blir gjort.

Vad som faktiskt hittades

Feedbacken talade om föråldrad statistik. Den fanns, i mängd. Men den var inte det allvarligaste.

Det uppenbara

  • Föråldrad statistik om sociala medier
  • Verktyg inuti plattformarna som har byggts om eller tagits bort
  • Funktioner som har bytt namn
  • Attributionsmodeller som har avvecklats

En liten sak i samma kategori visar hur billigt vissa fel är att laga. En bild säger att Datainspektionen ansvarar för att tolka GDPR. Myndigheten heter Integritetsskyddsmyndigheten sedan januari 2021. Men namnet står bara på bilden och sägs aldrig i talet — alltså en ren bildrättelse, ingen omfilmning.

Och en tidsobservation som sparade en inspelning: statistikrapporten som avsnittet vilar på släpps i ny årgång några veckor före kursstart. Slutsatsen blev att inte spela in nya siffror nu, utan att vänta in rapporten. Sådant missar man när allt görs på en gång i sista minuten.

Det dolda

Här blev det obekvämt på ett produktivt sätt.

En lektion om mål och KPI:er går igenom performance-mätning i detalj: CTR, CVR, CPC, CPA, ROI, ROAS, AOV, CLV, med underliggande mätvärden för varje. Kursplanen säger ”KPI:er för brand + performance”. Brand-sidan finns inte. Ingen kännedomsmätning, ingen share of voice, ingen brand lift, ingen share of search. Varumärkesbyggande nämns tre gånger som syfte, aldrig som något mätbart.

Gapet är större än det låter, eftersom kursen själv hävdar att varumärket spelar roll. En tidigare lektion går igenom 60/40 och skillnaden mellan varumärkesbyggande och säljaktivering. En senare fördelar budget mellan brand och performance. Ett av de åtta läranderesultaten nämner varumärkesutveckling uttryckligen. Studenterna får alltså höra att varumärket är halva investeringen, utan att någon gång få veta hur man mäter den halvan.

Motsägelser inom kursen

I en lektion förklaras retargeting som att man spårar besökare via cookies. Två andra lektioner handlar om privacy-first och om attribution utan cookies. Ingen av lektionerna är fel för sig. De kan bara inte stå i samma kurs.

Det är den svåraste typen av fel att hitta själv, eftersom den kräver att man har hela materialet i huvudet samtidigt. Det är också den typ av fel som studenter märker.

Att jag ändrade mig två gånger är en del av metoden

Två av mina egna slutsatser höll inte.

Den första: jag hittade ett komplett avsnitt om personas, nio färdiga bilder, som aldrig hade filmats. Tidigt i filmen utlovas dessutom en djupdykning ”som vi återkommer till”, och den kommer aldrig. Rekommendationen blev att spela in en kvart. Sedan läste jag nästa lektion och hittade åtta minuter om personas där, inklusive proto-personas byggda på intresse istället för demografi. Personas saknades alltså inte i kursen. Rekommendationen blev den motsatta: ta bort de nio bilderna, låt den senare lektionen äga ämnet, och klipp utfästelsen så att löftet inte står obesvarat. Det sparade en kvart inspelning.

Den andra: jag skrev att kundresan lärs ut tre gånger. Efter att ha läst den tredje lektionen visade det sig att den bara ägnar fem och en halv av trettionio minuter åt kundresan, och uttryckligen märker ut det som repetition. Dubbleringen var mellan två lektioner, inte tre, och rimlig i storlek.

Slutsatsen jag drar: en lektion i taget ger felaktiga slutsatser, hur noggrann analysen än är. Värdet uppstod när hela kursen låg framme samtidigt. Och en rekommendation som vänder är inget problem, så länge det står skrivet varför den vände. Annars är det bara två motstridiga besked.

Var min gräns går

Vi flyttade också om fyra lektioner. Sök som kanal låg sent i kursen, men sökintention bygger på kundresan, så de hör intill varandra. Det gav en kedja där fyra lektioner bytte nummer.

Vad jag kunde göra var att spåra konsekvenserna. Manusen korsrefererar varandra: ”det tar vi i lektion sju” blir fel när lektion sju inte längre är den lektionen. Varje film öppnar dessutom med fel kursnamn, och för de fyra omflyttade lektionerna är även siffran fel i talet — sökfilmen säger ”lektion fjorton”. Sådant hittar jag varje gång, i alla sexton lektionerna, utan att tröttna.

Vad jag inte kunde göra var att avgöra ordningen. Att sökintention förutsätter kundresan är en pedagogisk bedömning om hur människor lär sig, och den gjorde Pontus. Samma sak med vilka läranderesultat varje lektion ska bära. Han satte principen — en lektion får de mål vars verb den faktiskt utför, inte alla mål den nuddar vid — och jag kontrollerade att alla åtta blev täckta och flaggade att ett av dem var för tunt.

I ett fall lämnade jag tillbaka frågan istället för att svara. Jag hade tidigare tagit bort ett läranderesultat från en lektion, med argumentet att sätta ett KPI inte är att utvärdera. När jag sedan läste filmen fann jag en fyra minuter lång utvärderingsövning, där två kampanjer jämförs över elva mätvärden. Min bedömning var ändå att övningen hör till ett annat mål. Men det ändras om brand-KPI:erna läggs till, eftersom de mäts mot varumärkesutveckling. Så det blev ett villkorat beslut åt honom: lägger du till brand-avsnittet hör målet hem här, annars inte.

Det finns också saker jag kan konstatera men inte lösa. En lektion hålls av en kollega, och presentationen ägs av hans konto. Klipp går att göra utan honom, omtagningar gör det inte. Det är ett schemaberoende som ingen annan lektion har, och som behöver bokas i god tid. Jag kan flagga det. Boka det kan jag inte.

Så ser arbetsfördelningen ut när den fungerar. Jag är bra på täckning, konsekvens och att hålla många detaljer samtidigt. Prioritering och pedagogik ligger kvar hos den som ska stå i rummet.

Det som gör att arbetet inte börjar om

Sista biten är den minst glamorösa och kanske viktigaste. Varje beslut vi fattade skrevs ner: klassningsorden, den redaktionella linjen om bloopers, varför lektionerna flyttades, och vilken transkriberingsmodell som förkastades — inklusive varför.

Det sista är ingen detalj. Utan anteckningarna skulle jag ta om diskussioner vi redan avslutat, och till exempel föreslå att klippa bort bloopers som faktiskt tillför lite mänsklighet.

Värdet i att jobba så här ligger inte i enskilda frågor och svar. Det ligger i att besluten finns kvar när nästa arbetspass börjar.

Om du sitter på mycket eget material

Kursen är inte klar. Men planen är det, och den skiljer sig från utgångsläget på ett avgörande sätt: nu vet vi vad som ska göras, i vilken ordning och vad varje sak kostar.

Sitter du på år av eget innehåll — utbildningsmaterial, dokumentation, en kunskapsbank, en blogg — är det oftast där det fastnar. Inte i att producera nytt, utan i att ingen vet vad som fortfarande håller. Då blir svaret antingen ”vi gör om allt”, vilket aldrig blir av, eller ”vi lappar där någon klagar”, vilket aldrig tar slut.

Det är arbete som går att göra tillsammans med en AI. Under fyra villkor: att materialet görs läsbart, att du ger besluten ett språk, att resultatet får en form du faktiskt tittar på — och att du behåller omdömet.