Azure OpenAI is je veilige omgeving met eindeloze ruimte voor innovatie
Ook het onderwijs wil met AI aan het werk. Een tijdje geleden rolden we daarom bij een grote universiteit met succes een veilige AI-chat uit met dezelfde basis als het openbare ChatGPT. Maar het ging de universiteit niet alleen om veiligheid en privacy: een eigen AI-chat vormt de basis voor toekomstige innovaties, zoals het trainen van eigen taalmodellen.
Hoe laat je docenten en studenten vrij experimenteren met AI, terwijl je zeker weet dat alle data veilig op je eigen IT-omgeving blijft? Een belangrijke vraag, waar bijna alle onderwijsinstellingen mee bezig zijn.
Zowel studenten als docenten van de universiteit waar we dit project voor deden experimenteren al vanaf het begin met ChatGPT. De universiteit was daar aan de ene kant heel enthousiast over, omdat ze veel mogelijkheden zagen om het onderwijs met AI te verrijken en omdat ze begrijpen dat het werken met AI voor hun studenten een belangrijke vaardigheid is. Maar de risico’s waren ook duidelijk: als iedereen een openbare AI-tool gebruikt, heb je totaal geen grip meer op je data. Persoonsgegevens, onderzoeksdata en gevoelige bedrijfsinformatie gaat deel uitmaken van openbare taalmodellen en je weet niet waar, wanneer en hoe die informatie weer opduikt.
Een leuk gedichtje over al je klasgenoten…
Eén voorbeeld was een student die de namenlijst van zijn klas in ChatGPT kopieerde en de AI vroeg voor iedereen een leuk gedichtje te schrijven. Het klinkt onschuldig, maar het is helaas wel een datalek. Inmiddels biedt OpenAI wel abonnementen aan waarbij de data niet wordt opgenomen in het taalmodel, en dus niet op onverwachte plaatsen en momenten kan opduiken, maar daarbij kan het bedrijf nog wel zien wie ChatGPT heeft gebruikt, wanneer en vanaf welk IP-adres. Voor veel organisaties, en ook voor de universiteit, is dit een belangrijk bezwaar.
Onze opdracht: AI, data en privacy
De universiteit vroeg ons dus om een omgeving waar iedereen die dat wilde met AI kon experimenteren, maar waar de gebruiker kon rekenen op databeveiliging én metadata-privacy. Een vraag waar we enthousiast van werden, want hier bij Blis Digital waren we, samen met Microsoft, al een tijdje aan het nadenken over hoe we AI in konden zetten voor het onderwijs. Technologisch wisten we ook al dat we het konden, omdat we hier intern al onze eigen AI-chatbot hadden gebouwd. Dat deden we op basis van Azure OpenAI, de AI van Microsoft die hetzelfde taalmodel gebruikt als ChatGPT en dus net zo krachtig is.
Gebruiksvriendelijke interface met Teams als basis
De kracht van ChatGPT is dat het voor iedereen meteen te gebruiken is. Azure OpenAI is geen kant en klare tool. Het is een dienst waarmee softwarebouwers AI kunnen gebruiken in applicaties die ze zelf bouwen. Er is dus een softwareproject nodig, voordat je als organisatie de kracht, de mogelijkheden en de veilige omgeving van Azure OpenAI kunt gebruiken. Wij kozen in dit geval voor het bouwen van een chatbot in Teams. Want Teams is binnen de universiteit de plaats waar studenten, docenten en andere medewerkers met elkaar chatten en samenwerken aan bestanden. We konden de AI daar eenvoudig aan toevoegen. Een tweede voordeel is dat beveiliging en toegang dan meteen, zonder extra werk, geregeld zijn.
Twee technische routes
Om zo’n bot te maken, kun je twee verschillende technische routes volgen. De makkelijkste manier is om een kant en klare bot uit te rollen met Copilot Studio. Dat levert met weinig werk een chatbot met heel veel mogelijkheden. Het nadeel zit hem vooral in de kosten. Voor deze aanpak had de universiteit iedere medewerker en student een Copilot-licentie moeten geven. Een kostenpost van een paar honderd euro per jaar, per gebruiker.
De andere route is om zelf een bot te maken op basis van Azure OpenAI. Dit is de optie die de universiteit koos. Vanwege de kosten, maar ook omdat deze route functioneel de meeste mogelijkheden biedt. De enige vaste kosten voor deze bot zijn die voor de hosting op Azure, tussen de 100 en 200 euro per maand in totaal. Het nadeel van deze optie is dat we er code voor moesten schrijven, die dus ook onderhouden moet worden.
Resultaat: gebruiksvriendelijke, veilige AI
Het uiteindelijke resultaat was een chatbot met dezelfde chat-ervaring als ChatGPT, maar met het uiterlijk van een Teams-chat met collega’s of klasgenoten. Zo hoeft niemand nieuwe vaardigheden te leren om met AI te kunnen experimenteren. Het is hierdoor ook mogelijk om de bot toe te voegen aan een vergadering of groepsgesprek en zo snel toegang te krijgen tot informatie. Niet op het intranet zoeken naar een document, maar aan de AI vragen: “Wat is de procedure voor het uitzetten van een vacature?”
De universiteit heeft invloed op de toon van de antwoorden en kan grip houden op de kosten door een goedkoper taalmodel te kiezen of door quota op te leggen. Dat kan zowel per chatgesprek als per gebruiker. En, het belangrijkste: alle ingevoerde data blijft binnen de IT-omgeving van de universiteit.
De bot wordt nu nog gebruikt door een testgroep van enkele honderden gebruikers. Bij een succesvolle evaluatie rollen we hem waarschijnlijk binnenkort uit naar de hele universiteit.
Een basis voor de toekomst
Privacy, veiligheid en gebruiksvriendelijkheid zijn belangrijke argumenten om een eigen AI-omgeving te hebben. Maar een eigen AI is ook een investering in toekomstige innovatie. Hij geeft je bijvoorbeeld de mogelijkheid om modellen te trainen op je eigen data en zelf de grenzen te bepalen van wat het model wel en niet doet. Openbare modellen zijn voor geneeskunde- of psychologiestudenten bijvoorbeeld onbruikbaar, omdat ze onderwerpen als seksualiteit blokkeren. Een eigen AI, speciaal voor deze faculteiten, lost dat probleem op. Azure is trouwens ook prima in staat om te werken met andere modellen dan GPT. Om kosten te besparen of om bepaalde unieke functies te gebruiken, kan een deel van de gebruikers dus ook overgezet worden naar een concurrerend of op maat gemaakt model.
Ook aan de gang met AI?
De uitdaging die deze universiteit had, heb jij waarschijnlijk ook: je wilt met AI aan de gang, omdat je weet dat daar kansen liggen. Maar AVG-compliance en veiligheid zijn belangrijke hindernissen.
Albert-Jan Schot, onze CTO, zegt daarover:
‘AI is een hype, maar helemaal onterecht is dat niet. AI gaat heel veel mensen helpen, in heel veel verschillende beroepen. Maar hoe precies, dat weten we nog niet. Daarom moet je nu beginnen met experimenteren en uitproberen, maar wel in een veilige omgeving en tussen duidelijke grenzen.’
Azure OpenAI is de plek waar je dit probleem oplost. Maar je legt met een ‘eigen AI’ ook de basis voor verdergaande experimenten, waarbij je je eigen bedrijfsdata gebruikt en eigen taalmodellen traint. Bovendien kun je zelf kiezen hoe de interactie met de AI eruitziet. Een AI-omgeving op maat is dus nu een veilige manier om te experimenteren en in de toekomst een basis voor innovatie.
MEER WETEN?
Wil je aan het werk met AI en staan je mensen klaar om ermee te gaan experimenteren? Wij helpen je snel op weg met een eerste, veilige, AI-chat en leggen daarbij meteen de basis voor de volgende stap.
