AI-chat op maat voor een grote universiteit
Voor een grote universiteit bouwden we een veilige AI-chat met dezelfde basis als ChatGPT. De universiteit wilde dat iedereen in veiligheid en privacy met AI kon experimenteren. Tegelijkertijd vorm deze eigen AI-chat de basis voor toekomstige innovaties, zoals het trainen van eigen taalmodellen.
De universiteit waar we dit project deden was heel enthousiast over AI, omdat ze veel mogelijkheden zagen om het onderwijs ermee te verrijken en omdat ze begrijpen dat het werken met AI voor hun studenten een belangrijke vaardigheid is. Maar de risico’s waren ook duidelijk…
Geen gevoelige data in openbare AI
Als iedereen een openbare AI-tool als ChatGPT gebruikt, heb je geen grip meer op je data. Persoonsgegevens, onderzoeksdata en gevoelige bedrijfsinformatie gaat deel uitmaken van openbare taalmodellen en je weet niet waar, wanneer en hoe die informatie weer opduikt. De universiteit vroeg ons dus om een omgeving waar iedereen die dat wilde met AI kon experimenteren, maar waar de gebruiker kon rekenen op databeveiliging en privacy.
Een vraag waar we enthousiast van werden, want hier bij Blis Digital waren we, samen met Microsoft, al een tijdje aan het nadenken over hoe we AI in konden zetten voor het onderwijs. Technologisch wisten we ook al dat we het konden, omdat we intern al onze eigen AI-chatbot hadden gebouwd. Dat deden we op basis van Azure OpenAI, de AI van Microsoft die hetzelfde taalmodel gebruikt als ChatGPT en dus net zo krachtig is.
AI gaat heel veel mensen helpen, in heel veel verschillende beroepen. Maar hoe precies, dat weten we nog niet. Daarom moet je nu beginnen met experimenteren en uitproberen, maar wel in een veilige omgeving en tussen duidelijke grenzen. – Albert-Jan Schot, CTO Blis Digital
AI-chat in Microsoft Teams
Azure OpenAI is geen kant en klare tool. Het is een dienst waarmee we AI kunnen gebruiken in applicaties die we zelf bouwen. Wij kozen in dit geval voor het bouwen van een chatbot in Teams. Want Teams is binnen de universiteit de plaats waar studenten, docenten en andere medewerkers met elkaar chatten en samenwerken aan bestanden. We konden de AI daar eenvoudig aan toevoegen. Een tweede voordeel is dat beveiliging en toegang in Teams meteen geregeld zijn, zonder extra ontwikkelwerk.
Deze aanpak is ook zeer kosteneffectief vergeleken bij het afnemen van licenties voor een product als Microsoft Copilot. De enige vaste kosten voor deze bot zijn die voor de hosting op Azure. Een gebruiker heeft alleen toegang tot Teams, en dus geen extra licentie, nodig om de AI te kunnen gebruiken.
Natuurlijke chat-ervaring
Het uiteindelijke resultaat was een chatbot met dezelfde natuurlijke chat-ervaring als ChatGPT, maar met het uiterlijk van een Teams-chat met collega’s of klasgenoten. Zo hoeft niemand nieuwe vaardigheden te leren om met AI te kunnen experimenteren. Het is ook mogelijk om de bot toe te voegen aan een vergadering of groepsgesprek en zo snel toegang te krijgen tot informatie. Niet op het intranet zoeken naar een document, maar bijvoorbeeld aan de AI vragen: “Wat is de procedure voor het uitzetten van een vacature?”
De universiteit heeft invloed op de toon van de antwoorden en kan grip houden op de kosten door een goedkoper taalmodel te kiezen of door quota op te leggen. Dat kan zowel per chat als per gebruiker. En, het belangrijkste: alle ingevoerde data blijft binnen de IT-omgeving van de universiteit.
Toekomstige innovaties
Een eigen AI is ook een investering in toekomstige innovatie. Hij geeft je bijvoorbeeld de mogelijkheid om modellen te trainen op je eigen data en zelf de grenzen te bepalen van wat het model wel en niet doet. Openbare modellen zijn voor geneeskunde- of psychologiestudenten bijvoorbeeld onbruikbaar, omdat ze onderwerpen als seksualiteit blokkeren. Een eigen AI, speciaal voor deze faculteiten, lost dat probleem op. Azure is trouwens ook prima in staat om te werken met andere modellen dan GPT. Om kosten te besparen of om bepaalde unieke functies te gebruiken, kan een deel van de gebruikers dus ook overgezet worden naar een concurrerend of op maat gemaakt model.
Meer weten?
Wil je aan het werk met AI en staan je mensen klaar om ermee te gaan experimenteren? Wij helpen je snel op weg met een eerste, veilige, AI-chat en leggen daarbij meteen de basis voor de volgende stap.
