GPT-3: een wiskundegenie is nog geen talenknobbel
"GPT-3, of de sterkte en zwakte van brute kracht," lezen we in De Standaard. Het artikel zoomt in op een onderwerp waar we bij Nalantis veel over praten: GPT-3, de majestic Artificial Intelligence van OpenAI. Door tonnen data te verwerken is GPT-3 in staat om zelf teksten met inhoud te genereren. De AI zou bijvoorbeeld een gedicht, een tweet of een essay kunnen opstellen. Misschien heeft het zelfs deze blog geschreven. Who knows?
Maar is GPT-3 écht de AI van de toekomst? Om deze vraag te beantwoorden, moeten we eerst kijken naar hoe GPT-3 werkt. GPT-3 is, net als vele AI's, gebaseerd op big data, deep learning en machine learning. Dit betekent dat het gegevens verwerkt - in dit geval miljoenen online pagina's - om slimmer te worden. Er is zelfs nog meer: GPT-3 is een waar transformer-model dat gegevens extra snel verwerkt en bijleert zonder dat de data door mensen moet worden bewerkt. Helemaal autonoom, dus - ook wel unsupervised learning genoemd.
© Adobe Stock
Cathy O’Neil - Weapons of Math Destruction
Human, I don’t understand
Klinkt pro, right? En dat is het ook. Maar zoals Cathy O’Neil (Weapons of Math Destruction) het treffend stelt: “Big data processes codify the past, they do not invent the future.” Waar GPT-3’s sterkte ligt in het afschuimen en verwerken van het gigantische internet, ligt ook daar net zijn zwakte.
Het is namelijk bijzonder moeilijk om een ‘oneindig object’ als taal in een statistisch of wiskundig model te gieten. Het is een beetje zoals op school vroeger: sommigen waren goed in taal, maar snapten dan weer niets van wiskunde. En wie een kei was in rekenen had meestal niet zo veel interesse in woordenschat en grammatica. Modellen als GPT-3 zijn quasi perfecte patroonherkenners en reproduceerders (wiskunde), maar echt de betekenis van de woorden begrijpen (taalkunde) doen ze nog niet.
Een diep taalkundig product zoals een Virtuele Assistent of een Chatbot kan dus niet enkel met wiskunde aangestuurd worden. Daar ligt het verschil tussen OpenAI’s GPT-3 en de taaltechnologie van Nalantis. Bij onze aanpak gaat het wél over dat zo belangrijke ‘begrijpen’. We focussen op interactie tussen mens en machine, een concept dat er enkel kan zijn als machines ons ook effectief verstaan.
“Deep learning alone will never outperform natural language understanding (NLU). For all the progress that has been made in AI, NLU is the one hard problem that has remained fundamentally unsolved. Understanding language is the holy grail of AI.”
(No) Black Box AI
Typisch aan unsupervised deep learning modellen is ook de zogenaamde Black Box AI. Die ondoordringbare zwarte doos slaat op systemen waarbij de input en activiteiten niet zichtbaar zijn voor de gebruikers of andere geïnteresseerde partijen. Dit zorgt er niet alleen voor dat het model moeilijk te doorgronden is voor programmeurs, maar ook dat bepaalde fouten in het systeem lang onder de radar blijven.
Neem nu bijvoorbeeld AI-discriminatie. Het is geen geheim dat deep learning modellen door het internet af te schuimen ook veel foute, racistische en seksistische data verwerken. Dit is (liefst) niet de bedoeling van de makers, maar zorgt wel voor fouten en vergissingen. Zo zou een recruitment AI door onzichtbare fouten in het algoritme bij de invulling van een technische job de voorkeur kunnen geven aan cv’s van mannen boven die van vrouwen.
Bij Nalantis kiezen we bewust voor “No Black Box AI”. Transparantie is één van onze kernwaarden en door onze open aanpak vermijden we slechte prestaties en afwijkende algoritmes. Let wel: No Black Box AI is niet gemakkelijk, zeker niet nu machine learning steeds complexer wordt. Maar we geloven er sterk in dat het duurzamer is om bedrijven en overheden te laten begrijpen hoe hun data gebruikt wordt en er controle over te houden.
Let’s go hybrid
Zien wij GPT-3 dus als een bedreiging? Nee, wel als een kans. Want als je twee krachtige motoren samen inzet, krijg je een mega krachtige motor. Toch? De oplossing ligt ‘m volgens ons in een hybride technologie waarbij taalkunde converseert met wiskunde. Zoals voor een subliem groepswerk op school waarbij je een wiskundegenie laat samenwerken met een talenknobbel. Door die combinatie kunnen we een perfect begrijpend, corrigerend én zelflerend niveau bereiken dat in verschillende domeinen kan toegepast worden. Het liefst nog met een transparante AI die de Black Box overboord gooit.
Dus ... OpenAI, zullen we eens rond de tafel gaan zitten?
Geschreven door Frank Aernout, CEO bij Nalantis
Meer lezen en op de hoogte blijven?
Connecteer met Frank op LinkedIn.
