Zoals elk genAI-model kunnen de antwoorden van Google Gemini soms een beetje inaccuraat zijn, maar in dit geval zou dat kunnen komen doordat testers niet de expertise hebben om ze op feiten te controleren. Volgens TechCrunch laat het bedrijf dat is ingehuurd om de nauwkeurigheid van Gemini te verbeteren zijn testers nu reacties evalueren, zelfs als ze geen “domeinkennis” hebben. Vragen over de nauwkeurigheid en normen bij testen van Gemini Het rapport roept vragen op over de nauwkeurigheid en normen die Google zegt toe te passen bij het testen van Gemini.

In het gedeelte “Verantwoord bouwen” van de Gemini 2.0 aankondiging zegt Google dat het “samenwerkt met vertrouwde testers en externe experts en uitgebreide risicobeoordelingen en veiligheids- en betrouwbaarheidsevaluaties uitvoert”. Er is een redelijke focus op het evalueren van reacties op gevoelige en schadelijke inhoud, maar er wordt minder aandacht besteed aan reacties die niet per se gevaarlijk zijn, maar gewoon onnauwkeurig.

Disclaimer is niet genoeg (!) Google lijkt het hallucinatie- en foutenprobleem te negeren door simpelweg een disclaimer toe te voegen dat “Gemini fouten kan maken, dus controleer het nog een keer”, wat het bedrijf effectief vrijstelt van elke verantwoordelijkheid. Maar dat houdt geen rekening met de mensen die het werk achter de schermen doen. GlobalLogic, een dochteronderneming van Hitachi, instrueerde haar technici en analisten om een Gemini-antwoord dat ze niet volledig begrepen.