Reviews van experts over Google Gemini zijn blijkbaar niet afkomstig van experts

Zoals elk genAI-model kunnen de antwoorden van Google Gemini soms een beetje inaccuraat zijn, maar in dit geval zou dat kunnen komen doordat testers niet de expertise hebben om ze op feiten te controleren. Volgens TechCrunch laat het bedrijf dat is ingehuurd om de nauwkeurigheid van Gemini te verbeteren zijn testers nu reacties evalueren, zelfs als ze geen “domeinkennis” hebben. Vragen over de nauwkeurigheid en normen bij testen van Gemini Het rapport roept vragen op over de nauwkeurigheid en normen die Google zegt toe te passen bij het testen van Gemini.

In het gedeelte “Verantwoord bouwen” van de Gemini 2.0 aankondiging zegt Google dat het “samenwerkt met vertrouwde testers en externe experts en uitgebreide risicobeoordelingen en veiligheids- en betrouwbaarheidsevaluaties uitvoert”. Er is een redelijke focus op het evalueren van reacties op gevoelige en schadelijke inhoud, maar er wordt minder aandacht besteed aan reacties die niet per se gevaarlijk zijn, maar gewoon onnauwkeurig.



Disclaimer is niet genoeg (!) Google lijkt het hallucinatie- en foutenprobleem te negeren door simpelweg een disclaimer toe te voegen dat “Gemini fouten kan maken, dus controleer het nog een keer”, wat het bedrijf effectief vrijstelt van elke verantwoordelijkheid. Maar dat houdt geen rekening met de mensen die het werk achter de schermen doen. GlobalLogic, een dochteronderneming van Hitachi, instrueerde haar technici en analisten om een Gemini-antwoord dat ze niet volledig begrepen over te slaan.

“Als u niet beschikt over de benodigde expertise (bijv. codering, wiskunde) om deze prompt te beoordelen, sla deze taak dan over”, aldus de richtlijnen die door de krant zijn ingezien. Expertise wordt niet behandeld als een benodigdheid Maar vorige week veranderde GlobalLogic haar instructies en zei: “U moet geen vragen overslaan die gespecialiseerde domeinkennis vereisen” en in plaats daarvan “de delen van de vraag beoordelen die u begrijpt” en vermelden dat ze niet over de vereiste expertise beschikken in hun analyse.

Expertise, met andere woorden, wordt niet behandeld als een benodigdheid voor dit werk. Aannemers kunnen nu alleen prompts overslaan die “volledig ontbrekende informatie” bevatten, volgens TechCrunch, of die gevoelige inhoud bevatten waarvoor een toestemmingsformulier nodig is..