De recente herintroductie van Claude Fable 5 heeft geleid tot een ongekende golf van kritiek op sociale mediaplatforms. Gebruikers beschrijven het als gebroken en geïnduceerd door beperkingen, wat twijfel zaait over de capaciteiten van het model. Deze negatieve feedback kan verrassend zijn, vooral omdat twee benchmarks met elkaar in conflicten kwamen. Terwijl BridgeBench AI een dramatische daling in prestaties rapporteerde, suggereerde Arena.AI dat er weinig verschil was in de output na de herlancering.
BridgeMind, een platform voor AI-evaluatie, voerde op de dag van de herintroductie een volledige beoordeling van Fable 5 uit. De BridgeBench-testen zijn ontworpen om de effectiviteit van AI-modellen te evalueren in realistische coderingsscenario’s zoals debugging, refactoring en weerstand tegen hallucinatietaken. De resultaten waren op zijn zachtst gezegd zorgwekkend: de score voor debugging kelderde van 86,2 naar 25,9, terwijl de score voor refactoring daalde van 73,6 naar 38,4.
Het essentiële probleem ligt echter in de methodologie. Slechts drie van de twaalf TypeScript-debuggingtaken bereikten Fable 5 daadwerkelijk. De overige vragen werden door een nieuwe veiligheidsclassifier onderschept en omgeleid naar een oudere versie van het model, Claude Opus 4.8. Hierdoor worden scores op feedback van Fable 5 op een rapport als nul geteld, omdat de uitvoerder niet het onderwerp onder evaluatie was.
Arena.AI benaderde de evaluatie vanuit een andere invalshoek door duizenden stemmen te verzamelen over de prestaties van verschillende AI-modellen in diverse categorieën. Hun analyse toonde aan dat Fable 5 in de meeste categorieën zijn positie kon behouden. De score voor frontend-codering daalde slechts licht van 1650 naar 1623 Elo, een verschil dat binnen de verwachtingsinterval valt naarmate meer data beschikbaar komt. In sommige gevallen, zoals documentanalyse, verbeterde de score zelfs aanzienlijk.
Dit legt de vinger op de zere plek: wanneer Fable 5 de kans krijgt om een taak uit te voeren, blijft het op niveau presteren. De frustratie onder gebruikers komt voort uit het feit dat ze betalen voor een model waarvan ze verwachten dat het hen helpt, maar dat vaak niet aanspreekbaar is als het de kritische taken betreft.
Voor algemene gebruikers die zich bezighouden met creatieve schrijfopdrachten, documentanalyse en expert-teksten, zullen er waarschijnlijk minimale verschillen merkbaar zijn. In deze domeinen ziet Arena.AI geen significante achteruitgang. Echter, voor ontwikkelaars is de situatie zorgwekkender. Degenen die werken met termen als “beveiliging”, “kwetsbaarheid” of “exploit” zullen regelmatig de limieten van het nieuwe classificatiesysteem ondervinden.
De discrepantie tussen de toeschrijving van BridgeBench en de prestaties van Arena hangt samen met het type taak. BridgeBench test juist die opdrachten die de nieuwe classifier mogelijk activeren, terwijl Arena zich richt op een breder gamma aan vragen die minder geneigd zijn om triggers te activeren. De huidige classificatietechnologie van Anthropic is nog niet perfect en vereisen een tijd van afstemming om de balans te verbeteren. De urgente vraag naar wanneer deze aanpassingen gerealiseerd zullen worden, blijft echter onbeantwoord.
Vraag & Antwoord
Wat zijn de belangrijkste verschillen tussen de beoordelingen van BridgeBench en Arena.AI?
BridgeBench constateerde een dramatische achteruitgang in de prestaties van Fable 5 door het effect van een nieuwe veiligheidsclassifier die veel taken omleidde. Arena.AI, daarentegen, concludeerde dat de prestaties van Fable 5 in verschillende soorten opdrachten vooral consistent bleven, hoewel er lichte variaties waren.
Welke impact heeft de nieuwe veiligheidsclassifier op ontwikkelaars?
De veiligheidsclassifier heeft vooral gevolgen voor ontwikkelaars die zich bezighouden met kwetsbare software-elementen. Het classificatiesysteem identificeert en blokkeert vaak legitieme verzoeken als ze enige gelijkenis vertonen met beveiligingsproblemen, wat leidt tot frustratie en inefficiëntie in hun werk.
Zal Anthropic de classifier in de toekomst verbeteren?
Anthropic heeft bevestigd dat de classifiers in de loop van de tijd zullen worden geoptimaliseerd. Ze erkennen dat de huidige instellingen te breed zijn en streven ernaar de efficiëntie van de classifier te verbeteren, maar er is nog geen tijdlijn gegeven voor wanneer deze verbeteringen gerealiseerd zullen worden.
