Introductie van de AI Edge Gallery
Google heeft een nieuwe applicatie uitgebracht die aanvankelijk niet op de publieke radar stond, maar inmiddels de nieuwsgierigheid van velen heeft gewekt: de AI Edge Gallery. Gelanceerd op 31 mei, brengt deze experimentele app kunstmatige intelligentie rechtstreeks naar uw smartphone zonder afhankelijkheid van de cloud, internetverbinding, of het delen van uw gegevens met de servers van grote technologiebedrijven.
Offline Functionaliteit en Beschikbaarheid
De app, uitgebracht onder de Apache 2.0-licentie, biedt iedereen de mogelijkheid om deze voor diverse toepassingen te gebruiken en is momenteel beschikbaar op GitHub, met de Android-versie als eerste. Een iOS-versie volgt binnenkort. Het maakt gebruik van modellen zoals Google’s Gemma 3n volledig offline, waardoor taken zoals beeldanalyse en het schrijven van code uitsluitend op basis van de hardware van uw toestel worden uitgevoerd. Het resultaat is opmerkelijk goed.
Hoofdfunctionaliteiten van de Applicatie
De AI Edge Gallery richt zich primair op ontwikkelaars en bevat drie belangrijke functies: AI Chat voor conversaties, Ask Image voor visuele analyses, en Prompt Lab voor enkelvoudige taken zoals tekstherformulering. Gebruikers kunnen modellen downloaden van platforms zoals Hugging Face, hoewel de keuze beperkter is tot formaten zoals Gemma-3n-E2B en Qwen2.5-1.5 B.
Gebruikerservaring en Prestatieanalyse
Op Reddit ontstond onmiddellijk discussie over de noviteit van de app, waarbij gebruikers existing oplossingen zoals PocketPal in twijfel trokken. Bezorgdheid over de beveiliging werd geuit, maar het feit dat de app gehost wordt op Google’s officiële GitHub biedt enige geruststelling. Tot nu toe zijn er geen aanwijzingen voor malware geconstateerd. Bij onze testen op een Samsung Galaxy S24 Ultra, resulteerden zowel de grootste als de kleinste Gemma 3-modellen in een spannende ervaring. Elke AI-model vormt een zelfstandig bestand dat al zijn “kennis” bevat. Dit is vergelijkbaar met het downloaden van een gecomprimeerde momentopname van alles wat het model tijdens zijn training heeft geleerd.
Offline Capaciteiten en Prestatieniveaus
Na het downloaden van een model is er geen verdere data nodig; het model draait volledig op uw apparaat en beantwoordt vragen op basis van zijn eerder opgedane kennis. Bij gebruik van modellen van grotere omvang zijn de prestaties niet razendsnel, maar बने ze goed bruikbaar. De kleinere Gemma 3 1B haalt sneller dan 20 tokens per seconde, wat zorgt voor een soepele ervaring met betrouwbare nauwkeurigheid.
Deze eigenschappen zijn cruciaal bij offline gebruik of bij het omgaan met gevoelige gegevens die gebruikers niet willen delen met technologiebedrijven, wiens trainingsalgoritmes standaard gebruik maken van de ingevoerde data, tenzij gebruikers zich actief afmelden.
Technische Prestaties en Inference
Bij het beoordelen van de prestaties leverde GPU-inference op het kleinste Gemma-model indrukwekkende snelheid boven de 105 tokens per seconde, terwijl CPU-inference 39 tokens per seconde wist te behalen. De gemiddelde output bij token generatie lag rond de 10 tokens per seconde op GPU en zeven op CPU. Voor multimodale toepassingen presteerde de app aanzienlijk tijdens tests.
Grafische verwerkingen met CPU-inference toonden vaak betere resultaten dan met GPU-inference, wat in meerdere tests werd waargenomen. Bijvoorbeeld, tijdens het uitvoeren van een visuele taak gokte het model mijn leeftijd en die van mijn vrouw correct: eind 30 voor mij, eind 20 voor haar.
Beperkingen en Geografische Vrijheid
De modellen die Google biedt zijn zwaar gecensureerd, maar met minimale inspanning kunnen enkele basis jailbreaktechnieken worden toegepast. In tegenstelling tot gecentraliseerde diensten die gebruikers bestraffen voor pogingen tot omzeiling, rapporteren lokale modellen niet over uw prompts, wat gebruikers de vrijheid geeft om zonder risico op sancties experimenten uit te voeren.
Derde partijmodelondersteuning is beschikbaar, maar beperkt tot .task-bestanden. Dit sluit de breed geaccepteerde .safetensor-formaten uit, die door concurrenten zoals Ollama worden ondersteund. Dit heeft gevolgen voor de beschikbare modellen, hoewel er methoden zijn om .safetensor-bestanden om te zetten, is dit niet voor elke gebruiker eenvoudig. Voor basisfunctionaliteiten, zoals herformuleren, samenvatten en het uitleggen van concepten, zijn de modellen uitstekend zonder dat de data naar Google of Samsung wordt verzonden.
Voordelen van Lokale Modellen
Het gebruik van lokale modellen heeft aanzienlijke voordelen. Ten eerste blijft gevoelige informatie privé, wat cruciaal is voor bijvoorbeeld zorgverleners of journalisten die met vertrouwelijke gegevens werken. “Geen internet vereist” betekent dat deze technologie ook in afgelegen gebieden of tijdens het reizen werkt, met alle antwoorden die alleen zijn gebaseerd op de kennis die het model tijdens de training heeft vergaard.
Kostenbesparingen kunnen snel oplopen. Cloud-AI-diensten brengen kosten in rekening per gebruik, terwijl lokale modellen enkel de verwerkingskracht van uw telefoon vereisen. Kleine bedrijven en hobbyisten hebben de mogelijkheid om te experimenteren zonder doorlopende kosten.
Het gebruik van lokale modellen betekent dat er geen quota, kredieten of abonnementskosten zijn en geen noodzaak om betalingen te verrichten voor interacties. Bovendien is de latentie aanzienlijk verbeterd; er zijn geen server rondreizen meer nodig, wat leidt tot snellere reacties, wat vooral voordelig is voor real-time applicaties zoals chatbots of beeldanalyses.
Toekomstige Uitdagingen
Hoewel deze applicatie voor basisfunctionaliteiten meer dan voldoende kan zijn voor gebruikers, zijn er nog enkele uitdagingen voor een breed gebruik. De batterijduur is een punt van zorg, vooral bij grotere modellen; de installatie kan niet-technische gebruikers afschrikken en de variëteit aan modellen is beperkt in vergelijking met cloud oplossingen. Google’s keuze om .safetensor modellen niet te ondersteunen is een teleurstelling.
Desondanks geeft de experimentele release van Google een signaal van een verschuiving in de manier waarop AI wordt ingezet. In plaats van gebruikers te dwingen een keuze te maken tussen krachtige AI en privacy, biedt Google beide, zelfs al is de ervaring nog niet optimaal. De AI Edge Gallery levert voor een alpha-release een verrassend gepolijste gebruikerservaring, en Google’s optimalisatie toont aan dat ze mogelijk de beste gebruikersinterface voor lokaal lopende AI-modellen hebben ontwikkeld.
Conclusie en Aanbeveling
Het toevoegen van .safetensor-ondersteuning zou de toegang tot een breed scala aan bestaande modellen vergemakkelijken, waardoor deze goede app een essentiële tool wordt voor privacybewuste gebruikers van AI. Deze ontwikkeling kan van grote waarde zijn in een tijd waarin dataprivacy steeds belangrijker wordt.
Vraag & Antwoord
Wat zijn de belangrijkste functies van de AI Edge Gallery?
De app biedt AI Chat voor conversaties, Ask Image voor visuele analyses, en Prompt Lab voor enkelvoudige taken zoals tekstherformulering.
Hoe verwerkt de app data zonder internetverbinding?
De AI Edge Gallery draait modellen volledig offline, waardoor alle berekeningen en analyses worden uitgevoerd met behulp van de hardware van uw toestel.
Wat zijn de voordelen van het gebruik van lokale AI-modellen?
De voordelen zijn onder andere verbeterde privacy, lagere kosten, en snellere reacties zonder afhankelijkheid van cloud-gebaseerde services.
