La Google I/O 2024 résumée en 15 annonces : Gemini 1.5 Pro, Project Astra, AI Overview, Gmail, Andoid 15, Veo, etc. (2024)

N’hésitez pas à nous rejoindre sur Twitch, nous suivons la Google I/O 2024 en direct sur Frandroidlive, avec un plateau des grands soirs !

Et c’est parti pour la Google I/O 2024 ! Avec l’inévitable Sundar Pichai pour lancer les festivités à Mountain View !

Le patron de Google commence directement par Gemini en rappelant à quel point son entreprise s’investit à fond dans ce grand modèle de langage pour propulser « la prochaine génération d’outils IA ». Applications, recherche web, Android… Tous les services de Google seront, d’une manière ou d’une autre, concerné par ces évolutions.

L’AI Overview ou Search Generative Experience (SGE) s’apprête à être déployé massivement et à offrir une expérience de recherche beaucoup plus intuitive et pertinente. Pour rappel, c’est un résumé des réponses à vos requêtes qui s’affiche en haut des pages de résultats.

Google annonce la sortie de Gemini 1.5, la mise à jour de son modèle de langage. Cette nouvelle version, Gemini 1.5 Pro, sera accessible aux abonnés du service Gemini Advanced, qui sera proposé en français… et dans 35 langages.

Gemini Advanced intègre désormais une fenêtre de contexte de 2 millions de jetons. Les fenêtres de contexte représentent la quantité de données pouvant être intégrées dans un modèle de langage. Sundar Pichai annonce que les mises à jour seront visibles dans le modèle dès aujourd’hui et que tous les développeurs à travers le monde y auront accès. Google insiste sur le fait qu’une fenêtre plus longue rendra un modèle d’IA plus utile.

Google a annoncé l’intégration de Gemini à Gmail et Meet. Dans Gmail, cette fonctionnalité permettra de résumer tous les e-mails d’un expéditeur. Dans Meet, Gemini proposera des résumés de conférences.

Gemini est également intégré dans Google Photos pour rendre beaucoup plus pertinente les recherches.

Comme on s’y attendait, Google a présenté un assistant vocal multimodal basé sur Gemini 1.5 Pro. Celui va interagir avec votre contenu, l’assistant vocal de Google a un son naturel, mais différent de la voix de Scarlett Johansson dans le film Her. Les fonctionnalités d’IA en temps réel et multimodales présentées par Google sont similaires à celles dévoilées par OpenAI la veille, c’est très fluide, on peut interrompre l’IA à tout moment pour compléter ses requêtes.

Grâce à cet IA, vous pouvez résumer rapidement les faits et les idées clés d’un texte, générer des connexions entre les différentes sources que vous consultez et même personnaliser votre espace de travail en l’intégrant à vos Google Docs. De plus, NotebookLM est conçu avec une attention particulière à la confidentialité, vous assurant ainsi une utilisation en toute sécurité.

Ensuite, Google a présenté Gemini 1.5 Flash, un nouveau modèle de langage conçu pour les tâches nécessitant une latence réduite. Ce modèle plus léger est optimisé pour les applications où une faible latence et un faible coût sont prioritaires. Dès aujourd’hui, les développeurs peuvent utiliser Gemini 1.5 Flash avec jusqu’à 1 million de jetons dans Google AI Studio et Vertex AI.

Ensuite, certainement la plus grosse annonce, Google a présenté le Project Astra, sa réponse à ChatGPT Voice annoncé la veille. Il s’agit d’une application pour smartphone qui commente un flux vidéo en temps réel et parle.

Le Project Astra est un prototype de Google DeepMind explorant comment un agent d’IA universel peut être utile dans la vie quotidienne. Cette application multimodale comprend le contexte, offre une faible latence et est rapide. Grâce à la caméra du téléphone et à l’IA, elle peut retrouver des objets perdus, expliquer le fonctionnement d’objets et bien plus encore. Le Project Astra semble également inclure des lunettes intelligentes. Cette combinaison de projets futuristes et de références scientifiques ludiques laisse entrevoir des innovations réellement étonnantes lors du Google I/O.

Google a ensuite enchaîné avec diverses annonces liées à l’audio, aux images et à la vidéo. Par exemple, Veo, le concurrent de Sora d’OpenAI, pour créer des vidéos à la volée, allonger des vidéos existantes et ainsi de suite. L’outil est disponible sur liste d’attente.

Il y a aussi eu Imagen3 : une IA de génération d’images capable de produire correctement des caractères, ce qui était auparavant difficile pour les autres IA de génération d’images (disponible pour les développeurs et les clients entreprise à partir de cet été). Puis, il y a aussi Music AI Sandbox, une suite d’outils d’aide à la musique.

Sundar Pichai présente Trillium, la dernière génération de TPU de Google. Trillium offre une amélioration de 4,7 fois des performances de calcul par puce par rapport à la génération précédente, TPU v5e.

Un TPU (Tensor Processing Unit) est un type de circuit intégré spécifique à l’application (ASIC) conçu par Google pour accélérer l’apprentissage automatique et le traitement des réseaux de neurones. Il est spécialement optimisé pour les opérations de tensors, qui sont des structures de données multidimensionnelles utilisées dans les algorithmes d’apprentissage profond. Les TPU permettent d’améliorer les performances et l’efficacité énergétique des applications d’intelligence artificielle, en comparaison avec les processeurs (CPU) et les unités de traitement graphique (GPU) traditionnels.

La conférence I/O est longue et relativement technique, Google revient cette fois sur AI Overview qui sera désormais disponible partout aux Etats-Unis, et bientôt en France.

• Gemini Advanced : c’est quoi cette version ultime du chatbot avec Gemini 1.5 Pro ?
• Google va générer des images encore plus réussies pour se frotter à DALL-E et Midjourney
• Le Project Astra de Google montre le futur de la recherche multimodale… et le présent d’OpenAI
• Pourquoi Google va définitivement changer après cette mise à jour
• Google Veo : tout savoir sur le nouveau générateur de vidéos boosté par l’IA
• Un ChatGPT ultra-rapide : Google présente un nouveau LLM basé sur Gemini
• Gmail : comment Gemini veut lire, trier, écrire et organiser vos mails à votre place
• Avec Gemini, Google veut empêcher les pirates de vider votre compte en banque
• Google AI Teammate : le collègue je-sais-tout

Comme on pouvait s’en douter, l’intégration de Gemini 1.5 Pro dans Workspace est annoncée aujourd’hui. À commencer par Gmail.

En un bouton, vous Gemini est capable de résumer un thread de mails. Plus encore, Gemini est capable d’aller fouiller dans tous vos mails afin d’agréger des données et comparer par exemple différents devis.

Directement depuis Gmail, on peut demander à Gemini de nous aider à organiser nos reçus, qu’il peut classer dans un document Google Sheets. Ici, on peut même demander des informations à Gemini pour obtenir des visuels plus clairs encore.

Afin de suivre un projet, Google lance Teammate ! Il s’agit d’une intelligence artificielle que l’on peut inviter dans des espaces de groupe de discussions, des chaînes de mail, etc. afin de lui poser ensuite des questions spécifiques sur le sujet.

Vous pourrez également créer des « Gems » un assistant avec la personnalité que vous lui donnerez par le biais d’un prompt. Il pourra ainsi devenir votre prof de Yoga ou votre sous-chef attitré…

Gemini Advanced pourra dès cet été s’occuper de planifier un voyage complet. Google a donné l’exemple du prompt suivant : « on va à Miami en famille, mon fils aime l’art et mon mari veut manger des fruits de mer. Mon vol et mon hotel se trouve dans mon Gmail ».

À partir de ces informations, Gemini crée un véritable itinéraire intelligent totalement dynamique.

L’IA s’invite au cœur des smartphones Android. On connait déjà certaines fonctionnalités comme Circle to Search, disponible depuis le lancement des Galaxy S24.

Gemini fonctionne au niveau du système et est conscient du contenu affiché à l’écran. Pendant la rédaction d’un message, on peut, par exemple, appeler Gemini pour lui demander de générer une image pour l’intégrer dans la conversation d’un simple drag and drop.

Gemini Nano with Multimodal permettra d’utiliser l’IA directement sur le téléphone pour remplacer Talkback et mieux décrire le contenu affiché à l’écran.

Google met en avant une fonction d’Android qui va permettre de faire de la détection de scam en direct, avec un traitement local des données de l’appel. Pas de date de disponibilité en France, évidement. L’IA Gemini Nano sur l’appareil détecte et vous avertit des appels potentiellement frauduleux. Ne vaudrait-il pas mieux avertir les gens lorsque des publicités frauduleuses sont affichées ? Ça, Google ne sait pas toujours le faire.

Google est en train de donner une conférence d’ouverture Google I/O qui dure une éternité, avec des annonces qui se répètent et qui sont difficiles à comprendre. Il y a de l’IA partout, Gemini dans tous les sens, mais c’est un peu le bazar et ça manque de cohérence. OpenAI a fait une conférence de 20 minutes qui était beaucoup plus intéressante et riche en informations, alors qu’on est en train de se taper 1 heure et 40 minutes de conférence de la part de Google…

Google revient sur les annonces de l’année dernière : SynthID, un outil qui ajoute des filigranes imperceptibles aux images et au son générés par l’IA, les rendant plus faciles à distinguer. En 2024, Google étend SynthID aux textes et vidéo, y compris le nouveau modèle Veo annoncé plus tôt.

Google a dévoilé LearnLM, une nouvelle famille de modèles basés sur Gemini et optimisés pour l’apprentissage. L’objectif est de rendre les produits de Google, comme la recherche, Gemini et YouTube, plus personnalisés, actifs et engageants pour les professeurs.

Cette technologie sera utilisée dans Gem, et fournira une système étape par étape pour aider les utilisateurs à construire leur compréhension plutôt que de simplement leur donner une réponse. Cette nouvelle fonctionnalité sera bientôt disponible dans Gemini. En gros : Google veut utiliser l’apprentissage automatique pour améliorer l’expérience d’apprentissage. Vous suivez toujours ?

C’est fini ! Pendant la conférence d’ouverture de la Google I/O, on a eu droit à une véritable overdose d’IA. Google a mentionné l’IA à toutes les sauces, au point qu’on a fini par compter le nombre de fois où le terme a été prononcé : 120 fois, rien que ça !

Il faut croire que Google voulait vraiment nous montrer tout le travail qu’ils font dans ce domaine. Mais après deux heures de conférence, on a commencé à trouver le temps long… Heureusem*nt, c’était la première conférence de la Google I/O, il y en aura d’autres, et on espère qu’elles seront un peu plus courtes et plus concises. En tout cas, une chose est sûre : Google est à fond sur l’IA, et ils ne sont pas prêts de lâcher l’affaire (mais nous si) !

Pour ceux qui n’ont pas suivi la conférence d’ouverture de la Google I/O, voici un petit résumé : il n’y a pas eu d’annonces de nouveaux matériels, pas d’Android XR, et très peu d’informations sur Android 15. À la place, on a eu droit à une avalanche d’annonces sur l’intelligence artificielle, avec du Gemini partout. En gros, Google a décidé de nous abreuver d’IA à toutes les sauces, et on a un peu l’impression d’avoir été noyés sous les annonces.

• Gemini Advanced : c’est quoi cette version ultime du chatbot avec Gemini 1.5 Pro ?
• Google va générer des images encore plus réussies pour se frotter à DALL-E et Midjourney
• Le Project Astra de Google montre le futur de la recherche multimodale… et le présent d’OpenAI
• Pourquoi Google va définitivement changer après cette mise à jour
• Google Veo : tout savoir sur le nouveau générateur de vidéos boosté par l’IA
• Un ChatGPT ultra-rapide : Google présente un nouveau LLM basé sur Gemini
• Gmail : comment Gemini veut lire, trier, écrire et organiser vos mails à votre place
• Avec Gemini, Google veut empêcher les pirates de vider votre compte en banque
• Google AI Teammate : le collègue je-sais-tout
• Google Photos : comment Gemini va retrouver n’importe laquelle de vos photos

On rattrape les annonces loupées : Project IDX, l’environnement de développement de nouvelle génération basé sur le navigateur et centré sur l’IA, est désormais en bêta ouverte.

Cette mise à jour intègre la plateforme Google Maps dans l’IDE, ce qui facilitera l’ajout de fonctionnalités de géolocalisation pour les développeurs.

Elle inclut également des intégrations avec Chrome Dev Tools et Lighthouse pour aider à déboguer les applications.

Bientôt, Google permettra également de déployer des applications sur Cloud Run, la plateforme sans serveur de Google Cloud pour les services front-end et back-end.

Google a annoncé un modèle de LLM ouvert, il se nomme Gemma. Gemini est donc le modèle fermé, Gemma aura son code source disponible, et pourra être installé sur ses propres serveurs.

L’une des principales demandes des développeurs auprès de Google était un modèle Gemma plus grand. Google ajoutera donc un nouveau modèle de 27 milliards de paramètres à Gemma 2. Cette nouvelle génération de modèles Gemma de Google sera lancée en juin. Cette taille est optimisée par Nvidia pour fonctionner sur des GPU de nouvelle génération et peut fonctionner efficacement sur un «seul hôte TPU et Vertex AI», selon Google.