IA et agentsApplication mobileLumyeye2025
Lumyeye, une app d'IA qui décrit le monde à la voix
Lumyeye aide les personnes aveugles et malvoyantes au quotidien. On a construit l'app, entièrement utilisable à la voix, son serveur d'IA et son back-office.
- Le besoin
- Pour une personne aveugle, lire un courrier, reconnaître un objet ou trouver une information demande souvent de l'aide. Le fondateur de Lumyeye voulait une app qui comprend ce qu'on lui demande à voix haute et qui répond à voix haute, sans écran à regarder.
- Ce qu'on a construit
- Une app iOS et Android qui se pilote entièrement à la voix, compatible VoiceOver et TalkBack
- La description d'une photo, la lecture d'un texte et la détection d'objets en direct avec la caméra
- La recherche sur le web à la voix
- Quinze langues dans l’app et une cinquantaine de voix de synthèse
- Les comptes, les abonnements dans l'app et les codes d'activation
- Un back-office pour les utilisateurs, les campagnes et les consignes données à l'IA dans chaque langue
- Comment on a travaillé
- Le gros du travail a été l'architecture. Il fallait traduire une demande dite à voix haute en une action précise. Un premier appel à Gemini joue l'aiguilleur. Il décide s'il faut prendre une photo, lancer une recherche, activer la détection d'objets ou demander une précision, et l'app déclenche la bonne action. La réponse est découpée en phrases et chaque phrase est lue dès qu'elle est prête, pour que l'app parle sans attendre la fin de la réponse.
- Technologies
- React Native
- Node.js
- Socket.IO
- Neo4j
- Gemini
- Google Vision
- Google Text-to-Speech
- React
- Le résultat
- L'app est sortie sur l'App Store en mai 2025. Elle est notée 4,3 sur 5 et en est à sa quatrième version majeure.
