HapTone est un projet d’accordeur pensé pour les musiciens aveugles et malvoyants. L’idée est simple : pouvoir chercher la bonne note sans surveiller une aiguille ou un écran. Nous explorons pour cela plusieurs retours — vibration, voix et son — associés à une mesure de la fréquence jouée.
Cet article fait le point sur l’avancement du projet à mai 2026. HapTone a été initialement présenté en juin 2025 dans notre article fondateur « Tune AI : l’accordeur d’instruments adapté inclusif » ; depuis, le projet est entré en phase de prototypage matériel et logiciel grâce à une collaboration avec Polytech’ Paris-Saclay. Deux étudiants de l’école, Manuelle Wafeu et Yannis Ngako, encadrés par Amine Khettat (CEO de Blind Systems, à l’origine du projet), ont soutenu en avril 2026 un mini-projet dédié à HapTone. Ils y ont présenté l’architecture fonctionnelle, l’intégration matérielle et le pipeline de traitement du signal détaillés ci-dessous.
Le problème : un geste simple, devenu inaccessible
Beaucoup d’accordeurs affichent la justesse sur une aiguille, des LED ou un écran. Cette information peut être difficile à consulter sans la vue. L’accordage à l’oreille et les applications compatibles avec un lecteur d’écran apportent déjà des réponses, selon l’instrument et les habitudes de chacun. HapTone explore une autre interaction, directement perceptible au toucher ou à l’écoute.
En répétition ou en classe, les sons voisins peuvent gêner la mesure. Le projet compare donc une prise de son acoustique et un capteur au contact de l’instrument. Il faut ensuite vérifier, sur plusieurs instruments et dans des conditions réelles, si le retour reste compréhensible et utile.
Notre solution : un accordage multi-sensoriel
L’architecture étudiée prévoit trois formes de retour, à évaluer avec les musiciens :
- Vibration haptique — un moteur de vibration piloté par un driver haptique DRV2605L de Texas Instruments code la justesse en motifs distincts (vibration courte = trop bas, vibration longue = trop haut, brève impulsion confirmée = juste).
- Synthèse vocale — le système annonce le nom de la note et l’écart en cents, via haut-parleur.
- Tonalité audio — un signal sonore continu module sa fréquence selon l’écart, pour les musiciens entraînés à l’oreille.
Acquisition du son : microphone MEMS ou capteur piézo, au choix
Deux pistes d’acquisition sont étudiées. Le choix dépendra de l’instrument, de la fixation du capteur et du bruit autour du musicien :
- Microphone MEMS I2S 24 bits — capture acoustique standard, idéal pour un usage en environnement calme (salon, classe individuelle), pour les instruments à vent et pour la voix.
- Capteur piézoélectrique (SEN-VIB01) — au contact direct de l’instrument (corde, table d’harmonie). Il mesure les vibrations transmises par l’instrument. Cette approche peut limiter l’influence de certains sons ambiants ; son efficacité reste à mesurer selon la fixation et les conditions de jeu.
Architecture fonctionnelle
Le prototype s’appuie sur un ESP32-S3 d’Espressif, doté de deux cœurs, d’instructions utiles au traitement du signal et de connexions Wi-Fi et Bluetooth Low Energy. Sous FreeRTOS, l’acquisition audio, l’estimation de la note et les retours utilisateur sont organisés en tâches. Une réponse rapide est un objectif du projet. La latence de bout en bout doit être mesurée sur le prototype complet ; la répartition des tâches ne garantit pas, à elle seule, un délai inférieur à 50 ms.
Architecture finale du produit : les deux pistes en discussion
Deux configurations restent à départager. Elles n’imposent pas les mêmes contraintes de taille, de batterie, de coût ou de prise en main. Nous voulons notamment éviter qu’un accessoire adapté exige un équipement coûteux en plus de l’instrument. Les essais et les retours des musiciens doivent guider ce choix.
Configuration A — Tuner autonome (vibreur et haut-parleur intégrés)
- Pour : pas besoin de smartphone, mise en route immédiate, totalement autonome, accessible aux musiciens qui ne possèdent pas de smartphone (ou qui ne veulent pas en utiliser pour jouer).
- Contre : boîtier plus volumineux, coût matériel plus élevé (moteur LRA + haut-parleur + batterie plus grosse), recharge plus fréquente.
Configuration B — Pince minimaliste reliée au smartphone (Bluetooth)
- Pour : boîtier potentiellement plus compact, coût matériel à comparer, le smartphone fournit le vibreur et le haut-parleur, l’app dédiée peut évoluer indépendamment du firmware.
- Contre : smartphone obligatoire, étape de pairing Bluetooth, latence dépendante de la qualité du téléphone, l’utilisateur dépend d’un appareil tiers pour jouer.
Les noms de travail HapTone Solo et HapTone Mini désignent ces deux pistes. Ils ne constituent pas une annonce de gamme disponible. Préféreriez-vous un appareil autonome ou un accessoire relié à votre téléphone ? Vos habitudes de jeu et les difficultés rencontrées nous aideront à choisir.
Démonstration : détection par capteur piézo
Cette démonstration de l’équipe Polytech montre la détection de fréquence avec un capteur piézo au contact d’une corde. Elle illustre une étape du prototype ; elle ne permet pas, à elle seule, de conclure sur sa précision dans tous les environnements.
Démonstration : détection par microphone MEMS I2S
Cette seconde démo illustre la détection en mode acoustique via microphone MEMS, utile pour les instruments à vent et la voix. Notez la stabilité de la mesure même sur des notes tenues longues.
Algorithme de détection : YIN, choisi pour sa robustesse
La détection de fréquence fondamentale est un problème mal posé : un signal réel n’est ni stationnaire, ni purement harmonique, et le bruit dégrade rapidement les méthodes simples. Plutôt que de combiner plusieurs approches, l’équipe Polytech a fait le choix d’un seul algorithme, choisi spécifiquement pour sa robustesse : l’algorithme YIN, publié par Alain de Cheveigné et Hideki Kawahara dans leur article fondateur de 2002 (JASA).
YIN estime la périodicité du signal à partir d’une fonction de différence, d’une normalisation et d’un seuil, puis affine l’estimation par interpolation. Sa précision dépend notamment du signal, du réglage des paramètres et de la fenêtre d’analyse. Les essais du projet doivent documenter ces choix et leurs limites, plutôt que supposer une supériorité dans toutes les situations.
À partir de la fréquence détectée, le firmware identifie la note tempérée la plus proche dans une table de correspondance (88 notes du piano, A4 = 440 Hz), puis calcule l’écart en cents — où une octave vaut 1 200 cents et un demi-ton 100 cents.
Pour qui ?
- Musiciens non-voyants et malvoyants qui souhaitent disposer de repères sans affichage visuel.
- Élèves et étudiants en musique en parcours adapté.
- Professionnels en environnement bruyant (scène, studio, salle de répétition).
- Enseignants et structures d’éducation musicale inclusive.
État du développement
Ce point d’étape présente le travail de prototypage sur l’acquisition, la détection de fréquence et les retours utilisateur. Avant un éventuel produit final, plusieurs sujets restent à traiter : choix de la configuration, intégration du circuit et du boîtier, application compagnon si nécessaire, essais utilisateurs et exigences de conformité. Les performances et l’autonomie devront être documentées sur une version intégrée.
Partager le travail et contribuer
Nous souhaitons rendre le travail réutilisable et accueillir des contributions. Pour accéder aux fichiers de travail disponibles et connaître leurs conditions de réutilisation, contactez-nous. Les éléments diffusés et leur licence doivent être précisés pour chaque version.
Rejoindre l'aventure : collaborateurs, bénévoles et mécènes
Pour passer du prototype à un produit accessible au plus grand nombre, nous cherchons activement des renforts. Si vous voulez contribuer à un projet à fort impact social, voici les profils que nous cherchons :
- Développeurs embarqués (ESP-IDF, FreeRTOS, DSP)
- Concepteurs hardware (PCB, boîtier, mécatronique)
- Développeurs mobile (iOS, Android, accessibilité)
- Musiciens testeurs (voyants ou non-voyants)
- Mécènes et partenaires institutionnels — HapTone est actuellement financé à titre personnel par Amine Khettat (CEO de Blind Systems), en attendant le soutien de mécènes ou de subventions institutionnelles. Votre contribution permettra d’accélérer l’industrialisation et le déploiement auprès des écoles et conservatoires.
- Bénévoles communication, traduction, documentation
Pour contribuer, écrivez-nous ou utilisez le formulaire de contact :
Décrivez votre profil, votre disponibilité et la façon dont vous aimeriez contribuer : nous reviendrons rapidement vers vous.
HapTone est un projet de Blind Systems, laboratoire d’ingénierie et d’innovation. Ce dossier présente les travaux menés avec Polytech’ Paris-Saclay autour d’un usage concret : accorder un instrument sans dépendre de la vue.