La représentation graphique de sons est une démarche nécessaire
pour l'analyse et l'annotation de documents sonores. Plusieurs domaines sont
concernés par l'étude des phénomènes sonores, depuis
la parole à la musique, en incluant les études d'acoustique environnementale
ou de pollution sonore.
La difficulté est de trouver des moyens de description autres que ceux
issus de l'analyse spectrale par transformée de Fourrier rapide (FFT),
qui nous renseigne sur les paramètres fréquentiels d'un phénomène
sonore sans possibilité d'hiérarchisations des éléments
du signal étudié. Ceci nous empêche de déterminer
quelle région ou quel événement sont les plus prégnants
pour notre perception.
La particularité de notre perception auditive est de chercher à
simplifier les situations sonores et d'être capable d'extraire de l'information
pertinente dans des contextes très complexes ou dans des situations très
brouillées. Notre écoute cherche à simplifier le signal
sonore perçu pour extraire l'information pertinente selon nos nécessités
de perception. Ceci peut se passer dans des contextes très complexes
avec plusieurs signaux pertinents simultanés, ou bien dans des situations
où le signal à écouter est brouillé par une grande
quantité de signaux parasites. Nous sommes capables alors de décoder
plusieurs informations à l'intérieur d'un signal, à différence
de l'analyse spectrale qui analysera le signal comme un tout homogène.
Deux chemins se présentent pour aborder l'analyse de documents sonores
: l'annotation manuelle à partir de sonagrammes calculés par FFT,
et les dispositifs de détection automatique permettant d'avancer dans
le domaine de l'indexation assistée.
L'Acousmographe est un outil conçu pour faciliter ces deux tâches.
A partir d'un sonagramme, des pages d'analyse peuvent être superposées
au document de départ. Les pages peuvent contenir des annotations manuelles
ou le résultats de calculs automatiques.
Le travail d'annotation manuelle a été largement expérimenté
depuis plusieurs années, surtout appliqué à des documents
musicaux. L'annotation dépend de l'angle d'analyse voulu; le travail
sera différent si l'on souhaite un découpage d'un document par
sections ou thèmes, s'il s'agit de annotations par un texte écrit
ou d'une représentation symbolique. Le domaine symbolique est le plus
intéressant puisqu'il permet d'étudier les rapports entre notre
perception auditive et l'utilisation de symboles graphiques censés représenter
le son à entendre. Pour un document de type musical, ce mode de représentation
permet de regrouper des phénomènes semblables et d'utiliser des
symboles abstraits (n'ayant aucun rapport avec le son entendu), ou bien des
symboles qui exploitent les caractéristiques du son entendu (variation
de hauteur, de densité, etc.) et que notre perception est capable d'associer
avec une variation graphique.
L'utilisation de méthodes de dessin déjà bien implantées
dans la pratique informatique tels que le dessin vectoriel ou le dessin par
bit-map, permet un accès rapide et simplifié à l'écriture
du plan d'analyse. Cette facilité de dessin se trouve renforcée
par une importante bibliothèque de symboles graphiques facilement insérables
et modifiables, qui accélèrent le travail. S'y ajoutent les possibilités
d'édition habituelles pour ce type d'accès : copier-coller, retournement,
association d'objets pour créer des macro-objets, etc.
L'écoute répétée d'un fragment du document avec
un suivi sur sonagramme, permet à celui qui réalise l'analyse
de détecter les éléments pertinents à la perception.
Quelques fois le sonagramme peut se révéler efficace pour décrire
un phénomène à travers la correspondance entre les variations
graphiques et les variations sonores, mais le plus souvent, il faut avoir recours
à des symboles graphiques qui vont simplifier et clarifier le rendu du
sonagramme pour rendre le document graphique cohérent par rapport à
notre perception des phénomènes auditifs.
Plusieurs plans d'analyse, à partir de critères différents,
peuvent être superposés sur le même document pour clarifier
une approche particulière à la description du phénomène.
Ainsi, une description formelle peut se superposer à une description
des objets. A tout instant n'importe quel endroit du document peut être
choisi pour être lu avec la représentation symbolique associée.
Un deuxième axe de recherche est orienté vers l'introduction
de détecteurs d'événements capables d'aider au repérage
d'événements préétablis et à terme pouvoir
simplifier la tâche de description de documents. L'évolution dans
ce domaine dépend de l'étude de la perception et de la mise en
place de modèles permettant d'expliquer les phénomènes
d'écoute, pour ensuite mettre en place des dispositifs de recherche automatique
à partir de ces modèles. Une des pistes déjà explorées
permet de détecter des changements dans le signal acoustique analysé
et de placer des indicateurs de changement sur le document. Les variations détectées
sont d'ordre dynamique, fréquentiel, de répartition spectrale
et de masse spectrale. Ainsi tout variation significative d'un de ces paramètres,
est indiquée par une marque sur le document. Un seuil permet d'ajuster
le niveau d'analyse voulu.
Il s'agit d'une première approche à laquelle suivra la détection
automatique de silences et le découpage automatique par changement d'ambiances.
Un domaine important de recherche s'ouvre ainsi, appuyé par une campagne
d'annotation manuelle de documents qui permettra de mieux cerner les aspects
liés à la perception et d'avancer dans la mise en place de détecteurs
intelligents d'événements au fur et à mesure de notre compréhension
des multiples complexités de notre écoute.
L'Acousmographe a été développé à l'Ina
GRM successivement par Olivier Koechlin et Didier Bultiauw avec la collaboration
de Mathieu Reynaud. Les responsables de recherche pour l'Acousmographe ont été
Hugues Vinet et Emmanuel Favreau.
