Sujet

Système d'annotation automatique du beatbox et conversion morphographique

Encadrants

- Benjamin Lecouteux et Didier Schwab (LIG)
  [Benjamin.Lecouteux@univ-grenoble-alpes.fr Didier.Schwab@imag.fr]

- Nathalie Henrich Bernardoni (GIPSA-lab)
  [Nathalie.Henrich@gipsa-lab.fr]

avec la participation d'Adrien Contesse (Vocal Grammatics)

Description du stage

Communiquer par la parole ou par le chant requiert une bonne
coordination des gestes respiratoires, phonatoires et articulatoires,
adaptée aux contraintes phonétiques et physiologiques et à la situation
de communication. C'est même le corps tout entier, de la posture aux
gestes vocaux et manuels, qui devient instrument au service de
l'expression humaine. Dans ce contexte, un art vocal urbain émergent est
particulièrement intéressant, le Human Beatbox (en français, boîte à
rythme humaine). Cette pratique artistique s'est développée au cours des
années 1980 en s'inscrivant dans le cadre de la culture hip-hop.

Plusieurs équipes de recherche se sont intéressées au beatbox, notamment
l'équipe VSLD du GIPSA-lab, en collaboration avec le LPNC pour les
aspects phonétiques et le TIMC pour les aspects ventilatoires. Pour ces
travaux, les chercheurs annotent manuellement des performances de
beatbox au niveau phonétique pour en étudier la production. Ce travail
est long, fastidieux, et difficile à réaliser avec les alphabets actuels
(API, beatbox alphabet). Il pourrait être effectué avec le soutien des
outils d'annotation automatiques.

De grands progrès ont été réalisés récemment dans le domaine de la
reconnaissance automatique de la parole grâce à l'apprentissage profond
: nous pouvons voir le beatbox comme une langue à part entière, un
langage musical. L'objectif du stage est d'explorer les méthodes
permettant d'annoter automatiquement des prestations de beatbox (sous
formes d'unités phonétiques, par exemple), en s'appuyant sur des outils
état de l'art tels que KALDI ou ESPnet.

Un autre aspect de ce stage porte sur la représentation sous la forme
d'unités pictographiques de ces mêmes démonstrations. Récemment, des
infographistes et pratiquant du beatbox ont proposé des associations
sons/pictogrammes qui s'appuie sur une approche de phonétique
articulatoire des sons produits en Human Beatbox. Il s'agit du projet «
Vocal Grammatics » (http://www.vocalgrammatics.fr) qui permet par le
développement d'une représentation morphographique des sons du beatbox
de faciliter la transcription des séquences musicales, et
l'apprentissage par les enfants et les adultes. Le stagiaire de master
travaillera également sur la projection de sons de beatbox sous la forme
d'unités pictographiques.

Le master se fera dans le cadre d'une collaboration entre deux
laboratoires : le LIG pour les aspects reconnaissance automatique de la
parole et le GIPSA-lab pour les aspects voix/linguistique. Il sera
encadré par Benjamin Lecouteux et Didier Schwab (LIG) et Nathalie
Henrich Bernardoni (GIPSA-lab), avec la participation de l'infographiste
Adrien Contesse (Vocal Grammatics).