Analysis of Asynchrony Detection in Combined Auditory and Vibrotactile Stimuli for Deaf and Hard of Hearing People
IEEE International Conference on Systems, Man, and Cybernetics, 2025
山元颯斗
博士後期課程在学中
千葉大学 大学院情報・データサイエンス学府 情報・データサイエンス専攻
私はろう者で，歌うことが好きです。声に出して歌うことも好きですが，それ以上に，歌詞が音楽のどのタイミングに乗っているのか，歌のリズムが分かることが好きです。聞こえにくくても，歌のタイミングが分かるようにしたい！そんな思いから，ろう・難聴者が聴覚だけに頼らず，歌のタイミングを把握できる方法を研究しています。
取り組んでいること
歌のタイミングを「聞こえる」以外の方法で伝える
私が着目しているのは，歌のタイミングです。歌詞一つひとつの音をいつ発声するのか，そのタイミングを振動などを通して伝えることで，音を十分に聞き取れなくても歌のリズムを把握できる方法を研究しています。そのためには，まず「どのタイミングを伝えるか」を音楽から取り出す必要があります。ボーカルと歌詞を対応付け，歌詞を構成するモーラなどの単位で発声タイミングを推定することで，歌の時間情報を取り出します。そして，得られたタイミングを振動として身体に伝え，歌うときの手がかりとして利用できるシステムを開発しています。ここで，音と振動のタイミングがずれていれば，正しいとされる情報を提示しても対応しているイベントとして感じられない可能性があります。そこで，ろう・難聴者が音と振動の時間的なずれをどの程度知覚できるのかも調べています。こうした知覚の特性を，振動を提示するタイミングやシステムに必要な時間精度の設計につなげています。
主なテーマ
- 歌唱タイミング
- 聴覚・振動触覚知覚
- 音楽情報処理
研究業績
論文
2025
Auditory-Vibrotactile Asynchrony Detection in Deaf/Hard-of-Hearing and Hearing Using a Single Device
International Symposium on Auditory and Audiological Research (ISAAR), 2025
A Qualitative Research Study to Clarify Why Deaf and Hard of Hearing People Enjoy Singing
Human Interface and the Management of Information: Thematic Area, HIMI 2025, Held as Part of the 27th HCI International Conference, HCII 2025, Proceedings, Part I, pp. 335–347, 2025
ろう・難聴のための正しい歌唱リズム獲得支援システムの開発
人工知能学会全国大会論文集 第 39 回, 3O6-OS-22b-05, 2025
ろう・難聴者における同一端末による聴覚刺激と振動触覚刺激の非同期検出能力の分析
第87回全国大会講演論文集, 2025
2024
ろう・難聴者と聴者の歌唱を楽しむ背景の比較
情報処理学会研究報告, 2024-AAC-026(6), 2024
ろう・難聴の当事者による音楽の情報保障に関する研究紹介と必要性
情報処理学会研究報告, 2024-AAC-026(8), 2024
Towards Improving the Correct Lyric Detection by Deaf and Hard of Hearing People
Computers Helping People with Special Needs, pp. 146–154, 2024
2023
歌うことの楽しさ＞聴覚障害
情報処理学会研究報告, 2023-AAC-022(8), 2023
楽曲におけるボーカルの発声タイミングの振動化のための精度検証-聴覚障害者の音楽体験の向上-
情報処理学会研究報告, 2023-AAC-022(5), 2023
講演
受賞・助成
AI特化型・挑戦的融合イノベーター博士人材養成プロジェクト（AIコア）
千葉大学（JST BOOST 次世代AI人材育成プログラム）, 2026–2029
人工知能学会, 2025
日本科学協会, 2025
情報処理学会, 2025
東京都デジタル社会人材育成プログラム アイデアコンテスト 最優秀賞
東京都, 2023