国立民族学博物館(みんぱく)は、博物館をもった文化人類学・民族学の研究所です。

新手話学の構成素の実証的検証研究(2018-2020)

科学研究費助成事業による研究プロジェクト|挑戦的研究(萌芽) 代表者 神田和幸

研究プロジェクト一覧

目的・内容

従来の枠組みでは達成困難な手話認識システム構築の基礎となる新手話学を構築する。新構成素として音素に代わり像素、形態素に代わり描素を提案する。モーションキャプチャから収集した手話データの解析により、像素が運動体と運動から構成されているという仮説を実証的に検証する。音素が形態素を形成するように、像素が描素を構成していると仮定している。現手話学の記述記号は先験的かつ恣意的で記述できない手話が多くあった。本研究はモーションキャプチャの機械的データから帰納的に構成素を抽出し記号化し像素とする。まず動作の構成素として関節の運動を位置と軌跡と速度に設定、ディープラーニングにより運動の特徴点を抽出し像素の種類と頻度の関係を抽出する。次に手話の語義を元に像素が描素を構成するシステムを構築する。手話では語形成に文法が反映されることが多く、文法論も同時的に構成されていくという新手話学を構築する。

活動内容

2020年度実施計画

手話動作データのOP法による分析を継続し、主たる運動体として両手首の動きを文、談話レベルで法則性を検証する。また本研究が近年話題になっている言語起源論への貢献がありそうなので、ジェスチャーと手話の関連についても研究を拡大することにした。

2019年度活動報告

前年度に実施したモーションキャプチャによる手話動作収集の結果、データ収集に時間がかかりすぎることに鑑み、ビデオデータをOpenPose(以下OP)による解析に変更できないかを実験した。OP法は2次元データであるため、z方向の軌跡を推定するか、z方向のデータがなくても利用可能かを探る実験を行った。MocapもOPも関節の動きを測定することには変わりがないため、同じ手話語彙について各語彙における関節の軌跡をディープラーニングにより解析した結果、右手首の動きが特徴的であることがわかった。また左手首の動きから語のワタリが測定できることもわかった。本研究の眼目である像素の運動体として両手首の軌跡が指摘できた。
成果発表としては海外のAssociation for the Advancement of Assistive Technology in Europe 2019においてStudy on sign language recognition usingmachine learningと題して発表した。国内では第18回情報科学技術フォーラムにおいて「類似手話語彙の平面データによる光学的識別法(1)―特徴点の抽出と遷移の検証―」及び類似手話語彙の平面データによる光学的識別法(2)―平面データと立面データの比較―」を発表した。また日本歴史言語学会2019において「手話の民間語源の発生の歴史的検証」と題して日本最古の手話文献と現代の手話辞典および中間的な手話解説書の3者を比較して、手話語彙<ありがとう>の歴史的変化を説明した。これは手話の語形成のしくみの一部を解明したことになる。具体的には手話の形態素(本研究でいう描素)の具体例を示した。その他本研究の関する私的な研究会である手話コミュニケーション研究会を3回開催し、論文集に10編の論文を発表した。

2018年度活動報告

新手話学の構成素として像素と描素を提案。基本概念を手話コミュニケーション研究会と福祉情報工学研究会で発表した。従来の手話学の創始者ストーキーの理論を再検証し、彼以降、仮説的に検証されてきた音素と形態素という構成素は音声言語の研究成果を敷衍したものであるから、視覚言語である手話研究では齟齬を生じることが多かったことの原因解明のヒントを得た。とくに工学的視点からの分析に適合できないことも多く、手話の機械認識や自動翻訳装置開発に障害が大きかった。本研究は工学にも適用しやすい構成素を提案し、実証することを目的としているが、まず演繹的視点からの提案として像素を提案、これまでの研究成果から手話の重要な要素が運動にあることに着目、運動が運動体と軌跡と速度の3要素からなると考えた。その像素が構成する意味単位として形態素ではなく、描素を提案、CLと呼ばれる手型が手話動詞の語幹であるという過去の研究成果に基づき、描素がCLと運動から成ることを仮説として提案した。その仮説の検証として、手話ビデオを工学的に検証する方法としてモーションキャプチャによるデータとOpenPoseなどの光学的データによる分析を開始し、初年度としては基本的な101語について検証した。また分担者との協働により、深層学習システムを用いて手話の自動認識実験を行い、101単語の総計7,763個のデータを用いて認識実験を行い、約75%の認識率を得た。深層学習ではどの要因が決定的であったのか不明だが、誤答となった類似手話を分析することでその要素を探ることができると考え、次年度の研究課題とした。