新手話学の構成素の実証的検証研究（2018-2022）

科学研究費助成事業による研究プロジェクト｜挑戦的研究（萌芽）

神田和幸

目的・内容

従来の枠組みでは達成困難な手話認識システム構築の基礎となる新手話学を構築する。新構成素として音素に代わり像素、形態素に代わり描素を提案する。モーションキャプチャから収集した手話データの解析により、像素が運動体と運動から構成されているという仮説を実証的に検証する。音素が形態素を形成するように、像素が描素を構成していると仮定している。現手話学の記述記号は先験的かつ恣意的で記述できない手話が多くあった。本研究はモーションキャプチャの機械的データから帰納的に構成素を抽出し記号化し像素とする。まず動作の構成素として関節の運動を位置と軌跡と速度に設定、ディープラーニングにより運動の特徴点を抽出し像素の種類と頻度の関係を抽出する。次に手話の語義を元に像素が描素を構成するシステムを構築する。手話では語形成に文法が反映されることが多く、文法論も同時的に構成されていくという新手話学を構築する。

活動内容

2022年度活動報告

従来の手話学はアメリカ手話学の応用であり、日本の手話分析にはそぐわない面も多い。言語普遍主義の枠組みに拠らない新手話学の構築として、過去文献の検証から始め、新構成素の提案、歴史的変化の考察と検証、定点観測による現代手話の変化の測定、手話の言語起源論など幅広い見地から、手話という言語の特色を研究した。
定点観測地としては、未教育聾者の存在や標準手話の聾者、聴者指導員など様々な手話使用者が混在している地域として、新潟市の施設を選定し、モニターカメラの録画や被験者としての動画像などを収集した。
手話の機械認識を研究するグループに協力する形で、言語理論的な側面を援助すると共に、人工知能による言語解析の手法も研究した。ただ研究期間中にコロナ禍の移動制限により、新潟の定点観測のための出張や大阪、名古屋の研究協力者との打ち合わせもオンラインに限定され、とくに聴覚障害者とのコミュニケーションにはかなりの制限を受けた。研究は文献調査とこれまでの研究成果を整理し、さらに過去の分をふくめて、手話学の集大成と新手話学構築のための資料整理をした。
また過去の資料をPDF化する作業を進め、公開資料作成することもできた。手話アーカイブを公開するにはプラットフォームを作成する必要があるが、レンタルサーバの確保、構築など、専門業者のアドバイスと提案を受け検討中である。こうしたサーバやプラットフォームの維持の資金の目途は立っておらず、成果の公開も一時的で期間限定的になることは非常に慚愧に堪えないので、何か方策がないものか模索中である。当該期間中の研究成果は独自にインターネット上にプラットフォームを構築し、その中に当該研究期間のみならず、過去の研究実績や参考資料などを搭載し公開できるようにした。当該プラットフォームは神田文庫（https://kanda-arc.net）として、一部はすでに公開済である。

2021年度活動報告（研究実績の概要）

コロナ禍の移動制限により、新潟の定点観測のための出張や大阪、名古屋の研究協力者との打ち合わせもオンラインに限定され、とくに聴覚障害者とのコミュニケーションにはかなりの制限を受けた。研究は文献調査とこれまでの研究成果を整理し、さらに過去の分をふくめて、手話学の集大成と新手話学構築のための資料整理に時間を費やした。まとめた結果を書籍の形で次年度中に執筆し出版の方向である。
また過去の資料をスキャナでPDF化する作業を進め、手話学アーカイブ作成の公開資料作成することもできた。手話アーカイブを公開するにはインターネット上にプラットフォームを作成する必要があるが、レンタルサーバの確保、プラットフォームの選択など、専門業者のアドバイスと提案を受け検討中である。こうしたサーバやプラットフォームの維持の資金の目途は立っておらず、成果の公開も一時的で期間限定的になることは非常に慚愧に堪えないので、何か方策がないものか模索中である。印刷出版であれば、一時的出費で将来にも残る形になるが、電子出版の場合、期間限定的になることは避けられない。とくに動画資料は揮発的情報になりやすい。またNFTがまだ文章には適用されなさそうな現状で、DOI以外に著作権や知的財産保護がされにくく、DOIには学会発表でないと適用されないなど限定的であり、何か国家的な規模でアーカイブとして研究成果に限定された施設・機関の設立を要望したい。それに間に合うかどうかは不明だが、少なくとも個人レベルでできる範囲で研究成果の電子情報を保存する術を検討中である。本年度は１回の学会における共同発表と２回の招待講演があった。

2021年度活動報告（現在までの進捗状況）

コロナ禍により出張が不可能になり、定点観測値での対面調査ができなかった。一方で文献調査や資料整理に時間を費やすことができ、成果をまとめるための資料作りができた。コロナ禍が一時的に感染が低くなったタイミングで北海道での２度の招待講演により、手話についての知見をアイヌ語やtranslanguaging研究グループに披露し、ハイブリッド会議によって海外の研究者とも意見交換ができたことは広報活動としての成果があった。コロナ禍がいつまで続くのは見通しが効かない中、研究期間をいたづらに延長していくことにも限界があり、もし次年度もコロナ禍が続くようであれば、高齢研究資料提供者のこともあり、定点観測を中断し、限定的な内容でまとめることを検討する。

2020年度活動報告（研究実績の概要）

本年度は出張が不可能のため、想定していた海外学会の発表もできなかった。また新潟の高齢聾者への面接調査、未就学聾者の調査もできなかった。可能な範囲でのオンライン調査も試みたが、被験者の録画の同意などの問題、直接面接ではないための心理的圧迫の問題、コロナ感染への不安もあり、施設からの拒否もあり、現地調査は不可能の状態になった。そのため研究期間は過去の資料整理、文献調査、資料整理などに焦点を移し、もっぱら論文等の執筆に時間を充当させた。国内学会も中止が多く、発表は困難なため、共同研究者とのオンライン会議やメール交換により、小規模の研究会を行い、論文を作成して、手話コミュニケーション研究会論文集2020に以下の論文を掲載した。
１．「手話をめぐる伝説の科学的検証（１）」民博神田和幸２．「新手話学のCL研究」民博神田和幸３．「新手話学の構成素」民博神田和幸４．「手話の知識を応用したジェスチャ分析　豊田高専木村勉・民博神田和幸５．「手話認識を使用した辞書システムの試作」
本研究の題目である新手話学の構築の基礎となる「言語変種」「手話形態論」「CL研究」については、前年度、前前年度の発表論文をベースにした素稿の執筆は終了し、現時点でA4判60ページの執筆が終了した。現在、追記と校正中である。本年度、最終年度に公開予定の著作の前半がほぼ完成している。
海外の手話学書籍の収集はそれなりにできたので、現在、調査中である。

2020年度活動報告（現在までの進捗状況）

新型コロナ禍により、国内外への出張が不可能となり、学会発表も定点現地観察も不可能で、最終的なまとめができなかった。高齢聴覚障碍者はITアクセスも困難で、オンラインによるインタビューも不可能である。周囲のケアラーに対する間接的な状況報告の収集にとどまった。そのため、デスクワークで可能な文献調査、資料整理、執筆作業を中心とした研究活動となった。

2019年度活動報告

前年度に実施したモーションキャプチャによる手話動作収集の結果、データ収集に時間がかかりすぎることに鑑み、ビデオデータをOpenPose（以下OP）による解析に変更できないかを実験した。OP法は2次元データであるため、z方向の軌跡を推定するか、z方向のデータがなくても利用可能かを探る実験を行った。MocapもOPも関節の動きを測定することには変わりがないため、同じ手話語彙について各語彙における関節の軌跡をディープラーニングにより解析した結果、右手首の動きが特徴的であることがわかった。また左手首の動きから語のワタリが測定できることもわかった。本研究の眼目である像素の運動体として両手首の軌跡が指摘できた。
成果発表としては海外のAssociation for the Advancement of Assistive Technology in Europe 2019においてStudy on sign language recognition usingmachine learningと題して発表した。国内では第18回情報科学技術フォーラムにおいて「類似手話語彙の平面データによる光学的識別法（１）―特徴点の抽出と遷移の検証―」及び類似手話語彙の平面データによる光学的識別法（２）―平面データと立面データの比較―」を発表した。また日本歴史言語学会2019において「手話の民間語源の発生の歴史的検証」と題して日本最古の手話文献と現代の手話辞典および中間的な手話解説書の3者を比較して、手話語彙＜ありがとう＞の歴史的変化を説明した。これは手話の語形成のしくみの一部を解明したことになる。具体的には手話の形態素（本研究でいう描素）の具体例を示した。その他本研究の関する私的な研究会である手話コミュニケーション研究会を3回開催し、論文集に10編の論文を発表した。

2018年度活動報告

新手話学の構成素として像素と描素を提案。基本概念を手話コミュニケーション研究会と福祉情報工学研究会で発表した。従来の手話学の創始者ストーキーの理論を再検証し、彼以降、仮説的に検証されてきた音素と形態素という構成素は音声言語の研究成果を敷衍したものであるから、視覚言語である手話研究では齟齬を生じることが多かったことの原因解明のヒントを得た。とくに工学的視点からの分析に適合できないことも多く、手話の機械認識や自動翻訳装置開発に障害が大きかった。本研究は工学にも適用しやすい構成素を提案し、実証することを目的としているが、まず演繹的視点からの提案として像素を提案、これまでの研究成果から手話の重要な要素が運動にあることに着目、運動が運動体と軌跡と速度の３要素からなると考えた。その像素が構成する意味単位として形態素ではなく、描素を提案、CLと呼ばれる手型が手話動詞の語幹であるという過去の研究成果に基づき、描素がＣＬと運動から成ることを仮説として提案した。その仮説の検証として、手話ビデオを工学的に検証する方法としてモーションキャプチャによるデータとOpenPoseなどの光学的データによる分析を開始し、初年度としては基本的な101語について検証した。また分担者との協働により、深層学習システムを用いて手話の自動認識実験を行い、101単語の総計7,763個のデータを用いて認識実験を行い、約75%の認識率を得た。深層学習ではどの要因が決定的であったのか不明だが、誤答となった類似手話を分析することでその要素を探ることができると考え、次年度の研究課題とした。