JP7049173B2 - 手話ｃｇ翻訳編集装置及びプログラム - Google Patents

Description

本発明は、日本語文章テキストから日本手話に翻訳したコンピュータグラフィックス（ＣＧ）に係る手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正し、利用可能な手話ＣＧに編集可能とする手話ＣＧ翻訳編集装置及びプログラムに関する。

従来より、日本語から日本手話に自動的に翻訳可能とする装置やプログラムの実現が求められている（例えば、非特許文献１参照）。例えば、スマートフォンなどの携帯端末に常駐するアプリケーションとして実装し、ブラウザに表示される日本語テキストを手話ＣＧに変換することで、日本手話を母語とする人に対して、より分かりやすい形式で情報を提供できる。

例えば緊急災害時の避難情報を手話表示することで、日本語よりも日本手話の方が理解しやすい人に対して、分かりやすい形式で情報を提供できる。また、健聴者も日常的に手話に接する機会が増えることにより、手話を習得することに期待できる。手話ＣＧによって聴覚障害者を支援できる場は広く、気象情報やスポーツ情報等の提示や、公共の場での施設案内を手話ＣＧのキャラクタによって伝えるなどの応用が考えられている。

上記のような応用を期待して、日本語の文章を日本手話の手話ＣＧに翻訳・変換する技術の研究が行われている。日本語テキストから日本手話に翻訳したコンピュータグラフィックス（ＣＧ）に生成工程は、日本語文字情報を抽出し、入力した文字情報を手話単語の羅列に翻訳し、手話ＣＧアニメーションを合成し、最後に合成した手話ＣＧを映像形式に変換する工程に及ぶ（例えば、特許文献１参照）。

しかしながら、日本語を日本手話に翻訳することは技術的に難しく、実用的に利用された例は現在までにほとんどない。日本語から日本手話への翻訳が難しいのは、日本手話は独自の文法を持つ言語であって日本語の語順とは異なるために、単純な単語の置き換えでは対応できないためことが一つの理由である。

更に、例え日本語から日本手話の単語の語順に変換でき、正しい手や指の動きを順番に再生できたとしても、日本手話を表現する要素は手や指だけではなく、うなずきや顔表情（非手指動作）が重要なために、正しく意味を伝えられないことがある。また、例え手指動作と非手指動作を組み合わせて、意味的には誤りのない手話動作を生成できたとしても、その手話は制作者が強調して伝えたい部分を意図通り表現しているとは限らない。このことは日本語で文章を記述する場合と同様と考えられる。

日本語から日本手話、さらに非手指動作も含めて意図する手話ＣＧを生成して実利用可能に全自動で翻訳することが難しいため、一般的な日本語を手話ＣＧに変換して実用的に利用するには、手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを人手により修正し編集する作業が必要となる（例えば、非特許文献２参照）。

特開２０１４－６２５２８号公報

田中伸明，外３名，"日本語テキストから手話単語列への機械翻訳システム"，［online］，［平成30年3月28日検索］，岐阜大学工学部,インターネット〈ＵＲＬ:http://www.anlp.jp/proceedings/annual_meeting/2004/pdf_dir/P3-4.pdf〉 梅田 修一，"テレビにおける手話ＣＧでの聴覚障がい者支援"，一般社団法人映像情報メディア学会，映像情報メディア学会誌，映像情報メディア ６９（６），５２６－５２９，２０１５年７月１日発行

前述したように、日常使用する日本語を手話ＣＧに変換し、変換された手話ＣＧアニメーションを実用的に利用するには、手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを人手により修正し編集する作業が必要になっている。

このため、手話ＣＧへの変換がより分かりやすく編集・修正容易となるように使いやすいユーザインターフェースが求められ、手話文章、又は手話ＣＧアニメーション用の所定のデータファイルを修正可能とし、実用的に利用可能な手話ＣＧに加工可能とする手話ＣＧ翻訳編集装置、更には、スマートフォンやタブレット、或いは汎用コンピュータを手話ＣＧ翻訳編集装置として機能させるためのアプリケーション用のプログラムの提供が望まれる。

具体的に従来課題を説明する。まず、日本語から日本手話に変換する際に、日本語の単語を処理の最小単位として処理することが多い。日本語の１単語を分解して、日本手話では２つ以上の動きで表現することがあるように、日本語と日本手話の単語は１対１には対応しない。また、日本語と日本手話の単語を表す事象が同じだとしても、文章中の日本手話が適切な動きであるとは限らない。例えば日本語の「町（まち）」という単語を手話単語に置き換えようとしても、手話の「町（まち）」は各地方で表現方法が異なるなどの要因で動きが一意に決まらないため、手話を読む人によっては意味が通じないことがある。
さらに、手話を表現するためには手指を動かすだけでなく、うなずきや顔表情も重要な要素であり、日本語文だけから、手話における顔表情を細かく規定することができない。

一般的な手話単語辞典では分かりやすさのために、日本語の単語を表現する際の手指の動きを単位として５０音から手指の動きを検索できるようにしている。

そこで、特許文献１の技法においても、手話の動きの最小単位は、相当する日本語単語の手指動作である「手話単語」としている。そして、特許文献１にも開示されている手話ＣＧ翻訳装置は、まず、手話翻訳機により日本語文章テキストから日本手話に自動翻訳を行い、その後、信号処理の段階で、その自動翻訳によって並べられた手話単語を自動的に合成し、一連の日本手話の動きとした手話ＣＧを生成するための手話ＣＧアニメーションデータとして手話文章の所定のデータファイル（手話ＣＧ用ＢＶＨ（Bounding Volume Hierarchy）データファイル）を生成し、生成したデータファイルを出力するよう構成する。

しかし、特許文献１に開示されている手話ＣＧ翻訳装置において、自動翻訳結果が常に制作者が意図する通りの手話になるとは限らない。このため、手話翻訳機やその後の信号処理によって、自動的に並べられた手話単語や語順を意図する通りに、人手により、正しい手話単語、及び正しく並んでいる語順に「編集」する必要がある。更に、当該手話翻訳機やその後の信号処理によって、手話単語の語順が正しくても、手話単語間の接続のタイミングや接続の仕方が正しくないこともある。このため、その合成結果の手話ＣＧが不自然で理解できない動きとなる場合には人手により「修正」する必要が生じる。

手話ＣＧの合成に係る編集と修正は、手話を理解できる人が直接、或いは手話を理解できる人からの指示を受けて間接的にコンピュータに入力する。他人に指示を与え、又は他人から指示を受けて操作者がコンピュータを操作する場合を考えると、編集・修正はできるだけ直感的で分かりやすい操作で行えることが望ましい。

しかしながら、現時点で、だれでも簡単に利用できるインターフェースを持つ手話編集・修正機能を持つ手話ＣＧ翻訳編集装置やアプリケーション用プログラムは存在しない。このため、現時点では、手話ＣＧの動きを編集・修正する場合、ＣＧの専門性を持つ技術者が、手話を分かる人の監修を受けながら時間をかけ、手話ＣＧ用のアニメーションの手直しをしている。

このため、手話編集・修正機能を持つ手話ＣＧ翻訳編集装置を構成する場合、直感的に使いやすいグラフィック・ユーザ・インターフェース（ＧＵＩ）を提示することが望ましい。

ここで、コンピュータ上で利用されるプログラムとして、映像の編集用又は加工修正用アプリケーション（ソフトウェア）ではＧＵＩが広く使用されているが、一般的な日本語言語用の編集用アプリケーションを応用して、所謂タイムラインを用いた手話ＣＧの編集用ＧＵＩを構成することが考えられる。

例えば、図２０に示すような手話ＣＧの編集用ＧＵＩウィンドウＷＤをコンピュータの表示画面上に提示するアプリケーションが考えられる。図２０に示すＧＵＩウィンドウＷＤでは、操作者が、手話ＣＧ用の各手話単語を、予め保持される手話単語候補からマウスを利用して選択し、タイムラインを用いた接続を示すトラック（図示“トラック１”，“トラック２”，…）にドラック＆ドロップで入力する。図示する例では、「明日」、「雨」、「でしょう」の各手話単語が、“トラック１”，“トラック２”，“トラック３”に入力された様子を示している。その後、図２０に示すＧＵＩウィンドウＷＤでは、操作者が、マウス操作により、各トラック内の手話単語に関する開始時刻“ＩＮ”と終了時刻“ＯＵＴ”（手話単語時間）をずらすように調整することで、ＧＵＩウィンドウＷＤを提示するプログラムが手話単語間の接続を線形補間で自動補間生成する。これにより、操作者は、各手話単語の接続タイミングを適正化させるよう編集することができる。

しかしながら、図２０に示すＧＵＩウィンドウＷＤでは、手話単語の接続の仕方自体や、手話ＣＧに係る顔表情などの要素の詳細については修正することができない。タイムラインは１次元の軸の上で、手話単語毎に手話ＣＧにするための長さを調整することや、その開始時刻“ＩＮ”点と終了時刻“ＯＵＴ” 点を調整することはできるが、自由度に欠けるため、顔表情や動作など手話における重要な要素を十分に修正することができない。

本発明の目的は、上述の問題に鑑みて、日本語文章テキストから手話ＣＧを構成する手話文章を自動翻訳し、又は手話文章をより分かりやすく編集可能とする手話ＣＧ翻訳編集装置及びプログラムを提供することにある。

本発明の手話ＣＧ翻訳編集装置は、日本語文章テキストから手話ＣＧを生成するための手話文章を自動翻訳し、又は手話ＣＧアニメーション用の所定のデータファイルを作成するために手話ＣＧを構成する手話文章を修正し、この修正により手話ＣＧを編集する手話ＣＧ翻訳編集装置であって、１つの日本語文章に対応する手話文章について、当該日本語文章を構成する日本語単語の手指動作に対応する手話単語を最小単位とし、１つの手話単語を１つの単語ノードで表し、各単語ノード同士を接続線によって連結するように木構造で表現したインターフェースを形成し、グラフィック・ユーザ・インターフェース（ＧＵＩ）上の外部操作により各単語ノードの接続順又は各単語ノードの変更を編集可能に提示する手段と、手話単語を指定する単語コードと対応付けられた日本語単語を複数記憶保持し、各手話単語に関連する手話単語、類似する手話単語、及び複数の手話単語列を対応付けて予め保持する辞書データベースと、ユーザＩＤが割り当てられた使用地域、生年月日、及び性別のうち１以上を含むユーザ情報を記憶保持するユーザデータベースと、ユーザＩＤが割り当てられたユーザ単位で、手話単語別に、過去の使用又は翻訳修正した履歴情報を所定回数分、記憶保持する履歴データベースと、前記ＧＵＩ上で当該単語コード又は当該日本語単語を入力し、前記辞書データベースを探索して該入力に対応する単語ノードを用いて前記木構造で表現したインターフェースを編集可能に提示する指定単語提示手段と、編集対象又は自動翻訳対象の単語ノードに対し関連する手話単語、類似する手話単語、及び複数の手話単語列のうち１以上を含む候補を決定し前記ＧＵＩ上に提示する際に、前記ユーザデータベース及び前記履歴データベースを自動的に参照して前記ユーザＩＤで識別される操作者単位又は該操作者が属するグループ単位のいずれか一方又は双方の過去の履歴を基に優先度を推定・学習し、前記辞書データベースを探索して前記ＧＵＩ上に提示する当該候補を前記優先度を基に決定する候補単語提示手段と、を備えることを特徴とする。

また、本発明の手話ＣＧ翻訳編集装置において、前記候補単語提示手段は、前記ＧＵＩ上に提示する当該候補を前記優先度を基に決定する際に、当該操作者のユーザＩＤを基に前記履歴データベースを参照して、当該操作者が使用又は修正した履歴の有るものを優先的に提示するように当該探索した候補に対し優先度を割り得てる操作者履歴優先機能手段と、前記ＧＵＩ上に提示する当該候補を前記優先度を基に決定する際に、当該操作者のユーザＩＤを基に前記ユーザデータベースを参照して、当該操作者のユーザ情報を基に同一グループに属する他のユーザＩＤを割り出し、該他のユーザＩＤを基に前記履歴データベースを参照して、該他のユーザＩＤの操作者が使用又は修正した履歴の有るものを優先的に提示するように当該探索した候補に対し優先度を割り得てるグループ履歴優先機能手段と、前記操作者履歴優先機能手段及びグループ履歴優先機能手段によって優先度が割り当てられた当該候補について、使用頻度等の推定・学習処理に基づいて統合した優先度を割り当て、編集時では当該統合した優先度の高いものから順に提示し、前記手話文章の自動翻訳時には当該統合した優先度の最も高いもの利用するよう制御する推定・学習機能手段と、を有することを特徴とする。

また、本発明の手話ＣＧ翻訳編集装置において、Ｗｅｂ端末によりＷｅｂ接続可能とするＷｅｂアドレスを有し、前記履歴データベースを複数のＷｅｂ端末により共有させて前記Ｗｅｂ端末に対し前記ＧＵＩを提示するＷｅｂサーバ機能手段を更に備えることを特徴とする。

また、本発明の手話ＣＧ翻訳編集装置において、前記木構造を構成し、相互に連結された各単語ノードに対応する手話ＣＧの動きを接続するフィルタ処理の処理単位のうち最小の処理単位を機能ノードとし、該機能ノードの適用範囲を前記各単語ノードと結ぶリンク表示で表し、複数の機能ノードを多重して適用可能に表示し、外部操作により当該木構造における一連の手話ＣＧの動きの接続を、前記ＧＵＩ上で修正可能に提示する手段を更に備えることを特徴とする。

また、本発明の手話ＣＧ翻訳編集装置において、前記単語ノード毎の手話単語動きデータ、及び手話ＣＧに係るアニメーション用モデルのキャラクタデータを格納するデータベースと、前記木構造に基づいて、各単語ノードに対応する手話単語動きデータを合成し、一連の手話ＣＧとしてレンダリングする手段と、該手話ＣＧに関するプレビュー表示を前記ＧＵＩ上で外部操作により再生可能とし、前記プレビュー表示の進行に従い、再生している当該木構造に対応する単語ノード又は接続線を強調表示する手段と、該手話ＣＧに関するデータファイルをＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式で外部出力可能とする手段と、を更に備えることを特徴とする。

また、本発明のプログラムは、コンピュータに、本発明の手話ＣＧ翻訳編集装置を機能させるためのプログラムとして構成する。

本発明によれば、編集・修正を容易とする効果的な態様でより分かりやすくＧＵＩが提示されるため、自由度の高い手話修正が可能となり、自然で分かりやすい手話ＣＧを実現できる。特に、翻訳精度が１００％に満たない手話翻訳を簡単な編集により加工・修正することができ、放送番組のような翻訳の正確性が要求される用途では特に有効なものとなる。特に、本発明によれば、手話ＣＧの翻訳・編集の際に、簡単な操作で意図する手話ＣＧを作成できるようになる。

本発明による第１実施形態の手話ＣＧ翻訳編集装置の概略構成を示すブロック図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置における編集対象のデータファイルの入力処理に関するフローチャートである。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩの一例を示す図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置における編集対象の入力データファイル（ＣＳＶ形式）の一例を示す図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩにて編集可能にノード表示する手話単語列の一例を示す図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩにおける編集・データ出力操作例を示すフローチャートである。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩにおける手話単語の接続編集例を示す図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩにおける手話単語の追加編集例を示す図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩにおける手話単語の接続の仕方に関するフィルタ機能の編集例を示す図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩにおける手話単語の接続の仕方に関するフィルタ機能の変更修整例を示す図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩにおける整列機能を示す図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置にて提示するＧＵＩにおけるプレビュー機能を示す図である。 本発明に係る第１実施形態の手話ＣＧ翻訳編集装置を用いて構成した一実施形態の手話ＣＧ翻訳システムの概略構成を示すブロック図である。 本発明による第１実施形態の手話ＣＧ翻訳編集装置における翻訳・編集に係る詳細な構成を概略的に示すブロック図である。 （ａ）,（ｂ）は、それぞれ本発明による第１実施形態の手話ＣＧ翻訳編集装置における単語コード入力機能部及びタイトル入力機能部による編集例に示す図である。 （ａ）,（ｂ）は、それぞれ本発明による第１実施形態の手話ＣＧ翻訳編集装置におけるユーザＤＢ及び履歴ＤＢのデータ例に示す図である。 （ａ）,（ｂ）は、それぞれ本発明による第１実施形態の手話ＣＧ翻訳編集装置における候補単語決定機能部による編集例に示す図である。 本発明による第２実施形態の手話ＣＧ翻訳編集装置の概略構成を示すブロック図である。 本発明による第２実施形態の手話ＣＧ翻訳編集装置の利用例を示す図である。 従来技法から想定される手話ＣＧの編集用ＧＵＩを例示する図である。

まず、図１を参照して、本発明による第１実施形態の手話ＣＧ翻訳編集装置１の概略構成を説明する。

〔第１実施形態の手話ＣＧ翻訳編集装置〕
図１は、本発明による第１実施形態の手話ＣＧ翻訳編集装置１の概略構成を示すブロック図である。図１に示す手話ＣＧ翻訳編集装置１は、制御部２と、この制御部２に接続されるＧＵＩ部３及び記憶部４とを備える。手話ＣＧ翻訳編集装置１は、スマートフォンやタブレット、或いは汎用コンピュータ（以下、総括して「コンピュータ」と称する）上で、制御部２の機能により本発明に係るプログラムに基づくアプリケーション２０を起動して、ＧＵＩ部３を介して外部操作可能なＧＵＩを提示することで構成される。

従って、手話ＣＧ翻訳編集装置１は、コンピュータによって機能させることができ、当該コンピュータに、各構成要素を実現させるためのアプリケーション２０用のプログラムは、当該コンピュータの記憶部４に記憶される。当該コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御部２で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部４から読み込んで各構成要素の機能を当該コンピュータに実現させることができる。

図３は、本発明による第１実施形態の手話ＣＧ翻訳編集装置１にて提示するＧＵＩの一例を示す図である。本発明に係る一実施例のＧＵＩウィンドウＷＤは、図３に示すように、編集対象のデータファイルの手話言語列をノードの木構造で示すノード編集領域ＷＤ１と、辞書ＤＢ４３に実装している手話単語を示す単語ノード、並びに、線形補間処理等のフィルタ種類やスケーリング等の機能を示す機能ノードのリストを表示するノード種別表示領域ＷＤ２と、単語ノードや機能ノードの設定を変更可能に示すプロパティ表示領域ＷＤ３と、手話ＣＧのプレビュー再生を可能とするプレビュー表示領域ＷＤ４と、操作履歴を示すログ表示領域ＷＤ５とを有するよう構成される。

まず、一般的な手話単語辞典では分かりやすさのために、日本語の単語を表現する際の手指の動きを単位として５０音から手指の動きを検索できるようにしているため、本発明に係る手話ＣＧ翻訳編集装置１においても、手話の動きの最小単位は、対応する日本語単語の手指動作である「手話単語」（以下、単に「単語」とも称する）とする。以後、制御部２の機能によりアプリケーション２０が起動され、表示器３１に本発明に係るＧＵＩ（後述する図３に示すＧＵＩウィンドウＷＤ）が表示されているものとする。

制御部２は、データファイル入力・翻訳部２１と、ノード編集部２２と、データファイル出力部２３と、表示制御部２４と、操作制御部２５とを備える。

データファイル入力・翻訳部２１は、後述するように、操作制御部２５が操作部３２からの指示を受け付け、この操作制御部２５を介して操作部３２からの指示に応じて、編集対象のデータファイル（ＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式）を入力し、入力したデータファイルを解析して各単語をノード形式に変換し、各単語ノード（節）と、各単語ノード同士を連結する接続線（リンク）によって木構造で表現したインターフェースを形成する。そして、データファイル入力・翻訳部２１は、表示制御部２４を介して表示器３１によりＧＵＩウィンドウＷＤ上でこのインターフェースを提示する機能部である。

このため、データファイル入力・翻訳部２１は、入力データ解析部２１ａと、ノード形式変換部２１ｂと、ノード接続部２１ｃとを備える。

入力データ解析部２１ａは、編集対象として入力されたデータファイルを各単語（手話単語）に区分する解析処理（翻訳処理）を行う処理部である。

尚、入力データ解析部２１ａは、図１４乃至図１７を参照して後述するように、ノード編集部２２を作動させて候補データを読み出し、日本語文章テキストに基づいて指定された手話単語を用いる代わりに、編集時でも動作する。また、入力データ解析部２１ａは、当該指定された手話単語に関する候補データ（関連又は類似の手話単語）を探索し自動翻訳に利用する機能を有する。この候補データを自動翻訳時に利用することで操作性が向上する。

ノード形式変換部２１ｂは、入力データ解析部２１ａによって解析し、単語ごとに区分した各単語をノード形式に変換する処理部である。

ノード接続部２１ｃは、ノード形式変換部２１ｂによってノード形式に変換した各単語を自動連結し、各単語ノードと、各単語ノード同士を連結するように接続線によって木構造で表現したインターフェースを形成する処理部である。

このデータファイル入力・翻訳部２１は、ＣＳＶ形式の編集対象のデータファイルを入力する例として、図３に例示するＧＵＩウィンドウＷＤ上で操作部３２として機能するマウス操作でカーソルＭＳが示す“ＣＳＶ読込”ボタン２０１を押下する動作からの機能に対応する。

そして、ＧＵＩウィンドウＷＤ上では、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＣＳＶ読込”ボタン２０１が押下されると、ＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に、１つのＣＳＶ形成の入力データファイルに対応し１つのＢＶＨファイルを形成するための木構造のインターフェースが提示される。尚、入力データファイルの形式は、当該マウスの右クリック操作でメニュー提示して変更可能とするか、又はファイルメニューを示す“ＦＩＬＥ”ボタン２０６の押下で提示されるメニュー内で変更可能とする構成とすることができる。

尚、データファイル入力・翻訳部２１の機能により“ＣＳＶ読込”ボタン２０１の押下で編集対象のデータファイルを入力しないで、以下に説明するノード編集部２２の機能により、辞書ＤＢ４３に実装している手話単語をノード編集領域ＷＤ１に追加指定可能とする“単語”ボタン２０２の押下で編集対象のデータファイルを構築することもできる。

図１に示すノード編集部２２は、後述するように、操作部３２からの指示を操作制御部２５により受け付け、この操作制御部２５を介する操作部３２からの指示に応じて、ＧＵＩウィンドウＷＤ上で表示した編集対象のデータファイルについて、各単語ノード同士を連結する接続線（リンク）によって木構造で表現したインターフェース上で編集可能とする機能部である。ノード編集部２２は、自動的に木構造に従って手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧとしてレンダリングする機能を有する。

このため、ノード編集部２２は、ノード接続修正機能部２２１、単語ノード修正機能部２２２、機能ノード修正機能部２２３、ノード表示整列機能部２２４、及び、プレビュー表示機能部２２５を備える。

ノード接続修正機能部２２１は、操作者の操作によりＧＵＩウィンドウＷＤ上で、各単語ノード同士を連結する接続線を修正可能とする機能部である。

単語ノード修正機能部２２２は、操作者の操作によりＧＵＩウィンドウＷＤ上で、単語ノードの配列を修正可能とする機能部である。

機能ノード修正機能部２２３は、操作者の操作によりＧＵＩウィンドウＷＤ上で、線形補間等の機能ノードを修正可能とする機能部である。機能ノードは、連結する各単語ノードに対応する手話ＣＧの動きの接続法として設定変更可能なフィルタ処理を施す最小の処理単位であり、図３に示す例では「スケーリング」や、「線形補間」、モーションブレンド法による「ＬＰＦ（二点中点）」及び「ＬＰＦ（三点平均）」が用意されている。

ノード接続修正機能部２２１、単語ノード修正機能部２２２、及び機能ノード修正機能部２２３の各機能は、それぞれ図３に例示するＧＵＩウィンドウＷＤ上では、ノード種別表示領域ＷＤ２にて提示される各ボタンをマウス操作でカーソルＭＳで押下する動作からの編集機能に対応する。

“単語ノード”ボタン２０２は、辞書ＤＢ４３に実装している手話単語を指定可能にする。
“スケーリング”ボタン２０３は、機能ノードとしてスケーリング機能を指定可能にする。
“線形補間”ボタン２０４は、機能ノードとして線形補間処理機能を指定可能にする。
“ＬＰＦ（二点中点）”ボタン２０５は、機能ノードとして二点中点によるローパスフィルタ（ＬＰＦ）処理機能を指定可能にする。
“ＬＰＦ（三点平均）”ボタン２０６は、機能ノードとして三点平均によるローパスフィルタ（ＬＰＦ）処理機能を指定可能にする。

カーソルＭＳが示す各ボタン２０２～２０６をマウス操作で押下により、ＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に、対応する単語ノード、或いは機能ノードを表示させることができる。各単語ノード、及び機能ノードは、マウス操作で任意に移動させることができ、木構造を構成する接続もＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１上で任意に修正可能である。カーソルＭＳが示す各単語ノード、及び機能ノードの設定は、プロパティ表示領域ＷＤ３にて提示される設定メニューにより変更可能である。

図１に示すノード表示整列機能部２２４は、操作者の操作によりＧＵＩウィンドウＷＤ上で、当該木構造で表現したインターフェース上の各種ノード表示を整列可能する機能部である。

このノード表示整列機能部２２４は、図３に例示するＧＵＩウィンドウＷＤ上では、操作部３２として機能するマウス操作でカーソルＭＳが示す“整列”ボタン２０９を押下する動作に対応する。

図１に示すプレビュー表示機能部２２５は、操作者の操作によりＧＵＩウィンドウＷＤ上で、編集に係る当該木構造で表現したインターフェース上の各種ノード表示をプレビュー表示可能とする機能部である。特に、ノード編集部２２は、自動的に木構造に従って手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧとしてレンダリングする機能を有するため、プレビュー表示機能部２２５は、編集に係る当該木構造で表現したインターフェース上の各種ノード表示をプレビュー表示して再生することができる。

このプレビュー表示機能部２２５は、図３に例示するＧＵＩウィンドウＷＤ上では、操作部３２として機能するマウス操作でカーソルＭＳが示す“再生／停止”ボタン２１０を押下する動作に対応し、編集に係る木構造に基づく手話ＣＧをプレビュー表示領域ＷＤ４にてプレビュー再生を可能とし、シークバー２１２によってプレビュー表示の再生位置を頭出しするなどの指定を可能とする。また、プレビュー表示中の全体フレーム対する現フレームの位置で、プレビュー表示位置欄２１１を提示している。

尚、図示を省略しているが、ノード編集部２２は、表示画面内の指定領域を拡大・縮小表示させる機能を備えるよう構成することができる。例えば、ノード編集領域ＷＤ１内で表示する手話ＣＧに関する木構造をホイール付きマウスのホイール操作により拡大・縮小表示させるよう操作可能とすることができる。

また、ノード編集部２２の機能として、図３に例示するＧＵＩウィンドウＷＤ上では、ファイルメニューを示す“ＦＩＬＥ”ボタン２０６の押下で編集中のデータファイルの保存や読み出し機能を有する。また、ノード編集部２２の機能として、データファイルの入出力や編集に係る操作の履歴は、逐次、ログ表示領域ＷＤ５に表示される。

更に、ノード編集部２２は、プロパティ表示領域ＷＤ３について、マウスのカーソルＭＳの操作で表示指定欄２０７を“レ”点指定すればＧＵＩウィンドウＷＤ上に表示し、当該“レ”点指定を解除すればＧＵＩウィンドウＷＤ上に非表示とする機能を有する。また、ノード編集部２２は、ログ表示領域ＷＤ５について、マウスのカーソルＭＳの操作で表示指定欄２０８を“レ”点指定すればＧＵＩウィンドウＷＤ上に表示し、当該“レ”点指定を解除すればＧＵＩウィンドウＷＤ上に非表示とする機能を有する。

図１に示すデータファイル出力部２３は、操作部３２からの指示を操作制御部２５により受け付け、この操作制御部２５を介する操作部３２からの指示に応じて、ノード編集部２２における編集に係る当該木構造を示すテキストデータや、最終的なＣＧ手話のデータファイル（ＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式）を出力する機能部である。

このデータファイル出力部２３は、図３に例示するＧＵＩウィンドウＷＤ上では、ＢＶＨ形式の編集対象のデータファイルを出力する例として、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＢＶＨ出力”ボタン２１３を押下する動作に対応する。尚、出力データファイルの形式は、当該マウスの右クリック操作でメニュー提示して変更可能とするか、又はファイルメニューを示す“ＦＩＬＥ”ボタン２０６の押下で提示されるメニュー内で変更可能とする構成とすることができる。

図１に示す表示制御部２４は、データファイル入力・翻訳部２１、又はノード編集部２２からの指示に応じて対応するデータを表示器３１に示されるＧＵＩウィンドウＷＤ上に表示するよう制御する機能部である。

操作制御部２５は、操作部３２からの指示を受け付け、データファイル入力・翻訳部２１、ノード編集部２２、又はデータファイル出力部２３の動作を制御する機能部である。

ＧＵＩ部３は、ＧＵＩを表示可能とする表示器３１と、表示されるＧＵＩ上の各機能を操作を可能とする操作部３２を備える。本例では、マウス操作によりＧＵＩ上の各機能の操作を行う例とする。

記憶部４は、本発明に係るプログラムに基づくアプリケーション２０用のプログラムの他、手話単語動きデータＤＢ４１と、ＣＧキャラクタデータＤＢ４２と、辞書ＤＢと、ユーザＤＢと、履歴ＤＢとを備える。

手話単語動きデータＤＢ４１は、アニメーション用モデルの骨格を階層構造で記述する構造部と動作データを記述するモーション部で構成されるＢＶＨ形式のテキストファイルを、手話単語に応じた数で紐付けして格納するデータベースである。当該モーション部は１行＝アニメーション動画の１フレームに対応し、当該構造部の定義順にアニメーション用モデルの各関節の情報を記述している。そして、当該モーション部は、アニメーション用モデルの各関節を機能ノードとして、その回転角度によって記述している。回転角度はオイラー角、単位はｄｅｇｒｅｅで記述している。

ＣＧキャラクタデータＤＢ４２は、アニメーション用モデルのキャラクタデータとして、その形状データ、マテリアルデータ、テクスチャデータ、ボーン及びスキンウエイトデータからなる規定のテキストデータからなり、手話単語動きデータＤＢ４１における各ＢＶＨ形式のテキストファイルに連動させるよう紐付けられている。

後述する図１４乃至図１７を適宜参照し、辞書ＤＢ４３、ユーザＤＢ４４、及び履歴ＤＢ４５は、指定された手話単語に関する関連又は類似の手話単語を自動翻訳又は編集時の候補として提示するために利用されるデータベースについて説明する。

〔装置動作〕
以下、本発明による第１実施形態の手話ＣＧ翻訳編集装置１の動作について説明する。

まず、図２を参照して、データファイル入力・翻訳部２１のデータファイルの入力処理例について、より詳細に説明する。図２は、本発明による第１実施形態の手話ＣＧ翻訳編集装置における編集対象のデータファイルの入力処理に関するフローチャートである。

以下に説明する例では、データファイル入力・翻訳部２１は、操作部３２からの指示を操作制御部２５により受け付け、この操作部３２からの指示に応じて図示しない外部装置（記録媒体を含む）から編集対象のデータファイルを読み出して入力する例として説明するが、このような編集対象のデータファイルを予め記憶部４に格納しておき、この記憶部４から読み出すことで入力する構成とすることもできる。

図２に示すように、まず、手話ＣＧ翻訳編集装置１は、制御部２の機能によりアプリケーション２０を起動して、表示器３１に本発明に係る図３に示すＧＵＩウィンドウＷＤを表示させる（ステップＳ１）。編集・修正者はＧＵＩウィンドウＷＤの画面上で作業を行う。ここでは、操作部３２からの指示（手動）に応じて制御部２の機能によりアプリケーション２０が起動されている例を説明するが、詳細に後述する手話ＣＧ翻訳システム１０１に本発明に係る手話ＣＧ翻訳編集装置１を組み入れた場合には自動的にアプリケーション２０が起動する構成とすることもできる。

データファイル入力・翻訳部２１は、操作制御部２５を介する操作部３２からの指示に応じて、編集対象のデータファイルを入力する（ステップＳ２）。即ち、図３に示すＧＵＩウィンドウＷＤ上で、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＣＳＶ読込”ボタン２０１が押下されると、操作制御部２５がこの指示を受け付け、図示しない外部装置（記録媒体を含む）から編集対象のデータファイル（本例では、図４に示すＣＳＶ形式）を読み出して提示し、操作者が所望する編集対象のデータファイルを入力する。

本例では、図３に示すＧＵＩウィンドウＷＤ上での指示（手動）に応じて編集対象のデータファイルを入力する例を説明するが、詳細に後述する手話ＣＧ翻訳システム１０１に本発明に係る手話ＣＧ翻訳編集装置１を組み入れた場合には、自動的に順次に編集対象のデータファイルを入力する構成とすることもできる。

編集対象のデータファイルとして、例えば図４に示すように、入力データファイルＮｏ．１～Ｎｏ．５が提示され、操作者がこのいずれかを指定することで、データファイル入力・翻訳部２１は、編集対象のデータファイルとして入力する。入力された編集対象のデータファイルのファイル名は、ＧＵＩウィンドウＷＤ上のウィンドウ枠２０２に表示される。

図４に示すように、入力データファイルＮｏ．１～Ｎｏ．５は、手話単語動きデータＤＢ４１内に格納されている手話単語動きデータにリンクするための識別子（ＩＤ）を、カンマで区切るＣＳＶ形式のテキストファイルで表されている。入力データファイルＮｏ．１～Ｎｏ．５の各々は、１つの日本語文章に対応する手話文章として構成される。

続いて、データファイル入力・翻訳部２１は、入力データ解析部２１ａにより、編集対象として入力されたデータファイルを各単語（手話単語）に区分する解析処理（翻訳処理）を行う（ステップＳ３）。

続いて、データファイル入力・翻訳部２１は、ノード形式変換部２１ｂにより、入力データ解析部２１ａによって解析し区分した各単語をノード形式に変換する（ステップＳ４）。

続いて、データファイル入力・翻訳部２１は、ノード接続部２１ｃは、ノード形式変換部２１ｂによってノード形式に変換した各単語について自動連結し、各単語ノードと、各単語ノード同士を連結する接続線によって木構造で表現したインターフェースを形成する（ステップＳ５）。

続いて、データファイル入力・翻訳部２１は、編集対象のデータファイルについてノードの木構造で表現したインターフェースを表示制御部２４に出力し、表示制御部２４によって表示器３１に提示されているＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に表示させる（ステップＳ６）。このように、上述した各ステップＳ１～Ｓ６に関して、アプリケーションの起動後（ステップＳ１）、データファイル入力・翻訳部２１は、自動又は手動で編集対象のデータファイルを逐次入力すると（ステップＳ２）、自動的にノードの木構造で表現したインターフェースをＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に表示させる（ステップＳ３～Ｓ６）。

ここで、図４に例示するように、各入力データファイルＮｏ．１～Ｎｏ．５は、カンマで区切られている英数字記号列が、対応するＢＶＨファイルを指定する識別子となり１つの単語ノードを示す。「Ｎ」はうなずく動きを示す特殊記号を示す識別子となり１つの単語ノードを示す。そして、各単語ノードを連結する接続線は、線形補間等の機能ノードを付随しており、該当するＢＶＨファイルにおけるアニメーション用モデルの各関節の回転角度を補間していることを意味する。従って、データファイル入力・翻訳部２１は、１つのＣＳＶ形成の入力データファイルに対応して、各ノード（ＢＶＨファイル）を連結した１つのＢＶＨファイルを形成するための木構造のインターフェースを形成する。

図３は、ＧＵＩウィンドウＷＤ上で、操作部３２として機能するマウス操作でカーソルＭＳが示す“ＣＳＶ読込”ボタン２０１が押下されることで、ＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に、１つのＣＳＶ形成の入力データファイルに対応し１つのＢＶＨファイルを形成するための木構造のインターフェースが提示する例を示している。

この例における木構造について、図５を参照してより詳細に説明する。尚、ＧＵＩウィンドウＷＤ上の“ＣＳＶ読込”ボタン２０１の押下で編集対象のデータファイルを入力せずとも、辞書ＤＢ４３に実装している手話単語を示す“単語ノード”ボタン２０２の押下で編集対象のデータファイルを構築することもできる。

図５に示すように、ＧＵＩウィンドウＷＤ上のノード編集領域ＷＤ１に、１つのＢＶＨファイルとして生成可能な木構造として手話ＣＧ用の手話単語列が表現されて提示されている。即ち、個々の手話単語を単語ノードとして接続し、機能ノードでその接続法（喜怒哀楽などの顔表情等を含む）を指定する木構造となっている。

図５では、単語ノードｗｎ１として「今日」、単語ノードｗｎ２として「降水確率」、単語ノードｗｎ３として「２０」、単語ノードｗｎ４として「％」がそれぞれの接続線ｃ１,ｃ２,ｃ３で接続されて提示されている例を示している。各単語ノードｗｎ１～ｗｎ４は、手話単語動きデータＤＢ４１に格納される手話単語動きデータ（本例では、ＢＶＨ形式のテキストファイルで示されるモーションデータ）が紐づけられている。

そして、図３に示したノード種別表示領域ＷＤ２にて提示されるように、辞書ＤＢ４３に実装している手話単語をノード編集領域ＷＤ１に追加指定可能とする“単語”ボタン２０２の押下でエディタを開き過去の使用履歴や修正履歴、推定・学習（機械学習を含む）等により使用可能とする手話単語候補をリスト表示しノード編集領域ＷＤ１に追加指定可能とするか、又は“単語”ボタン２０２の押下でノード編集領域ＷＤ１に単語ノードを仮表示するために、プロパティ表示領域ＷＤ３に表示される単語ノードのコード入力で追加指定可能とする。

また、各単語ノード間の連結に伴って、手話ＣＧの軌跡形状を加工する各種フィルタ機能を機能ノードｆ１～ｆ３で表現している。機能ノードは、各単語ノード間の接続法（喜怒哀楽などの顔表情等を含む）を示している。

そして、図３に示したノード種別表示領域ＷＤ２にて提示されるように、“スケーリング”ボタン２０３、“線形補間”ボタン２０４、“ＬＰＦ（二点中点）”ボタン２０５、及び“ＬＰＦ（三点平均）”ボタン２０６の押下でノード編集領域ＷＤ１に、対応する機能ノードを表示し、プロパティ表示領域ＷＤ３に表示される機能ノードの設定入力で追加指定可能とする。

この機能ノードに係るフィルタ機能は、連結する各単語ノードに対応する手話ＣＧの動きの接続法として、図３に示す例では「スケーリング」や、「線形補間」、モーションブレンド法による「ＬＰＦ（二点中点）」及び「ＬＰＦ（三点平均）」が用意されている例を示しているが、更に別のフィルタ機能を追加する拡張性を持たせ、例えば、インバースキネマティクスによる特許文献１に開示される各種方法で規定することができる。

そして、複数の機能ノードをグループ化して、一括して処理することで、手話ＣＧにおける手の振りの大きさ、顔表情、口形など、手話を構成する要素の特性を詳細に定義することができる。

「スケーリング」機能はアニメーション用モデルの両肩関節位置の中点を中心として、動きの軌跡を構成する点群の位置座標に任意の倍数を掛け合わせて当該軌跡の大きさを変更可能とする機能である。「線形補間」機能は補間部分を直線的に自動修正する機能である。「ＬＰＦ（二点中点）」機能は指定する２点の単語ノード間を基準にローパスフィルタを施す機能である。「ＬＰＦ（三点平均）」機能は指定する３点の単語ノード間を基準に平均化したローパスフィルタを施す機能である。

例えば、図５において提示される木構造として、機能ノードｆ１が、図３に示すように“スケーリング”であるとすれば、単語ノードｗｎ２の「降水確率」及び単語ノードｗｎ３の「２０」間を指定するリンク表示ｆ１_ａ，ｆ１_ｂで連結させている。この場合、機能ノードｆ１の適用範囲は、単語ノードｗｎ２の「降水確率」の前段の接続線ｃ１から単語ノードｗｎ３の「２０」の後段の接続線ｃ３までのタイミングが適用範囲となる。また、機能ノードｆ２が図３に示すように“線形補間”であるとし、機能ノードｆ３が例えば“ＬＰＦ（二点中点）”であるとしたとき、単語ノードｗｎ４の「％」のみにリンク表示ｆ２／ｆ３_ａで連結させている。この場合、機能ノードｆ２，ｆ３の適用範囲は、単語ノードｗｎ４の「％」の前段の接続線ｃ３から単語ノードｗｎ４の「％」までのタイミングが適用範囲となる。機能ノードｆ２，ｆ３の適用範囲は重複させているためその重複状態が分かるようにアイコンで明示させており、このように重ね合わせた機能ノードはグループ化して、一括して処理することを意味している。

そして、図５に示す木構造は、図３に示したノード編集領域ＷＤ１上で、マウスによるドラッグ＆ドロップ操作によって単語ノードの接続関係又は単語ノード自体を変更することや、機能ノードのリンクの接続状態又は機能ノード自体を変更する編集・修正が可能となっている。

〔編集操作例〕
以下、本発明の理解を高めるために、一例として、図６に示す編集手順によって、ノード編集領域ＷＤ１上で、操作者が手話ＣＧに関する木構造を編集・修正し、その編集後のデータファイルを出力するまでの編集操作例を説明する。図６は、本発明による第１実施形態の手話ＣＧ翻訳編集装置１にて提示するＧＵＩにおける編集・データ出力操作例を示すフローチャートである。尚、本発明は、図６に示す編集手順に限定するものではなく、適宜変更するようにしてもよい。

まず、操作者は、ノード編集領域ＷＤ１上で、図３に示すような、単語ノードｗｎ１の「今日」、単語ノードｗｎ２の「降水確率」、単語ノードｗｎ３の「２０」、単語ノードｗｎ４の「％」がそれぞれの接続線ｃ１，ｃ２，ｃ３で接続され、機能ノードｆ１として、“スケーリング”が、単語ノードｗｎ２の「降水確率」及び単語ノードｗｎ３の「２０」間を指定するリンク表示ｆ１_ａ，ｆ１_ｂで連結され、機能ノードｆ２として“線形補間”、機能ノードｆ３として“ＬＰＦ（二点中点）”が、単語ノードｗｎ４の「％」のみにリンク表示ｆ２／ｆ３_ａで連結されている状態から、その木構造について編集操作を行うものとする。

操作者は、ノード編集領域ＷＤ１上で、単語ノードｗｎ１の「今日」のノード接続を修正するとき（ステップＳ１１）、マウスのカーソルＭＳで接続線ｃ１，ｃ２を指定し、マウス操作（例えば右クリック操作）でその接続を解除することができる（図７参照）。更に、単語ノードｗｎ１の「今日」をマウスでドラッグし、単語ノードｗｎ２の「降水確率」に近接又は重複させてマウスでドロップするドラッグ＆ドロップ操作で、再び接続線ｃ１で単語ノードｗｎ１の「今日」と単語ノードｗｎ２の「降水確率」とを連結させることができる。同様に、マウスのドラッグ＆ドロップ操作で、接続線ｃ２で単語ノードｗｎ２の「降水確率」と単語ノードｗｎ３の「２０」とを連結させることができる。

また、マウスのカーソルＭＳで単語ノードｗｎ１の「今日」を指定すると、強調表示され、その単語ノードｗｎ１に関する設定状態がプロパティ表示領域ＷＤ３に表示される。プロパティ表示領域ＷＤ３には、当該「今日」を指定する単語コード欄と、当該「今日」を表示するタイトル欄の他、単語ノードｗｎ１の手話ＣＧアニメーションのタイミングとして設定変更可能なフレーム数、当該単語ノードに関する開始時刻を示すＩＮ点及び終了時刻を示すＯＵＴ点（手話単語時間）が表示される。このため、操作者は、各単語ノードに関する手話単語の変更や手話単語時間を調整することができる。

一方、操作者は、ノード編集領域ＷＤ１上で、新たな単語ノードｗｎ５を追加修正するとき（ステップＳ１２）、ノード種別表示領域ＷＤ２にて提示される“単語”ボタン２０２の押下でエディタを開き過去の使用履歴や修正履歴、推定・学習（機械学習を含む）等により使用可能とする手話単語候補をリスト表示しノード編集領域ＷＤ１に追加指定可能とするか、又は“単語”ボタン２０２の押下でノード編集領域ＷＤ１に単語ノードを仮表示するために、プロパティ表示領域ＷＤ３に表示される単語ノードのコード入力で、例えば単語ノードｗｎ５の「明日」を指定することができる（図８参照）。マウスのカーソルＭＳで単語ノードｗｎ５の「明日」を指定すると、強調表示され、その単語ノードｗｎ５に関する設定状態がプロパティ表示領域ＷＤ３に表示されるため、操作者は当該語ノードｗｎ５に関して設定変更可能となる。

続いて、図９に示すように、操作者は、ノード編集領域ＷＤ１上で、機能ノードｆ１の「スケーリング」の接続を修正するとき（ステップＳ１３）、マウスのカーソルＭＳで接続線ｆ１_ａを指定してマウス操作（例えば右クリック操作）でその接続を解除し、機能ノードｆ１の「スケーリング」をマウスでドラッグし、単語ノードｗｎ１の「今日」に近接又は重複させてマウスでドロップするドラッグ＆ドロップ操作で、機能ノードｆ１の「スケーリング」の接続線ｆ１_ａの接続先を単語ノードｗｎ１の「今日」に変更することができる。

このとき、マウスのカーソルＭＳで機能ノードｆ１の「スケーリング」を指定すると、強調表示され、その機能ノードｆ１に関する設定状態がプロパティ表示領域ＷＤ３に表示される。この場合、プロパティ表示領域ＷＤ３には、「スケーリング」である旨を示す表示欄と、手話ＣＧアニメーションのモデルの原点指定欄、その動きに関するＸＹＺ軸上のオフセット量及びスケール量、その動きに要する遷移フレーム数、当該スケーリングを適用するモデルの右腕及び／又は左腕の指定欄が表示される。このため、操作者は、機能ノードｆ１に関する機能ノードの変更や詳細設定を調整することができる。

また、図１０に示すように、操作者は、ノード編集領域ＷＤ１上で、各単語ノード及び各機能ノードを任意に配置変更することができ、マウス操作で、上記と同様に機能ノードｆ１の「スケーリング」の接続を解除し、“ＬＰＦ（二点中点）”ボタン２０５の押下でノード編集領域ＷＤ１に表示し、上記と同様にドラッグ＆ドロップ操作で単語ノードｗｎ１の「今日」にはリンク表示ｆ５_ａで、単語ノードｗｎ４の「％」にはリンク表示ｆ５_ｂで機能ノード変更及び接続変更を行うことができる。“ＬＰＦ（二点中点）”や“ＬＰＦ（三点平均）”の場合のプロパティ表示領域ＷＤ３には、各リンク表示ｆ５_ａ，ｆ５_ｂに係るモーションブレンド法によるブレンド範囲が数値設定で変更可能となっている。

続いて、操作者は、ノード編集領域ＷＤ１上で、離散表示した各単語ノード及び機能ノードについて整列させたいとき（ステップＳ１４）、カーソルＭＳが示す“整列”ボタン２０９の押下で、ノード編集領域ＷＤ１の各ノードを自動的に整列させることができる（図１１参照）。“整列”ボタン２０９の押下で、ノード表示整列機能部２２４は、ノードを再生順に左から右へ並び替えるよう表示制御部２４に指示し、ノード編集領域ＷＤ１上で各ノードを整列させる。

続いて、図１２に示すように、操作者は、強調表示されている編集中の木構造について手話ＣＧに関するプレビュー表示を行いたいとき（ステップＳ１５）、マウス操作でカーソルＭＳが示す“再生／停止”ボタン２１０を押下することで、当該編集に係る木構造について手話ＣＧに関するプレビュー表示を開始させることができる。ここで、ノード編集部２２は、自動的に木構造に従って手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧとしてレンダリングする機能を有する。従って、ノード編集領域ＷＤ１上で、複数の木構造を提示して編集している場合でも、当該木構造内の任意のノードをカーソルＭＳで指定し強調表示させることで、操作者は、いずれの木構造のプレビュー表示を行うかについて視覚的に認識できる。

また、操作者は、シークバー２１２を利用して、プレビュー表示の再生位置を頭出しするなどの指定が可能である。更に、プレビュー表示領域ＷＤ４におけるプレビュー再生時には、プレビュー表示機能部２２５の機能により、対応する単語ノードや接続線が色分けするなど他と区別するよう明示して、プレビュー表示の進行に合わせて再生している当該木構造の対応する単語ノード又は接続線を強調表示する。このため、操作者にとって、編集中の木構造についての編集に係る操作性が大幅に向上したものとなっている。

編集作業の終了で、操作者は、強調表示されている編集中の木構造について手話ＣＧに関するデータファイルを例えばＢＶＨ形式で出力したいとき（ステップＳ１６）、マウス操作でカーソルＭＳが示す“ＢＶＨ出力”ボタン２１３を押下することで、出力先（保存先）を指定するエディタが開かれ、指定の出力先（保存先）へ出力することができる。尚、出力データファイルの形式は、当該マウスの右クリック操作でメニュー提示して変更可能とするか、又はファイルメニューを示す“ＦＩＬＥ”ボタン２０６の押下で提示されるメニュー内で変更可能とする構成とすることができる。

このとき、データファイル出力部２３は、ノード編集部２２から、強調表示されている編集終了時の木構造について、自動的に手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧとしてレンダリングしたデータを取得してＢＶＨ等の所望される形式で出力する。上述した各ステップＳ１１～Ｓ１６は、順不同で、且つ選択的に編集操作を行うことができる。

従って、ノード編集領域ＷＤ１上で、複数の木構造を提示して編集している場合でも、当該木構造内の任意のノードをカーソルＭＳで指定し強調表示させることで、操作者は、いずれの木構造の出力データファイルを形成するかについて容易に視覚的に認識できる。また、操作者は、一拡大又は縮小操作としてホイール付きマウスのホイール操作で、少なくとも各単語ノードの表示をＧＵＩ上で任意に拡大又は縮小表示することができる。

上述したように、本発明に係る手話ＣＧ翻訳編集装置１及びプログラムによれば、より分かりやすく編集・修正を容易とする効果的な態様でＧＵＩが提示されるため、自由度の高い手話修正が可能となり、自然で分かりやすい手話ＣＧを実現できる。特に、翻訳精度が１００％に満たない手話への自動翻訳を簡単な編集により加工・修正することができる。

〔手話ＣＧ翻訳システム〕
図１３は、本発明に係る第１実施形態の手話ＣＧ翻訳編集装置１を用いて構成した一実施形態の手話ＣＧ翻訳システム１０１の概略構成を示すブロック図である。手話ＣＧ翻訳装置１０１は、上述した本実施形態の手話ＣＧ翻訳編集装置１と、データベース（ＤＢ）１０２と、手話翻訳機１０３と、レンダラ１０５とを備える。

データベース（ＤＢ）１０２には、複数のジョイントからなる骨格構造の情報（骨格構造情報）、並びに、スキン形状及び色等のマテリアル情報のベースモデルが格納されている。

手話翻訳機１０３は、手話ＣＧとして再生する日本語文章テキストを入力し、日本語文章テキストを、統計翻訳及び用例翻訳等の手法を用いて、手話単語を羅列させた複数の手話単語に変換（翻訳）し、例えば図４に例示するＣＳＶ形式の入力データファイルＮｏ．１～Ｎｏ．５を順次、手話ＣＧ翻訳編集装置１に出力する。

手話ＣＧ翻訳編集装置１は、手話翻訳機１０３から入力データファイルからの入力があると、入力データファイル毎に一時記憶し、図３に例示するＧＵＩウィンドウＷＤを提示するアプリケーション２０を自動的に起動し、操作者が編集可能な状態にする。

操作者が編集終了の時点で、マウス操作でカーソルＭＳが示す“ＢＶＨ出力”ボタン２１３を押下することで、ノード編集部２２から、強調表示されている編集終了時の木構造についての手話単語動きデータ（モーションデータ）を合成して一連の手話ＣＧとしてレンダリングしたデータを取得してＢＶＨファイルを形成し、出力先としてレンダラ１０５を指定して出力する。この時、操作者、別の入力データファイルについての編集作業を継続して行うことができる。

レンダラ１０５は、手話ＣＧ翻訳編集装置１からＢＶＨファイルを入力すると共に、データベース（ＤＢ）１０２から骨格構造情報等のベースモデルの情報を読み出し、これらを統合することで、日本語文章テキストに対応する多関節骨格モデルの動きを表しＣＧキャラクタとして画面表示な制御データとして手話の動きのＣＧデータを生成し、外部に出力する。

このように、本発明に係る第１実施形態の手話ＣＧ翻訳編集装置１を、手話ＣＧ翻訳システム１０１内に組み入れることで、効率の良い手話ＣＧ翻訳に係る編集が可能となる。

以上のように、本発明に係る第１実施形態の手話ＣＧ翻訳編集装置１においては、手話の動きの単位を単語ノードと称する矩形状のオブジェクトで表し、各単語ノードを接続線で接続した木構造で表現しＧＵＩの操作画面上に表示することで、直感的な編集操作を可能としている。ユーザ（操作者）はそのオブジェクト間の接続構造をマウス操作により変更することで手話ＣＧアニメーションの編集・修正を行うことができる。

特に、図３及び編集操作例の図８を参照して説明したように、上述した手話ＣＧ翻訳編集装置１では、ＧＵＩ３にて提示されるＧＵＩウィンドウＷＤ上で表示した編集対象のデータファイルについて、そのＧＵＩの画面上に存在しないノードが必要になった場合には、ノード種別表示領域ＷＤ２にて提示するように、辞書ＤＢ４３に実装している手話単語をノード編集領域ＷＤ１に追加指定可能とする“単語”ボタン２０２の押下でエディタを開き過去の使用履歴や修正履歴、推定・学習（機械学習を含む）等により使用可能とする手話単語候補をリスト表示し、ノード編集領域ＷＤ１に追加指定可能とするか、又は“単語”ボタン２０２の押下でノード編集領域ＷＤ１に単語ノードを仮表示するために、プロパティ表示領域ＷＤ３に表示される単語ノードのコード入力で追加指定可能とする例を説明した。

以下では、この操作性を向上させるために、手話単語候補自体の入力操作と自動提示を行う機能を更に追加することで、手話ＣＧ翻訳編集装置１の実用性を大きく高めるようにしている。

（手話単語候補の入力操作と自動提示）
図１４を参照して、本発明に係る第１実施形態の手話ＣＧ翻訳編集装置１における手話単語候補の入力操作と自動提示について説明する。図１４は、本発明による第１実施形態の手話ＣＧ翻訳編集装置１における翻訳・編集に係る詳細な構成を概略的に示すブロック図である。

まず、データファイル入力・翻訳部２１は、図１を参照して上述したように、編集対象として入力されたデータファイルを各単語（手話単語）に区分する解析処理（翻訳処理）を行う入力データ解析部２１ａを有している。

この入力データ解析部２１ａは、ノード編集部２２を作動させて候補データを読み出し、日本語文章テキストに基づいて指定された手話単語を用いる代わりに、当該指定された手話単語に関する候補データ（関連又は類似の手話単語）を自動翻訳に利用する機能を有する。

そして、データファイル入力・翻訳部２１は、入力された日本語文章テキストについて自動翻訳を行いノード表現した手話ＣＧ化可能な翻訳データをＧＵＩ部３の表示器３１に提示する。

一方、ノード編集部２２は、上述したように、ＧＵＩ３にて提示されるＧＵＩウィンドウＷＤ上で表示した編集対象のデータファイルについて、各単語ノード同士を連結する接続線（リンク）によって木構造で表現したインターフェース上で編集可能とする機能部であり、操作者の操作によりＧＵＩウィンドウＷＤ上で、単語ノードを修正可能とする単語ノード修正機能部２２２を有する。

単語ノード修正機能部２２２は、単語コード入力機能部２２２１、タイトル入力機能部２２２２、候補単語決定機能部２２２３、操作者履歴優先機能部２２２４、グループ履歴優先機能部２２２５、及び推定・学習機能部２２２６を有する。

図３及び図８を参照して説明したように、“単語”ボタン２０２の押下で単語ノードのコード入力を可能とするメニューがプロパティ表示領域ＷＤ３に表示される（図１５（ａ）参照）。

単語コード入力機能部２２２１は、図１５（ａ）に示すように、ＧＵＩウィンドウＷＤ上のプロパティ表示領域ＷＤ３における所定領域で英数字の単語コードを入力し、辞書ＤＢ４３を探索して対応する単語ノードをノード編集領域ＷＤ１に表示させる機能部である。例えば、図１５（ａ）に示す例では、データファイル入力・翻訳部２１によって自動翻訳した「高橋」ｗｎ１－（ｃ１）→「選手」ｗｎ２－（ｃ２）→「３０」ｗｎ３－（ｃ３）→「年齢」ｗｎ３４の木構造がプロパティ表示領域ＷＤ３に提示された状態を例示しているが、プロパティ表示領域ＷＤ３に全く単語ノードが提示されていない状態でもよい。そしてユーザ（操作者）は、プロパティ表示領域ＷＤ３における所定領域で英数字の単語コード「２９４５ＮＮ」をカーソルＭＳで指定した上で入力する。この操作に応じて、単語コード入力機能部２２２１は、自動的にプロパティ表示領域ＷＤ３における所定領域の「タイトル」欄に、当該単語コードに対応するタイトル「田中」を表示し、且つその単語ノード「田中」ｗｎ５を自動的にノード編集領域ＷＤ１における空き領域に表示する。ノード編集領域ＷＤ１に表示された単語ノードは、上述したように、随意、「高橋」ｗｎ１を置き換えることや接続線Ｃ１の接続切り替えの編集が可能となる。そして、上述したように、単語コード及び単語ノードは動きデータファイルと１対１に紐付けられているため、この編集した木構造のファイルを基に手話ＣＧアニメーションの一連の動きとして合成することができる。ただし、単語コード入力機能部２２２１による入力方法では、ユーザ（操作者）はその入力する単語コードが手話単語が何を表現するかを予めリスト等を参照するなどして把握しておく必要がある。

一方、タイトル入力機能部２２２２は、図１５（ｂ）に示すように、ＧＵＩウィンドウＷＤ上のプロパティ表示領域ＷＤ３における所定領域で漢字・ひらがな・カタカナのいずれかの日本語単語を入力し、辞書ＤＢ４３を探索して対応する単語ノードをノード編集領域ＷＤ１に表示させる機能部である。例えば、図１５（ｂ）に示す例では、ユーザ（操作者）は、プロパティ表示領域ＷＤ３における所定領域で漢字の日本語単語「田中」をカーソルＭＳで指定した上で入力する。この操作に応じて、タイトル入力機能部２２２２は、自動的にプロパティ表示領域ＷＤ３における所定領域の「単語コード」欄に、当該日本語単語に対応する単語コード「２９４５ＮＮ」を表示し、且つその単語ノード「田中」ｗｎ５を自動的にノード編集領域ＷＤ１における空き領域に表示する。

このように、単語コード入力機能部２２２１及びタイトル入力機能部２２２２は、ＧＵＩ上の外部操作により英数字の単語コード、又は日本語単語を入力し、辞書ＤＢ４３を探索して該入力に対応する単語ノードを用いて当該木構造で表現したインターフェースを編集可能に提示する指定単語提示手段として構成される。

尚、日本語単語と単語コードとの対応は、予め定めた対応付けテーブルを辞書ＤＢ４３内に記憶保持しておき、単語コード入力機能部２２２１及びタイトル入力機能部２２２２は、辞書ＤＢ４３内を探索し、当該対応付けテーブルを参照して日本語単語と単語コードとを対応付けて当該ＧＵＩ上に提示する。

辞書ＤＢ４３は、手話単語を指定する単語コードと対応付けられた日本語単語を多数記憶保持して実装しており、且つ各手話単語は、これに関連する手話単語、類似する手話単語、及び複数の手話単語列を対応付けて、当該対応付けテーブルとして予め保持している。尚、辞書ＤＢ４３は、複数種のファイル形式、辞書内容に応じて複数種の辞書ＤＢで構成することもできる。

ユーザＤＢ４４は、図１６（ａ）に示すように、使用地域、生年月日、及び性別のうち１以上を含むユーザ情報を基にＧＵＩ部３からのユーザ登録によってユーザＩＤが割り当てられ（必要であればユーザ認証のためのユーザＩＤに関連付けられたパスワードの登録を含む）、記憶保持している。

履歴ＤＢ４４は、図１６（ｂ）に示すように、ユーザＩＤが割り当てられたユーザ単位で、手話単語別に、過去の使用又は翻訳修正した履歴情報を所定回数分、記憶保持している。例えば、図１５（ａ）,（ｂ）で示した例では、単語コード修正機能部２２２の機能によって、当該ユーザＩＤの操作者が日本語単語「田中」（単語コード「３９４５ＮＮ」）を使用した旨を示す履歴情報が履歴ＤＢ４４に記憶保持される。また、日本語単語「高橋」（単語コード「３９５０ＮＮ」）を日本語単語「田中」（単語コード「３９４５ＮＮ」）に修正して木構造を構成した場合では、単語コード修正機能部２２２の機能によって、当該ユーザＩＤの操作者が日本語単語「高橋」（単語コード「３９５０ＮＮ」）を日本語単語「田中」（単語コード「３９４５ＮＮ」）に修正した旨を示す履歴情報が履歴ＤＢ４４に記憶保持される。

候補単語決定機能部２２２３は、辞書ＤＢ４３に実装している手話単語をノード編集領域ＷＤ１に追加指定可能とする“単語”ボタン２０２の押下でエディタを開き過去の使用履歴や修正履歴、推定・学習（機械学習を含む）等により使用可能とする手話単語候補をリスト表示する機能とは別に、マウス操作で指定した単語ノードに関連する手話単語、類似する手話単語、及び複数の手話単語列について所定数分を列挙する候補リストをダイアログ表示し、マウス操作で指定してノード編集領域ＷＤ１に追加可能とする機能を有する。

例えば、候補単語決定機能部２２２３は、図１７（ａ）に示すように、ノード編集領域ＷＤ１における単語ノードを直接的にマウス操作で指定し（図示する例では「高橋」ｗｎ１）、当該指定した単語ノードに関連する手話単語、類似する手話単語、及び複数の手話単語列を、ユーザＩＤで識別される操作者単位又は該操作者が属するグループ単位のいずれか一方又は双方の過去の履歴（使用履歴や修正履歴）を基に優先度を設けて推定・学習した単語候補のリストをダイアログ表示する。そして、候補単語決定機能部２２２３は、図１７（ｂ）に示すように、ダイアログ表示された当該指定した単語ノードに関連する手話単語、類似する手話単語、及び複数の手話単語列のうち、当該ユーザ（操作者）のマウス操作によるいずれかの指定に基づいて、ノード編集領域ＷＤ１における空き領域に表示する（図示する例では単語ノード「田中」ｗｎ５の指定に基づいてノード編集領域ＷＤ１における空き領域に表示する）。

ここで、当該ダイアログ表示される候補数は、予め定めた個数とするか、或いは当該ノード編集領域ＷＤ１に最大限に表示されるダイアログで納まる範囲で制限される個数とすることができる。

尚、候補単語決定機能部２２２３は、図１７に示すようなダイアログ表示に係る編集時に指定される単語ノードに対し関連する手話単語、類似する手話単語、及び複数の手話単語列について、編集時だけでなくデータファイル入力・翻訳部２１からの要求による自動翻訳時にも、各単語ノードに対して作動する。

従って、候補単語決定機能部２２２３は、編集対象又は自動翻訳対象の単語ノードに対し関連する手話単語、類似する手話単語、及び複数の手話単語列について、ユーザＤＢ４４及び履歴ＤＢ４５を自動的に参照し、ユーザＩＤで識別される操作者単位又は該操作者が属するグループ単位のいずれか一方又は双方の過去の履歴を基に優先度を推定・学習して割り当て辞書ＤＢ４３を探索して提示する候補単語提示手段として構成される。

そして、候補単語決定機能部２２２３は、以下に説明する操作者履歴優先機能部２２２４、グループ履歴優先機能部２２２５、及び推定・学習機能部２２２６を機能させて、ユーザＩＤで識別される操作者単位又は該操作者が属するグループ単位のいずれか一方又は双方の過去の履歴（使用履歴、翻訳修正履歴を含む）を基に優先度を設けて推定・学習して決定する。

操作者履歴優先機能部２２２４は、編集対象又は自動翻訳対象の単語ノードに対し関連する手話単語、類似する手話単語、及び複数の手話単語列について所定数分を辞書ＤＢ４３から読み出すよう探索する際に、当該操作者のユーザＩＤを基に履歴ＤＢ４５を参照して、当該操作者が使用又は修正した履歴の有るものを優先的に提示するように探索した単語又は単語列の候補に対し優先度を割り得てる機能部である。

グループ履歴優先機能部２２２５は、編集対象又は自動翻訳対象の単語ノードに対し関連する手話単語、類似する手話単語、及び複数の手話単語列について所定数分を辞書ＤＢ４３から読み出すよう探索する際に、当該操作者のユーザＩＤを基にユーザＤＢ４４を参照して、当該操作者のユーザ情報を基に同一グループに属する他のユーザＩＤを割り出し、該他のユーザＩＤを基に履歴ＤＢ４５を参照して、該他のユーザＩＤの操作者が使用又は修正した履歴の有るものを優先的に提示するように探索した単語又は単語列の候補に対し優先度を割り得てる機能部である。同一グループに属するか否かは、例えば図１６（ａ）に示すように、「使用地域」が同一都道府県に属する場合、「生年月日」から導き出される年齢が同一年齢層（±３年等予め定めた範囲）に属する場合、或いは「性別」が同一に属する場合に、同一グループに属するとして他のユーザＩＤを割り出すことができる。

推定・学習機能部２２２６は、操作者履歴優先機能部２２２４及びグループ履歴優先機能部２２２５によって優先度が割り当てられた単語又は単語列の候補について、使用頻度等の推定・学習処理に基づいて統合した優先度を割り当て、編集時では図１７に示すようなダイアログ表示する際の順位として統合した優先度の高いものから順に提示し、データファイル入力・翻訳部２１からの要求による自動翻訳時には統合した優先度の最も高いものを応答して返すように制御する。この推定・学習処理として、単純な使用頻度に基づく優先度学習の他、機械学習や、ニューラルネットワーク、深層学習等を利用したＡＩ（人工知能）による推定によるものとすることができる。

このように、候補単語決定機能部２２２３は、編集時では図１７に示すようなダイアログ表示する際に、操作者によって過去に使用又は修正された手話単語は、ユーザＩＤ単位で履歴ＤＢ４５に所定回数分、記憶保持され、或る操作者によって同じ単語が再び表示された場合には、当該ユーザＩＤで識別される操作者によるもの、及び当該操作者が属するグループ内のものを優先的に、履歴ＤＢ４５を基に辞書ＤＢ４３から検索された手話単語、及びその関連・類似単語に優先度を設けて優先度の高いものから順にＧＵＩ上に表示する。

これにより、ユーザ（操作者）は直接的な入力指定で手話単語を呼び出す必要がなくなり操作性を向上させることができる。

〔第２実施形態の手話ＣＧ翻訳編集装置〕
図１８は、本発明による第２実施形態の手話ＣＧ翻訳編集装置１の概略構成を示すブロック図である。尚、図１８において、図１と同様な構成要素には同一の参照番号を付している。図１８に示す第２実施形態の手話ＣＧ翻訳編集装置１は、図１に示すものと比較して、複数のユーザで共用可能とするよう、Ｗｅｂサーバ機能部２４を有する点で相違しており、クライアントとなるＷｅｂ端末１００‐Ｎ（Ｎは１以上の整数）からのＷｅｂ接続で動作し、クライアントで入力した日本語文を、サーバ側で翻訳した結果を再びクライアントに返すクライアントサーバとして機能するよう構成される。このため、Ｗｅｂ接続したＷｅｂ端末１００‐Ｎに、ＧＵＩが提示される表示器３１及びＧＵＩ上のマウス操作を可能とする操作部３２によるＧＵＩ部３－Ｎが構成される。

Ｗｅｂサーバ機能部２４は、Ｗｅｂアドレスを有し、Ｗｅｂ端末１００‐ＮからのＷｅｂ接続時に、ユーザ認証を経て制御部２の機能により本発明に係るプログラムに基づくアプリケーション２０を起動して、ＧＵＩ部３‐Ｎを介して外部操作可能なＧＵＩを提示する。

このようにＷｅｂサーバ機能部２４を有するように構成した第２実施形態の手話ＣＧ翻訳編集装置１は、図１９に示すように、履歴ＤＢ４５を操作者間で共有することができるようになり、他の操作者の使用又は修正履歴を候補単語に反映させることができる。

特に、上述したように、候補単語決定機能部２２２３は、編集対象又は自動翻訳対象の単語ノードに対し関連する手話単語、類似する手話単語、及び複数の手話単語列について、ユーザＩＤで識別される操作者単位又は該操作者が属するグループ単位のいずれか一方又は双方の過去の履歴（使用履歴、翻訳修正履歴を含む）を基に優先度を設けて推定・学習して決定する。

このため、図１９に示すように、使用地域グループや年齢グループなど、各グループ内で利便性の高い編集又は自動翻訳が可能となる。

本発明に係る手話ＣＧ翻訳編集装置及びプログラムは、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、手話ＣＧの編集作業に関してより分かりやすく編集・修正を容易とする効果的な態様でＧＵＩが提示されるため、手話ＣＧの編集用途に有用である。

１ 手話ＣＧ翻訳編集装置
２ 制御部
３ ＧＵＩ部
４ 記憶部
２１ データファイル入力・翻訳部
２２ ノード編集部
２３ データファイル出力部
２４ 表示制御部
２５ 操作制御部
３１ 表示器
３２ 操作部
４１ 手話単語動きデータＤＢ
４２ ＣＧキャラクタデータＤＢ
４３ 辞書ＤＢ
４４ ユーザＤＢ
４５ 履歴ＤＢ
１０１ 手話ＣＧ翻訳システム
１０２ データベース（ＤＢ）
１０３ 手話翻訳機
１０５ レンダラ
２０１ “ＣＳＶ読込”ボタン
２０２ “単語”ボタン
２０３ “スケーリング”ボタン
２０４ “線形補間”ボタン
２０５ “ＬＰＦ（二点中点）”ボタン
２０６ “ＬＰＦ（三点平均）”ボタン
２０７，２０８ 表示指定欄
２０９ “整列”ボタン
２１０ “再生／停止”ボタン
２１１ プレビュー表示位置欄
２１２ シークバー
２１３ “ＢＶＨ出力”ボタン
２１ａ 入力データ解析部
２１ｂ ノード形式変換部
２１ｃ ノード接続部
２２１ ノード接続修正機能部
２２２ 単語ノード修正機能部
２２３ 機能ノード修正機能部
２２４ ノード表示整列機能部
２２５ プレビュー表示機能部
２２２１ 単語コード入力機能部
２２２２ タイトル入力機能部
２２２３ 候補単語決定機能部
２２２４ 操作者履歴優先機能部
２２２５ グループ履歴優先機能部
２２２６ 推定・学習機能部
ＷＤ ＧＵＩウィンドウ
ＷＤ１ ノード編集領域
ＷＤ２ ノード種別表示領域
ＷＤ３ プロパティ表示領域
ＷＤ４ プレビュー表示領域
ＷＤ５ ログ表示領域

Claims (6)

1. 日本語文章テキストから手話ＣＧを生成するための手話文章を自動翻訳し、又は手話ＣＧアニメーション用の所定のデータファイルを作成するために手話ＣＧを構成する手話文章を修正し、この修正により手話ＣＧを編集する手話ＣＧ翻訳編集装置であって、
   １つの日本語文章に対応する手話文章について、当該日本語文章を構成する日本語単語の手指動作に対応する手話単語を最小単位とし、１つの手話単語を１つの単語ノードで表し、各単語ノード同士を接続線によって連結するように木構造で表現したインターフェースを形成し、グラフィック・ユーザ・インターフェース（ＧＵＩ）上の外部操作により各単語ノードの接続順又は各単語ノードの変更を編集可能に提示する手段と、
   手話単語を指定する単語コードと対応付けられた日本語単語を複数記憶保持し、各手話単語に関連する手話単語、類似する手話単語、及び複数の手話単語列を対応付けて予め保持する辞書データベースと、
   ユーザＩＤが割り当てられた使用地域、生年月日、及び性別のうち１以上を含むユーザ情報を記憶保持するユーザデータベースと、
   ユーザＩＤが割り当てられたユーザ単位で、手話単語別に、過去の使用又は翻訳修正した履歴情報を所定回数分、記憶保持する履歴データベースと、
   前記ＧＵＩ上で当該単語コード又は当該日本語単語を入力し、前記辞書データベースを探索して該入力に対応する単語ノードを用いて前記木構造で表現したインターフェースを編集可能に提示する指定単語提示手段と、
   編集対象又は自動翻訳対象の単語ノードに対し関連する手話単語、類似する手話単語、及び複数の手話単語列のうち１以上を含む候補を決定し前記ＧＵＩ上に提示する際に、前記ユーザデータベース及び前記履歴データベースを自動的に参照して前記ユーザＩＤで識別される操作者単位又は該操作者が属するグループ単位のいずれか一方又は双方の過去の履歴を基に優先度を推定・学習し、前記辞書データベースを探索して前記ＧＵＩ上に提示する当該候補を前記優先度を基に決定する候補単語提示手段と、
   を備えることを特徴とする手話ＣＧ翻訳編集装置。
2. 前記候補単語提示手段は、
   前記ＧＵＩ上に提示する当該候補を前記優先度を基に決定する際に、当該操作者のユーザＩＤを基に前記履歴データベースを参照して、当該操作者が使用又は修正した履歴の有るものを優先的に提示するように当該探索した候補に対し優先度を割り得てる操作者履歴優先機能手段と、
   前記ＧＵＩ上に提示する当該候補を前記優先度を基に決定する際に、当該操作者のユーザＩＤを基に前記ユーザデータベースを参照して、当該操作者のユーザ情報を基に同一グループに属する他のユーザＩＤを割り出し、該他のユーザＩＤを基に前記履歴データベースを参照して、該他のユーザＩＤの操作者が使用又は修正した履歴の有るものを優先的に提示するように当該探索した候補に対し優先度を割り得てるグループ履歴優先機能手段と、
   前記操作者履歴優先機能手段及びグループ履歴優先機能手段によって優先度が割り当てられた当該候補について、使用頻度等の推定・学習処理に基づいて統合した優先度を割り当て、編集時では当該統合した優先度の高いものから順に提示し、前記手話文章の自動翻訳時には当該統合した優先度の最も高いもの利用するよう制御する推定・学習機能手段と、
   を有することを特徴とする、請求項１に記載の手話ＣＧ翻訳編集装置。
3. Ｗｅｂ端末によりＷｅｂ接続可能とするＷｅｂアドレスを有し、前記履歴データベースを複数のＷｅｂ端末により共有させて前記Ｗｅｂ端末に対し前記ＧＵＩを提示するＷｅｂサーバ機能手段を更に備えることを特徴とする、請求項１又は２に記載の手話ＣＧ翻訳編集装置。
4. 前記木構造を構成し、相互に連結された各単語ノードに対応する手話ＣＧの動きを接続するフィルタ処理の処理単位のうち最小の処理単位を機能ノードとし、該機能ノードの適用範囲を前記各単語ノードと結ぶリンク表示で表し、複数の機能ノードを多重して適用可能に表示し、外部操作により当該木構造における一連の手話ＣＧの動きの接続を、前記ＧＵＩ上で修正可能に提示する手段を更に備えることを特徴とする、請求項１から３のいずれか一項に記載の手話ＣＧ翻訳編集装置。
5. 前記単語ノード毎の手話単語動きデータ、及び手話ＣＧに係るアニメーション用モデルのキャラクタデータを格納するデータベースと、
   前記木構造に基づいて、各単語ノードに対応する手話単語動きデータを合成し、一連の手話ＣＧとしてレンダリングする手段と、
   該手話ＣＧに関するプレビュー表示を前記ＧＵＩ上で外部操作により再生可能とし、前記プレビュー表示の進行に従い、再生している当該木構造に対応する単語ノード又は接続線を強調表示する手段と、
   該手話ＣＧに関するデータファイルをＣＳＶ形式、ＸＭＬ形式、或いはＢＶＨ形式で外部出力可能とする手段と、
   を更に備えることを特徴とする、請求項１から４のいずれか一項に記載の手話ＣＧ翻訳編集装置。
6. コンピュータに、請求項１から５のいずれか一項に記載の手話ＣＧ翻訳編集装置を機能させるためのプログラム。

Images