JP6144458B2 - 手話翻訳装置及び手話翻訳プログラム - Google Patents

Description

本発明は、手話翻訳装置及び手話翻訳プログラムに係り、特に、高精度な手話翻訳を実現するための手話翻訳装置及び手話翻訳プログラムに関する。

従来では、原始言語から目的の用途に対応させて様々な目的言語等に翻訳する手法が知られている（例えば、特許文献１及び特許文献２参照）。

ここで、特許文献１に示されている手法では、辞書に登録がない場合でも翻字処理によって外国語の単語からカタカナの単語を生成することで、外国語から日本語へ機械翻訳する際の翻訳率を向上させている。また、特許文献２に示されている手法では、発音ベース及び綴りベースの翻字モデルを使用して名前付きエンティティの原始言語から目的言語へのポテンシャル翻訳を作成し、その目的言語の一言語資源を使用頻度に関する情報についてサーチし、次いで使用頻度に基づいて少なくとも１つのポテンシャル翻訳を含む出力を提供している。

また、最近では、目的言語の一つとして手話への翻訳が注目されている。手話は、聴覚障害者にとって重要なコミュニケーション手段である。特に、先天的或いは幼少期に聴覚を失った人にとって、手話は第一言語であり日本語よりも理解しやすい。そのため、日本語の文字より手話での情報を提示した方が好ましいとされている。なお、手話は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等の映像を用いて提示されるのが好ましい。そのため、原始言語から手話に翻訳する際には、最初に原始言語から手話単語列を変換し、変換した手話単語列から各単語に対応するＣＧを抽出し、抽出したＣＧを連結して手話映像を生成する。

特開２００５−９２６８２号公報 特表２００５−５２０２５１号公報

ここで、例えば日本語から手話に翻訳する場合、手話における固有名詞の翻訳では、読み仮名を使う場合が少なく、漢字１文字に手話単語一つが対応する「漢字手話」の手法が多く用いられる。例えば、「長崎」を手話に翻訳する場合には、「｛長い｝｛崎｝」という２つの手話単語を使って表される。なお、上述の｛｝は、手話の単語の表記（手話単語の日本語ラベル）を示し、以下も同様とする。また、日本語ラベルとは、手話単語の表す意味に近い日本語を利用したもので「米川明彦（監修），"新日本語−手話辞典"，日本手話研究所（編），（財）全日本聾唖連盟出版局，２００６．」に準拠している。

しかしながら、このような翻訳方法は、従来の手法で翻訳することが難しい。例えば、機械翻訳で多く用いられる統計的翻訳手法を用いる場合には、日本語の単語と手話の単語との対応は学習することができるが、日本語の文字と手話の単語との対応を学習することは難しい。例えば、従来では、「長野」（手話では｛長い｝｛ノ｝と表される）と「宮崎」（手話では｛宮｝｛崎｝と表される）を学習しても「長」と「崎」のそれぞれの字については学習ができないため、結果として「長崎」は翻訳できない。

また、従来の統計的翻訳手法では、学習データとなる対訳の量が翻訳精度に大きな影響を与えるが「日本語−手話」の対訳は，例えば「日本語−英語」の対訳と比べてはるかに少ない。そのため、「日本語−手話」翻訳においては、統計的翻訳手法を用いて高い翻訳精度を得ることが難しい。

本発明は、上述した問題点に鑑みなされたものであり、高精度な手話翻訳を実現するための手話翻訳装置及び手話翻訳プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明は、日本語の固有名詞である入力データに対する手話翻訳を行う手話翻訳装置において、前記入力データを所定の文字毎に分割する文字分割手段と、前記文字分割手段により得られる文字毎に、予め設定された統計的翻訳モデルを参照し、翻訳された文字と、翻訳できなかった未知語とを分類する統計的翻訳手段と、手話単語辞書に登録された単語のうち、前記統計的翻訳手段により分類された前記未知語に対して、最長一致する単語を出力する最長一致文字分割手段と、前記最長一致文字分割手段により得られる単語の文字に対して、予め設定されたルールに基づく翻訳を行うルールベース翻訳手段と、前記統計的翻訳手段により得られる翻訳結果と、前記ルールベース翻訳手段により得られる翻訳結果とを、前記入力データに対応させて合成する翻訳結果合成手段とを有し、前記統計的翻訳手段は、前記統計的翻訳モデルを参照した結果、入力される文字に対応する翻訳結果が複数ある場合に、前記統計的翻訳モデルの翻訳結果毎に設けられたスコアに基づいて、所定の翻訳結果を出力することを特徴とする。

また、本発明は、コンピュータを、上述した手話翻訳装置として機能させることを特徴とする手話翻訳プログラムである。

なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。

本発明によれば、高精度な手話翻訳を実現することができる。

第１実施形態における手話翻訳装置の機能構成の一例を示す図である。 第１実施形態における手話翻訳処理手順の一例を示すフローチャートである。 スコア化された統計的翻訳モデルの一例を示す図である。 第２実施形態における手話翻訳装置の機能構成の一例を示す図である。 第２実施形態における手話翻訳処理手順の一例を示すフローチャートである。 ルールベース翻訳処理手順の一例を示すフローチャートである。 手話単語辞書の具体例を示す図である。 第３実施形態における手話翻訳装置の機能構成の一例を示す図である。 第３実施形態における手話翻訳処理手順の一例を示すフローチャートである。 第１〜第３実施形態における手話翻訳の実行結果の比較例を示す図である。

＜本発明について＞
本発明は、例えば原始言語の一例である日本語を、目的言語の一例である自然な手話に翻訳するために、統計的手法又はルールベース手法、或いはその両方を併用した手法を用いて、例えば対訳に出現しない日本語に対しても高精度な漢字手話に翻訳することを可能にする。

ここで、日本手話における固有名詞の翻訳方法は、「１．固定訳」、「２．漢字手話による訳」、「３．指文字による訳」、「４．漢字手話と指文字の組み合わせによる訳」の４種類に分類できる。以下に、各分類について説明する。

＜１．固定訳＞
固定訳とは、その固有名詞を表す手話単語がすでに決まっている場合の翻訳を意味する。例えば、「広島」は、手話では厳島神社の鳥居の様子を手指動作で表現することによって表す。また、固定訳は、その地の特徴，特産物や市のシンボル等が用いられることが多い。また、固定訳は、非常に特徴的な表現であるため、確実に意味を伝えることができ、また簡潔に表現できるため、優先して使われることが多い。しかしながら、固定訳が決まっていない固有名詞が多く、決まっていてもその地域でしか通用しないものもある。

＜２．漢字手話による訳＞
漢字手話による訳は、固有名詞を文字毎に分割して、各文字を漢字手話で置き換えた場合の翻訳を意味する。また、漢字手話は、日本語の漢字１文字に対応した手話の単語である。その対応のさせ方は、例えば漢字から何らかの意味で連想される手話の単語を選択して行われている。例えば、日本語の漢字「福」に対応する漢字手話は、意味的に近い手話単語｛幸せ｝である。漢字手話は、慣習的に使われるものはあるものの、決まったものがあるわけではない。漢字手話を使うと、例えば、「福島」は、「福」と「島」の２つの文字に分けて、「福」は｛幸せ｝、「島」は｛島｝と表される。漢字手話は、指文字よりも簡潔に表現することができるため、固定訳がない場合に多く用いられる。

＜３．指文字による訳＞
指文字による訳は、固有名詞の読み仮名を指文字で表した場合の翻訳を意味する。手話では、日本語の５０音が全て指文字として定義されている。指文字は、表現力は高いが１単語の表出に多くの時間がかかるという問題があるため、日本の地名ではあまり使われない。しかしながら、漢字手話による翻訳ができない外国の地名やカタカナ語によく用いられる。

＜４．漢字手話と指文字の組み合わせによる訳＞
漢字手話と指文字の組み合わせによる訳は、上述した漢字手話と指文字とを組み合わせた場合の翻訳を意味する。例えば、「長野」の場合は、「長」は手話単語の｛長い｝を使って表し、「野」は指文字の｛ノ｝を使って表す。読み仮名が短い漢字の場合には、漢字手話よりも指文字が使われやすい。

＜翻訳手法の概略＞
例えば、上述したような固有名詞の翻訳には、上述した４つの種類の場合を処理すればよい。このうち、「固定訳」は、地名の対訳辞書の拡張を行うことで対処せざるを得ず、「指文字による訳」は、単純に読み仮名を指文字に置き換えればよい。問題となるのは「漢字手話による訳」と「漢字手話と指文字の組み合わせによる訳」である。何れの場合も共通の問題となるのは「漢字手話」をどう決めるかである。したがって、本実施形態では、一例として、漢字手話の処理を中心に固有名詞の翻訳処理について、以下に説明する。

＜第１実施形態：手話翻訳装置の機能構成例＞
第１実施形態では、統計的手法を用いた翻訳を行う。第１実施形態において、固有名詞の翻訳は、一種の機械翻訳である。そこで、第１実施形態では、統計的機械翻訳手法を用いて、例えば固有名詞の翻訳を行う。なお、以下の説明では、固有名詞の一例として日本語の地名を用いることとするが、本発明においてはこれに限定されるものではなく、他の固有名詞でもよく、固有名詞でなくてもよい。例えば、日本語の地名については、翻訳単位を１文字とし，手話の地名では｛｝に囲まれた手話の１単語を翻訳単位として学習を行う。また、指文字で翻訳されている場合は、指文字の内容をカタカナで表現し、各文字を翻訳単位とする。

第１実施形態における手話翻訳装置の機能構成例について、図を用いて説明する。図１は、第１実施形態における手話翻訳装置の機能構成の一例を示す図である。図１に示す手話翻訳装置１０は、地名入力装置１１と、データ処理装置１２と、記憶装置１３と、翻訳結果出力装置１４とを有するよう構成されている。また、データ処理装置１２は、文字分割手段２１と、統計的翻訳手段２２と、統計的翻訳結果格納手段２３と、漢字−読み変換手段２４と、未知語部読み仮名格納手段２５と、翻訳結果合成手段２６とを有するよう構成されている。また、記憶装置１３には、統計的翻訳モデル３１を有するよう構成されている。

地名入力装置１１は、手話翻訳するための対象のデータの一例として地名を入力する。なお、入力される対象の文字データは、地名に限定されるものではない。

また、データ処理装置１２の文字分割手段２１は、地名入力装置１１から入力された地名に対して文字単位の分割を行う。

統計的翻訳手段２２は、記憶装置１３に記憶されている統計的翻訳モデル３１に基づいて文字毎の手話翻訳を行う。統計的翻訳手段２２は、文字に対する手話単語が統計的翻訳モデル３１に含まれている場合には、翻訳された手話単語を翻訳結果として統計的翻訳結果格納手段２３に出力する。また、統計的翻訳手段２２は、統計的翻訳モデル３１に含まれていない文字が存在する場合には、その文字を未知語として、漢字−読み変換手段２４に出力する。また、統計的翻訳手段２２は、入力された地名データ全体のうち、どの文字が翻訳されたかという情報とその翻訳された文字に対する読み仮名も漢字−読み変換手段２４に出力する。

つまり、統計的翻訳手段２２は、文字分割手段２１により得られる文字毎に、予め設定された統計的翻訳モデル３１を参照し、翻訳された文字と、翻訳できなかった未知語とに分類する。

漢字−読み変換手段２４は、統計的翻訳手段２２により得られる未知語に対して読み仮名変換を行う変換手段である。具体的には、漢字−読み変換手段２４は、予め各地名データの読み仮名データが格納されており、その読み仮名データから入力された地名データの全体の読み仮名を取得し、取得した地名データの全体の読み仮名に対して、統計的翻訳手段２２から得られる翻訳された部分の読み仮名を除くことにより、未知語の読み仮名を取得する。また、漢字−読み変換手段２４は、取得した未知語部分の読み仮名を翻訳結果として未知語部読み仮名格納手段２５に出力する。

漢字−読み変換手段２４は、上述したように、予め各地名データの読み仮名データを記憶装置１３に記憶させておき、必要に応じて読み出してもよい。また、漢字−読み変換手段２４は、上述した読み仮名データが予め格納されていなくてもよく、その場合には、例えば地名入力装置１１から読み仮名が入力され、その読み仮名を取得してもよく、また入力される地名データに対して形態素解析手法等を使って読み仮名を取得してもよい。

統計的翻訳結果格納手段２３には、統計的翻訳手段２２で得られた翻訳結果が格納され、未知語部読み仮名格納手段２５には、未知語部分の翻訳結果が格納されている。なお、統計的翻訳結果格納手段２３及び未知語部読み仮名格納手段２５は、記憶装置１３に記憶されていてもよく、一体の格納手段として形成されていてもよい。

翻訳結果合成手段２６は、統計的翻訳結果格納手段２３に格納された翻訳結果と、未知語部読み仮名格納手段２５に格納された翻訳結果とを文字の順序に対応させて合成することで、最終的な翻訳結果である手話単語列を取得し、取得した手話単語列を翻訳結果出力装置１４に出力する。

なお、記憶装置１３は、例えばハードディスク等からなるが、これに限定されるものではない。また、翻訳結果出力装置１４は、例えばディスプレイ等の表示手段であってもよく、データファイルとして出力される場合には、所定のストレージ手段であってもよい。更に、翻訳結果出力装置１４は、翻訳により得られた手話単語列に基づいて対応する映像を取得し、その映像を繋げて手話映像を生成して表示させることもできる。なお、手話映像は、例えばＣＧ等による手話等があるが、これに限定されるものではなく、実写の手話映像であってもよい。

なお、統計的翻訳モデル３１は、事前に対訳を使って学習した結果を格納してある。学習には、例えば日本語（漢字、平仮名、カタカナを含む）を１文字毎に区切り、手話を１手話単語毎に区切った対訳を使用しているが、これに限定されるものではない。

＜第１実施形態における手話翻訳処理手順＞
ここで、第１実施形態における手話翻訳処理手順について、フローチャートを用いて説明する。図２は、第１実施形態における手話翻訳処理手順の一例を示すフローチャートである。

図２の例において、手話翻訳処理は、例えば原始言語である日本語で地名が入力されると（Ｓ０１）、入力された地名の文字分割を行い（Ｓ０２）、分割された文字毎に上述した統計的翻訳モデル３１を用いた統計的翻訳を行う（Ｓ０３）。

ここで、手話翻訳処理は、Ｓ０３の処理の結果、翻訳できなかった文字（未知語）が存在するか否かを判断し（Ｓ０４）、未知語がある場合（Ｓ０４において、ＹＥＳ）、漢字−読み変換を行う（Ｓ０５）。また、手話翻訳処理は、未知語がない場合（Ｓ０４において、ＮＯ）、又はＳ０５の処理が終了後、それぞれの翻訳結果の手話単語を合成し（Ｓ０６）、合成した手話単語列を翻訳結果として出力する（Ｓ０７）。なお、Ｓ０７の処理では、上述したように手話単語列に対応する手話映像を出力してもよい。

ここで、手話翻訳処理は、処理を終了するか否かを判断し（Ｓ０８）、処理を終了しない場合（Ｓ０８において、ＮＯ）、Ｓ０１の処理に戻る。また、手話翻訳処理は、ユーザ等の指示や入力する地名データがない場合等により処理を終了する場合（Ｓ０８において、ＹＥＳ）、第１実施形態における手話翻訳処理を終了する。

＜第１実施形態を用いた手話翻訳の具体例＞
ここで、上述した第１実施形態を用いた手話翻訳の具体例について説明する。

＜具体例１＞
文字分割手段２１は、例えば、「川越」のような地名データが入力された場合に、「川」、「越」のように各文字に分割し、分割した各文字を統計的翻訳手段２２に出力する。統計的翻訳手段２２は、「川」、「越」のような文字が入力された場合には、統計的翻訳モデル３１を参照し、「川」に対応する｛川｝、「越」に対応する｛越える｝が統計的翻訳モデル３１にある場合に、その結果を取得する。また、統計的翻訳手段２２は、取得した｛川｝，｛越える｝を統計的翻訳結果格納手段２３に出力して格納させる。なお、上述の例では、「川」、「越」に対する翻訳結果が得られたため、未知語がない。そのため、統計的翻訳手段２２は、漢字−読み変換手段２４に何も出力しない。

ここで、統計的翻訳手段２２に｛川｝，｛越える｝が格納され、未知語部読み仮名格納手段２５には何もないため、翻訳結果合成手段２６では、「川越」に対応させて合成した「｛川｝｛越える｝」という手話単語列が翻訳結果出力装置１４に出力される。

＜具体例２＞
文字分割手段２１は、例えば「高槻」のような地名データが入力された場合に、「高」、「槻」ように各文字に分割し、分割した各文字を統計的翻訳手段２２に出力する。統計的翻訳手段２２は、統計的翻訳モデル３１に基づいて翻訳が行われる。この場合、統計的翻訳モデル３１には、「高」に対応する｛高い｝が存在し、「槻」は対応する手話が見つからなかったとする。そのため、統計的翻訳手段２２は、｛高い｝を統計的翻訳結果格納手段２３に格納し、漢字−読み変換手段２４に「槻」を出力する。

漢字−読み変換手段２４は、予め地名データから「高槻」の読みが「タカツキ」であることを認識している。また、漢字−読み変換手段２４は、統計的翻訳手段２２から、「高」が翻訳され、その読み仮名が「タカ」、「コウ」であるという情報を取得する。したがって、漢字−読み変換手段２４は、「高」の読み仮名のうち、「タカツキ」に最長一致する「タカ」を取り除いた「ツキ」が「槻」の読み仮名であると判断し、未知語部読み仮名格納手段２５に「ツキ」を出力する。

上述したように、漢字−読み変換手段２４では、「（元の地名の読み仮名）−（統計的翻訳手段２２で翻訳できた文字の読み仮名）＝未知語の読み仮名」として変換しているが、これに限定されるものではない。なお、単純に未知語の読み仮名だけを使うという方法ではないのは、漢字に複数の読み仮名がある場合に対応できないからである。例えば，「高槻」の「槻」は、辞書では「キ」「ツキ」「ケヤキ」等があるが、その中から「高槻」の場合は「ツキ」であるということを確定することは「槻」の字だけからでは不可能だからである。つまり、統計的翻訳手段２２で翻訳できた文字の読み仮名については、複数の読み仮名があっても、その中から最長一致するものを引けばよい。つまり、上述の例では、「「タカツキ」−（「タカ」ｏｒ「コウ」）＝ツキ」となり、この結果を用いて例えば「槻」⇒｛ツキ｝という指文字に変換することができる。

このとき、統計的翻訳結果格納手段２３には｛高い｝が格納され，未知語部読み仮名格納手段２５には「ツキ」が格納されている。そのため、翻訳結果合成手段２６は、「高槻」に対応させて「｛高い｝ツキ」と合成し、合成された単語文字列を翻訳結果出力装置１４に出力する（なお、上述した出力にある｛｝に括られていないカタカナは指文字であることを示している）。

なお、上述した地名の読み仮名は、人手で入力時に与えてもよく、又は、形態素解析手法等を使って取得してもよい。また、各漢字の読み仮名の複数の候補についても、形態素解析手法等を使って取得することができる。また、第１実施形態における統計的手法では、例えば入力された複数文字に対して手話１単語を割り当てることも可能である。そのため、例えば「九」「州」を入力して｛九州｝に翻訳することもできる。

＜統計的翻訳モデル３１のスコア例＞
ここで、上述した第１実施形態においては、統計的翻訳手段２２における統計的翻訳モデル３１を用いた翻訳結果が１つの文字に対して複数になる場合がある。その場合には、統計的翻訳モデル３１にスコアをセットしておき、そのセットされたスコアに基づいて、翻訳結果を出力する。

図３は、スコア化された統計的翻訳モデルの一例を示す図である。図３の例では、例えば「日本語（日本語ラベル）｜｜｜手話単語（手話単語の日本語ラベル）｜｜｜スコア…」の表記が並んでいるが、統計的翻訳モデル３１のデータ例は、これに限定されるものではなく、他の項目等を含んでいてもよい。本実施形態では、入力の文字に対応する手話単語を統計的翻訳モデル３１から探し、抽出された手話単語が複数ある場合に、そのスコアを元に翻訳する。なお、スコアは、予め統計的学習により取得することができ、また人手により設定してもよい。

図３の例では、文字の「松」に対する手話単語が、｛松｝とマツの２種類あるが、スコアの大きい｛松｝が抽出される。なお、スコアは、図３に示すように、複数設定することができ、例えば左からスコアを比較し、同一であれば、右側にある次のスコア同士を比較して手話単語を選択することができる。

また、図３の例では、「松山」等の１単語として学習させて統計的翻訳モデル３１に格納させることもできる。この場合、例えば学習又は翻訳の際に、スペースで区切られていない単語を「１まとまり」として分割した処理は行わないように予め設定しておくことで、単語単位での手話翻訳等が可能になる。また、本実施形態における統計的翻訳モデル３１は、例えば言語モデルと呼ばれる文法に対応したモデルも使用することができる。

＜第２実施形態：手話翻訳装置の機能構成例＞
次に、第２実施形態について説明する。上述した第１実施形態に示す統計的機械翻訳において、精度を高めるには、ある程度大規模なコーパス（学習データ）から作成した統計的手話モデルが必要となる。例えば、手話の地名については、「全国地名手話マップ」（（財）全日本ろうあ連盟出版局（編）、２０１１）等があるが、そのサイズは非常に小さい。したがって、翻訳できない場合が多いことが予想される。そこで、第２実施形態では、漢字手話の処理を行うルールを予め人手等により設定しておき、そのルールを用いて翻訳を行う。

第２実施形態における手話翻訳装置の機能構成例について、図を用いて説明する。なお、上述した第１実施形態に示す手話翻訳装置と同一の構成については、同一の符号を付すものとし、ここでの具体的な説明は省略する。

図４は、第２実施形態における手話翻訳装置の機能構成の一例を示す図である。図４に示す手話翻訳装置４０は、地名入力装置１１と、データ処理装置４１と、記憶装置１３と、翻訳結果出力装置１４とを有するよう構成されている。また、データ処理装置４１は、最長一致文字分割手段５１と、ルールベース翻訳手段５２と、ルールベース翻訳結果格納手段５３とを有するよう構成されている。また、記憶装置１３は、手話単語辞書６１を有するよう構成されている。

最長一致文字分割手段５１は、地名入力装置１１から地名データが入力されると、記憶装置１３の手話単語辞書６１を参照し、手話単語辞書６１にある日本語見出しとの最長一致法により単語を分割する。また、最長一致文字分割手段５１は、分割された最長となる単語をルールベース翻訳手段５２に出力する。なお、最長一致文字分割手段５１は、手話単語辞書６１に一致する単語がない場合には、文字毎に分割する。

ルールベース翻訳手段５２は、最長一致文字分割手段５１で分割された単語を入力し、更に記憶装置１３に記憶された手話単語辞書６１を用いて予め設定されたルールベースによる翻訳を行う。また、ルールベース翻訳手段５２は、翻訳結果をルールベース翻訳結果格納手段５３に出力する。

ルールベース翻訳結果格納手段５３は、ルールベース翻訳手段５２の翻訳の結果を格納し、入力された地名データに対する全ての文字の翻訳が完了したら、入力された地名データに対する手話単語列を手話翻訳結果として出力する。

＜第２実施形態における手話翻訳処理手順＞
ここで、第２実施形態における手話翻訳処理手順について、フローチャートを用いて説明する。図５は、第２実施形態における手話翻訳処理手順の一例を示すフローチャートである。

図５の例において、手話翻訳処理は、例えば原始言語である日本語で地名が入力されると（Ｓ１１）、手話単語辞書６１を参照し、最長一致文字による分割を行う（Ｓ１２）。次に、手話翻訳処理は、最長一致文字に対するルールベース翻訳処理を行う（Ｓ１３）。なお、Ｓ１３の処理の具体例については、後述する。

また、手話翻訳処理は、Ｓ１３により得られた手話単語列を翻訳結果として出力する（Ｓ１４）。なお、Ｓ１４の処理では、上述したように手話単語列に対応する手話映像を出力してもよい。

ここで、手話翻訳処理は、処理を終了するか否かを判断し（Ｓ１５）、処理を終了しない場合（Ｓ１５において、ＮＯ）、Ｓ１１の処理に戻る。また、手話翻訳処理は、ユーザ等の指示や入力する地名データがない場合等により処理を終了する場合（Ｓ１５において、ＹＥＳ）、第２実施形態における手話翻訳処理を終了する。

＜ルールベース翻訳処理手順＞
ここで、上述したルールベース翻訳処理手順についてフローチャートを用いて説明する。図６は、ルールベース翻訳処理手順の一例を示すフローチャートである。図６の例において、ルールベース翻訳処理は、最長一致の文字を入力し（Ｓ２１）し、手話単語辞書６１を参照して、入力された文字が現れる単語のうち、入力漢字以外の漢字が使われていない単語があるか否かを判断する（Ｓ２２）。

次に、ルールベース翻訳処理は、他の漢字が使われていない単語を手話単語辞書６１から探し、他の漢字が使われていない単語がある場合（Ｓ２２において、ＹＥＳ）、その中で最も文字数の少ない単語（手話単語）を出力して処理を終了する（Ｓ２３）。

また、ルールベース翻訳処理は、Ｓ２２の処理において、他の漢字が使われていない単語がない場合（Ｓ２２において、ＮＯ）、入力された文字と同じ読み（読み仮名）を持つ単語があるか否かを判断し（Ｓ２４）、読みが一致する単語がある場合（Ｓ２４において、ＹＥＳ）、その中で最も文字数が少ない単語（手話単語）を出力して処理を終了する（Ｓ２５）。

また、ルールベース翻訳処理は、読みが一致する単語がない場合（Ｓ２４において、ＮＯ）、入力された文字と同様の漢字が使われている単語があるか否かを判断する（Ｓ２６）。なお、Ｓ２６の処理では、入力された文字が現れる単語のうち、Ｓ２２の処理に該当しない単語を探すことになる。ルールベース翻訳処理は、入力された文字と同様の漢字が使われている単語がある場合（Ｓ２６において、ＹＥＳ）、その中で、例えば所定の対訳の学習データ等を使ってその対訳中に最も多く出現する単語（頻度最大の手話単語）を出力して処理を終了する（Ｓ２７）。

また、ルールベース翻訳処理は、入力された文字と同様の漢字が使われている単語がない場合（Ｓ２６において、ＮＯ）、読み（読み仮名）が近い単語があるか否かを判断し（Ｓ２８）、読みが近い単語がある場合（Ｓ２８において、ＹＥＳ）、その中で学習データ中に最も多く出現する単語（頻度最大の手話単語）を出力して処理を終了する（Ｓ２９）。また、ルールベース翻訳処理は、上述したＳ２８の処理において、読みが近い単語がない場合（Ｓ２８において、ＮＯ）、読み仮名を使った指文字用の単語（手話単語）を出力して処理を終了する（Ｓ３０）。

＜ルールベース翻訳処理の具体例＞
ここで、上述したルールベース翻訳処理の具体例について説明する。上述したように、第２実施形態では、漢字手話を求めたい日本語漢字１文字（入力漢字）を、以下の４つのルールを順に適用して処理を行う。ルール１では、手話単語辞書６１を参照し、入力漢字の日本語ラベルに含まれる手話単語を抽出する。ただし、日本語ラベルは、漢字１文字のみか、その漢字と平仮名のみの場合である。例えば、「美」の場合には、手話単語｛美しい｝が求められる。

次に、ルール２では、漢字の読み仮名と日本語ラベルの読み仮名とが同じ手話単語を求める。例えば、漢字「浦」の読み仮名「ウラ」と同じ読み仮名である手話単語「裏」が求められる。

また、ルール３では、翻訳したい漢字が日本語ラベルに含まれていれば、その手話単語を出力する。ただし、ルール１の「日本語ラベルの漢字を１文字に限る」という場合を除く。例えば、漢字「武」からは漢字手話｛武士｝が求められる。

また、ルール４では、入力漢字の別の読み仮名を使う。例えば、「高槻」は、「高」と「槻」に分割され、「高」は漢字手話｛高い｝に翻訳される。また、「槻」は「高槻」での読み仮名は「ツキ」であるが、別の読み仮名に「キ」がある。そこで、読み仮名「キ」を利用して、漢字手話｛木｝に翻訳するというものである。ルール４まで行った結果、翻訳ができなければ、漢字の読み仮名を使って指文字で翻訳する。また、各ルールで複数の翻訳候補がある場合は、ルール１及びルール２の場合では、例えば文字数が最も少ない手話単語を採用し、同じ文字数の単語があれば、所定の学習データ中で出現頻度が最大のものを採用する。更に、ルール３及びルール４の場合では、例えば学習データ中で出現頻度が最大の単語を採用する。

なお、上述したように、第２の実施形態では、ルールベース翻訳の前処理として入力単語の分割を行っている。具体的には、第２の実施形態では、手話単語辞書６１にある日本語のラベルとの最長一致法で単語の分割を行い、一致する単語がない場合には、文字毎に分割する。

＜手話単語辞書６１の具体例＞
ここで、上述した手話単語辞書６１の具体例について説明する。図７は、手話単語辞書の具体例を示す図である。図７に示す手話単語辞書６１は、手話単語とそれに対応する日本語ラベル（日本語見出し）、ラベルの読み仮名（カタカナ表記）と、上述した予め設定された各手話単語の学習データ中での出現頻度を格納してある。

具体的には、図７に示すように、「日本語ラベル，読み仮名，単語ＩＤ，出現頻度」の表記が並んでいるが、本発明においてはこれに限定されるものではなく、他の項目を有していてもよい。

ここで、単語ＩＤとは、例えば手話映像と対応付けるために使用するＩＤである。翻訳自体には用いないが、最終的に手話映像を作成する際に、このＩＤに対応する手話映像を用いることで、翻訳結果を手話映像として出力することができる。なお、本実施形態では、図７の例に示すように、「真っ直ぐ」と「直線」とが同じ単語ＩＤを用いている。これは、上記の２つの日本語ラベルが同じ手話表現で表されることを表している。

また、出現頻度は、同一の日本語ラベルが複数存在した場合に、その日本語ラベルに対応するそれぞれの出現頻度を参照し、例えば値の大きい出現頻度の方を採用して出力するために用いられる。

＜第３実施形態：手話翻訳装置の機能構成例＞
次に、第３実施形態について説明する。第３実施形態では、上述した２つの翻訳手法を融合して手話翻訳の翻訳精度を向上させる。例えば、第１実施形態に対応する統計的手法を用いた場合には、翻訳できる場合は精度が高いが、未知語が多かったり、手話固有名詞専用に翻訳の単位を単語毎ではなく文字毎に設計する必要がある。また、第２実施形態に対応するルールベース手法を用いた場合には、未知語が少ないが精度はやや低く、手話表現の分析により手話の固有名詞専用にルールを作成する必要がある。そこで、第３実施形態では、最初に統計的翻訳手法で翻訳を行い、その翻訳結果で未知語であったものに対してルールベース手法で翻訳を行うようにして、２段階で翻訳を行う融合法を用いる。

第３実施形態における手話翻訳装置の機能構成例について、図を用いて説明する。なお、上述した第１実施形態に示す手話翻訳装置１０及び第２実施形態に示す手話翻訳装置４０と同一の構成については、同一の符号を付すものとし、ここでの具体的な説明は省略する。

図８は、第３実施形態における手話翻訳装置の機能構成の一例を示す図である。図８に示す手話翻訳装置７０は、地名入力装置１１と、データ処理装置７１と、記憶装置１３と、翻訳結果出力装置１４とを有するよう構成されている。また、データ処理装置７１は、文字分割手段２１と、統計的翻訳手段２２と、統計的翻訳結果格納手段２３と、最長一致文字分割手段５１と、ルールベース翻訳手段５２と、ルールベース翻訳結果格納手段５３と、翻訳結果合成手段８１とを有するよう構成されている。また、記憶装置１３は、統計的翻訳モデル３１と、手話単語辞書６１とを有する。

地名入力装置１１は、手話に翻訳したい地名データをデータ処理装置７１に入力する。データ処理装置７１は、地名入力装置１１で入力された日本語を手話に翻訳する。文字分割手段２１は、入力された単語を文字毎に分割する。統計的翻訳手段２２は、文字分割手段２１で分割された文字に対して、統計的翻訳モデル３１にしたがって、それに対応する手話単語に翻訳する。通常の機械翻訳では、入力は単語毎に区切った文であるが、本実施形態では文字毎に区切った単語を入力する。統計的翻訳手段２２は、翻訳に成功した場合に、その翻訳結果を統計的翻訳結果格納手段２３に出力し、翻訳ができない単語（未知語）は、最長一致文字分割手段５１に出力する。統計的翻訳結果格納手段２３は、統計的翻訳手段２２で得られた手話の単語を格納しておく。

最長一致文字分割手段５１は、統計的翻訳手段２２で翻訳できなかった文字を入力し、手話単語辞書６１の手話単語辞書にある日本語見出しとの最長一致法により、単語を分割する。また、最長一致文字分割手段５１は、分割した単語をルールベース翻訳手段５２に出力する。

ルールベース翻訳手段５２は、最長一致文字分割手段５１で分割された単語を入力し、手話単語辞書６１の手話単語辞書を用いて翻訳を行う。また、ルールベース翻訳手段５２は、翻訳結果をルールベース翻訳結果格納手段５３に出力する。

ルールベース翻訳結果格納手段５３は、ルールベース翻訳手段５２の翻訳の結果を格納しておく。

翻訳結果合成手段８１は、統計的翻訳結果格納手段２３に格納された翻訳結果（手話単語）と、ルールベース翻訳結果格納手段５３に格納された翻訳結果（手話単語）とを、入力された地名データの文字順序に対応させて合成し、合成された手話単語列を翻訳結果出力装置１４に出力する。

＜第３実施形態における手話翻訳処理手順＞
ここで、第３実施形態における手話翻訳処理手順について、フローチャートを用いて説明する。図９は、第３実施形態における手話翻訳処理手順の一例を示すフローチャートである。

図９の例において、手話翻訳処理は、例えば原始言語である日本語で地名が入力されると（Ｓ３１）、入力された地名の文字分割を行い（Ｓ３２）、分割された文字毎に、上述した統計的翻訳モデル３１を用いた統計的翻訳を行う（Ｓ３３）。

ここで、手話翻訳処理は、Ｓ３３の処理の結果、翻訳できなかった文字（未知語）が存在するか否かを判断し（Ｓ３４）、未知語がある場合（Ｓ３４において、ＹＥＳ）、手話単語辞書６１を参照し、最長一致文字による分割を行う（Ｓ３５）。次に、手話翻訳処理は、最長一致文字に対するルールベース翻訳処理を行う（Ｓ３６）。

手話翻訳処理は、未知語がない場合（Ｓ３４において、ＮＯ）、又はＳ３６の処理が終了後、それぞれの翻訳結果の手話単語を合成し（Ｓ３７）、合成した手話単語列を翻訳結果として出力する（Ｓ３８）。なお、Ｓ３８の処理では、上述したように手話単語列に対応する手話映像を出力してもよい。

ここで、手話翻訳処理は、処理を終了するか否かを判断し（Ｓ３９）、処理を終了しない場合（Ｓ３９において、ＮＯ）、Ｓ３１の処理に戻る。また、手話翻訳処理は、ユーザ等の指示や入力する地名データがない場合等により処理を終了する場合（Ｓ３９において、ＹＥＳ）、第３実施形態における手話翻訳処理を終了する。

＜手話翻訳の具体例＞
ここで、第３実施形態における手話翻訳の具体例について説明する。なお、以下の例では、上述した「全国地名手話マップ」を用いて学習した統計的文字変換辞書と、本出願人が作成した日本語ラベル数６８０３の手話単語辞書を使った場合の動作例を示す。

まず、地名入力装置１１は、例えば「北九州」と入力する。文字分割手段２１は、「北九州」は「北」と「九」と「州」に分割し、統計的翻訳手段２２で翻訳を行う。ここで、統計的翻訳モデル３１には、漢字「北」を手話単語｛北｝に翻訳することが示されているものとする。したがって、統計的翻訳手段２２は、漢字「北」を手話単語｛北｝に翻訳し、統計的翻訳結果格納手段２３に出力する。

また、統計的翻訳手段２２は、漢字「九」と「州」に対する翻訳が統計的翻訳モデル３１にない場合には、「九」と「州」を未知語として最長一致文字分割手段５１に出力する。

最長一致文字分割手段５１は、「九」、「州」に対し、手話単語辞書６１の日本語見出しとの最長一致法で分割を行う。「九州」という単語が、手話単語辞書６１にある場合には、最長一致文字分割手段５１から「九州」という単語がルールベース翻訳手段５２に出力される。

ルールベース翻訳手段５２は、例えば上述した図６に示すようなフローチャートにしたがって、ルールベース翻訳処理を行う。例えば「九州」の場合には、Ｓ２２の処理で手話単語｛九州｝に翻訳され、ルールベース翻訳結果格納手段５３に出力される。

この時点で、地名入力装置１１に入った「北九州」という単語は、統計的翻訳結果格納手段２３に「北」の翻訳である手話単語｛北｝が格納され、ルールベース翻訳結果格納手段５３に「九州」の翻訳である手話単語｛九州｝が格納されている。

ここで、翻訳結果合成手段８１は、上述した｛北｝と｛九州｝が合成し、｛北｝｛九州｝の手話単語列を翻訳結果出力装置１４に出力する。これにより、「北九州」の翻訳結果として｛北｝｛九州｝が得られる。

このように、第３実施形態では、例えば統計的翻訳手段２２において統計的翻訳モデル３１中に現れない単語は翻訳できないが、その翻訳できない部分を手話の固有名詞に特化したルールベース翻訳手段５１で翻訳することで、学習データ中に現れない文字に対しても高い精度で翻訳を行うことができる。

＜比較結果＞
次に、上述した第１〜第３実施形態における手話翻訳の実行結果について図を用いて説明する。図１０は、第１〜第３実施形態における手話翻訳の実行結果の比較例を示す図である。

なお、比較例では、「全国地名手話マップ」の地名の中で、漢字手話か、漢字手話と指文字の組み合わせである地名のうち、市名に平仮名やカタカナが使われていない４２８語を用いた。評価は、４７都道府県のうちの４６都道府県を学習用データとし、残りの１つを評価データとするｌｅａｖｅ−ｏｎｅ−ｏｕｔ法により行った。

日本語−手話の対訳には、上述した「全国地名手話マップ」に掲載された全国の８０３の地名の手話表現について書き起こしたものを用いた。統計的手法の翻訳モデルには「ＧＩＺＡ＋＋」を用い、デコードには「ｍｏｓｅｓ」を用い、言語モデルには「ＳＲＩＬＭ」を用いたが、これに限定されるものではない。

図１０の例によれば、ルールベース手法（第２実施形態）よりも統計的手法（第１実施形態）の方が、精度が高いことがわかる。なお、比較結果では、学習データが小さいため、統計的手法では未知語が多いが、翻訳できた場合には高い精度が得られることがわかる。逆に、ルールベース手法では未知語は少ないが、翻訳結果の正解率が低いことがわかる。

また、２つの手法を融合した第３実施形態では、それぞれの手法を単独で用いる場合と比較して正解率が向上し、未知語数も減らすことができることがわかる。

＜実行プログラム＞
ここで、上述した手話翻訳装置１０，４０，７０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。

したがって、手話翻訳装置１０，４０，７０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（手話翻訳プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、手話翻訳処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。

上述したように本発明によれば、高精度な手話翻訳を実現することができる。具体的には、本発明は、例えば日本語の固有名詞の入力を自動で手話の単語列に翻訳する際、学習データに出てこない単語や文字に対しても高精度な翻訳を行うことができる。

また、本発明は、例えば日本語を手話に翻訳する際の固有名詞等の翻訳を自動で行い、手話通訳の支援やＣＧへの変換に利用する自然言語処理に広く適用することができる。そのため、本実施形態における手話翻訳装置の入力データとしては、上述した地名データに限定されず、あらゆる自然言語等にも適用することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０，４０，７０ 手話翻訳装置
１１ 地名入力装置
１２，４１，７１ データ処理装置
１３ 記憶装置
１４ 翻訳結果出力装置
２１ 文字分割手段
２２ 統計的翻訳手段
２３ 統計的翻訳結果格納手段
２４ 漢字−読み変換手段
２５ 未知語部読み仮名格納手段
２６，８１ 翻訳結果合成手段
３１ 統計的翻訳モデル
５１ 最長一致文字分割手段
５２ ルールベース翻訳手段
５３ ルールベース翻訳結果格納手段
６１ 手話単語辞書

Claims (3)

1. 日本語の固有名詞である入力データに対する手話翻訳を行う手話翻訳装置において、
   前記入力データを所定の文字毎に分割する文字分割手段と、
   前記文字分割手段により得られる文字毎に、予め設定された統計的翻訳モデルを参照し、翻訳された文字と、翻訳できなかった未知語とを分類する統計的翻訳手段と、
   手話単語辞書に登録された単語のうち、前記統計的翻訳手段により分類された前記未知語に対して、最長一致する単語を出力する最長一致文字分割手段と、
   前記最長一致文字分割手段により得られる単語に対して、予め設定されたルールに基づく翻訳を行うルールベース翻訳手段と、
   前記統計的翻訳手段により得られる翻訳結果と、前記ルールベース翻訳手段により得られる翻訳結果とを、前記入力データに対応させて合成する翻訳結果合成手段とを有し、
   前記統計的翻訳手段は、
   前記統計的翻訳モデルを参照した結果、入力される文字に対応する翻訳結果が複数ある場合に、前記統計的翻訳モデルの翻訳結果毎に設けられたスコアに基づいて、所定の翻訳結果を出力することを特徴とする手話翻訳装置。
2. 前記翻訳結果合成手段により得られる翻訳結果の手話単語列に対応させた手話映像を出力することを特徴とする請求項１に記載の手話翻訳装置。
3. コンピュータを、請求項１または２に記載の手話翻訳装置として機能させることを特徴とする手話翻訳プログラム。

Images