JP3624733B2 - 手話メール装置及び手話情報処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、手話アニメーションを生成し、同アニメーション情報をメール情報として送受信する情報処理装置に関する。
【０００２】
【従来の技術】
近年、ユニバーサルデザインの提唱にも見られるように、健常者が享受しているサービスを障害者も同様に受けるために、障害者用の特別なサービス体系を構築するのではなく、健常者が受けるサービスの中に障害者をも取り込んだ体系を構築する傾向がある。ただし、この傾向は最近始まったことであり、現状、サービスとして具体化している装置は少ない。
【０００３】
聴覚障害者に焦点を当てると、聴覚障害者の間でも電子メールの利用が浸透しつつあるが、聴覚障害者どうしの対話においては通常手話が用いられているため、健聴者が音声言語でメールを書くような自然さは得られていないと考えられる。
【０００４】
【発明が解決しようとする課題】
聴覚障害者にとって自然な会話手段である手話動作をメールで送信することが可能になれば、聴覚障害者どうしのメール交換においても健聴者と同様に、より会話性の高い対話が可能となると考えられる。したがって、聴覚障害者が、手話動作をメールとして送受信可能とする手段を構築することが必要となる。さらには、メールを送信する側あるいは受信する側が、必ずしも聴覚障害者とは限らず、送信側が聴覚障害者であって受信側は聴覚障害者および健聴者であったり、送信者側が健聴者であって受信側は聴覚障害者である場合もある。
【０００５】
したがって、聴覚障害者が手話で表現した情報をテキスト情報等の健聴者が利用している媒体に変換する手段が必要となる。さらに、健聴者側が入力したテキスト情報等を聴覚障害者の利用媒体である手話情報に変換する手段が必要となる。特に入力情報が手話情報である場合、上記情報中には、言語情報のみが含まれているのではなく、強調情報や感情情報といった情報をも含まれているため、健聴者から聴覚障害者、また、聴覚障害者から健聴者に送信する場合には、上記情報をも変換する手段が必要となる。
【０００６】
また、テキスト情報を入力して手話情報に変換する場合には、上記テキスト情報に強調情報や感情情報を付加する手段がある方が健聴者が音声言語でメールを書くような対話性を持つことが可能となる。
【０００７】
【課題を解決するための手段】
上記課題を達成するための本発明の一態様によれば、少なくともテキスト等の情報を入力可能とする情報入力手段と、手話単語見出し情報を用いて手話アニメーションを生成するアニメーション生成手段と、テキスト等の入力情報や手話単語見出し情報等を格納する情報格納手段と、上記テキスト情報やアニメーション情報を表示する情報表示手段と、データを電話回線等を用いて送受信するデータ通信手段を有する情報処理装置において、手話単語見出しを入力することにより自動生成されたアニメーションに対してユーザが編集を加えた手話アニメーションデータから非言語情報を抽出し、上記手話単語見出しと非言語情報を上記データ通信手段を用いて送信すると、送信した上記手話単語見出しと非言語情報を、手話アニメーション、テキスト表示、音声出力といった受信側あるいは送信側で設定した情報出力手段に対応するデータ表示形式に変換する。
【０００８】
上記データ形式変換に当たり、手話情報、テキスト情報、音声情報に関する非言語情報の対応データを有する。また、上記手話アニメーション生成手段により手話単語見出し列情報から生成した手話アニメーションに対してユーザが強調表現や感情表現を付加したデータと付加以前のデータとの差分値を算出し、算出された上記差分値により強調表現情報と感情表現情報等の非言語情報を抽出する。
【０００９】
また、ユーザが日本語入力を行なった場合、入力された日本語文を送信すると、受信側において上記形態素解析手段を用いて上記日本語文を解析し、解析した結果として得られた分割単語と隣接した分割単語を結合する隣接単語結合手段と、同分割単語内をさらに分割する単語内分割手段と、上記情報格納手段に格納されている手話単語見出し対応データ中の日本語単語を分割する日本語−手話見出し対応データ分割手段と、上記手段によって作成された結合単語あるいは分割単語を上記日本語−手話単語見出し対応データと照合し、手話単語見出しを抽出し、手話単語見出し列を生成する。
【００１０】
また、テキスト上においても強調情報や感情情報等を付加することを可能とし、上記テキスト上において非言語情報表現個所である強調個所や感情付与個所を明示すると、上記個所をそれぞれ強調個所、感情付与個所として記憶し、さらに上記個所に対応する手話アニメーションデータに対して上記当する非言語情報を付加する。
【００１１】
また、ユーザが音声入力を行なった場合には、発声情報をＡ／Ｄ変換し、上記変換情報から音韻情報、音圧情報、音高情報、時間情報を獲得して、さらに音声で入力された入力内容から強調情報や感情情報といった非言語情報を抽出し、上記非言語情報を手話表現としてアニメーション表示する。
【００１２】
また、ユーザが音声出力を指定した場合には、上記手話対応非言語情報抽出手段により抽出された強調表現情報と感情表現情報といった非言語情報を用いて上記音声合成により手話アニメーション情報を音声情報に変換してユーザに音声情報として出力する。
【００１３】
【発明の実施の形態】
以下、本発明をシステムに適用した場合の一実施形態について図面を参照しながら説明する。本実施例のシステムは、手話動作、テキスト、音声を取り扱うシステムであり、手話動作データに含まれる言語情報や非言語情報を日本語文や音声に変換したり、テキストや音声から言語情報および非言語情報を抽出し、上記情報を手話動作に変換したりすると共に、メールシステム上で上記情報を送受信するシステムである。
【００１４】
まず、図１を用いて、本発明の実施形態の一例を説明する。図１は、本発明の構成を示すブロック図である。１０１は起動されたプログラム処理に応じて処理を行なうＣＰＵ、１０２はデータ等を記憶する主記憶装置、１０３は電話回線等のネットワーク情報を管理制御するネットワーク管理装置、１０４は情報を視覚的に提示する情報表示装置、１０５は表示装置１０４に対する表示内容を制御する表示制御装置、１０６は音響や音声といった音情報のボリューム等を制御する音響出力制御装置、１０７はスピーカに代表される音響あるいは音声等を出力する音響出力装置、１０８は音声入力に用いるマイクロフォンである。実行プログラムおよびアクセスするデータは、必要に応じて主記憶装置１０２上に読み込まれ、ＣＰＵ１０１によって本発明に基づくデータ処理がなされる。
【００１５】
ディスク１０９には、システム全体を制御するシステムプログラム１１０、ユーザが作成した手話メールを送受信する手話メール管理プログラム１１１、入力された手話単語情報あるいはアニメーションとして表示されている手話表現情報を日本語に変換する手話−日本語変換プログラム１１２、ユーザが入力したデータから手話アニメーションを生成する手話生成プログラム１１３、ユーザの要求に応じて出力内容を変更する出力内容制御プログラム１１４、音声情報を入出力する音声入出力プログラム１１５、入力情報中に含まれる非言語情報を抽出する非言語情報抽出プログラム１１６、入力された音声情報を分析する音声情報分析プログラム１１７、音素片から合成音声を生成する音声合成プログラム１１８、手話表現情報やテキスト情報等を表示する画像表示プログラム１１９、テキストを入力するテキスト入力プログラム１２０、さらにデータベースとして、日本語単語と手話単語の対応が記述されている日本語−手話単語見出し対応データ１２１、非言語情報を手話や音声で表現する規則が記述されている非言語情報対応データ１２２、合成音声を生成するための音素片の集合体である音源データ１２３、入力された音声を分析するために必要な音声認識用データ１２４、入力情報の認識あるいは分析結果を格納する入力情報分析結果格納テーブル１２５、形態素解析用単語辞書１２６が含まれている。
【００１６】
以下に本装置における処理を記述する。説明にあたっては、図１１ないし図１８に示す各処理フローを参照する。
【００１７】
まず、ユーザがシステムプログラム１１０を起動する（Ｓ１１０１）。さらに手話メール管理プログラム１１１を起動することにより（Ｓ１１０２）、テキスト入力プログラム１２０（Ｓ１３０３）、音声入出力プログラム１１５（Ｓ１３０４）が起動する。音声入出力プログラムは、音声入力プログラムと音声出力プログラムから構成されており、ここでは音声入力プログラムが起動する。さらに、画像表示プログラム１１９が起動して、情報入出力画面を表示する（Ｓ１１０５）。上記情報入出力画面の一例を図２に示す。
【００１８】
まず、メール作成について説明する。メールの作成方法は、３種類用意されている。ひとつは、手話アニメーション編集機能を用いてアニメーションを生成する方法、二つ目は、音声入力を行う方法、三つ目は、テキスト入力を行う方法である。
【００１９】
まずはじめに図１２により、手話アニメーション編集機能を用いてメールを作成する方法について説明する。例えば、図２中に示したメニューバー２００から「メール作成」を選択し、さらに「手話アニメ入力・編集」と表示されている手話アニメ入力指定メニュー２０１を選択すると、図３に示すような手話アニメ編集画面が表示される。同画面上に表示されている「手話単語見出し入力部」３０１において、ユーザは手話単語見出しを入力する（Ｓ１２００）。ここでは一例として「私 山 登る」という手話単語見出し列を入力する。
【００２０】
上記手話単語見出し列を入力後、「入力終了」と表示されている手話単語見出し決定ボタン３０２を押すと、上記手話単語見出しは時系列情報として
Ｌｉｎｇ＿ｈ〔ｉ〕〔ｊ〕
（ｉ＝手話単語見出し出現順番号、ｊ＝文字数）
の構造体形式で主記憶装置１０２に記憶される（Ｓ１２０１）。
【００２１】
ここで手話生成プログラム１１３が起動する。上記手話生成プログラム１１３は、図４に示すように、手話単語見出し−手話表現変換プログラム１１３１、手話編集プログラム１１３２、日本語−手話単語見出し変換プログラム１１３３から構成されている。まず、上記手話単語見出し−手話表現変換プログラム１１３１により、日本語−手話単語見出し対応データ１２１から手話単語見出し各々に対応する手話動作データを抽出する。
【００２２】
上記日本語−手話単語見出し対応データの構造は、例えば図５に示すような構造となっている。４００には手話単語見出しの登録番号が記述されており、４０１の「日本語」には日本語単語が登録されている。また、上記日本語単語に対応した手話単語見出しが４０２に格納されており、各単語に対応する品詞が４０３に格納されている。さらに、各手話単語見出しをアニメーションとして表示するための手話動作データが４０４に格納されており、上記手話動作データには、経過時刻４０４１の時刻に対応した位置データが例えば右手４０４２中の肘動作データ４０４２１にＸＹＺ軸の３次元で表現された位置情報として格納されている。また、４０４３には、各単語中において動作が静止する静止点をＡというフラグで記述し、４０４４には、動作方向を表すベクトルの方向変換点であるベクトル変換点をＡというフラグで記述している。
【００２３】
具体的には、例えば、上記手法で作成したオリジナル表示データとして、
ｏｒｇ＿ｆ〔ｉ〕〔ｓ０〕〔ａｘｉｓ〕
（ｉ＝単語出現番号、ｓ０＝単語内フレーム番号、ａｘｉｓ＝軸（ｘ＝０，Ｙ＝１，Ｚ＝２）
というオリジナルデータ構造体が作成され、さらに上記構造体に対するサブ構造体として、
〔ｐａｒｔ〕：動作軸点の大分類４０４２、
〔ｓｕｂ＿ｐａｒｔ〕：動作軸点の小分類４０４２１、
〔ｄａｔａ＿ｎ〕：上記対応データにおける登録番号、
〔ｐｅｒｍ〕：座標値
で構成される構造体が作成され、上記オリジナル表示データが格納される。
【００２４】
上記格納が行われると、手話単語見出しと同列に格納されている上記動作データを用いて、例えば、手話編集システム「Ｍｉｍｅｈａｎｄ」（（株）日立製作所）における機能により、画面に表示されているＣＧキャラクタの手指動作や表情等を表示制御装置１０５および情報表示装置１０６を通してアニメーション表示する（Ｓ１２０２）。
【００２５】
ここでユーザは、上記アニメーション表示情報に対して強調表現や感情表現を付与することが可能である（Ｓ１２０３）。例えば、図６に示すような表示画面において、まず、図６の右下部に表示されているメニュー中の「表現情報表示部」から手話動作の変更を行うフレームを選択する。次にメニューから「編集ツール」を選択し、例えば右手を編集対象としたい場合には、「右手」を選択する。さらに「肘」を選択した後、「上下」「左右」「前後」のメニュー脇にあるスクロールボタンを動かすと、選択したフレームにおける「肘」の位置がスクロール量に応じて変動する。
【００２６】
各フレーム毎に上記操作を行ない、フレーム毎に変動後の位置情報を
Ｃｈａｎｇｅ＿ｆ〔ｉ＿１〕〔ｓ１〕〔ａｘｉｓ〕
という変更データ格納構造体について、さらに
〔ｐａｒｔ〕：ｐａｒｔ＝動作個所の大分類、
〔ｓｕｂ＿ｐａｒｔ〕：動作個所の小分類、
〔ｐｅｒｍ〕：座標値、
〔ｄａｔａ＿ｎ１〕：上記対応データにおける登録番号
を構成要素とする構造体が作成され、変動後データ格納用構造体として編集されたデータを記憶する。
【００２７】
また、動作時間長を長くしたい場合には、例えば図７に示すように、編集個所の始端と終端を、例えばカーソル５０２を操作するマウスで確定し、上記始端、終端をドラッグすることで全体の時間長の伸縮操作を行う。上記操作において時間長を伸ばした場合には、手話編集プログラム１１３２により、例えば、伸長した時間長に適合するように均等にフレームを挿入して線形補完し、縮めた場合には、上記当個所からフレームを均等に間引いて線形補完するといった操作を行う。この場合、Ｃｈａｎｇｅ＿ｆのｓ１：フレーム番号は、挿入あるいは削除されて登録される。
【００２８】
ここで、非言語情報抽出プログラム１１６が起動し、非言語情報対応データ１２２、および上記日本語−手話単語見出し対応データを用いて入力情報からの非言語情報抽出を行う（Ｓ１２０４）。
【００２９】
ここでは例として、強調表現の抽出を行う。手話における強調表現の特徴として語順の変化がある。ここでは、上記語順の変化および手話動作の軌跡と時間長の変化を強調表現の特徴量として扱う。
【００３０】
まず、手話単語見出しの語順を比較する。上記非言語情報対応データ１２２の構造は、例えば図８に示すような構造となっており、シンボル番号により、手話データ部、音声データ部、テキストデータ部に格納されている非言語データを相互に参照する構造となっている。
【００３１】
上記手話データ部の構造は、例えば、図９に示すような構造となっている。強調情報および複数の感情情報といった非言語情報の種類を示すシンボル番号９０１、シンボルを抽出するにあたり比較関数とする比較対象９０２、上記比較対象の具体的な比較用特徴量モデル９０３、非言語情報基本モデル９０４により構成されている。また、音声データ部の構造は、図１０に示すような構造になっている。
【００３２】
以下では、強調表現を例として説明する。強調表現としては、ひとつに、強調表現を伴う場合の語順が文法情報として格納されており、上記文法情報と入力された単語の語順とを比較する。Ｌｉｎｇ＿ｈ〔ｉ〕に格納されている手話単語見出しデータと同列に記述されている品詞記述内容から語順を判断する。例えば、Ｌｉｎｇ＿ｈ〔ｉ〕に「私」「登る」「山」という語順で入力されていた場合には、上記品詞情報から「Ｓ」「Ｖ」「Ｏ」構文を抽出する。次に、上記非言語情報対応データ１２２に格納されている強調構文パタン「Ｓ，Ｖ，Ｏ」と照合し、照合が取れた場合には、ｌｉｎｇ＿ｈ〔ｉ〕を強調個所格納メモリｃｏｎｖ＿ｖ１として主記憶装置１０２に格納する。この場合は、「Ｏ」の「山」を格納する。
【００３３】
二つ目として、動作の大きさや表現時間長に関して平叙動作と強調や感情が含まれる動作との差分値により強調表現を検出する。各手話単語動作データについて、平叙動作値である
ｏｒｇ＿ｆ〔ｉ〕〔ｓ０〕〔ａｘｉｓ〕
と入力された手話アニメーション情報中の値である
Ｃｈａｎｇｅ＿ｆ〔ｉ＿１〕〔ｓ〕〔ａｘｉｓ〕
との差分値を上記非言語情報対応データ１２２中の比較用特徴量モデル６０３に代入し、モデルに合致した単語が検出された場合には、上記単語を強調表現として上記文法情報の場合と同様にＮｏｎ−Ｖ１として主記憶装置１０２に格納する。上記比較用特徴量モデルの概要を以下に示す。
【００３４】
１）時間長モデル
１−１）
ｗｏｒｄ＿ｄｅｆ〔ｉ〕＝（ｓ−ｓ０）（ｓ−ｓ０）／ｓ０
（ｉ＝出現順単語番号）：各単語における時間長変動率の算出
１−２）
文中の単語において、最も時間長変動率が大きい単語ｄｅｆ＿ｌｅｇを検出

２）座標値変動量モデル
２−１）
静止点の検出およびフレーム間のベクトル値の検出
各フレーム間のユークリッド距離を座標値から求める。
【００３５】
ｌｅｎｇｔｈ〔ｔｉｍｅ〕〔ｄｅｆ〕
は、各フレーム間の距離を示す。
【００３６】
次に、
ｌｅｎｇｔｈ〔ｔｉｍｅ〕〔ｄｅｆ〕
がある値よりも小さい場合には、上記フレーム間では移動がなかったと判断し、静止フレーム間長とする。さらに、上記静止フレーム間長が連続して、例えば３フレーム以上検出された場合には、上記フレーム間長群を静止点とし、
ｌｅｎｇｔｈ〔ｔｉｍｅ〕〔ｐｏｉｎｔ＿ｓｃ〕
に、静止点のフラグとして「１」を代入する。静止点でない場合には、「０」が代入されている。また、各フレーム間の方向ベクトル値が上記フレーム間の前後のベクトル値と比較して有意差があった場合には、有意差が認められた２方向の方向ベクトルの接点を方向変更座標値としてＶｅｃｔｏｒ〔ｎｕｍｂｅｒ＿ｖ〕〔ｐｏｓｉｔｉｏｎ＿ｖ〕（ｎｕｍｂｅｒ＿ｖ＝変更点番号、ｐｏｓｉｔｉｏｎ＿ｖ＝１（変更点フレーム番号））に登録する。
【００３７】
２−２）
静止点滞留時間および静止点間、ベクトル変更点間の加速度値の算出
静止点フラグがある値以上連続して存在した場合には、上記静止点群を静止点滞留フレーム群として、静止点群フレーム位置を示す構造体
ｓｔ＿ｄｕｒ〔ｎｕｍｂｅｒ〕〔ｐｏｓｉｔｉｏｎ〕
（ｎｕｍｂｅｒ＝静止点群番号、ｐｏｓｉｔｉｏｎ＝０（開始点フレーム）、１（終了点フレーム）２（静止滞留時間））に登録する。また、静止点群の終端から始端に至るまでのフレーム群における加速度値および方向変更点間の加速度値を求め、それぞれ、ｓｔ＿ｄｕｒ〔ｎｕｍｂｅｒ〕〔４〕に格納する。また、ベクトル変更点については、Ｖｅｃｔｏｒ〔ｎｕｍｂｅｒ＿ｖ〕〔２〕に変更点間の加速度値を代入する。
【００３８】
２−３）
標準値と実動作値の比較
非言語情報対応データ１２１に登録されている静止点群４０４３の静止滞留時間値、および静止点間とベクトル変更点４０４４間の加速度値と上記値に表現位置として対応する２−２で算出された静止滞留時間と加速度値を比較し、上記滞留時間比がある値ｃｏｎｆ＿ｉ以上であった場合、また、加速度値の比がある値ｃｏｎｆ＿ｊ以上であり、さらに単語間の比較において、ｃｏｎｆ＿Ｉの値に関して、そしてｃｏｎｆ＿ｊの値に関して有意差があった場合には、有意差があった上記単語を強調表現を伴う単語としてシンボル番号と共に、Ｎｏｎ−Ｖ１に格納する。
【００３９】
ここで、図７に示すように、相手先のアドレスを指定し（Ｓ１２０５）、手話単語見出し列ＭＨ〔ｋ〕（ｋ＝０〜ｎ）とＮｏｎ−Ｖ１を手話メール管理プログラム１１１により送信する（Ｓ１２０６）。
【００４０】
次に図１３により、ユーザが音声入力を行う場合について説明する。ユーザは、マイクロフォン１０８を用いて音声入力を行う（Ｓ１３０１）。ここで音声情報分析プログラム１１７が起動する（Ｓ１３０２）。入力結果は音声入力プログラム１１５により、Ａ／Ｄ変換され（Ｓ１３０３）、さらに主記憶装置１０２上の音声波形メモリＴＮに音声波形として記憶される。
【００４１】
記憶された音声波形は、上記音声情報分析プログラムにより、ピッチ抽出および時間長抽出が行われ、さらに音声認識処理が行われる。音声認識処理は、例えば、音素モデルが格納されている音声認識用データ１２４を用いて古井貞煕著「ディジタル音声処理」（東海大学出版会、１９８５）に記載の音声認識手法を用いて音声認識を行ない、文字列に変換する（Ｓ１３０４）。
【００４２】
上記文字列を上記認識結果格納テーブル１２５の音声認識結果セル中に格納する。さらに、ピッチ情報（基本周波数）を例えば２０ｍｓｅｃ毎に抽出し、認識結果格納テーブル中に、Ｐ〔ｍ〕〔ｎ〕〔ｑ〕（Ｐ〔０〕〔０〕〔０〕、Ｐ〔０〕〔０〕〔１〕、−Ｐ〔ｍ〕〔ｎ〕〔ｑ〕：ｍは文字列番号、ｎはフレーム数、ｑは２０ｍｓｅｃ毎のピッチ格納序数）の形式で格納する。
【００４３】
さらに、音声認識結果である文字列の発声始端時刻、終端時刻、発声時間長、そして各音韻長を配列Ｐより算出し、
Ｌｅｎｇｔｈ〔ｍ〕〔ｄａｔａ〕
（Ｌｅｎｇｔｈ〔０〕、−Ｌｅｎｇｔｈ〔ｍ〕：ｍは文字列番号、ｄａｔａ＝０（発声時間長）、１（発声始端時刻）、２（発声終端時刻）、３（音韻発声時間長））
の形式で格納する（Ｓ１３０５）。また、上記３（音韻発声時間長）については、さらに音韻数に相当する配列を確保し、格納する。
【００４４】
上記ピッチ情報Ｐと上記発声時間長Ｌｅｎｇｔｈと、非言語情報基本データ１２２中に含まれている音声非言語情報モデルを用いて上記音声情報に非言語情報が含まれているかどうかを判断する（Ｓ１３０６）。上記音声非言語情報モデルには、例えば、隣接単語間の無音区間平均時間長および単語始端部におけるピッチの立ち上がり傾斜度が表現されている。
【００４５】
上記発声時間長やピッチの立ち上がり傾斜度と対応する実測値の比率がある一定値以上であれば、上記無音区間直後の単語をシンボル単語と共に強調表現単語としてｃｏｎｖ＿Ｖ１に登録する。また、各単語の音韻発声時間長に関して、（実測値）−（非言語情報データに対応する値）という差分値が単語の始めの音韻から最後の音韻にかけて大きくなる傾向を持つ単語があれば、上記単語の直後の単語を強調表現単語として、ｃｏｎｖ＿Ｖ１に登録する。
【００４６】
上記情報モデルによって非言語情報が含まれていると判断された場合には、非言語情報のフラグを主記憶装置１０２に非言語情報フラグをｃｏｎｖ＿ｖ１として格納する。ここで、送信先を指定し（Ｓ１３０７）、文字列情報と非言語情報フラグを送信する（Ｓ１３０８）。
【００４７】
次に図１４によりテキスト入力について説明する。テキスト入力においては、テキスト入力メニューを開き、図１９に示すように、ユーザがテキストをテキスト入力個所に入力する（Ｓ１４０１）。ユーザが強調表現や感情表現等を付加したい場合には、例えば強調表現個所にアンダーラインをひいたり（Ｓ１４０２）、感情表現文に対してフェイスマークを書くといった作業を行い（Ｓ１４０３）、強調表現については、アンダーライン付加部の単語を非言語情報フラグの強調表現としてｃｏｎｖ＿Ｖ１に登録し、送信先を指定した後（Ｓ１４０４）、文字列情報と非言語情報フラグを送信する（Ｓ１４０５）。
【００４８】
次に、図１５により受信側における情報出力方法について述べる。出力に当たっては、例えばユーザがメール受信ボタンを押し、ホストからメールをダウンロードする（Ｓ１５００）。ユーザが表示画面上にある受信メールヘッドラインから読みたいメールを選択し（Ｓ１５０１）、さらに表示方法を選択する（Ｓ１５０２）。
【００４９】
まず、出力希望情報として手話アニメーション情報が選択された場合について図１６により説明する（Ｓ１６０１）。まず、送信情報を識別し、送信された情報が、手話単語見出し列と非言語情報の組み合わせであるのか日本語テキスト文と非言語情報の組み合わせであるのかを判断する（Ｓ１６０２）。選択したメール情報として手話単語見出し列情報と非言語情報が送信されている場合には、非言語情報対応データ中の非言語情報基本モデル９０４に日本語−手話単語見出し対応データ中に格納されている各単語に対する手話動作データを代入することにより、非言語情報を付加した手話アニメーション動作を生成し（Ｓ１６０３）、三次元コンピュータグラフィックス（３Ｄ−ＣＧ）での手話アニメーションを生成して表示画面に出力する（Ｓ１６０４）。
【００５０】
また、送信情報が、音声認識結果であるテキスト情報と非言語情報の組み合わせや、テキスト情報と非言語情報との組み合わせである場合には、日本語−手話単語見出し変換プログラム１１３３が起動する（Ｓ１６０５）。上記日本語−手話単語見出し変換プログラムは、形態素解析プログラム１１３３１と日本語単語−手話単語見出し変換プログラム１１３３２により構成されている。
【００５１】
まず、送信されたテキスト情報を上記形態素解析プログラムと形態素解析用単語辞書１２６により、例えば、形態素解析システム「ＡＮＩＭＡ」（櫻井博文、久光徹，形態素解析プログラムＡＮＩＭＡの設計と評価，情報処理学会第５４回全国大会論文集（１９９７年３月））に示されているような形態素解析手法を用いて、上記文を単語に分割し、単語の品詞や活用形等の情報を単語情報構造体
Ｗｏｒｄ＿ｉｎｆｏ〔ｉ〕〔ｊ〕
（ｉ＝単語出現順番号、ｊ＝情報の種類（１＝単語表記、２＝終止形表記、３＝品詞、４＝時制、５＝読み…））
として格納する（Ｓ１６０６）。
【００５２】
さらに、上記日本語単語―手話単語見出し変換プログラムによって日本語−手話単語見出し対応データ１２１中の日本語単語データと上記Ｗｏｒｄ＿ｉｎｆｏ〔ｉ〕〔２〕の終止形表記情報との照合を行い、さらに上記データ１２１中の品詞情報とＷｏｒｄ＿ｉｎｆｏ〔ｉ〕〔３〕の品詞情報との照合を行ない、単語表記および品詞の両者の照合に成功した場合には、Ｗｏｒｄ＿ｉｎｆｏ〔ｉ〕〔ｊ＋１〕に手話単語見出しを格納する（Ｓ１６０７、Ｓ１６０８）。
【００５３】
また、上記照合に失敗した場合には、Ｗｏｒｄ＿ｉｎｆｏ〔ｉ〕〔２〕を分割し、分割された複数単語と日本語−手話単語見出し対応データ１２１中の日本語単語データとの照合を行なって、上記日本語単語データによりＷｏｒｄ＿ｉｎｆｏ〔ｉ〕〔２〕が構成可能であった場合には、Ｗｏｒｄ＿ｉｎｆｏ〔ｉ〕〔ｊ＋１〕に、照合に成功した上記日本語単語の複数データを格納する（Ｓ１６０９）。
【００５４】
さらに、送信された非言語情報については、例えば、強調個所の語順変更を行なう。強調個所が同モデルに当てはまる場合には、非言語情報対応モデル中に記述されている構文モデルに従いＷｏｒｄ＿ｉｎｆｏ〔ｉ〕〔ｊ＋１〕の〔ｉ〕の出現順序を変更する。
【００５５】
また、動作表現情報が送信されている場合には、強調個所を、非言語情報対応データ中のアニメーション強調モデルを用い、強調個所として指定されている単語と同列に記述されている日本語−手話単語見出し対応データ１２１中の手話動作データを変更し、強調表現を付加する。感情表現についても同様に、非言語情報に対応した感情表現モデルを用いて上記手話動作データを変更する。最終的に、変更された上記手話動作対応データにより手話アニメーションを生成し、図３に示すような手話動作出力画面に３次元（３Ｄ）表示する（Ｓ１６１０）。
【００５６】
次に図１７により、ユーザがテキスト情報での出力を選択した場合について説明する。送信されたデータを識別し（Ｓ１７０１）、上記送信データが、手話単語見出し列と非言語情報であった場合、手話−日本語変換プログラム１１２が起動し（Ｓ１７０２）、メールとして送信された手話単語見出し列の情報と日本語−手話単語見出し対応データ１２１との照合を行ない（Ｓ１７０３）、各手話単語見出しに対応した日本語単語を検索する。
【００５７】
検索結果として得られた日本語単語列を、上記単語列の品詞情報を用いてＳ−Ｏ−Ｖ等の構文モデルに当てはめ（Ｓ１７０４）、上記単語列が矛盾なく当てはまる構文モデルが検出された場合には、構文モデルに付随する格助詞を上記単語に結合させて、Ｗｏｒｄ＿ｂｏｘ〔ｍ〕（ｍ＝単語出現順番号）に格納する（Ｓ１７０５）。
【００５８】
さらに、非言語情報として送信された強調個所等の情報を非言語情報基本モデルを用いてテキスト中に付加する（Ｓ１７０６）。例えば、強調個所である単語にアンダーラインを付加したり、感情情報が付加されている個所にフェイスマークを付加するといった操作を行う。音声認識結果と非言語情報の組み合わせが送信された場合には、認識結果をテキスト情報とし、さらに非言語情報については、強調個所である単語にアンダーラインを付加したり、感情情報が付加されている個所にフェイスマークを付加するといった操作を行う。テキスト情報と非言語情報との組み合わせの場合も同様である。
【００５９】
次に図１８により、音声出力が指定された場合について説明する。まず送信データを識別し（Ｓ１８０１）、送信情報が手話単語見出し列と非言語情報との組み合わせの場合には、まず最初に、上記の手話アニメーション表示指定の場合と同様に、手話単語見出し列を手話−日本語変換プログラム１１２により単語に分割されたテキスト情報に変換する（Ｓ１８０２）。
【００６０】
次に、音声合成プログラム１１８を起動し、例えば、「特願平９−２０５７７３：話者適応機能を持つ音声合成方式」に記載の手法により上記テキスト情報を発話記号列に変換する（Ｓ１８０３）。さらに、上記発話記号列に対応した音源データ列を抽出し、抽出された音源データ列の各音源の持続時間や単語間の無音時間長、そして強調直前の単語の音韻時間長を単語の始端から終端にかけて増幅させるといった操作を行なうことにより、非言語情報を付加する。上記非言語情報対応データの音声データ部に記述されている非言語情報基本モデルを用い、強調情報等を付加する（Ｓ１８０４）。上記付加処理を行なった音源データ列を用いて音声入出力プログラム１１５中の音声出力プログラム１１５２によって音響出力制御装置１０６および音響出力装置１０７を通して合成音声を出力する（Ｓ１８０５）。
【００６１】
【発明の効果】
本発明によれば、自動生成された手話アニメーションにユーザが編集を加えたデータから非言語情報を抽出し、上記手話単語見出しと非言語情報を上記データ通信手段を用いて送信すると、送信した上記手話単語見出しと非言語情報を、手話アニメーション、テキスト表示、音声出力といった受信側あるいは送信側で設定した情報出力手段に対応するデータ表示形式に変換することにより、ユーザが嗜好するデータ形式でメール情報を獲得することができるようになる。
【００６２】
また、上記データ形式変換に当たり、手話情報、テキスト情報、音声情報に関する非言語情報の対応データを有することにより、複数のメディアにおける非言語情報の対応関係を簡便に取得することができるようになる。
【００６３】
また、ユーザが強調表現や感情表現を付加したアニメーションデータと付加以前のアニメーションデータとの差分値を算出し、算出された上記差分値により強調表現情報と感情表現情報を抽出する機能を持つことにより、ユーザが強調表現個所をシンボルとして入力することなく自動的に強調個所、感情表現個所を推定することが可能になる。
【００６４】
また、ユーザが日本語入力を行なった場合、入力された日本語文を送信すると、受信側において上記形態素解析手段を用いて上記日本語文を解析し、解析した結果として得られた分割単語と隣接した分割単語を結合する隣接単語結合手段と、同分割単語内をさらに分割する単語内分割手段と、上記情報格納手段に格納されている手話単語見出し対応データ中の日本語単語を分割する日本語−手話見出し対応データ分割手段と、上記手段によって作成された結合単語あるいは分割単語を上記日本語−手話単語見出し対応データと照合し、手話単語見出しを抽出し、手話単語見出し列を生成することにより、日本語単語と手話単語見出しにおける表現単位の差を吸収することが可能になる。
【００６５】
また、テキスト上においても強調情報や感情情報等を付加することを可能とし、上記テキスト上において非言語情報である強調個所や感情表現個所を明示すると、上記個所を非言語情報フラグと共にそれぞれ強調個所、感情表現個所として記憶する。
【００６６】
また、ユーザが音声入力を行なった場合には、発声情報をＡ／Ｄ変換し、上記変換情報から音韻情報、音圧情報、音高情報、時間情報を獲得して、さらに音声で入力された入力内容から強調情報や感情情報といった非言語情報を抽出し、上記非言語情報を手話表現としてアニメーション表示することにより、テキスト情報における強調情報、感情情報をもアニメーションとして表示することが可能になる。
【００６７】
また、ユーザが音声出力を指定した場合には、上記手話対応非言語情報抽出手段により抽出された強調表現情報と感情表現情報といった非言語情報、および上記手話単語見出しを用いて上記音声合成により手話アニメーション情報を音声情報に変換してユーザに音声情報として出力することにより、手話情報として入力された強調情報や感情情報を音声情報として獲得することが可能となり、日常的に利用している言語での非言語情報のやりとりが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施例の手話メール装置の構成を示すブロック図。
【図２】本発明の一実施例での表示画面の一例を示す説明図。
【図３】手話アニメ編集入力を行うための表示画面の一例を示す説明図。
【図４】手話生成プログラム１１３の構成を示す一例を示すブロック図。
【図５】日本語−手話単語見出し対応データの構造の一例を示す説明図。
【図６】手話メール編集操作画面の一例を示す説明図。
【図７】手話メール編集操作画面の一例を示す説明図。
【図８】非言語情報対応データ１２２の構造の一例を示す説明図。
【図９】非言語情報対応データ１２２の手話データ部の構造の一例を示す説明図。
【図１０】非言語情報対応データ１２２の音声データ部の構造の一例を示す説明図。
【図１１】本発明の一実施例の処理フロー図。
【図１２】本発明の一実施例の処理フロー図。
【図１３】本発明の一実施例の処理フロー図。
【図１４】本発明の一実施例の処理フロー図。
【図１５】本発明の一実施例の処理フロー図。
【図１６】本発明の一実施例の処理フロー図。
【図１７】本発明の一実施例の処理フロー図。
【図１８】本発明の一実施例の処理フロー図。
【図１９】テキスト入力操作画面の一例を示す説明図。
【符号の説明】
１０１…ＣＰＵ、１０２…主記憶装置、１０３…ネットワーク管理装置、１０４…情報表示装置、１０５…表示制御装置、１０６…音響出力制御装置、１０７…音響出力装置、１０８…マイクロフォン、１０９…ディスク、１１０…システムプログラム、１１１…手話メール管理プログラム、１１２…手話−日本語変換プログラム、１１３…手話生成プログラム、１１４…出力内容制御プログラム、１１５…音声入出力プログラム、１１６…非言語情報抽出プログラム、１１７…音声情報分析プログラム、１１８…音声合成プログラム、１１９…画像表示プログラム、１２０…テキスト入力プログラム、１２１…日本語−手話単語見出し対応データ、１２２…非言語情報対応データ、１２３…音源データ、１２４…音声認識用データ、１２５…認識結果格納テーブル、１２６…形態素解析用単語辞書。

Claims (8)

1. 少なくともテキスト情報を入力し得る情報入力手段と、
   手話単語見出し情報を用いて手話アニメーション情報を生成するアニメーション情報生成手段と、
   前記情報入力手段およびアニメーション情報生成手段に接続され、テキスト単語と手話単語のアニメーションとの対応が記述されるテキスト単語−手話単語対応データ、および非言語情報を手話で表現する規則が記述されている非言語情報対応データとを格納する情報格納手段と、
   前記情報入力手段、アニメーション情報生成手段および情報格納手段に接続される情報表示手段と、
   前記アニメーション情報生成手段からの入力に対する編集を受け付けて修正情報データを生成する編集手段と、
   前記情報格納手段及び前記編集手段に接続される非言語情報抽出手段と、
   前記非言語情報抽出手段と接続され、通信回線を介して情報を送受信する通信手段とを有する手話メール装置において、
   前記アニメーション情報生成手段は、前記情報入力手段により入力されたテキストによる手話単語見出し情報に基づき、前記テキスト単語−手話単語対応データを参照してアニメーション情報を生成し、
   前記非言語情報抽出手段は、前記アニメーション情報生成手段の出力に対して編集が加えられた前記修正情報データから、前記非言語情報対応データを参照して非言語情報を抽出して出力し、
   前記通信手段は前記手話単語見出しと非言語情報とを対応付けたメールとして送信することを特徴とする手話メール装置。
2. 請求項１に記載の手話メール装置において、上記非言語情報抽出手段は上記手話アニメーション情報生成手段により生成された手話アニメーション情報に対して強調表現や感情表現が付加されて得られた修正情報データと付加以前の手話アニメーション情報との差分値を上記非言語情報対応データを用いて算出し、算出された上記差分値により強調表現や感情表現等の非言語情報を抽出することを特徴とする手話メール装置。
3. 請求項１に記載の手話メール装置において、上記非言語情報抽出手段は、上記編集を加えたアニメーション情報データから静止点、静止点間の加速度値、静止点滞留時間、単語長、および文時間長に対する単語長の比率、構文の少なくとも１つを特徴量として検出する編集データ特徴量抽出手段と、上記特徴量抽出手段によって検出された特徴量と既に基本データとして登録されている上記特徴量との差分値を算出する差分値算出手段を有することを特徴とする手話メール装置。
4. 請求項１乃至３のいずれかに記載の手話メール装置において、文字列情報を品詞や活用形の情報を含む単語情報に分割する形態素解析手段と、上記情報入力手段を用いて入力されたテキスト情報を上記形態素解析手段により得られた分割単語と隣接した分割単語を結合する隣接単語結合手段と、同分割単語をさらに分割する単語内分割手段と、上記情報格納手段に格納されている手話単語見出し対応データ中の単語を分割する単語分割手段と、上記結合単語あるいは分割単語を日本語−手話単語見出し対応データと照合し、手話単語見出しを抽出する日本語−手話対応データ照合手段を有することを特徴とする手話メール装置。
5. 請求項１乃至４のいずれかに記載の手話メール装置において、さらに上記情報表示手段の画面上の位置情報を含む手話アニメーションデータの編集手段と、上記編集手段を介して特定された入力手段により入力されたテキストの非言語情報を示す強調個所や感情付与個所をそれぞれ強調個所、感情付与個所として記憶する手段と、上記個所に対応した手話アニメーションデータに非言語情報を付加するテキストの非言語情報変換手段とを有することを特徴とする手話メール装置。
6. 請求項１乃至５の何れかに記載の手話メール装置において、前記情報入力手段は、発声情報を入力する音声入力手段と上記発声情報をＡ／Ｄ変換するディジタル情報変換手段とＡ／Ｄ変換された情報から入力された発声情報の音韻情報、音圧情報、音高情報、時間情報を与える音声認識手段とを有し、上記音声認識手段はさらに前記発生情報における単語列および単語間ポーズ長、および音韻時間長から非言語情報を抽出し、その非言語情報を手話表現としてアニメーション表示する音声−手話非言語情報変換手段を有することを特徴とする手話メール装置。
7. 請求項１乃至６の何れかにに記載の手話メール装置において、さらに文字列情報から音声を合成する音声合成手段を有し、上記音声合成手段は抽出された非言語情報を用いて、単語の時間長や単語間のポーズ長、および単語内に含まれる音韻の音韻時間長を制御することによって上記音声合成により手話アニメーション情報を音声情報に変換する手話アニメーション−音声変換手段を有することを特徴とする手話メール装置。
8. 表示装置と、情報入力部と、
   予め記憶される、テキスト単語と手話単語のアニメーションとの対応が記述されているテキスト単語−手話単語対応データに基づいて、前記情報入力部へ入力されたテキストによる手話単語見出し列から手話アニメーション情報を生成する手段と、
   前記表示装置に前記手話アニメーション情報に相当する手話アニメーションと、その手話アニメーションを規定する前記手話単語見出し列の各手話単語見出し、前記手話単語見出しのそれぞれに対応した手指動作やジェスチャを特定する編集項目とが表示されるように前記表示装置を駆動し、前記編集項目を変更することで前記手話アニメーション情報に少なくとも強調情報若しくは感情情報を含む非言語情報を付加し修正手話アニメーション情報を生成する手段と、
   予め記憶される、非言語情報を手話で表現する規則が記述されている非言語情報対応データを参照して、前記修正手話アニメーション情報から前記非言語情報を抽出する手段と、
   前記入力された手話単語見出し列および前記抽出された非言語情報を格納する記憶装置と、
   前記記憶装置から前記手話単語見出し列および前記非言語情報を読み出して、その読み出された手話単語見出し列に読み出された非言語情報を結合する手段と、
   前記結合手段の出力を受ける情報出力部と、を有することを特徴とする手話情報処理装置。

Images