JP3222283B2 - 案内装置 - Google Patents

案内装置

Info

Publication number
JP3222283B2
JP3222283B2 JP23611893A JP23611893A JP3222283B2 JP 3222283 B2 JP3222283 B2 JP 3222283B2 JP 23611893 A JP23611893 A JP 23611893A JP 23611893 A JP23611893 A JP 23611893A JP 3222283 B2 JP3222283 B2 JP 3222283B2
Authority
JP
Japan
Prior art keywords
sign language
information
word
button
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23611893A
Other languages
English (en)
Other versions
JPH0792938A (ja
Inventor
浩彦 佐川
優 大木
栄二 大平
朝子 崎山
洋一 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP23611893A priority Critical patent/JP3222283B2/ja
Publication of JPH0792938A publication Critical patent/JPH0792938A/ja
Priority to US08/664,803 priority patent/US5734923A/en
Application granted granted Critical
Publication of JP3222283B2 publication Critical patent/JP3222283B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、銀行のATM装置にお
ける操作説明や、デパートにおける催しものの案内、イ
ベント会場における各展示内容の紹介、駅における列車
の発車時刻や事故連絡、その他各種公共機関における案
内表示など、装置の利用者に何らかの情報を提供する案
内装置に関する。
【0002】
【従来の技術】従来の案内装置では、情報の提供手段と
しては、文字、音声、絵、写真、ビデオ画像、あるいは
それらの組合せによる方法が一般的である。装置への入
力は、情報の説明文を文字あるいは音声入力したものを
絵や写真、ビデオ画像の内容に同期させて出力してい
る。
【0003】また、手話による情報の提供は、あらかじ
めビデオで撮影した手話画像を文字や絵、ビデオと同時
に表示するという方法が一般的である。手話画像の入力
は、文の単位で撮影され、編集されている。
【0004】また、手話をアニメーションで表示すると
いう技術もあるが、手話の表示に関する技術が中心であ
り、説明文等の手話アニメーションを実際に作成する際
に必要となる、効率的な手話の編集方法については提案
されていない。
【0005】
【発明が解決しようとする課題】従来の案内装置を聴覚
障害者が使用する場合、案内装置の情報提示手段として
は絵、写真、ビデオ画像の説明を文字による説明で行な
うという方法が使用できる。現在の聾学校における聾者
教育では口話法が中心であるため、文章の読解力が健聴
者と同レベルの聴覚障害者も少なくない。しかし、聴覚
障害者の話し言葉はあくまでも手話であり、聴覚障害者
にとっての音声言語は第二言語であると考えた方が正し
い。そのため、微妙ないい回しなどはやはり文字による
説明より手話で説明したほうが意味が正確に伝えられ
る。このようなことから、案内システムの利用者として
聴覚障害者も含めた場合、文字と音声だけでなく、手話
による説明が必要不可欠となる。
【0006】また、案内装置において、手話による情報
提供を手話のビデオ画像で行なう場合、あらかじめ手話
画像を入力しておく必要がある。しかし、文字放送や緊
急連絡の場合、あらかじめ入力しておくことが困難であ
るため、問題が生じる。さらに、ビデオ画像の場合、単
語単位で手話画像を登録しておき、それをつなぎ合わせ
て文を構成しようとしても、単語間のつなぎ部分が不自
然になったり、手話を行なう人が同じでないと不自然に
なったり、さらに、文脈で変わる微妙な表現の変化を十
分に表現しきれないという問題がある。
【0007】また、手話による情報提供を手話のアニメ
ーションで行なう場合、多くの情報を効率的に作成する
ための手話編集方法が必要不可欠となる。
【0008】本発明の目的は、利用者にさまざまな情報
を提供する案内装置において、健聴者だけでなく聴覚障
害者にもわかりやすい情報の提供が可能な案内装置を提
供することにある。
【0009】本発明の他の目的は、さまざまな情報をど
のような状況においても手話によって提供できる柔軟な
案内装置を提供することにある。
【0010】本発明のさらに他の目的は、より多くの情
報をより速く、正確に利用者に提供できるように、案内
情報の入力者が画像、文字、音声、手話による説明を容
易に入力および編集できる機能を持つ案内装置を提供す
ることにある。
【0011】
【課題を解決するための手段】聴覚障害者にもわかりや
すい情報提供を行なうために、絵、写真、ビデオ画像
と、文字、音声、および手話による説明を組み合わせて
表示する。
【0012】また、手話による案内はコンピュータグラ
フィックによって合成した手話のアニメーションを使用
して行なう。
【0013】さらに、案内用の手話の編集は、単語単位
に基本的な動作のパターンをあらかじめ装置内に記憶し
ておき、それらを適宜指定し、必要に応じて詳細な変更
を行なう。
【0014】
【作用】情報の提供を絵、写真、ビデオ画像、文字、音
声に加え、手話によって行なうことにより、聴覚障害者
にもわかりやすい案内を行なうことができるようにな
る。
【0015】また、手話による案内をコンピュータグラ
フィックによって合成した手話のアニメーションを使用
して行なうことによって、ビデオによる手話画像のよう
に文単位で入力しなくても、単語をつなぎ合わせること
によって自然な手話文を構成することが可能になり、さ
まざまな情報に対して柔軟な案内を行なうことができる
ようになる。また、手話を入力する人が変わっても同一
人物による手話を表示することができるようになる。
【0016】さらに、手話の編集を単語単位で行ない、
必要に応じて詳細な変更を行なうことによって、容易に
かつ効率的に手話の編集を行なうことができるようにな
り、緊急を要する内容の案内に対しても迅速に対応する
ことができるようになる。
【0017】
【実施例】以下、本発明の実施例を図1から図47を用
いて説明する。
【0018】図1は、本発明の一実施例の全体構成図
で、1は音声を直接装置に入力するためのマイク、2は
磁気テープに録音された音声を入力するためのカセット
再生装置、3は1および2から入力された音声信号をデ
ジタル信号に変換するための音声入力装置、4は装置に
文字を入力するためのキーボード、5はキーボードから
入力される文字を符合化する文字入力装置、6は画像を
直接装置に入力するためのビデオカメラ、7は磁気テー
プに録画された画像を入力するためのビデオ再生装置、
8は入力されたビデオ信号をデジタル信号に変換するた
めの画像入力装置、9はいろいろな情報の編集作業を行
なうための操作に使用されるマウス、10はマウスから
の情報を画面上の位置情報に変換するための位置入力装
置、11はいろいろな情報の編集を行なう際に必要な入
力情報を選択し各編集装置に送る入力選択装置、12は
どの情報編集あるいは案内の表示を行なうかを決定し各
機能を動作させる機能選択装置、13は画像情報の編集
を行なうための画像編集装置、14は画像情報を記憶す
るための画像記憶装置、15は文章を編集するための文
章編集装置、16は文章を記憶するための文章記憶装
置、17は音声情報を編集するための音声編集装置、1
8は音声情報を記憶するための音声記憶装置、19は手
話情報を編集するための手話編集装置、20は手話情報
を記憶するための手話記憶装置、21は画像、文章、音
声、手話を使用した案内を編集するための案内編集装
置、22は編集した案内を記憶するための案内記憶装
置、23は案内を表示するための案内表示装置、24は
各情報の編集画面あるいは案内の表示を出力するための
出力装置、25は画像情報、文字情報、手話情報を出力
するためのモニタ、26は音声情報を出力するためのス
ピーカである。
【0019】まず、情報編集を行なう編集者がどの情報
の編集を行なうかを決定すると、あるいは案内の表示を
行なうことを決定すると、機能選択装置12から対応す
る情報の編集装置あるいは案内表示装置に機能選択信号
d1が送られ、それぞれの装置が起動される。案内表示
の場合は特にどの案内を表示するかの情報も送られる。
また、入力選択装置11にも機能選択信号d1が送ら
れ、編集する情報の種類に応じて音声d2、文字d3、
画像d4、位置d5のうちから必要な信号が選択され、
編集装置に送られる。
【0020】画像編集装置13では、ビデオカメラ6、
ビデオ再生装置7、キーボード4、マウス9からの情報
d6が入力され、入力された静止画像および動画像をキ
ーボードおよびマウスの操作によって編集し、編集結果
を画像記憶装置14に記憶する。
【0021】文章編集装置15では、キーボード4およ
びマウス9からの情報d7が入力され、キーボードから
入力された文章をキーボードおよびマウスの操作によっ
て編集し、編集結果を文章記憶装置16に記憶する。
【0022】音声編集装置17では、マイク1、カセッ
ト再生装置2、キーボード4、マウス9からの情報d8
と文章記憶装置16に記憶されている文章情報d11が
入力され、入力された文章から合成された音声あるいは
マイクおよびカセット再生装置から入力された音声信号
をキーボードおよびマウスの操作によって編集し、編集
結果を音声記憶装置18に記憶する。
【0023】手話編集装置19では、キーボード4およ
びマウス9からの情報d9と文章記憶装置16に記憶さ
れている文章情報d11が入力され、入力された文章か
ら合成した手話あるいはキーボードから入力された単語
から合成された手話をキーボードおよびマウスの操作に
よって編集し、編集結果を手話記憶装置20に記憶す
る。
【0024】案内編集装置21では、キーボード4およ
びマウス9からの情報d10と、画像記憶装置14、文
章記憶装置16、音声記憶装置18、手話記憶装置20
に記憶されている各情報d12が入力され、入力された
情報をキーボードおよびマウスの操作によって組合せて
案内を編集し、編集結果を案内記憶装置22に記憶す
る。
【0025】案内表示装置23では、案内記憶装置22
に記憶されている案内情報d13が入力され、その情報
に基づいて案内を出力する。
【0026】各編集装置13、15、17、19、21
および案内表示装置23からの出力は出力装置24によ
って画像としてモニタ25に、あるいは音声としてスピ
ーカ26に出力される。
【0027】次に、各編集装置の機能について説明す
る。図2から図8を用いて、画像編集装置13の機能に
ついて詳細に説明する。
【0028】まず、静止画像の編集について説明する。
【0029】図2は、静止画像の編集を行なうための編
集画面の一例である。図2において、201は複数の画
像情報を記憶する場合に、どの情報かを識別するための
画像番号を入力する部分、202は対象とする画像が静
止画像か動画像かを示す画像種類を入力する部分で、こ
の場合は「静止画像」と入力する。203はどのような
画像であるかを示すための備考を入力する部分であり、
ここに何の画像を記憶してあるかを記述することによっ
て、情報を参照する際に画像情報全てを読み出さなくて
も、どのような画像であるかを判断することができるよ
うになる。204は編集対象の画像の表示部、205は
編集中の画像から必要な部分のみを切り出す機能を指定
するためのボタン、206は編集中の画像の大きさを変
える機能を選択するためのボタン、207は新しく画像
をビデオカメラ6およびビデオ再生装置7から入力す
る、あるいは画像記憶装置14に記憶されている画像情
報から読み込む機能を選択するためのボタン、208は
編集中の画像情報を画像記憶装置14に保存する機能を
選択するためのボタンである。
【0030】図3は、静止画像を画像記憶装置14に保
存するためのフォーマットである。301は保存されて
いる情報の種類を示す情報種類であり、この場合は「画
像」と記述される。302は画像情報を参照する際に使
用される画像番号であり、図2の画像番号201の内容
が記述される。読み出しの際にこの番号を使用して画像
情報を検索し、読み出す。303は静止画像か動画像か
を指定する画像種類であり、図2の画像種類202の内
容が記述される。この場合は「静止画像」である。30
4は、保存されている画像情報はどのような情報を含ん
でいるかを記述する備考であり、図2の備考203の内
容が記述される。305は画像の縦方向の大きさ、30
6は画像の横方向の大きさを示す。307は実際の画像
データである。
【0031】図4を用いて、画像の切り出し機能につい
て説明する。まず、図4(a)に示すように、切り出す
範囲を指定する。具体的な方法としては、例えば、図4
(a)のa点にマウスのポインタ401を移動し、ここ
でマウスのボタンを押す。次に、マウスのボタンを押し
たままb点まで移動する。これによって、a点とb点が
対角をなす長方形の範囲402を指定できる。あるい
は、a点とb点でそれぞれマウスのボタンを押すという
方法や、キーボードで画面上のポインタを移動させる方
法でも良い。このようにして範囲を指定した後、マウス
あるいはキーボードによって切り出しボタン205を選
択すると、図4(b)のように指定した範囲の画像40
3のみが取り出される。
【0032】図5を用いて、画像の大きさ変更機能につ
いて説明する。まず、図5(a)に示すように、大きさ
を変更する部分の画像の範囲501を指定し、次に変更
後の大きさ502を指定する。範囲の指定および大きさ
の指定方法は、切り出し機能で述べた範囲の指定方法と
全く同じ方法で行なうことができる。変更後の大きさの
指定をした後、マウスあるいはキーボードから大きさ変
更ボタン206を選択すると、図5(b)の503のよ
うに指定した大きさに画像が変更される。
【0033】画像読み出し機能は、画像番号、画像種類
をキーボードから入力したのち、キーボードあるいはマ
ウスによって読み出しボタン207を選択する。画像編
集装置は、まず、画像記憶装置14を検索し、同じ画像
番号、画像種類を持つ画像情報があれば、それを読み込
み画面上に表示する。画像記憶装置上に対応する画像情
報がない場合は、ビデオカメラあるいはビデオ再生装置
からの入力画像の入力待ちとなり、画像が入力されると
画面上にそれを表示する。
【0034】画像保存機能は、画像番号、画像種類およ
び備考をキーボードから入力したのち、キーボードある
いはマウスによって保存ボタン207を選択する。画像
編集装置は、まず、画像記憶装置14を検索し、同じ画
像番号、画像種類を持つ画像情報があれば、その旨を報
告し、画像番号の変更あるいは上書きするかを確認す
る。変更の場合は編集機能に戻り、上書きの場合は画像
記憶装置14上にある同じ画像番号、画像種類の情報を
削除し、編集中の画像情報を保存する。同じ画像番号、
画像種類の情報が画像記憶装置14上にない場合はその
まま編集中の画像を保存する。
【0035】以上の画像編集機能は基本的な機能だけで
あったが、この他に、画像の位置を変更する機能、他の
画像と合成する機能、新たな図を追加する機能などを使
用できるようにしても良い。
【0036】次に、動画像の編集について説明する。図
6は、動画像の編集を行なうための編集画面の一例であ
る。図6において、601は複数の画像情報を記憶する
場合に、どの情報かを識別するための画像番号を入力す
る部分、602は対象とする画像が静止画像か動画像か
を示す画像種類を入力する部分であり、この場合は「動
画像」と入力する。603はどのような画像であるかを
示すための備考を入力する部分である。604は編集対
象の動画像の時間軸を表示し、表示中の場面が動画像の
開始時刻からどの程度時間が経過した後の場面かを示
す。605は動画像の表示画面である。606は動画像
を再生する機能を選択するためのボタン、607は動画
像中から指定した時間範囲の動画像を切り出す機能を指
定するためのボタン、608はは新しく動画像をビデオ
カメラ6およびビデオ再生装置7から入力する、あるい
は画像記憶装置14に記憶されている画像情報から読み
込む機能を選択するためのボタン、609は編集中の画
像情報を画像記憶装置14に保存する機能を選択するた
めのボタンである。
【0037】図7は動画像を画像記憶装置14に保存す
るためのフォーマットを示す図である。701は保存さ
れている情報の種類を示す情報種類であり、この場合は
「画像」と記述される。702は画像情報を参照する際
に使用される画像番号であり、図6の601の内容が記
述される。703は静止画像か動画像かを指定する画像
種類であり、図6の画像種類602の内容が記述され
る。この場合は「動画像」である。704は、保存され
ている画像情報はどのような情報を含んでいるかを記述
する備考であり、図6の備考603の内容が記述され
る。705は動画像の時間長さ、706は実際の画像デ
ータである。
【0038】再生機能は、読み込んだ動画像全てあるい
は特定の範囲の動画像のみを表示する。図8を用いて、
範囲の指定方法を説明する。まず、時間軸表示604上
で切り出す範囲を指定する。この方法としては、時間軸
表示604上のa点にマウスのポインタ801を移動
し、ここでマウスのボタンを押す。次に、ポインタ80
1をb点に移動してマウスのボタンを押す。これによっ
て、a点とb点の間が表示範囲802として指定でき
る。あるいは、時間軸表示上に時間を数字で表示し、そ
れをキーボードから直接指定する方法でも良い。このよ
うにして範囲を指定した後、マウスあるいはキーボード
によって再生ボタン606を選択すると、指定した範囲
の動画像のみが表示される。範囲が指定されていない場
合は、動画像全体を表示する。
【0039】切り出し機能については、再生と同様な方
法で範囲を指定した後、マウスあるいはキーボードによ
って切り出しボタン607を選択すると、指定した範囲
の動画像が切り出される。
【0040】画像読み出し機能および画像保存機能につ
いては、静止画像の場合と全く同じである。
【0041】次に、図9および図10を用いて文章編集
装置15の機能について説明する。
【0042】図9は文章編集画面の一例を示す図で、9
01は複数の文章情報を記憶する場合に、どの情報かを
識別するための文章番号を入力する部分、902は編集
中の文章を表示あるいは編集する画面、903は文章記
憶装置16に保存されている文章を読み出す機能を選択
するためのボタン、904は編集中の文章を文章記憶装
置16に保存する機能を選択するためのボタンである。
【0043】図10は文章を文章記憶装置16に保存す
るためのフォーマットを示す図である。1001は保存
されている情報の種類を示す情報種類であり、この場合
は「文章」と記述される。1002は文章情報を参照す
る場合に使用される文章番号、1003は保存されてい
る文章の文字数、1004は文章である。
【0044】図9において、文章表示画面902上でキ
ーボードから文字を入力し、文章の編集を行なう。文章
の編集機能としては、一般的なワードプロセッサと同じ
ような機能を使用することができるようにしても良い。
【0045】読み出し機能および保存機能は、画像情報
の読み出しおよび保存と同じように行なうことができ
る。ただし、文章の保存では文章番号の指定だけで良
い。
【0046】次に、図11から図22を用いて音声編集
装置17の機能を説明する。図11は音声編集装置の構
成を示す図で、1101は入力した音声信号の編集を行
なう音声信号編集部、1102は入力された音声信号を
記憶するための音声信号記憶部、1103は入力された
文章から音声合成を行なうための音声合成部、1104
は音声合成用に必要なデータを記憶する合成用音声デー
タ、1105は合成した音声の編集を行なう合成音声編
集部、1106は合成した音声の情報を記憶する合成音
声記憶部である。
【0047】図12はマイク1あるいはカセット再生装
置2から入力した音声信号を音声記憶装置18に保存す
るためのフォーマットである。図12において、120
1は保存されている情報の種類を示す情報種類であり、
この場合は「音声」と記述される。1202は音声情報
を参照する場合に使用される音声番号、1203は保存
されている音声情報が入力された音声信号か合成音声か
を識別するための音声種類であり、この場合入力された
音声信号であることを示す「信号」が記述される。12
04は保存されている音声情報が何であるかを記述する
ための備考、1205は保存されている音声信号の時間
長、1206は音声信号である。
【0048】図13は文章から合成された合成音声を音
声記憶装置18に保存するためのフォーマットである。
図13において、1301は保存されている情報の種類
を示す情報種類であり、この場合は「音声」と記述され
る。1302は音声情報を参照する場合に使用される音
声番号、1303は保存されている音声情報の種類を示
す音声種類であり、この場合、合成音声であることを示
す「合成」が記述される。1304は保存されている音
声情報が何であるかを記述するための備考、1305は
保存されている合成音声の単語数を示す。1306に
は、合成音声中の単語がそれぞれ記述される。1307
は単語名、1308は単語名に対する読み、1309は
発話速度、1310はアクセント情報、1311は文中
で発話される場合の声の高さを示す語調に関する情報で
ある。
【0049】マイク1あるいはカセット再生装置2から
入力される音声信号を編集する場合は、機能選択信号d
1によって音声信号編集部1101が選択され、音声信
号の編集が行なわれる。また、文章から合成した音声を
編集する場合は、機能選択信号d1によって音声合成部
1103と合成音声編集部1105が選択され、合成音
声の編集が行なわれる。ここで、文章から音声の合成方
法としては、既にある技術(“聴覚と音声”、(電子通
信学会、三浦種敏監修))を用いれば容易に達成でき
る。
【0050】図14および図15を用いて入力された音
声信号の編集機能について説明する。図14において、
1401は音声情報を参照する際に使用される音声番号
を入力する部分、1402は音声情報が入力された音声
信号か合成音声かを示す音声種類を入力する部分で、こ
の場合は「信号」と入力する。1403は編集中の音声
情報が何であるかを記述する備考を入力する部分、14
04は音声信号の波形を表示する画面、1405は音声
信号を音声として出力する機能を選択するボタン、14
06は指定した時間範囲の音声信号を切り出す機能を選
択するボタン、1407は新しくマイク1あるいはカセ
ット再生装置2から音声信号を読み込む、あるいは音声
記憶装置18に保存されている音声情報を読み出す機能
を選択するボタン、1408は編集中の音声信号を、音
声記憶装置18に保存する機能を選択するボタンであ
る。
【0051】再生機能は編集中の音声全体あるいは、指
定した範囲の音声信号を音声として出力する。この場合
の範囲の指定方法について図15(a)を用いて説明す
る。図15(a)において、横軸1501は音声信号の
時間軸を表し、範囲の指定はこの軸上の特定の範囲を指
定することによって行なう。具体的な指定方法として
は、例えば、マウスのポインタ1502をa点に移動
し、マウスのボタンを押す。次に、ポインタ1502を
b点に移動し、マウスのボタンを押す。これによって、
a点とb点の間の範囲が指定される。この他、範囲の指
定方法としては、特定の時間を表す1503および15
04のような表示を行ない、この位置をマウスあるいは
キーボードの操作によって指定する方法や、あるいは、
キーボードから直接時刻を指定するようにしても良い。
このようにして、範囲を指定した後再生ボタン1405
を選択すると指定した範囲の音声信号を音声に変換して
出力する。また、範囲が指定されていない場合は、編集
中の音声全部を音声に変換して出力する。
【0052】切り出し機能は編集中の音声信号の指定し
た範囲のみを切り出す。この場合の範囲の指定方法は、
再生機能で説明した方法と全く同じ方法を使用すること
ができる。範囲の指定後、切り出しボタン1406を選
択すると図15(b)の1505のように指定した範囲
の音声信号のみを取り出すことができる。
【0053】情報の読み出し機能および保存機能につい
ては、画像情報および文章情報の読み出しや保存と全く
同じ方法で行なうことができる。
【0054】次に、図16から図22を用いて合成音声
の編集機能について説明する。
【0055】図16は合成音声の編集画面の一例を示す
図で、1601は音声情報を参照する場合に使用される
音声番号を入力する部分、1602は音声情報の種類を
入力する部分で、この場合合成された音声であることを
示す「合成」と入力する。1603は音声情報が何を表
しているかを記述する備考を入力する部分、1604は
合成された音声の情報を表示する部分、1605は入力
文章から音声を合成した時に音声合成部1103によっ
て1つの単語として認識された部分の表示、1606は
1つの単語と認識された部分の読みの表示、1607は
それぞれの読みにおけるアクセントの表示、1608は
それぞれの読みにおける語調の表示、1609はそれぞ
れの読みが音声として発話された場合の発話速度の表
示、1610は合成音声を音声として出力する機能を選
択するボタン、1611は読みの誤りを修正する機能を
選択するボタン、1612は文章から個々の単語の認識
において認識を誤った部分の修正機能を選択するボタ
ン、1613はそれぞれの読みの発話速度を変更する機
能を選択するボタン、1614はそれぞれの読みのアク
セントを付加あるいは修正する機能を選択するボタン、
1615はそれぞれの読みの語調を修正する機能を選択
するボタン、1616は新しい文章を入力する、あるい
は音声記憶装置18に保存されている音声情報を読み出
す機能を選択するボタン、1617は編集中の音声情報
を音声記憶装置18に保存する機能を選択するボタンで
ある。図16において、読み、発話速度、アクセント、
語調に関する情報が全て表示されているが、編集者が必
要な情報を選択して表示できるようにしても良い。
【0056】再生ボタン1610を選択すると文章の最
初から音声出力を始める。この際、図17の1701、
1702、1703のように、発話中の単語に対応する
単語の表示の背景色を変えることによって、文章中のど
の単語が発話中かが分かるようにする。この表示方法と
して、背景色を変える他に単語を表示する文字の色を変
えても良い。また、再生の際、動画像や音声信号の再生
機能のように、マウスやキーボードによって再生する範
囲を指定できるようにしても良い。
【0057】読みの修正では、まず、図18(a)の1
807のように修正を行なう単語をマウスやキーボード
によって指定する。単語を指定した後、読み変更ボタン
1611を選択すると図18(b)のように現在の読み
の表示1802と変更後の読みを入力する部分1803
からなるウインドウ1801が表示される。ここで、図
18(c)のように1803に新しい読みを入力し、O
Kボタン1805を選択すると図18(d)の1806
のように読みが変更される。ここで再生を行なうと、変
更後の読みで音声が出力される。また、キャンセルボタ
ン1804を選択すると読み変更機能を中止し、変更は
行なわれない。
【0058】形態素変更を行なうには、図19(a)の
ように変更を行なう単語をマウスやキーボードによって
指定し、形態素変更ボタン1612を選択する。する
と、1901のような形態素変更ウインドウが表示され
る。ここで、左へボタン1902にマウスのポインタ1
906を移動し、ボタンを一度押すと、単語の境界が図
19(b)の1907のように左に一文字移動する。繰
り返しボタンを押していくと、単語を構成する文字数が
1文字になるまで単語の境界が左へ移動していく。右へ
ボタン1903上で同じ操作を行なうと、単語の境界が
図19(c)の1908のように右に一文字移動する。
この場合、繰り返しボタンを押していくと、文章の最後
まで単語の境界が右へ移動していく。
【0059】発話速度の変更では、図20(a)のよう
に変更を行なう単語をマウスやキーボードによって指定
し、発話速度ボタン1613を選択する。すると、20
01のような速度変更ウインドウが表示される。ここ
で、マウスのポインタ2002を速度増加用のマーク2
003上に移動し、マウスのボタンを押すと、図20
(b)のようにボタンを押すたびに速度が増加してい
く。また、マウスのポインタ2002を速度減少用のマ
ーク2004上に移動し、マウスのボタンを押すと、図
20(c)のようにボタンを押すたびに速度が減少して
いく。速度の値を変更した後、OKボタン2006を選
択すると、図20(d)の2007のように設定した速
度が登録される。ここで再生を行なうと、設定した速度
で発話が行なわれるようになる。また、キャンセルボタ
ン2005を選択すると発話速度の変更は行なわれな
い。
【0060】アクセントの設定では、図21(a)のよ
うに変更を行なう単語をマウスやキーボードによって指
定し、アクセントボタン1614を選択する。すると、
2101のようなアクセント変更ウインドウが表示され
る。アクセント指定ウインドウ上には各読みに対するア
クセント情報2102が表示される。アクセント情報を
追加あるいは削除したい読みにマウスのポインタ210
5を移動し、マウスのボタンを押すと、ボタンを押す毎
にアクセントの追加と削除が切り替わる。図21(b)
は「じ」の上にポインタ2105を移動し、ボタンを押
した状態であり、「じ」にアクセント情報が追加されて
いる。図21(c)は「ほ」の上にポインタ2105を
移動し、ボタンを押した状態であり、「ほ」に付けれら
れていたアクセント情報が削除されている。必要なアク
セントを追加あるいは削除した後、OKボタン2104
を選択することによって設定したアクセント情報が指定
した単語に登録される。図21(d)は図21(c)の
状態でOKボタンを選択した結果であり、2106のよ
うに「じ」にアクセント情報が追加されている。ここで
再生を行なうと、設定したアクセントで発話が行なわれ
る。キャンセルボタン2103を選択した場合は設定し
たアクセント情報は登録されず、指定した単語のアクセ
ント情報は変更されない。
【0061】語調の設定では、図22(a)のように変
更を行なう単語をマウスやキーボードによって指定し、
アクセントボタン1615を選択する。すると、220
1のような語調変更ウインドウが表示される。語調変更
ウインドウ上には各読みに対する語調情報2202が表
示される。語調情報は各読みに対する発話時の音の高さ
を表しており、2203で示される横線の上下方向の位
置によって音の高さが示される。図22(a)では、各
読みの発話は低い音声によって行なわれることを示して
いる。各読みの語調を表す横線2203にマウスのポイ
ンタ2206を移動し、ここでマウスのボタンを押した
ままポインタ2206を上下に移動することによって横
線の位置を変更することができる。これによって、必要
な読みの語調情報を変更することができる。また、横線
の移動は別の操作パネルやボタンを設けてそれをポイン
タで選択することによって行なうようにしたり、キーボ
ードによって横線を移動できる用にしたり、あるいは、
音の高さを何段階かに分けてそれを数字や文字によって
キーボードから指定できるようにしてもよい。必要な読
みの語調を変更した後、OKボタン2205を選択する
ことによって設定した語調情報を選択した単語に登録す
る。図22(c)では図22(b)で「ん」の高さを高
くして発話するように設定した結果が登録されており、
その結果が2207に表示されている。ここで再生を行
なうと、登録した語調で発話が行なわれる。キャンセル
ボタン2204を選択した場合は、変更した語調情報は
登録されず、指定した単語の語調情報は変更されない。
【0062】合成した音声情報の読み出しおよび保存に
ついては、画像情報や文章情報の読み出しや保存と全く
同じ方法で行なうことができる。
【0063】次に、図23から図41を用いて手話編集
装置19の機能を説明する。図23は手話編集装置の構
成図である。図23において、2301は単語列から合
成した手話アニメーションを編集するための手話単語編
集部、2302は各単語に対する手話アニメーションを
表示するための合成用手話データ、2303は入力した
手話単語列を記憶しておくための手話単語記憶部、23
04は文章から手話アニメーションの合成を行なうため
の手話合成部、2305は文章から手話の合成における
言語解析に使用する言語辞書、2306は合成した文章
から合成した手話を編集する合成手話編集部、2307
は文章から手話への合成結果を記憶する合成手話記憶部
である。
【0064】図24は単語列から合成した手話を手話記
憶装置20に保存するためのフォーマットである。24
01は保存されている情報の種類を示す情報種類であ
り、この場合は「手話」と記述される。2402は手話
情報を参照する場合に使用される手話番号、2403は
保存されている手話が単語列から合成された手話か文章
から合成された手話かを示す手話種類である。この場
合、手話種類は単語列から合成された手話を表す「単
語」と記述される。2404は保存されている手話の内
容を記述する備考、2405は保存されている手話を構
成する単語の数、2406はそれぞれの単語についての
情報である。2407は単語名、2408は単語名24
07に対応する手話表現が多数ある場合にどの表現を使
用するかを示すための表現名、2409は手話アニメー
ションを表示する場合の表示速度、2410は動作の大
きさが変化する手話の場合の動作の大きさに関する情
報、2411は動作の位置が変化する手話の場合の動作
の位置に関する情報、2412は動作の方向が変化する
手話の場合の動作の方向に関する情報、2413は手話
に付随する表情の指定、2414は手話に付随する身振
りの指定、2415は手話に付随する口形の指定であ
る。また、2416は単語間の間に関する情報である。
【0065】図25は文章から合成した手話を手話記憶
装置20に保存するためのフォーマットである。250
1は保存されている情報の種類を示す情報種類であり、
この場合は「手話」と記述される。2502は手話情報
を参照する場合に使用される手話番号、2503は保存
されている手話が単語列から合成された手話か文章から
合成された手話かを示す手話種類である。この場合、手
話種類は単語列から合成された手話を表す「合成」と記
述される。2504は保存されている手話の内容を記述
する備考、2505は手話に対する文章の番号、250
6は保存されている手話を構成する単語の数、2507
はそれぞれの単語についての情報である。2508は手
話合成部2304における文章から手話への変換におい
て1つの単語と認識された部分の単語名、2509は単
語名2508に対応する手話表現の数、2510はそれ
ぞれの手話表現の情報である。2511は使用される手
話表現、2512はその手話表現が手話アニメーション
で表現される場合の表現の順序、2513は手話アニメ
ーションを表示する場合の表示速度、2514は動作の
大きさが変化する手話の場合の動作の大きさに関する情
報、2515は動作の位置が変化する手話の場合の動作
の位置に関する情報、2516は動作の方向が変化する
手話の場合の動作の方向に関する情報、2517は手話
に付随する表情の指定、2518は手話に付随する身振
りの指定、2519は手話に付随する口形の指定であ
る。2520は単語間の間に関する情報である。
【0066】単語列から手話を合成する場合は、機能選
択信号d1によって手話単語編集部2301が選択さ
れ、単語入力による手話合成の編集が行なわれる。ま
た、文章から合成した手話を編集する場合は、機能選択
信号d1によって手話合成部2304と合成手話編集部
2306が選択され、合成手話の編集が行なわれる。こ
こで、文章から手話の合成方法としては、既にある技術
((中研)319201736、“手話通訳装置および
方法”、(中研)319300204、“手話生成装
置”)を用いれば容易に達成できる。
【0067】まず、図26から図38を用いて単語列か
ら合成した手話の編集機能について説明する。
【0068】図26は単語列から合成した手話の編集画
面の一例を示す図である。図26において、2601は
手話情報の参照に使用される手話番号を入力する部分、
2602は手話情報の種類を入力する部分で、ここでは
単語列から手話への合成を表す「単語列」と入力する。
2603は手話の表す内容を記述する備考を入力する部
分、2604は単語列の入力および単語列と付加情報を
表示する部分、2605は入力した単語名、2606は
手話の表現速度を表す表示、2607は手話の動作の大
きさを表す表示、2608は単語間の間とその大きさを
表す表示、2609は手話に付随する表情を表す表示、
2610は手話に付随する身振りを表す表示、2611
は手話に付随する口形を表す表示、2612は単語列か
ら合成した手話アニメーションを表示する部分である。
また、2613は単語名の入力あるいは修正を行なう機
能を選択するためのボタン、2614は単語名に対する
手話表現の変更を行なう機能を選択するためのボタン、
2615は手話の表現速度を変更する機能を選択するた
めのボタン、2616は手話の動作の大きさを変更する
機能を選択するためのボタン、2617は手話の動作位
置を変更する機能を選択するためのボタン、2618は
手話の動作方向を変更する機能を選択するためのボタ
ン、2619は単語間の間を変更する機能を選択するた
めのボタン、2620は手話に付随する表情を設定ある
いは変更する機能を選択するためのボタン、2621は
手話に付随する身振りを設定あるいは変更する機能を選
択するためのボタン、2622は手話に付随する口形を
設定あるいは変更する機能を選択するためのボタン、2
623は単語列から合成した手話を表示する機能を選択
するためのボタン、2624は手話記憶装置20に保存
されている手話情報を読み出す機能を選択するためのボ
タン、2625は編集中の手話情報を手話記憶装置20
に保存する機能を選択するためのボタンである。図26
において、速度、大きさ、間、表情、身振り、口形に関
する情報が表示されているが、この他、位置、方向、表
現の種類に関する情報を表示させることもできる。ま
た、これらの情報を編集者が必要に応じて選択して表示
させるようにしても良い。
【0069】単語を入力していない状態、あるいは単語
間、あるいは表示中の特定の単語名をマウスやキーボー
ドで選択した後、単語名ボタン2613を選択すると、
図27(a)のように単語名入力ウインドウ2701が
表示される。ここでウインドウ2702に単語名を入力
してOKボタン2704を選択すると図27(b)のよ
うに入力した単語名が登録される。単語が入力されてい
ない状態、あるいは単語間を選択した場合は図27
(b)、(c)のように引き続いて単語の入力が行なえ
る。特定の単語を選択した場合は、その単語のみの変更
を行なう。また、キャンセルボタン2703を選択した
場合はウインドウ2702に入力した単語名は登録され
ず、単語名の変更は行なわれない。
【0070】単語名に対する手話表現を変更したい場合
は、変更を行なう単語名をマウスやキーボードで選択し
た後、表現ボタン2614を選択すると、図28(a)
のような表現選択ウインドウ2801が表示される。こ
のウインドウ上には指定した単語に対応する手話表現の
表現リスト2802が表示されており、この中からふさ
わしい手話表現をマウスのポインタ2805あるいはキ
ーボードから選択した後、OKボタン2804を選択す
ればその表現が指定した単語名に登録される。登録した
ことによって図28(b)のように単語名の表示にはど
の手話表現が使用されているかを表す表示2808が付
加される。キャンセルボタン2803を選択した場合
は、指定した単語の表現は変更されない。また、図28
(a)の表現リスト2802では、手話表現の意味の記
述2806と手話表現のイラスト2807を表示してい
たが、この表示方法としては、手話表現の意味記述のみ
でも、手話のイラストのみにしてもよい。また、手話の
イラストではなく、手話のアニメーションを使用して、
マウスやキーボードからの何らかの操作によってリスト
中のそれぞれの手話アニメーションが表現されるように
しても良い。さらに、表現リストに使用する意味記述や
イラスト、アニメーションを編集者が選択できるように
しても良い。
【0071】単語名に対する手話表現の表現速度を変更
したい場合は、変更を行なう単語名をマウスやキーボー
ドで選択した後、速度ボタン2615を選択すると、図
29(a)のような速度変更ウインドウ2901が表示
される。このウインドウ上での操作は合成音声の発話速
度の変更と同じ操作で行なうことができる。たとえば、
図29(b)のように、マウスのポインタ2906を速
度増加マーク2902上に移動し、マウスのボタンを押
せば、ボタンを一度押す毎に速度値が増加する。速度現
象マーク2903上で同じ操作を行なえば、速度値は減
少する。速度値を設定したのちOKボタン2905を選
択すると設定した速度が、選択している単語に対して登
録され、図29(c)のように単語に対する表現速度の
情報2907が表示される。キャンセルボタン2904
を選択した場合は、設定した速度は登録されない。表現
速度の設定としては、この他、速度を何段階かにあらか
じめ分類しておき、それぞれの段階を表す名称あるいは
記号を設定し、それをマウスあるいはキーボードから指
定するようにしても良い。
【0072】手話表現の動作の大きさを変更したい場合
は、変更を行なう単語名をマウスやキーボードで選択し
た後、大きさボタン2616を選択すると、図30
(a)のような大きさ変更ウインドウ3001が表示さ
れる。3002は選択した単語名に対する手話表示ウイ
ンドウで、これを見ながら動作の大きさを変更する。大
きさの変更には大きさ減少マーク3003および大きさ
増加マーク3304を使用する。それぞれのマーク上に
マウスのポインタ3007を移動し、マウスのボタンを
押すと、一度押す毎に大きさが減少あるいは増加し、そ
れに伴って手話表示ウインドウ3002上の手話の動作
の大きさが変化する。例えば図30(b)の場合、大き
さ減少マーク上でボタンを押した結果、動作の大きさが
小さくなっている。また、図30(c)では大きさ増加
マーク上でボタンを押した結果、動作の大きさが大きく
なっている。このようにして大きさを設定した後、OK
ボタン3006を選択すると、設定した大きさが指定し
ている単語に登録され、その単語に対する大きさの情報
2607が表示される。キャンセルボタン3005が選
択された場合は、設定した大きさは登録されない。図3
0では、大きさを変更できる動作が手の幅のみである
が、手話によっては複数のパラメータを変更できる場合
もある。このため、変更できるパラメータに関する情報
をあらかじめ合成用手話データ2302に記憶してお
き、そのデータをもとに変更できるパラメータと300
3、3004のような変更用のマークを表示する用にし
ても良い。また、変更できるパラメータをリスト表示
し、必要なパラメータを選択しながら変更できるように
しても良い。
【0073】手話表現の動作の位置を変更したい場合
は、変更を行なう単語名をマウスやキーボードで選択し
た後、位置ボタン2617を選択すると、図31(a)
のような位置変更ウインドウ3101が表示される。位
置は3次元的に設定する必要があるため、図31では正
面から見た手話3102、および横から見た手話310
3を表示している。位置の変更を行なうには、位置の変
更を行ないたい部分にマウスのポインタを移動し、そこ
でボタンを押したままポインタを移動して行なう。位置
を変更できる部分は肘の位置と掌の位置である。必要が
あれば、その他の位置を変更できるようにしても良い。
図31(b)は右手を移動した例である。正面から見た
手話3102上では上下左右方向の位置の変更を行な
い、横から見た手話3103上では前後方向の位置の変
更を行なう。また、位置の変更方法としては、マウス以
外にキーボードからポインタを移動したり、キーボード
から位置情報を記号あるいは数値で直接入力する方法、
また、3次元マウスのような3次元入力装置、ジョイス
ティックのような入力装置を新たに取り付けて利用して
も良い。位置を設定した後OKボタン3105を選択す
ると、設定した位置が指定している単語に登録される。
キャンセルボタン3104を選択した場合は設定した位
置は登録されない。図26では単語列表示部分2604
上に動作の位置についての情報は表示されていないが、
ここに動作の位置の情報を表示するようにしても良い。
【0074】手話表現の動作の方向を変更したい場合
は、変更を行なう単語名をマウスやキーボードで選択し
た後、方向ボタン2618を選択すると、図32(a)
のような方向変更ウインドウ3201が表示される。方
向は3次元的に設定する必要があるため、図32では正
面から見た手話3202、および横から見た手話320
3を表示している。さらに、変更できる方向を示す矢印
3204、3205を表示している。方向の変更を行な
うには、図32(b)のように方向を示す矢印の先端に
マウスのポインタ3208を移動し、そこでボタンを押
したままポインタを移動することによって行なう。ま
た、方向の変更方法としては、マウス以外にキーボード
からポインタを移動したり、キーボードから方向情報を
記号あるいは数値で直接入力する方法、また、3次元マ
ウスのような3次元入力装置、ジョイスティックのよう
な入力装置を新たに取り付けて利用しても良い。方向を
設定した後OKボタン3207を選択すると、設定した
方向が指定している単語に登録される。キャンセルボタ
ン3206を選択した場合は設定した方向は登録されな
い。図26では単語列表示部分2604上に動作の方向
についての情報は表示されていないが、ここに動作の方
向の情報を表示するようにしても良い。
【0075】単語間の間を変更したい場合は、図33
(a)のように変更を行なう単語と単語の間3301を
マウスやキーボードで選択した後、間ボタン2619を
選択すると、図33(b)のような間変更ウインドウ3
302が表示される。このウインドウ上の操作方法は表
現速度の変更の場合と同じようにして行なうことができ
る。図33(b)、(c)のようにマウスのポインタ3
305を間増加マーク3303、間減少マーク3304
上に移動し、マウスのボタンを押すと、一度ボタンを押
す毎に間が減少あるいは増加する。間を設定した後OK
ボタン3207を選択すると、設定した位置が指定して
いる単語に登録され、間とその大きさを表す情報330
8が表示される。キャンセルボタン3306を選択した
場合は設定した位置は登録されない。
【0076】単語名に対する手話表現の表情を変更した
い場合は、変更を行なう単語名をマウスやキーボードで
選択した後、表情ボタン2620を選択すると、図34
(a)のような表情変更ウインドウ3401が表示され
る。3402は手話表示ウインドウ、3403は手話表
現に付けることのできる表情のリストである。表情を変
更するにはマウスのポインタ3406によって付けたい
表情を選択すれば良い。表情を選択すると選択した表情
を付けた手話表現3407が手話表示ウインドウ340
2上に表示される。表情を設定した後、OKボタン34
05を選択すると設定した表情が指定している単語に登
録され、図34(c)のように単語に対する表情の情報
3408が表示される。キャンセルボタン3404を選
択した場合は設定した表情は登録されない。
【0077】単語名に対する手話表現の身振りを変更し
たい場合は、変更を行なう単語名をマウスやキーボード
で選択した後、身振りボタン2621を選択すると、図
35(a)のような身振り変更ウインドウ3501が表
示される。3502は手話表示ウインドウ、3503は
手話表現に付けることのできる身振りのリストである。
身振りを変更するにはマウスのポインタ3506によっ
て付けたい身振りを選択すれば良い。身振りを選択する
と選択した身振りを付けた手話表現3507が手話表示
ウインドウ3502上に表示される。身振りを設定した
後、OKボタン3505を選択すると設定した身振りが
指定している単語に登録され、図35(c)のように単
語に対する身振りの情報3508が表示される。キャン
セルボタン3504を選択した場合は設定した身振りは
登録されない。
【0078】単語名に対する口形を変更したい場合は、
変更を行なう単語名をマウスやキーボードで選択した
後、口形ボタン2622を選択すると、図36(a)の
ような口形変更ウインドウ3601が表示される。36
02は口形入力ウインドウであり、ここに表示したい口
形を発音の形でキーボードから入力する。発音を入力し
た後、OKボタン3604を選択すると設定した口形情
報が指定している単語に登録され、図36(b)のよう
に単語に対する口形の情報3605が表示される。ま
た、発音を空白にしてOKボタン3604を選択する
と、その単語に対する口形の登録は削除される。キャン
セルボタン3603を選択した場合は設定した口形は登
録されない。口形の表示はこの発音情報中の各発音に対
する口形をつなぎ合わせることによって表示される。あ
るいは、あらかじめその発音に対応する口形の画像情報
を作成しておき、それを使用するようにしても良い。ま
た、手話では複数単語で表現されるが、音声言語では1
つの単語で表現される場合があるが、この場合の口形の
変更方法としては、図37(a)のように複数の単語名
を指定して、指定した単語全体に対して口形情報を設定
できるようにする。図37(a)では「特別」370
1、「売る」3702、「場所」3703の3つの単語
が選択され、それに対して「とくべつうりば」という口
形が設定されている。この口形情報を登録すると、図3
7(b)のように指定した範囲の単語全体に対して口形
情報が登録されていることを示す表示3704が行なわ
れる。
【0079】入力した単語列から手話の表示を行なうに
は、表示ボタン2623を選択する。この場合の表示
は、合成音声の出力と同じように、表示中の手話表現に
対応する単語名が分かる表示を行なう。図38(a)で
は表示中の手話3801は「階」であり、それに対応す
る単語列中の「階」3802の背景色を変えて表示して
いる。また、図38(b)では表示中の手話3803は
「7」であり、それに対応する単語列中の「7」380
4の背景色を変えている。単語列に対する表示として
は、この他に単語名を表示する文字の色を変更しても良
い。また、手話表示と単語名を同時に表示しても良い。
また、合成音声の再生と同様に、表示する単語の範囲を
指定できるようにしても良い。
【0080】手話記憶装置20に保存されている手話情
報の読み出しを行なうには、読み出すボタン2624を
選択する。また、編集中の手話情報を手話記憶装置20
に保存するには保存ボタン2625を選択する。その他
の操作については、画像情報や文章情報、音声情報の場
合と同様に行なうことができる。
【0081】次に、文章から合成した手話を編集する機
能について図39から図41を用いて説明する。
【0082】図39に文章から合成した手話の編集画面
を示す。3901は手話情報の参照に使用される手話番
号を入力する部分、3902は手話情報の種類を入力す
る部分で、ここでは文章から手話への合成を表す「合
成」と入力する。3903は手話の表す内容を記述する
備考を入力する部分、3904は文章と、手話表現を行
なう際の付加情報を表示および編集する部分、3905
は元の文章から手話合成部2304が1つの単語と認識
した単語、3906は3905に対応する手話単語名、
3907は手話アニメーションの表示を行なう場合の手
話文中のその手話表現の表示順序、3908は文章から
合成した手話アニメーションを表示する部分である。ま
た、3909は単語境界の変更機能を選択するためのボ
タン、3910は単語名に対する手話表現の変更を行な
う機能を選択するためのボタン、3911は手話の表現
速度を変更する機能を選択するためのボタン、3912
は手話の動作の大きさを変更する機能を選択するための
ボタン、3913は手話の動作位置を変更する機能を選
択するためのボタン、3914は手話の動作方向を変更
する機能を選択するためのボタン、3915は単語間の
間を変更する機能を選択するためのボタン、3916は
手話に付随する表情を設定あるいは変更する機能を選択
するためのボタン、3917は手話に付随する身振りを
設定あるいは変更する機能を選択するためのボタン、3
918は手話に付随する口形を設定あるいは変更する機
能を選択するためのボタン、3919は文章から合成し
た手話を表示する機能を選択するためのボタン、392
0は文章中の単語の表示順序を変更する機能を選択する
ためのボタン、3921は手話記憶装置20に保存され
ている手話情報を読み出す機能を選択するためのボタ
ン、3922は編集中の手話情報を手話記憶装置20に
保存する機能を選択するためのボタンである。図39に
おいて、表示部3904に元の文章およびそれに対する
手話表現、表示の順序しか表示されていないが、単語列
からの合成と同様に、速度、大きさ、間、表情、身振
り、口形に関する情報を表示しても良い。また、この
他、位置、方向、表現の種類に関する情報を表示させる
こともできる。また、これらの情報を編集者が必要に応
じて選択して表示させるようにしても良い。
【0083】図39の機能のうち、単語境界の変更機
能、文章中の単語の表示順序を変更する機能以外は、図
26の単語列から合成した手話の編集画面における機能
と全く同様の機能である。以下、図26と異なる、単語
境界の変更機能、文章中の単語の表示順序を変更する機
能について説明する。
【0084】図40を用いて単語境界の変更について説
明する。まず、変更したい単語をマウスあるいはキーボ
ードによって選択した後、単語ボタン3909を選択す
ると、図40(a)のように単語境界変更ウインドウ4
001が表示される。このウインドウ上で左へボタン4
002上にマウスのポインタ4004を移動し、マウス
のボタンを押すと、図40(b)のようにボタンを一度
押す毎に単語境界が左へ移動する。右へボタン上で同様
な操作を行なうと単語境界は右へ移動する。新しい単語
境界を設定したのちOKボタン4006を選択すると、
設定した単語境界が登録される。キャンセルボタン40
05を選択すると設定した単語境界は登録されない。新
しい単語境界が登録されると、図40(c)の400
7、4008のように新しい単語境界を使用した単語列
が表示される。また、対応する手話表現が検索され、そ
の情報も4009、4010のように表示される。さら
に、それぞれの単語の表示順序も再計算して表示され
る。図40(c)では、「売場」が「売」と「場」に分
割されたため、表示順序が4011と4012のように
表示される。
【0085】手話表示の際の表示順序を変更するには、
順序を変更したい単語の範囲をマウスあるいはキーボー
ドによって選択した後、順序ボタン3920を選択する
と、図41(a)のように順序変更ウインドウ4101
が表示される。4102は指定した範囲の単語を表示さ
れる順序に従って並べたリスト、4103は単語の順序
を変更するために指定した単語を挿入する位置を示す位
置マーク、4104は設定した順序を取り消すキャンセ
ルボタン、4105は設定した順序を登録するOKボタ
ンである。単語の表示順序を変更するためには、順序を
変更したい単語をマウスのポインタ4106を用いて単
語リスト4102上で選択し、次にその単語を移動した
い位置に相当する位置マーク4103を選択すれば良
い。図41(a)では「階」4107が選択され、一番
上の位置マーク4108が選択されている。その結果図
41(b)のように「階」4109が一番上に移動され
る。ここでOKボタン4105を選択すると設定した順
序が登録される。登録された順序情報は図41(c)の
4110、4111のように表示される。
【0086】次に、図42から図45を用いて案内編集
装置21の機能について説明する。
【0087】図42は案内編集画面の一例である。図4
2において、4201は案内情報の参照に使用される案
内番号を入力する部分、4202は案内の表す内容を記
述する備考を入力する部分、4203は画像情報、文章
情報、音声情報、手話情報を表示あるいは出力する場合
の時間的な関係から成る案内情報を表示および編集する
部分、4204は画像情報を表示する時間的な関係を表
示編集する部分、4205は文章情報を表示する時間的
な関係を表示編集する部分、4206は音声情報を出力
する時間的な関係を表示編集する部分、4207は手話
情報を表示する時間的な関係を表示編集する部分、42
08は編集中の案内情報を表示する画面、4209は画
像情報、文章情報、音声情報、手話情報の表示や出力を
行なう時間を登録する機能を選択するボタン、4210
は登録してある画像情報、文章情報、音声情報、手話情
報の表示や出力をする時間を削除する機能を選択するボ
タン、4211は登録した画像情報、文章情報、音声情
報、手話情報の時間的な関係に従って、画像情報、文章
情報、音声情報、手話情報を表示あるいは出力する機能
を選択するボタン、4212は案内記憶装置22に保存
してある案内情報を読み込む機能を選択するボタン、4
213は編集中の案内情報を案内記憶装置22に保存す
る機能を選択するボタンである。
【0088】図43は案内情報を案内記憶装置22に保
存するためのフォーマットである。図43において、4
301は保存されている情報の種類を示す情報種類であ
り、この場合「案内」と記述される。4302は案内情
報を参照するために使用される案内番号、4303は案
内の内容を表す備考である。4304は画像情報、43
05は表示される画像の数を示す情報数、4306はそ
れぞれの画像情報、4307はそれぞれの画像情報の表
示開始時刻、4308はそれぞれの画像情報の表示終了
時刻、4309は表示される画像データである。431
0は文章情報、4311は音声情報、4312は手話情
報である。文章情報4310、音声情報4311、手話
情報4312の詳細は、画像データがそれぞれ文章、音
声、手話である以外は画像情報4304のフォーマット
と全く同じである。案内記憶装置22に保存する情報と
しては、この他、画像情報、文章情報、手話情報を合成
して表示する際のそれぞれの表示位置の関係に関する情
報も一緒に保存するようにしても良い。また、文章から
合成した音声については、音声記憶装置18に保存した
フォーマットと同じフォーマットである単語列およびそ
の付加情報という形を利用することができる。あるい
は、合成した音声を音声入力装置3によって入力した音
声信号の形を利用しても良い。手話情報のフォーマット
についても、手話記憶装置20に保存した単語列および
その付加情報という形を利用しても良いが、合成した手
話アニメーションを画像入力装置8によって入力した画
像信号の形を利用しても良い。
【0089】案内の編集を行なうには、各情報の時間関
係の編集部分4203上で情報の時間関係を登録および
削除することによって行なう。まず、登録について図4
4を用いて説明する。登録を行なうには、登録を行なう
情報の編集部分上で表示あるいは出力を行なう時間範囲
を指定する。図44(a)では画像情報について時間範
囲4401を設定している。設定方法としては、例え
ば、マウスのポインタ4402を指定したい範囲の先
頭、この場合a点に移動し、そこでマウスのボタンを押
したままb点まで移動することによって行なうことがで
きる。あるいはa点、b点それぞれでマウスのボタンを
押しても良い。あるいは、キーボードで時間を直接指定
できるようにしても良い。時間範囲を指定した後、登録
ボタン4209を選択すると、図44(b)のように画
像設定ウインドウ4403が表示される。このウインド
ウ上で、画像番号入力ウインドウ4404に表示したい
画像番号を入力するとそれに対応する備考が図44
(c)の4408のように表示される。画像番号を設定
した後、OKボタン4407を選択すると設定した画像
情報が登録され、図44(d)のように登録されたこと
を示す表示4409が行なわれる。キャンセルボタン4
406を選択した場合は、設定した画像情報は登録され
ない。また、図44では画像番号に対する画像情報の確
認が備考のみであるが、画像データも表示するようにし
ても良い。以上は画像情報の登録であったが、文章情
報、音声情報、手話情報についても同様に行なうことが
できる。この場合、音声番号に対する確認として音声の
出力をまた、手話番号に対する確認として手話アニメー
ションの表示を行なうようにしても良い。
【0090】情報の時間関係の削除を行なう場合は、ま
ず、削除を行ないたい情報の時間範囲をマウスあるいは
キーボードによって選択した後、削除ボタン4210を
選択すれば良い。
【0091】案内情報の手話情報のフォーマットとして
手話記憶装置20に保存されているフォーマットを使用
している場合、手話の表示として手話合成装置4609
が必要となるが、合成したアニメーションの形で手話情
報が保存されている場合、手話の表示としては画像再生
装置4606と同じ装置を使用することができる。
【0092】図47に案内表示の一例を示す。レイアウ
ト部4610は図47のように画像情報4701、文章
情報4702、音声情報4703、手話情報4704を
合成して出力を行なう。画像情報、文章情報、手話情報
の表示位置の関係があらかじめ決められている場合は、
レイアウト部に位置情報を記憶しておく。また、表示位
置の関係を案内編集装置において編集者が決定できる場
合は、案内記憶部から位置関係の情報も読み出し、それ
ぞれの時間情報記憶部に記憶する。そして、レイアウト
部でそれぞれの位置情報に応じて表示位置を決定して画
像の合成を行なう。
【0093】以上により、画像、文章、音声、手話を用
いた案内の編集および表示を行なうことが可能になる。
【0094】また、以上の案内装置では、案内編集部分
と案内表示部分が一体となり、必要に応じて機能を切替
えるようにしていたが、これを図48のように案内編集
部分4801と案内表示部分4802に分離し、案内編
集部分4801で編集した案内情報を情報転送装置48
03で案内表示装置4802に送り、表示を行なうこと
もできる。
【0095】また、案内装置の利用者が、画像、文章、
音声、手話による情報を必要に応じて選択することがで
きるようにしても良い。
【0096】
【発明の効果】情報の提供を絵、写真、ビデオ画像、文
字、音声に加え、手話によって行なうことにより、聴覚
障害者にもわかりやすい案内を行なうことができるよう
になる。
【0097】また、手話による案内をコンピュータグラ
フィックによって合成した手話のアニメーションを使用
して行なうことによって、案内の編集者が誰でも同じ質
の手話を提供でき、また、さまざまな情報に対して柔軟
な案内を行なうことができるようになる。
【0098】さらに、手話の編集を単語単位で行ない、
必要に応じて詳細な変更を行なうことによって、容易に
かつ効率的に手話の編集を行なうことができるようにな
り、緊急を要する内容の案内に対しても迅速に対応する
ことができるようになる。
【図面の簡単な説明】
【図1】案内システムの全体構成を示す図。
【図2】静止画像の編集画面を示す図。
【図3】静止画像情報の保存フォーマットを示す図。
【図4】静止画像の切り出し機能を説明する図であり、
(a)切り出し範囲の指定、(b)切り出した後の状態
を示す。
【図5】静止画像の大きさ変更機能を説明する図であ
り、(a)大きさ変更範囲および変更後大きさの指定、
(b)大きさ変更後の状態を示す。
【図6】動画像編集画面を示す図。
【図7】動画像情報の保存フォーマットを示す図。
【図8】動画像の再生機能を説明する図。
【図9】文章の編集画面の示す図。
【図10】文章の保存フォーマットを示す図。
【図11】音声編集装置の構成を示す図。
【図12】音声信号による音声情報の保存フォーマット
を示す図。
【図13】文章から合成した音声情報の保存フォーマッ
トを示す図。
【図14】音声信号による音声情報の編集画面を示す
図。
【図15】音声信号の切り出し機能を説明する図であ
り、(a)切り出し範囲の指定、(b)切り出し後の状
態を示す。
【図16】文章から合成した音声情報の編集画面を説明
する図。
【図17】音声の再生機能を説明する図であり、(a)
「本日」の再生、(b)「7階」の再生、(c)「催し
もの」の再生を示す。
【図18】単語の読みの変更機能を説明する図であり、
(a)変更する単語の指定、(b)読み変更ウインド
ウ、(c)変更後の読みの入力、(d)読み変更後の状
態を示す。
【図19】形態素変更機能を説明する図であり、(a)
形態素変更ウインドウ、(b)単語境界を左へ1文字移
動した状態、(c)単語境界を右へ1文字移動した状態
を示す。
【図20】発話速度変更機能を説明する図であり、
(a)発話速度変更ウインドウ、(b)発話速度を増加
した状態、(c)発話速度を減少した状態、(d)発話
速度変更後の状態を示す。
【図21】アクセント変更機能を説明する図であり、
(a)アクセント変更ウインドウ、(b)アクセントの
追加、(c)アクセントの削除、(d)変更後の状態を
示す。
【図22】語調変更機能を説明する図であり、(a)語
調変更ウインドウ、(b)語調変更の操作を説明する
図、(c)語調変更後の状態を示す。
【図23】手話編集装置の構成を示す図。
【図24】単語列から合成した手話情報の保存フォーマ
ットを示す図。
【図25】文章から合成した手話情報の保存フォーマッ
トを示す図。
【図26】単語列から合成した手話情報の編集画面を示
す図。
【図27】単語名の入力機能を説明する図であり、
(a)単語名入力ウインドウ、(b)1つ目の単語名の
入力、(c)2つ目の単語名の入力を示す。
【図28】表現の変更機能を説明する図であり、(a)
表現選択ウインドウ、(b)表現変更後の状態を示す。
【図29】表現速度の変更機能を説明する図であり、
(a)速度変更ウインドウ、(b)速度を増加した状
態、(c)速度変更後の状態を示す。
【図30】動作の大きさ変更機能を説明する図であり、
(a)大きさ変更ウインドウ、(b)大きさを小さくし
た状態、(c)大きさを大きくした状態を示す。
【図31】動作の位置の変更機能を説明する図であり、
(a)位置変更ウインドウ、(b)位置を変更した状態
を示す。
【図32】動作の方向の変更機能を説明する図であり、
(a)方向変更ウインドウ、(b)方向を変更した状態
を示す。
【図33】間の変更機能を説明する図であり、(a)間
の変更箇所を選択した図、(b)間変更ウインドウ、
(c)間を増加した状態、(d)間の変更後の状態を示
す。
【図34】表情の変更機能を説明する図であり、(a)
表情変更ウインドウ、(b)表情「笑顔」を選択した状
態、(c)表情変更後の状態を示す。
【図35】身振りの変更機能を説明する図であり、
(a)身振り変更ウインドウ、(b)身振り「首傾け
(左)」を選択した状態、(c)身振り変更後の状態を
示す。
【図36】口形の変更機能を説明する図であり、(a)
口形変更ウインドウと発音を入力した状態、(b)口形
変更後の状態を示す。
【図37】複数単語に渡る口形の変更機能を説明する図
であり、(a)複数単語選択と発音の入力、(b)口形
変更後の状態を示す。
【図38】手話情報の表示機能を説明する図であり、
(a)手話「階」の表示、(b)手話「7」の表示を示
す。
【図39】文章から合成した手話情報の編集画面を示す
図。
【図40】単語境界の変更機能を説明する図であり、
(a)単語境界変更ウインドウ、(b)単語境界を左へ
1文字移動した状態、(c)単語境界の変更後の状態を
示す。
【図41】表示順序の変更機能を説明する図であり、
(a)順序変更ウインドウ、(b)「7」と「階」の順
序を変更した状態、(c)順序変更後の状態を示す。
【図42】案内情報の編集画面を示す図。
【図43】案内情報の保存フォーマットを示す図。
【図44】案内情報の時間関係の登録機能を説明する図
であり、(a)登録範囲の指定、(b)画像設定ウイン
ドウ、(c)画像番号の入力と備考の表示、(d)登録
後の状態を示す。
【図45】案内表示機能を説明する図。
【図46】案内表示装置の構成を示す図。
【図47】案内表示装置による案内表示の一例を示す
図。
【図48】案内編集装置と案内表示装置を分離した装置
の全体構成を示す図。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G09B 21/00 G09B 21/00 F G09G 5/00 510 G09G 5/00 510B (72)発明者 崎山 朝子 東京都国分寺市東恋ケ窪1丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 金子 洋一 東京都小平市上水本町5丁目20番1号 日立超エル・エス・アイ・エンジニアリ ング株式会社内 (56)参考文献 特開 平5−216910(JP,A) 特開 昭62−231981(JP,A) 特開 平4−155374(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 280 - 340 G06T 13/00 G09B 21/00 A61F 9/08 300 G08G 1/005 特許ファイル(PATOLIS) JICSTファイル(JOIS)

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】絵および写真を入力する手段と、ビデオ画
    像を入力する手段と、文字を入力する手段と、音声を入
    力する手段と、手話を入力する手段と、文字で入力した
    文を音声に変換する手段と、文字で入力した文を手話に
    変化する手段と、絵および写真を編集する手段と、ビデ
    オ画像を編集する手段と、文字を編集する手段と、音声
    を編集する手段と、手話を編集する手段と、絵および写
    真を出力する手段と、ビデオ画像を出力する手段と、文
    字を出力する手段と、音声を出力する手段と、手話を出
    力する手段を有し、絵、写真、ビデオ画像、文字、音
    声、手話の組合せによって、利用者に情報の提供を行な
    う案内装置であって、文字で入力した文を変換して合成
    した手話アニメーション、あるいは直接個々の手話表現
    に相当する単語列を指定して合成した手話アニメーショ
    ンによって手話による説明を行ない、装置への情報入力
    者が、文字で入力した文あるいは単語列から手話への合
    成結果の修正および情報の追加を行なう手段を有するこ
    とを特徴とする案内装置。
  2. 【請求項2】文字で入力した文あるいは単語列から合成
    した手話の修正において、複数表現がある場合の表現の
    種類、表現の速度、表現の大きさ、単語間の間など、単
    語名のみでは表現できない情報も手話表現と対応がとれ
    る形で表示する手段を有することを特徴とする請求項1
    記載の案内装置。
  3. 【請求項3】文字で入力した文から合成した手話の修正
    において、入力文と合成した手話の対応とりながら、変
    換の間違いや複数ある表現の選択、表示速度の指定、動
    作の大きさの指定、動作位置の指定、動作方向の指定、
    間のとり方などの手話独特の表現に関する情報の修正や
    追加を行なう手段を有することを特徴とする請求項1記
    載の案内装置。
  4. 【請求項4】文字で入力した文あるいは単語列から合成
    した手話の修正において、手話アニメーションの表示を
    行なう際に、入力文と合成した手話の対応をとるため
    に、表示中の手話に対応する文中の位置あるいは単語列
    中の単語を示す手段を有することを特徴とする請求項1
    記載の案内装置。
  5. 【請求項5】文字で入力した文から合成した手話の修正
    において、アニメーションで表示される各手話単語に対
    応する文中の部分と、それらの部分が手話として表現さ
    れる順序がわかる表示手段を有することを特徴とする請
    求項4記載の案内装置。
JP23611893A 1993-09-22 1993-09-22 案内装置 Expired - Fee Related JP3222283B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23611893A JP3222283B2 (ja) 1993-09-22 1993-09-22 案内装置
US08/664,803 US5734923A (en) 1993-09-22 1996-06-17 Apparatus for interactively editing and outputting sign language information using graphical user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23611893A JP3222283B2 (ja) 1993-09-22 1993-09-22 案内装置

Publications (2)

Publication Number Publication Date
JPH0792938A JPH0792938A (ja) 1995-04-07
JP3222283B2 true JP3222283B2 (ja) 2001-10-22

Family

ID=16996015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23611893A Expired - Fee Related JP3222283B2 (ja) 1993-09-22 1993-09-22 案内装置

Country Status (1)

Country Link
JP (1) JP3222283B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3473204B2 (ja) * 1995-08-21 2003-12-02 株式会社日立製作所 翻訳装置及び携帯端末装置
JP2002183878A (ja) * 2000-12-15 2002-06-28 Toshiba Corp 歩行者用道案内システム、歩行者用道案内サービス方法、道案内データ収集装置および道案内データ収集方法
JP2006227363A (ja) * 2005-02-18 2006-08-31 Nhk Computer Service:Kk 放送音声用辞書作成装置および放送音声用辞書作成プログラム
JP6257329B2 (ja) 2012-01-13 2018-01-10 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP5818172B2 (ja) * 2013-06-21 2015-11-18 コニカミノルタ株式会社 情報表示装置及び表示制御プログラム並びに表示制御方法
JP2019008570A (ja) * 2017-06-26 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JPH0792938A (ja) 1995-04-07

Similar Documents

Publication Publication Date Title
US5734923A (en) Apparatus for interactively editing and outputting sign language information using graphical user interface
US6181351B1 (en) Synchronizing the moveable mouths of animated characters with recorded speech
US5630017A (en) Advanced tools for speech synchronized animation
US5875427A (en) Voice-generating/document making apparatus voice-generating/document making method and computer-readable medium for storing therein a program having a computer execute voice-generating/document making sequence
JP3248981B2 (ja) 計算機
US6549887B1 (en) Apparatus capable of processing sign language information
JPH10509811A (ja) 外国語教育補助方法及び装置
WO2001045088A1 (en) Electronic translator for assisting communications
JPS62239231A (ja) 口唇画像入力による音声認識方法
KR100539032B1 (ko) 데이터 표시 장치
JP3222283B2 (ja) 案内装置
JPH11109991A (ja) マンマシンインターフェースシステム
JP3567596B2 (ja) 手話アニメーション生成装置
KR100754430B1 (ko) 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체
JPH07181992A (ja) 文書読上げ装置及び方法
JP4235635B2 (ja) データ検索装置及びその制御方法
JP2004325905A (ja) 外国語学習装置および外国語学習プログラム
JP2005326811A (ja) 音声合成装置および音声合成方法
JP2580565B2 (ja) 音声情報辞書作成装置
JPH08272388A (ja) 音声合成装置及びその方法
JP4052561B2 (ja) 映像付帯音声データ記録方法、映像付帯音声データ記録装置および映像付帯音声データ記録プログラム
JP2006284645A (ja) 音声再生装置およびその再生プログラムならびにその再生方法
JPH09198522A (ja) アニメーション制作システム
JPS6184771A (ja) 音声入力装置
WO2023167212A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070817

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080817

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080817

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090817

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees