JP6926175B2 - 表示支援装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、表示支援装置、方法およびプログラムに関する。

音声認識結果を字幕表示する場面としては、例えば、会議において音声を聞き取ることができず内容の理解が難しい会議参加者に対し、情報保証を目的として音声認識結果を字幕表示する場面がある。また、翻訳結果を字幕表示する場面としては、異なる言語を母語とする参加者が集う会議で用いられる会議システムなどにおいて、異なる言語間での機械翻訳結果または人手による翻訳結果を字幕表示する場面がある。
上述のように字幕表示する際に、内容の進行とともに字幕が順次切り替わったり、既に表示されている古い字幕が新たに表示される字幕によって少しずつ画面外へ押し出されたりするような表示を行う場合、利用者が字幕を見ることができる時間は限られる。そのため、字幕の内容を明確にしたり翻訳の質を高めたりするために、字幕表示される音声認識結果または翻訳結果の文を分割する技術がある。

特開２００７−１８０９８号公報

しかし、実際の運用において、分割された音声認識結果または翻訳結果の文をそのまま表示しただけでは、字幕の構成要素間の区切りがわかりにくい。さらに、文構造を解析しきれないために、字幕の内容を参照するユーザの理解が追いつかず、情報伝達に支障が生じる場合がある。

本開示は、上述の課題を解決するためになされたものであり、内容の理解を支援することができる表示支援装置、方法およびプログラムを提供することを目的とする。

本実施形態に係る表示支援装置は、取得部、第１処理部、第２処理部および表現制御部を含む。取得部は、文字列を取得する。第１処理部は、前記文字列を意味のまとまりを表す単位である第１単位で分割し、複数の分割文字列を生成する。第２処理部は、前記文字列について前記第１単位よりも大きい単位である第２単位を検出する。表示制御部は、前記複数の分割文字列を表示させる場合に前記第１単位および前記第２単位を区別する表示制御を行う。

第１の実施形態に係る表示支援装置を示すブロック図。 第１処理部が参照するテーブルの一例を示す図。 第１処理部の処理結果の一例を示す図。 第２処理部が参照するテーブルの一例を示す図。 第２処理部の処理結果の一例を示す図。 第１の実施形態に係る表示制御部の動作を示すフローチャート。 第１の実施形態に係る表示制御部に係る表示制御の具体例を示す図。 表示制御部における表示制御の第１の別例を示す図。 表示制御部における表示制御の第２の別例を示す図。 第２の実施形態に係る表示支援装置を示すブロック図。 表現変換部で参照される変換パターンの一例を示す図。 表現変換部の処理結果の一例を示す図。 第２の実施形態に係る表示制御部による表示制御の具体例を示す図。 第３の実施形態に係る表示支援装置を示すブロック図。 翻訳部の処理結果の一例を示す図。 第３の実施形態に係る表示制御部による表示制御の具体例を示す図。 第１言語の分割文字列の区切り位置が変わる第１例に関する日英翻訳の場合の機械翻訳例を示す図。 第１言語の分割文字列の区切り位置が変わる第１例に関する日中翻訳の場合の機械翻訳例を示す図。 第１言語の分割文字列の区切り位置が変わる第２例に関する日中翻訳の場合の機械翻訳例を示す図。 第１言語の分割文字列の区切り位置が変わる第２例に関する日英翻訳の場合の機械翻訳例を示す図。 日英翻訳の場合における翻訳部の処理結果の別例を示す図。 日中翻訳の場合における翻訳部の処理結果の別例を示す図。 第４の実施形態に係る表示支援装置を示すブロック図。 語順決定部で参照する語順決定規則の第１例を示す図。 語順決定部の処理結果の一例を示す図。 第４の実施形態に係る表示制御部による表示制御の具体例を示す図。 第５の実施形態に係る第１処理部の処理結果の一例を示す図。 第５の実施形態に係る表示制御部の動作を示すフローチャート。 第５の実施形態に係る表示制御部による表示制御の具体例を示す図。 第５の実施形態の第１の変形例に係る表示制御部の動作を示すフローチャート。 第５の実施形態の第１の変形例に係る表示制御部による表示制御の具体例を示す図。 第５の実施形態の第２の変形例に係る表示制御部の動作を示すフローチャート。 第５の実施形態の第２の変形例に係る表示制御部による表示制御の具体例を示す図。 表現変換部により表現が変換された場合の処理の別例を示す図。 図３０に示す処理についての表示制御の具体例を示す図。

以下、図面を参照しながら本実施形態に係る表示支援装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜省略する。

（第１の実施形態）
第１の実施形態に係る表示支援装置について図１のブロック図を参照して説明する。 第１の実施形態に係る表示支援装置１００は、取得部１０１、第１処理部１０２、第２処理部１０３および表示制御部１０４を含む。

取得部１０１は、ユーザからの入力に基づいて入力文字列を取得する。ユーザからの入力としては、キーボード入力、手書き文字認識および音声を受け付けるマイク入力など、一般的に用いられる様々な方法が適用できる。

ユーザからの入力が音声による場合、取得部１０１は、音声の音声認識結果の文字列を入力文字列として取得し、さらにポーズ情報も併せて取得する。取得部１０１は、音声中の無音期間が一定時間以上続く状態をポーズ情報として取得すればよい。また、取得部１０１は、マイク入力の際にボタンを押下してから音声の入力を開始するような設定の場合、ボタンのオンオフなどを検出することによりポーズ情報を取得してもよい。

また、ユーザからの入力がキーボード入力や手書き文字認識処理などのテキスト入力による場合、取得部１０１は、確定情報を入力文字列と併せて取得する。取得部１０１は、エンターキーの押下、または、句点およびピリオドなどの入力を確定情報として取得すればよい。また、取得部１０１は、ユーザインタフェースに入力確定ボタンなど入力の確定を行う画面表示があれば、当該表示をタッチしたことまたはマウスなどでクリックしたことを確定情報として取得してもよい。

第１処理部１０２は、取得部１０１から入力文字列とポーズ情報または確定情報とを受け取る。第１処理部１０２は、入力文字列に対して形態素解析を行い、ポーズ情報または確定情報に基づいて、形態素解析した入力文字列を意味のまとまりを表す言語単位である第１言語単位（単に第１単位ともいう）で分割し、複数の分割文字列を生成する。
形態素解析には、ＣＫＹ法や最長一致法といった一般的なあらゆる形態素解析の技術を用いることができる。なお、取得部１０１で取得した入力文字列に既に形態素解析結果に関する情報が付与されている場合には、第１処理部１０２は形態素解析を行わなくともよい。

第１処理部１０２は、それぞれの分割文字列に役割ラベルを付与する。役割ラベルには、例えば、格要素となる句を用いる場合の格の種別を示すラベル、単文であることを示すラベル、文末とされる時制のついた動詞句を用いる場合の文末に位置する句を示すラベル、文の構成や前後関係を示す接続詞、副詞またこれらに相当する表現を用いる場合の前後関係を示すラベル、並列の要素を用いる場合に並列の要素であることを示すラベル、ポーズを１つの第１言語単位として用いる場合のポーズを示すラベルが挙げられる。

第２処理部１０３は、第１処理部１０２から役割ラベルが付与された複数の分割文字列を受け取る。第２処理部１０３は、分割文字列から第１言語単位よりも大きい言語単位である第２言語単位（単に第２単位ともいう）を検出する。第２処理部１０３は、第２言語単位の末尾となる分割文字列に対し、末尾ラベルを付与する。末尾ラベルは、例えば、文節の末尾（節末ともいう）または文の末尾（文末ともいう）であることを示すラベル、重文であることを示すラベルが挙げられる。第２処理部１０３は、入力される分割文字列に付与された第１言語単位のラベルおよびポーズの並びを検出して、節末および文末などを判定し、該当する分割文字列に末尾ラベルを付与すればよい。

表示制御部１０４は、第２処理部１０３から役割ラベル（および末尾ラベル）が付与された複数の分割文字列を受け取る。表示制御部１０４は、役割ラベルおよび末尾ラベルに基づいて、複数の分割文字列を表示させる場合に、第１言語単位および第２言語単位を区別する表示制御を行う。表示制御は、複数の分割文字列間の関係が区別でき、ユーザにとってわかりやすくなるように表示させる制御であれば何でもよい。例えば、ディスプレイなどに複数の分割文字列を表示する際に、第１言語単位を区別するためにインデント（字下げ）表示したり、フォントの色を変更したり、下線を引くまたは斜体にするなどの装飾を施したり、第２言語単位の末尾となる分割文字列を表示した後に空行を入れたりまたは区切り線を引いたり、表示した第１言語単位を囲むようないわゆる吹き出しなどの図形を描画したりすることが挙げられる。表示制御の詳細については後述する。

次に、第１処理部１０２が参照するテーブルの一例について図２に示す。
図２に示すテーブル２００には、第１言語単位検出パターン２０１と役割ラベル２０２とがそれぞれ対応付けられて格納される。

第１言語単位検出パターン２０１は、入力文字列を第１言語単位で分割するためのパターンであり、ここでは、入力文字列が句として区切られるときに文頭に出現する文字列のパターン、および、入力文字列が句として区切られるときに末尾に出現する文字列のパターンを示す。役割ラベル２０２は、第１言語単位検出パターン２０１の特徴を表すラベルを示し、ここでは格の種別を示すラベルである。第１処理部１０２は、入力文字列の形態素解析結果となる文字列である形態素列が、第１言語単位検出パターン２０１と一致するかどうかを判定する。形態素列が第１言語単位検出パターン２０１と一致すると判定される場合、第１処理部１０２は、形態素列の末尾を区切り位置とすることで分割文字列を生成し、一致した第１言語単位検出パターン２０１に対応する役割ラベル２０２を付与する。

具体的には、例えば、第１言語単位検出パターン２０１「文頭／最初／に」と役割ラベル２０２「［sentence adverb］」とが対応付けられる。なお、図２において、第１言語単位検出パターン２０１における「文頭」は、ポーズ情報または確定情報の直後を参照すればよく、「内容語」は、入力文字列に出現する文字列を示す。

なお、分割文字列の末尾に位置する形態素の直後にポーズ情報または確定情報がある場合、その情報を役割ラベルとして分割文字列に付与してもよい。

次に、第１処理部１０２の処理結果の一例について図３に示す。
第１処理部１０２により、図３に示すような分割文字列３０１から分割文字列３１０までと、それぞれに付与される役割ラベル２０２との処理結果を得ることができる。具体的には、分割文字列３０１「えー／まず／最初／に」は、テーブル２００を参照することにより第１言語単位検出パターン２０１「文頭／最初／に」に一致しているので、分割文字列３０１には対応する役割ラベル２０２「［sentence adverb］」が付与される。

次に、第２処理部１０３が参照するテーブルの一例について図４に示す。
図４に示すテーブル４００には、第２言語単位検出パターン４０１と末尾ラベル４０２とがそれぞれ対応付けられて格納される。

第２言語単位検出パターン４０１は、ここでは、文法上、句よりも大きい言語単位である節末および文末に出現する文字列のパターンを示す。末尾ラベル４０２は、節末または文末を示すラベルである。具体的には、第２言語単位検出パターン４０１「ます／けれど／も」と末尾ラベル４０２「<<節末>>」とが対応付けられる。

第２処理部１０３は、分割文字列が、第２言語単位検出パターン４０１と一致するかどうかを判定する。分割文字列が第２言語単位検出パターン４０１と一致すると判定される場合、第２処理部１０３は、分割文字列に対して、一致した第２言語単位検出パターンに対応する末尾ラベル４０２を付与する。

次に、第２処理部１０３の処理結果の一例について図５を参照して説明する。
第２処理部１０３により、図５に示すような分割文字列５０１から分割文字列５１０までと、それぞれに付与される役割ラベル２０２と、末尾ラベル４０２との処理結果を得ることができる。

具体的には、分割文字列５０３「・・・／ます／けれど／も」は、テーブル４００を参照することにより第２言語単位検出パターン４０１「ます／けれど／も」に一致しているので、分割文字列５０３には対応する末尾ラベル４０２「<<節末>>」が付与される。同様に、分割文字列５１０「で／いる／訳／です」は、テーブル４００を参照することにより第２言語単位検出パターン４０１「で／いる／訳／です」に一致しているので、分割文字列５１０には対応する末尾ラベル４０２「<<文末>>」が付与される。

次に、表示制御部１０４の動作について図６のフローチャートを参照して説明する。なお、図６の説明において「表示させる」とは、表示制御部１０４が、外部のディスプレイなどの表示装置（図示せず）に文字列や図形を表示させるように制御することをいい、例えば字幕やテロップとして表示させることをいう。また、表示制御部１０４は、分割文字列を表示する際のインデント数に関する変数を保持するとする。

ステップＳ６０１では、表示制御部１０４が、インデント数をゼロに設定する。
ステップＳ６０２では、表示制御部１０４が、表示における冒頭の区切り線を表示させる。
ステップＳ６０３は、表示制御部１０４が、設定されたインデントを行い、分割文字列を表示する。なお、初回の処理ではインデント数がゼロであるため、表示制御部１０４は分割文字列を行頭から表示させればよい。

ステップＳ６０４では、表示制御部１０４が、ステップＳ６０３で表示された分割文字列が文末であるかどうか、すなわち分割文字列に文末ラベルが付与されているかどうかを判定する。文末ラベルが付与されている場合、ステップＳ６０８に進み、文末ラベルが付与されていない場合、ステップＳ６０５に進む。
ステップＳ６０５では、表示制御部１０４が、ステップＳ６０３で表示された分割文字列が節末であるかどうか、すなわち節末ラベルが付与されているかどうかを判定する。節末ラベルが付与されている場合、ステップＳ６０９に進み、節末ラベルが付与されていない場合、ステップＳ６０６に進む。

ステップＳ６０６では、表示制御部１０４が、設定中のインデント数を１つインクリメントする。
ステップＳ６０７では、表示制御部１０４が、次の分割文字列があるかどうかを判定する。次の分割文字列がある場合は、ステップＳ６０３に戻り、同様の処理を繰り返す。次の分割文字列がない場合は、ステップＳ６１０に進む。
ステップＳ６０８では、文末ラベルにより文が終了したことが分かるので、表示制御部１０４が、区切り線を表示させ、インデント数をゼロに設定する。その後ステップＳ６０３に戻り、同様の処理を繰り返す。

ステップＳ６０９では、節末ラベルにより節が終了したことが分かるので、表示制御部１０４が、空行を表示させ、インデント数をゼロに設定する。その後ステップＳ６０３に戻り、同様の処理を繰り返す。
ステップＳ６１０では、表示制御部１０４が、区切り線を表示させる。以上で表示制御部１０４の動作を終了する。

第１の実施形態に係る表示制御部１０４に係る表示制御の具体例について図７を参照して説明する。
ここでは、図５に示す第２処理部１０３の処理結果について表示制御が行われ、ディスプレイやスクリーンに字幕として表示される例を示す。分割文字列５０１については、最初の分割文字列であり、インデント数がゼロであるので、冒頭の区切り線７００が表示された後に、分割文字列５０１が表示される（表示７０１）。分割文字列５０１は文末ラベルでも節末ラベルでもないので、ステップＳ６０６においてインデント数が１つインクリメントされ、インデント数が１となる。

次の分割文字列５０２については、インデント数が１なので、分割文字列５０２の表示開始位置が、インデントとして規定される間隔の１つ分（インデント１つ分という）、右側に移動して表示される（表示７０２）。なお、図７の例は横書きの日本語なので、右側にインデントを行う表示であるが、縦書きの場合は下方向にインデントを行えばよく、アラビア語など右から左に記載する言語の場合は左側にインデントを行えばよい。

分割文字列５０１と同様に、分割文字列５０２は文末ラベルでも節末ラベルでもないので、インデント数が１つインクリメントされ、インデント数が２となる。

次の分割文字列５０３については、インデント数が２なので、分割文字列５０３は、インデント２つ分右側に移動した位置から表示される（表示７０３）。
ここで、分割文字列５０３は、節末ラベルが付与されているので、ステップＳ６０９における処理により、表示７０３の後に空行７０４が表示され、インデント数がゼロにリセットされる。

同様の処理を、分割文字列５０４から分割文字列５０９に対して行った場合、表示７０５から表示７０８、空行７０９および表示７１０から表示７１２が表示される。

なお、最後の分割文字列５１０について処理する場合、分割文字列５１０は文末ラベルが付与されているので、表示７１２が表示された後、ステップＳ６１０における処理により、末尾の区切り線７１３が表示される。

なお、節末ラベルが付与された分割文字列の表示後は、空行ではなく、冒頭および文末の区切り線と区別がつくような区切り線によって区切ってもよい。つまり、節末であるか文末であるかを区別できる表示形式であれば何でもよい。

次に、表示制御部１０４における表示制御の別例について図８Ａおよび図８Ｂを参照して説明する。
ここでは、説明の便宜上、図５に示す分割文字列５０１から分割文字列５１０までが１つの文節を形成すると仮定する。

１つの節末に至るまでの文字列が長い場合、図７に示すフローチャートに従って処理した場合にはインデント数が多くなり、ディスプレイなどの表示面に収まらないような場合もあり得る。このような場合、例えば第１の別例として図８Ａに示すように、インデント数が閾値に達したときにそれ以上インデント数を変更せずに表示してもよい。例えば、インデント数の閾値が５であれば、インデント数を６以上に増やさず、インデント数を５のまま後続の分割文字列を表示させればよい。また、同じインデント数で表示される分割文字列については、フォントサイズを小さくしたりフォントの色を変えたりするなどのユーザの視認性をさらに高める処理を行ってもよい。

第２の別例として、図８Ｂに示すように、インデント数が閾値に達したときにインデント数をゼロにリセットして、再度インデント数が閾値に達するまで表示を繰り返してもよい。

以上に示した第１の実施形態によれば、分割文字列を表示させる場合に、第１言語単位および第２言語単位を区別する表示制御を行うことで、例えば、句単位、節単位または文単位という異なる単位について違いが分かるように表示することができる。これによって、字幕やテロップとして表示される文字列の視認性を高めることができ、ユーザが内容を理解することを支援することができる。

（第２の実施形態）
第２の実施形態に係る表示支援装置について図９のブロック図を参照して説明する。 第２の実施形態に係る表示支援装置９００は、取得部１０１、第１処理部１０２、第２処理部１０３、表示制御部１０４および表現変換部９０１を含む。
取得部１０１、第１処理部１０２および第２処理部１０３の動作は第１の実施形態と同様であるので、ここでの説明を省略する。

表現変換部９０１は、第２処理部１０３から役割ラベル（および末尾ラベル）が付与された分割文字列を受け取り、変換規則に基づいて、変換規則に該当する分割文字列の表現を別の表現に変換する。なお、表現変換部９０１は、第２処理部１０３で処理された分割文字列ではなく、第１処理部１０２から形態素解析された文字列を受け取り、変換規則に基づいて、形態素解析された入力文字列の表現を変換してもよい。このとき第１処理部１０２は、変換された入力文字列を第２処理部１０３に送ればよい。
表示制御部１０４は、変換された分割文字列について表示制御を行う。

次に、表現変換部９０１で参照される変換パターンの一例について図１０を参照して説明する。
図１０に示すテーブル１０００には、変換対象パターン１００１と変換パターン１００２とが対応付けられて格納される。変換対象パターン１００１は、変換対象となる文字列のパターンを示す。変換パターン１００２は、変換対象パターン１００１をどのように変換するかを示すパターンである。図１０の例では、言い淀み、言い直し、言い誤り、およびフィラーなどを除去するためのパターンを変換パターン１００２として用いる。

具体的には、変換対象パターン１００１「えー」と変換パターン１００２「（空白）」とが対応付けられる。つまり、「えー」というフィラーであれば「えー」を削除する。

なお、図１０の例では、フィラーなどを除去する、いわゆる整文の処理を想定するが、これに限らず、話し言葉から書き言葉への変換またはこの逆の変換、方言から標準語への変換またはこの逆の変換、一地方の方言から別の地方の方言への変換、標準語からキャラクターが話すようないわゆるキャラ語への変換など、さまざまな表現の変換を行ってもよい。

次に、表現変換部９０１の処理結果の一例について図１１に示す。
図１１は、図５に示す第２処理部１０３の処理結果に対して、表現変換部９０１により分割文字列の表現が変換された例である。

例えば、分割文字列１１０１に関して、図５の例では、分割文字列５０１「えー／まず／最初／に」であったが、表現変換部９０１の処理により、フィラーが除去され「最初／に」に変換される。
また、分割文字列１１０７に関して、図５の例では、分割文字列５０７「まー／この／２／つ／の／方式／を／用い／て／おり／まし／て」であり、節末ラベルが付与されていたが、表現変換部９０１の処理により、「２／つ／の／方式／を／用い／て／い／ます」と変換され、節末ラベルから文末ラベルに変換される。

次に、第２の実施形態に係る表示制御部１０４による表示制御の具体例について図１２に示す。図１２に示すように、図７で表示されていたフィラーなどの冗長語が削除された表示が行われる。さらに、節末ラベルから文末ラベルに変換された分割文字列の表示１２０８の下の行には区切り線１２０９が表示される。これによって、ユーザにとってより字幕の内容を理解しやすい表示となる。

以上に示した第２の実施形態によれば、整文の処理を行うべく表現変換部が分割文字列の表現を変換することで、ユーザにとってより読みやすい字幕表示を行うことができ、ユーザが内容を理解することを支援できる。また、表現を方言などの別の表現に変換する場合には、字幕表示のバリエーションを広げることができる。

（第３の実施形態）
第３の実施形態に係る表示支援装置について図１３のブロック図を参照して説明する。 第３の実施形態に係る表示支援装置１３００は、取得部１０１、第１処理部１０２、第２処理部１０３、表示制御部１０４、表現変換部９０１および翻訳部１３０１を含む。 取得部１０１、第１処理部１０２、第２処理部１０３および表現変換部９０１の動作は第２の実施形態と同様であるので、ここでの説明を省略する。

翻訳部１３０１は、表現変換部９０１から必要に応じて変換された複数の分割文字列を受け取り、複数の分割文字列を第１言語から第２言語に機械翻訳する。機械翻訳の手法は、規則ベース機械翻訳エンジン、用例ベース機械翻訳エンジンまたは統計ベース機械翻訳エンジンなど、一般的に用いられているあらゆる翻訳エンジンを用いることができる。 表示制御部１０４は、機械翻訳された複数の分割文字列について表示制御を行う。

次に、翻訳部１３０１の処理結果の一例について図１４を参照して説明する。
図１４は、図１１に示す表現変換部９０１により表現が変換された分割文字列１１０１から分割文字列１１１０までに対して、機械翻訳処理が行われた例であり、ここでは、第１言語の日本語から第２言語の英語に翻訳する場合（日英翻訳という）を示す。分割文字列１４０１から分割１４１０までに示すように、分割文字列ごとに翻訳が可能となる。なお、既に付与されているラベルは、そのまま保持される。

第３の実施形態に係る表示制御部１０４による表示制御の具体例について図１５を参照して説明する。図１５のように翻訳した内容が字幕表示されることで、第２言語を理解できるユーザにとっても内容を把握しやすくなる。

なお、第１言語から第２言語に翻訳する際に、第２言語の種類によっては翻訳単位となる分割文字列の長さを変更するほうが望ましい場合もある。例えば、日英翻訳と、日本語から中国語に翻訳する場合（日中翻訳という）とでは、翻訳単位をそれぞれの言語にあわせて設定するため、分割文字列として入力文字列を区切る位置（分割文字列の区切り位置）を変更するのが望ましい。

ここで、第２言語の種類に応じた文法の違いにより、第１言語の分割文字列の区切り位置が変わる第１例について図１６Ａおよび図１６Ｂを参照して説明する。
図１６Ａは、日英翻訳の場合の機械翻訳例を示す。図１６Ｂは、日中翻訳の場合の機械翻訳例を示す。

図１６Ａに示す日英翻訳の場合、日本語では、分割文字列１６０１「それから最後に」と分割文字列１６０２「会議音声の活用システムということで」とに分割されるが、図１６Ｂに示す日中翻訳の場合、日本語では、分割文字列１６０３「それから最後に会議音声の活用システムということで」と１つにまとめられる。

反対に、図１６Ａの日英翻訳の場合、分割文字列１６０４「音声を文字に起こしたり、翻訳をするといったところを実は我々の中で使ってみましょうということでトライアルの開始をしようとしてまして」と１つの分割文字列が、図１６Ｂの日中翻訳において分割文字列１６０５「音声を文字に起こしたり、翻訳をするといったところを」、分割文字列１６０６「実は我々の中で使ってみましょうということで」および分割文字列１６０７の一部「トライアルの開始をしようとしてまして・・・」と分割される。

上述のような翻訳単位の決定は、翻訳部１３０１が、第２言語の種類に関する情報（目的言語情報ともいう）を受け取り、予め設定される言語の翻訳単位規則に基づいて、第２言語単位内の分割文字列を結合または分割する。目的言語情報は、ユーザから指定により取得してもよい。また、予め第２言語が決定していれば、分割文字列が生成される段階で、第１処理部１０２が翻訳単位規則を参照して分割文字列を生成してもよい。

次に、第２言語の文法の違いにより、第１言語の分割文字列の区切り位置が変わる第２例について図１７Ａおよび図１７Ｂを参照して説明する。
図１７Ａは、日中翻訳の場合の機械翻訳例を示す。図１７Ｂは、日英翻訳の場合の機械翻訳例を示す。

一般的に日中翻訳の場合は、中国語は日本語よりも文字数が少なくなることが多いので、日本語の内容に対応する中国語は字幕表示できる。一方、日英翻訳の場合は、日本語よりも文字数が多くなることがある。よって、字幕の表示スペースから文字がはみ出さないように、必須ではない内容を翻訳しないようにしてもよい。

図１７Ａに示す日中翻訳では、分割文字列１７０１「宜しく願いします」に対応する

が翻訳されるが、図１７Ｂに示す日英翻訳では、文字数を減らすべく、さらに対応する内容を表す翻訳も存在しないので、分割文字列１７０１「宜しく願いします」の翻訳が省略される。
翻訳部１３０１は、翻訳単位規則として翻訳文へ訳出しないキーワードを予め定めておき、図１７Ａおよび図１７Ｂに示すような翻訳処理を行えばよい。

翻訳部１３０１の処理の別例について図１８Ａおよび図１８Ｂを参照して説明する。 図１８Ａは、日英翻訳の場合の機械翻訳例を示す。図１８Ｂは、日中翻訳の場合の機械翻訳例を示す。

第２言語の種類によっては、ある１つの分割文字列に対応する翻訳として、２つの分割文字列の翻訳文にわたって翻訳結果が反映したほうが自然な文となる場合がある。例えば、図１８Ａに示すように、翻訳部１３０１は、日本語の分割文字列１８０１「音声認識を我々はやってますので」を英語「as we are working on the speech recognition」に翻訳する。ここで、「ので」に対応する「as」は、対応する分割文字列の翻訳文として翻訳されればよい。
一方、図１８Ｂに示すように、翻訳部１３０１は、日本語の分割文字列１８０１の「ので」を中国語に翻訳する場合は、

との２つの分割文字列の翻訳文に出現するように翻訳する。翻訳部１３０１は、翻訳単位規則として、２つの分割文字列の翻訳文に出現させるべきキーワードを予め定めておき、図１８Ａおよび図１８Ｂに示すような翻訳処理を行えばよい。

以上に示した第３の実施形態によれば、第１言語から第２言語に翻訳した内容を表示させることで、第２言語を理解できるユーザにとっても内容を把握しやすくなり、ユーザが内容を理解することを支援することができる。

（第４の実施形態）
第４の実施形態に係る表示支援装置について図１９のブロック図を参照して説明する。 第４の実施形態に係る表示支援装置１９００は、取得部１０１、第１処理部１０２、第２処理部１０３、表示制御部１０４、表現変換部９０１、翻訳部１３０１および語順決定部１９０１を含む。
取得部１０１、第１処理部１０２、第２処理部１０３、表現変換部９０１および翻訳部１３０１の動作は第３の実施形態と同様であるので、ここでの説明を省略する。

語順決定部１９０１は、翻訳部１３０１から翻訳処理された分割文字列を受け取り、第２言語の語順決定規則に基づき、複数の分割文字列の表示順序を決定する。つまり、第２言語の文法順に沿って自然な順序となるように複数の分割文字列を並び替える。また、語順決定部１９０１は、必要に応じて末尾ラベルを付与し直す。なお、語順決定部１９０１は、第１言語の段階で倒置など順序が不自然な状態があれば、複数の分割文字列を並び替えてもよい。
表示制御部１０４は、並び替えられた分割文字列について表示制御を行う。

次に、語順決定部１９０１で参照する語順決定規則の第１例について図２０を参照して説明する。
図２０に示す語順決定規則のテーブル２０００は、第１言語の語順パターン２００１と第２言語の語順パターン２００２とを対応付けて格納する。図２０の例では、第１言語が日本語であり、第２言語が英語である例を示す。ここでは、分割文字列に付与される役割ラベルの順序が英語の語順として自然な順序となるような役割ラベルの順序で決定される。

具体的には、例えば、日本語の語順パターン２００１が「[sentence adverb]→[object]→[predicate]」と、英語の語順パターン２００２が「[sentence adverb]→[predicate]→[object]」とが対応付けられる。

次に、語順決定部１９０１の処理結果の一例について図２１を参照して説明する。
語順を並び替える前の上述した図１４の例では、第２言語単位中の分割文字列１４０１から分割文字列１４０３の順序が、「first［sentence adverb］」、「about machine translation [object]」、「we will introduce[predicate]<<節末>>」である。

語順決定部１９０１は、語順決定規則に基づき、[sentence adverb]→[predicate]→[object]の順に分割文字列１４０１から分割文字列１４０３を並び替える。さらに語順決定部１９０１は、第２言語単位の最後の分割文字列に末尾ラベルを付与し直す。結果として、分割文字列２１０１から分割文字列２１０３までが、「first［sentence adverb］」「we will introduce［predicate］」「about machine translation［object］<<節末>>」の並びとなる。なお、末尾ラベルの付与し直しは、第２処理部１０３が行ってもよい。

次に、第４の実施形態に係る表示制御部１０４による表示制御の具体例について図２２を参照して説明する。
図２２に示すように語順を変更した後は、翻訳文の表示順序が［first］［we will introduce］［about machine translation］の語順となるので、第２言語の文法として自然な順序で翻訳文が表示される。

以上に示した第４の実施形態によれば、語順決定部が第２言語の文法順に沿って自然な順序となるように複数の分割文字列を並び替えることで、第２言語を利用するユーザにより自然な字幕を表示させることができ、ユーザが内容を理解することを支援できる。

（第５の実施形態）
第５の実施形態では、第１言語の話者が複数である場合を想定する。
第５の実施形態に係る表示支援装置は、上述の実施形態のいずれか１つに示す表示支援装置を用いて実現される。

第５の実施形態に係る取得部１０１は、入力文字列に加えて、入力文字列を入力（発話）した話者を識別するための話者ごとに固有の話者情報を取得する。話者情報を取得する方法は、例えば、取得部１０１に接続されるマイクを話者ごとに用意することにより取得してもよいし、ビームフォーミングや音声特徴量を使った一般的な話者識別技術を用いて話者を識別し、話者情報を取得してもよい。

また、第１処理部１０２は、取得部１０１から入力文字列および話者情報を受け取り、上述の実施形態と同様にして得られた複数の分割文字列に対して、話者情報に基づいて話者ごとに分類するための話者ラベルを付与する。

表示制御部１０４は、第２処理部１０３から話者ラベルが付与された複数の分割文字列を受け取り、複数の分割文字列を表示させる場合に、話者ラベルに基づいて、話者ごとに区別しつつ、第１言語単位および第２言語単位を区別する表示制御を行う。

第５の実施形態に係る第１処理部１０２の処理結果の一例について図２３に示す。
図２３に示すように、役割ラベル２０２、末尾ラベル４０２に加えて、話者ラベル２３００が付与される。
話者ラベルの決定方法は、例えば取得部１０１が取得した話者情報に基づいて、予めユーザの識別情報（ＩＰアドレスや、ユーザＩＤが含まれるユーザの識別情報など）が得られる場合は、識別情報に従って識別してもよいし、話者Ａ、話者Ｂなど、異なる話者情報であることが区別できるラベルを付与してもよい。

次に、第５の実施形態に係る表示制御部１０４の動作について図２４のフローチャートを参照して説明する。
ステップＳ６０１、ステップＳ６０３からステップＳ６０７まで、およびステップＳ６０９の処理は、上述の実施形態と同様であるので、説明を省略する。

ステップＳ２４０１では、表示制御部１０４が、新しい吹き出しを用意する。
ステップＳ２４０２では、表示制御部１０４が、分割文字列に文末ラベルが付与されているので、現在の吹き出しを終了し、インデント数をゼロに設定する。また、ステップＳ２４０１に戻り、同様の処理を繰り返す。これにより、１つの文が、１つの吹き出しで表現されることになる。
ステップＳ２４０３では、全ての分割文字列について処理が終了したので、吹き出しを終了する。また、ステップＳ２４０１に戻り、同様の処理を繰り返す。

なお、話者ごとに吹き出しの枠線および枠線の色を変更するなど、話者の区別を明確にする処理を行ってもよい。また、第５の実施形態では、話者の区別に吹き出しを想定しているが、話者ごとに区別できればどのような表示でもよい。

次に、第５の実施形態に係る表示制御部１０４による表示制御の具体例について図２５に示す。
図２５は、図２３に示す第２処理部１０３の処理結果に対して表示制御を行った例である。話者Ａの発言については吹き出し２５０１、話者Ｂの発言については吹き出し２５０２、話者Ｃの発言については吹き出し２５０３といったように、話者ごと、さらに文ごとに吹き出しが表示されることとなり、字幕の視認性を向上させることができる。

（第５の実施形態の第１の変形例）
第５の実施形態の第１の変形例に係る表示制御部１０４の動作について図２６のフローチャートを参照して説明する。
ステップＳ６０４、ステップＳ６０５、ステップＳ６０７、ステップＳ２４０１およびステップＳ２４０３の処理は、上述の実施形態と同様であるので説明を省略する。

ステップＳ２６０１では、表示制御部１０４が、分割文字列の内容を、吹き出しより小さい囲みで、吹き出しに収まるサイズの囲み内に表示する。
ステップＳ２６０２では、表示制御部１０４が、現在の吹き出しを終了し、ステップＳ２４０１に戻り同様の処理を繰り返す。
ステップＳ２６０３では、表示制御部１０４が、空行を表示し、ステップＳ２６０１に戻り同様の処理を繰り返す。

次に、第５の実施形態の第１の変形例に係る表示制御部１０４による表示制御の具体例について図２７に示す。
図２７に示すように、吹き出し内において分割文字列が囲み２７０１で表示されるので、字幕の視認性を向上させることができる。

（第５の実施形態の第２の変形例）
第５の実施形態の第２の変形例について図２８のフローチャートを参照して説明する。 ステップＳ６０３からステップＳ６０５まで、ステップＳ６０７、ステップＳ２４０１、ステップＳ２４０３およびステップＳ２６０３の処理は、上述の実施形態と同様であるので説明を省略する。

ステップＳ２８０１では、表示制御部１０４が、節末ラベルまたは文末ラベルが付与されていない場合、分割文字列の末尾に句点を表示する。
ステップＳ２８０２では、表示制御部１０４が、分割文字列の末尾に読点を表示し、現在の吹き出しを終了したのち、ステップＳ２４０１に戻り同様の処理を繰り返す。

次に、第５の実施形態の第２の変形例に係る表示例について図２９に示す。
図２９においても、図２７と同様に、吹き出し内において分割文字列が句読点で表示されるので、字幕の視認性を向上させることができる。

次に、表現変換部９０１により表現が変換された場合の表示制御の別例について図３０に示す。
図３０は、図２３の分割文字列２３０９が、表現変換部９０１により変換され、併せて付与されていたラベルが節末ラベルから文末ラベルに付け替えられた場合である。表示制御部１０４は、分割文字列３００１の文字列の色を変更する。

次に、表現変換部９０１により表現が変換された場合の表示の別例について図３１に示す。このように、変換された箇所の色を変更することで、ユーザは変更があった箇所を容易に把握することができる。なお、色を変更することに限らず、下線を引いたり、斜体にしたりしてもよい。

以上に示した第５の実施形態によれば、複数のユーザからの入力に対して、吹き出しを用いて話者ごとに発言を分離し、さらに吹き出し内において分割文字列について上述の実施形態のような表示制御を行うことで、話者ごとの区別が容易となり、ユーザが内容を理解することを支援できる。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した表示支援装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の表示支援装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，９００，１３００，１９００・・・表示支援装置、１０１・・・取得部、１０２・・・第１処理部、１０３・・・第２処理部、１０４・・・表示制御部、２００，４００，１０００，２０００・・・テーブル、２０１・・・第１言語単位検出パターン、２０２・・・役割ラベル、３０１〜３１０，５０１〜５１０，１１０１〜１１１０，１４０１〜１４１０，１６０１〜１６０７，１７０１，１８０１，２１０１〜２１１０，２３０１〜２３１２，３００１・・・分割文字列、４０１・・・第２言語単位検出パターン、４０２・・・末尾ラベル、７０１〜７０３，７０５〜７０８，７１０〜７１２，１２０１〜１２０３，１２０５〜１２０８，１２１０〜１２１２，１５０１〜１５０３，１５０５〜１５０８，１５１０〜１５１２，２２０１〜２２０３，２２０５〜２２０８，２２１０〜２２１２・・・表示、７０４，７０９，１２０４，１５０４，２２０４・・・空行、７００，７１３，１２００，１２０９，１２１３，１５００，１５０９，１５１３，２２００，２２０９，２２１３・・・区切り線、９０１・・・表現変換部、１００１・・・変換対象パターン、１００２・・・変換パターン、１３０１・・・翻訳部、１８０２，１８０３・・・翻訳文、１９０１・・・語順決定部、２００１・・・第１言語の語順パターン、２００２・・・第２言語の語順パターン、２３００・・・話者ラベル、２５０１，２５０２，２５０３・・・吹き出し、２７０１・・・囲み。

Claims (11)

1. 文字列を取得する取得部と、
   前記文字列を意味のまとまりを表す単位である第１単位で分割し、複数の分割文字列を生成する第１処理部と、
   前記複数の分割文字列のうちの第１分割文字列にそれぞれ、分割文字列の前記文字列における役割を示す役割ラベルを付与する第１付与部と、
   前記文字列について前記第１単位よりも大きい単位である第２単位を検出する第２処理部と、
   前記複数の分割文字列のうちの、前記第２単位の末尾にある第２分割文字列に末尾ラベルを付与する第２付与部と、
   前記複数の分割文字列を表示させる場合に、分割文字列ごとに前記末尾ラベルが付与されているかどうかと、前記役割ラベルが示す前記文字列における役割とに基づいて前記第１単位および前記第２単位を区別し、かつ分割文字列間の関係を区別する表示制御を行う表示制御部と、を具備し、
   前記役割ラベルは前記第１分割文字列の役割を表現し、前記役割は、第１単位のうちの１つとして使用されるポーズ情報と、第１単位のうちの１つとして使用される確定情報と、を含み、
   前記第２処理部は、前記役割ラベルと、前記ポーズ情報または前記確定情報との並びを検出し、節末と文末のうちの１つを決定する表示支援装置。
2. 変換規則に基づいて、前記分割文字列の表現を別の表現に変換する変換部をさらに具備し、
   前記表示制御部は、変換された前記分割文字列について表示制御を行う請求項１に記載の表示支援装置。
3. 前記表示制御部は、前記複数の分割文字列を表示させる場合に、ある分割文字列に続く次の分割文字列をインデントして表示させる処理を行い、該次の分割文字列が前記第２単位の末尾に位置する場合、該次の分割文字列を表示させた後に空行を表示させる処理を行う請求項１または請求項２に記載の表示支援装置。
4. 前記複数の分割文字列を第１言語から第２言語に機械翻訳する翻訳部をさらに具備し、
   前記表示制御部は、機械翻訳された分割文字列について表示制御を行う請求項１から請求項３のいずれか１項に記載の表示支援装置。
5. 前記第２言語の語順決定規則に基づいて、翻訳処理された前記複数の分割文字列の表示順序を決定する決定部をさらに具備し、
   前記表示制御部は、前記表示順序が決定された分割文字列について表示制御を行う請求項４に記載の表示支援装置。
6. 前記文字列は、音声認識結果の文字列である請求項１から請求項５のいずれか１項に記載の表示支援装置。
7. 前記第１単位は句であり、前記第２単位は節または文である請求項１から請求項６のいずれか１項に記載の表示支援装置。
8. 前記第１単位は単文であり、前記第２単位は重文である請求項１から請求項６のいずれか１項に記載の表示支援装置。
9. 前記取得部は、話者ごとの話者情報をさらに取得し、
   前記表示制御部は、前記話者ごとに区別して表示制御を行う請求項１から請求項８のいずれか１項に記載の表示支援装置。
10. 取得部が、文字列を取得し、
    第１処理部が、前記文字列を意味のまとまりを表す単位である第１単位で分割し、複数の分割文字列を生成し、
    第１付与部が、前記複数の分割文字列のうちの第１分割文字列にそれぞれ、分割文字列の前記文字列における役割を示す役割ラベルを付与し、
    第２処理部が、前記文字列について前記第１単位よりも大きい単位である第２単位を検出し、
    第２付与部が、前記複数の分割文字列のうちの、前記第２単位の末尾にある第２分割文字列に末尾ラベルを付与し、
    表示制御部が、前記複数の分割文字列を表示させる場合に、分割文字列ごとに前記末尾ラベルが付与されているかどうかと、前記役割ラベルが示す前記文字列における役割とに基づいて前記第１単位および前記第２単位を区別し、かつ分割文字列間の関係を区別する表示制御を行い、
    前記役割ラベルは前記第１文字列の役割を表現し、前記役割は、第１単位のうちの１つとして使用されるポーズ情報と、第１単位のうちの１つとして使用される確定情報と、を含み、
    前記第２単位を検出することは、前記役割ラベルと、前記ポーズ情報または前記確定情報との並びを検出し、節末と文末のうちの１つを決定する表示支援方法。
11. コンピュータを、
    文字列を取得する取得手段と、
    前記文字列を意味のまとまりを表す単位である第１単位で分割し、複数の分割文字列を生成する第１処理手段と、
    前記複数の分割文字列のうちの第１分割文字列にそれぞれ、分割文字列の前記文字列における役割を示す役割ラベルを付与する第１付与手段と、
    前記文字列について前記第１単位よりも大きい単位である第２単位を検出する第２処理手段と、
    前記複数の分割文字列のうちの、前記第２単位の末尾にある第２分割文字列に末尾ラベルを付与する第２付与手段と、
    前記複数の分割文字列を表示させる場合に、分割文字列ごとに前記末尾ラベルが付与されているかどうかと、前記役割ラベルが示す前記文字列における役割とに基づいて前記第１単位および前記第２単位を区別し、かつ分割文字列間の関係を区別する表示制御を行う表示制御手段として機能させるためのプログラムであって、
    前記役割ラベルは前記第１文字列の役割を表現し、前記役割は、第１単位のうちの１つとして使用されるポーズ情報と、第１単位のうちの１つとして使用される確定情報と、を含み、
    前記第２処理手段は、前記役割ラベルと、前記ポーズ情報または前記確定情報との並びを検出し、節末と文末のうちの１つを決定する表示支援プログラム。
    

Images