JP6095553B2 - 情報表示装置、方法及びプログラム - Google Patents

Description

この発明は、音声とその音声に付随するメモ書きとを記録及び／又は参照する技術に関する。

複数人の会議では、音声による意思疎通と、情報共有のための情報記録ツール（ホワイトボード等）とがしばしば用いられる。以下では、情報記録ツールとして、ホワイトボードが用いられる例を挙げて説明する。

ホワイトボードには参加者が発言した単語列がそのまま記載され、その単語列に関する補足情報が追記される、といったことが頻繁に行われる。会議中にこうして作成されたホワイトボードは、会議中の意思疎通だけでなく、会議終了後の振り返りに用いられる。このとき、ホワイトボードの内容の中には、どのような文脈の会話において書かれたものか思い出せない記述が含まれる場合がある。

会議ではホワイトボード情報の他に、会議の音声情報が保存されることがある。この場合には、ホワイトボード中の記述で文脈不明な箇所に対して、該当箇所の音声を探し、再生するといったことが可能である。しかし、会議が長時間に渡る場合には該当箇所を探し出すことは容易ではない。従って、情報記録ツールと音声情報を紐づける技術は、会議内容把握作業の効率化に有効である。

情報記録ツールと音声情報を紐付ける会議内容把握支援技術は、これまでにも提案されている。

特許文献１には、音声情報、映像情報、会議中に取得されるセンサ情報を時刻情報に基づいて関連づけ、１つの画面に出力する技術が記載されている。センサ情報には、例えばタッチパネルと描画用ペンで入力される文字情報や図形情報が含まれる。

非特許文献１には、動画、音声、文字、図形、イメージ、手書きを含むマルチメディアを扱える遠隔会議システムが提案されている。マルチメディア情報は、時刻情報に基づいて同期され、１つの画面に出力される。

特開2004-173058号公報

渡部和雄他, "マルチメディア分散在籍会議システム MERMAID", 情報処理学会論文誌, Vol.32, No. 9, 1991.

特許文献１及び非特許文献１は何れも、音声と手書き情報を紐付けている。しかし、音声と手書き情報を紐付けたとき、手書き情報に関する会話内容が長時間に渡る場合、関連する部分をすべて聞きなおさなくてはならず、会話内容の把握に要する時間が長くなるという問題がある。

この発明の目的は、会話内容の把握に要する時間を従来よりも短くすること可能とする情報表示方法、装置及びプログラムを提供することである。

この発明の１つの態様による情報表示方法によれば、タッチパネル上の情報表示方法において、文字情報表示部が、音声に対応する文字情報を、タッチパネルのある領域である第二領域に表示する文字情報表示ステップと、文字情報複製部が、第二領域に表示された文字情報の少なくとも一部を、タッチパネルの第二領域とは異なる第一領域に複製する文字情報複製ステップと、画像情報表示部が、タッチパネルの第一領域で入力された画像情報を、第一領域に複製された文字情報と共に第一領域に表示する画像情報表示ステップと、自由記述領域情報記憶部が、第一領域に複製された文字情報と、第一領域で入力された画像情報のうち第一領域に複製された文字情報の近傍にあるものとを関連付けて記憶する自由記述領域情報記憶ステップと、を有している。

音声と手書き情報とではなく、音声に紐づく文字情報と画像情報とを関連付けることで、画像情報に関連する会話内容が文字情報により一目で把握できるため、会話内容の把握に要する時間を従来よりも短くすることが可能となる。

第一実施形態から第三実施形態の情報表示装置の例を説明するためのブロック図。 第四実施形態の情報表示装置の例を説明するためのブロック図。 第一実施形態から第三実施形態の学習フェーズの例を説明するための流れ図。 第一実施形態から第三実施形態の振り返りフェーズの例を説明するための流れ図。 第四実施形態の学習フェーズの例を説明するための流れ図。 第四実施形態の振り返りフェーズの例を説明するための流れ図。 タッチパネルの画面の例を説明するための図。 タッチパネルの画面の例を説明するための図。

［第一実施形態］
第一実施形態の情報表示装置は、図１に示すように、音声入力部１、音声情報記憶部２、文字情報変換部３、文字情報表示部４、文字情報複製部５、画像情報表示部６、自由記述領域情報処理部７、自由記述領域情報記憶部８、対応付部９及び文字情報記憶部１０を例えば備えている。

情報表示装置は、記録フェーズ及び振り返りフェーズという異なる２つの動作モードがある。記録フェーズにおいては文字情報とそれに関連する画像情報とが記録され、振り返りフェーズにおいてはこれらの記録された情報が参照される。記録フェーズと振り返りフェーズとの切り替えは、例えばボタン操作等によりユーザが適宜切り替え可能であるとする。例えば会議に情報表示装置が用いられる場合には、会議開始及び終了ボタンを画面に配置し、会議開始ボタンが押されてから終了ボタンが押されるまでを会議実施時、それ以外を振り返り時とすればよい。また、振り返りボタンを追加し、会議実施時においてもそのボタンを押すことで、振り返り時の動作モードへ移行できるような構成も考えられる。

情報表示方法は、図３及び図４にそれぞれ例示した記録フェーズ及び振り返りフェーズの各処理を行うことにより実現される。

＜記録フェーズ＞
音声入力部１は、マイクロフォン等の音を電気信号に変換する機器である。例えば会議実施時の音声が、音声入力部１に入力され電気信号に変換される（ステップＲ１）。変換された電気信号は、音声についての情報である音声情報として音声情報記憶部２に記憶される（ステップＲ２）。なお、第一実施形態においては、音声情報の記憶は行われなくてもよい。

文字情報変換部３は、音声入力部１に入力された音声に対応する文字情報を生成する（ステップＲ３）。例えば、文字情報変換部３は、音声情報記憶部２から読み込んだ音声情報に基づいて音声認識を行うことにより文字情報を生成する。生成された文字情報は、文字情報表示部４に提供される。また、生成された文字情報は、文字情報記憶部１０に記憶される（ステップＲ４）。

文字情報変換部３は、音声を構成する、任意の時間区間で分割された各発話に対し、発話IDを付与してもよい。また、発話に付随する情報がある場合には、その情報を発話IDに含めてもよい。発話に付随する情報とは、例えば、その発話を行った話者を識別するための話者IDやその発話の時刻情報等である。発話の区切りは、話者認識技術や無音区間検出技術等を用いて自動で行ってもよいし、手動で区間を区切ってもよい。例えば、句点を区切りとする一文を一発話として区切る。

なお、音声に対応する文字情報の生成は、速記者等の人によって行われてもよい。この場合、音声に基づいて書き起こされたテキストについての情報が、音声に対応する文字情報となる。この場合は、文字情報変換部３は情報表示装置に備えられていなくてもよい。

文字情報表示部４は、文字情報変換部３により生成された、音声に対応する文字情報を、タッチパネルのある領域である第二領域に表示する（ステップＲ５）。この例では、第二領域は、図７に例示する音声テキスト表示部１０１である。

発話IDや発話に付随する情報話者IDが存在する場合には、文字情報表示部４は、文字情報に加えて発話IDや発話に付随する情報話者IDを第二領域に表示してもよい。

この例では、図７に示すようにタッチパネルは、自由に記述することができる自由記述領域部１０２である第一領域と、文字情報が表示される音声テキスト表示部１０１である第二領域とを含んでいる。タッチパネルは、タッチペンや指の接触があると、その接触部分の座標情報を生成することにより、座標情報の時系列を生成する。この座標情報の時系列に基づいて、例えば以下に述べる文字情報複製部５及び画像情報表示部６の処理が可能となる。

文字情報複製部５は、第二領域に表示された文字情報の少なくとも一部を、第一領域に複製する（ステップＲ６）。これにより、第二領域に表示された文字情報の少なくとも一部が第一領域に表示される。この文字情報複製部５の処理は、図８に示すように、第二領域である音声テキスト表示部１０１に表示されたテキストの一部が選択され、その選択されたテキストがタッチされそのまま音声テキスト表示部１０１から第一領域である自由記述領域部１０２にドラッグ＆ドロップされた場合に行われる。

この場合、ドロップによりテキストの座標が定まった後、そのテキスト及びその座標が、自由記述領域情報処理部７に提供される。発話IDが付与されている場合には、そのテキストを含む発話の発話IDが更に自由記述領域情報処理部７に提供されてもよい。

また、タッチパネルの第一領域において、タッチペンや指を用いて文字、図形、記号等が入力されると、その入力に対応する画像についての情報である画像情報とその画像情報の座標情報が生成される。画像情報表示部６は、生成された画像情報を、第一領域に複製された文字情報と共に第一領域に表示する（ステップＲ７）。生成された画像情報及びその座標情報は、自由記述領域情報処理部７に提供される。

なお、自由記述領域部１０２である第一領域の余白が不足した場合、ユーザが、現在表示されている自由記述領域部１０２を保存し、新規に白紙のページを作成することができるようにしてもよい。このとき、自由記述領域部１０２ごとにIDが振られる。各自由記述領域部１０２の座標は、（自由記述領域ID-座標値）のように一意に管理される。

自由記述領域情報処理部７は、第一領域に複製された文字情報と、第一領域で入力された画像情報のうち第一領域に複製された文字情報の近傍にあるものとを関連付けて自由記述領域情報記憶部８に記憶させる。言い換えれば、自由記述領域情報記憶部８は、第一領域に複製された文字情報と、第一領域で入力された画像情報のうち第一領域に複製された文字情報の近傍にあるものとを関連付けて記憶する（ステップＲ８）。

自由記述領域情報処理部７は、具体的には、第一領域に複製された文字情報と、その文字情報の座標情報と、画像情報と、その画像情報の座標情報とを１つの自由記述セグメントとしてグループ化する。自由記述領域情報処理部７は、各自由記述セグメントに、自由記述セグメントIDを付与することにより、第一領域に複製された文字情報と、その文字情報の座標情報と、画像情報と、その画像情報の座標情報とを紐付ける。発話IDが付与されている場合には、自由記述セグメントに、発話IDを含めてもよい。また、自由記述領域部１０２が複数ページ存在する場合、座標情報は自由記述領域IDを含んだ一意の値となる。

このセグメント化の方法として、例えば、所定の時間内に例えば短い時間間隔で連続的に複製された複数の文字情報及び画像情報並びにこれらの座標情報を１つのグループとする方法や、ある座標の中心とした所定の形状の図形の範囲内に含まれる文字情報及び画像情報を１つのグループとする方法等がある。所定の形状の図形とは、例えば矩形、円、楕円等の環状の図形のことである。ある座標とは、文字情報の座標又は画像情報の座標である。このように、時間的又は空間的に近傍にある文字情報及び画像情報並びにこれらの座標情報が１つのグループとされる。

セグメントが決定された後、自由記述セグメントについての情報（例えば、第一文字情報、その文字情報の座標情報、画像情報、その画像情報の座標情報）と、自由記述セグメントIDとが、自由記述領域情報記憶部８に提供され記憶される。

＜振り返りフェーズ＞
振り返りフェーズでは、タッチパネルの第一領域に画像情報及び複製された文字情報が表示されているとする。自由記述領域部１０２が複数ある場合には、ユーザは例えば画面スクロール等の操作により、所望の自由記述領域部１０２及び画像情報を参照することができるようにされている。

タッチパネルの第一領域における入力により画像情報がユーザにより指定されたとする。この場合、対応付部９は、その指定された画像情報と関連付けて記憶されている文字情報を自由記述領域情報記憶部８から読み込み、その読み込まれた文字情報を含む文字情報を文字情報記憶部１０から読み込み第二領域に表示させる（ステップＳ１）。

ユーザがタッチペンや指によりタッチパネルに接触すると、その接触部分の座標情報を生成される。例えば、この座標情報に基づいて、対応する文字情報が検索される。すなわち、生成された座標情報をキーとして自由記述領域情報記憶部８を参照して、その座標情報に対応する座標情報を有する自由記述セグメントを検索する。条件に合致する自由記述セグメントが見つかった場合には、その自由記述セグメントに含まれる文字情報を含む文字情報を第二領域に表示させる。

ここで、その座標情報に対応する座標情報を有する自由記述セグメントとは、例えば、その座標情報により特定される座標が、自由記述セグメントに含まれる文字情報の座標又は自由記述セグメントに含まれる画像情報の座標を含む所定の形状の図形に含まれる場合のその自由記述セグメントのことである。所定の形状の図形とは、例えば矩形、円、楕円等の環状の図形のことである。この所定の形状の図形は、自由記述セグメントを生成する際の所定の形状の図形と同じであっても異なってもよい。

また、その自由記述セグメントに含まれる文字情報を含む文字情報とは、例えばその自由記述セグメントに含まれる文字情報を含む発話の全部又は一部である。発話IDが付与されている場合には、対応付部９は、その自由記述セグメントに含まれる発話IDと同じ発話IDを有する発話を文字情報記憶部１０から読み込み、読み込んだ発話の全部又は一部を第二領域である音声テキスト表示部１０１に表示させる。

なお、対応付部９は、文字情報を第二領域に表示させる際に、その文字情報を強調してもよい。文字情報の強調は、文字情報をスクロールして画面の一番上のように目立つ場所に表示することや、テキストの色や背景色を変更するなどしてハイライトすることにより例えば行われる。

このように、音声と手書き情報とではなく、文字情報と画像情報とを関連付けることで、画像情報に関連する会話内容が文字情報により一目で把握できるため、会話内容の把握に要する時間を従来よりも短くすることが可能となる。

また、図７に示すように、タッチパネルに２個の領域を設けて、文字情報を原則として音声テキスト表示部１０１に表示し、画像情報を自由記述領域部１０２に表示し、時間軸の異なる情報の閲覧を実現することにより、柔軟な内容把握作業が可能となる。

［第二実施形態］
第一実施形態では、自由記述領域部１０２に記載された文字情報の提示をした。しかし、文字情報の生成を音声認識システムで行う場合には、文字情報に誤りが含まれる場合がある。そこで、第二実施形態では、文字情報のみならず、文字情報に対応する音声情報をユーザに提示する。これにより、ユーザは文字情報と音声情報とを把握することができ、会話内容をより正しく把握することができる。

以下、第一実施形態と異なる部分を中心に説明する。第一実施形態と同様の部分については重複説明を省略する。

第二実施形態の情報表示装置は、図１に破線で示すように、音声再生部１１を更に備えている。

＜記録フェーズ＞
第一実施形態においては音声情報の記憶は行われなくてもよかったが、第二実施形態においては、音声情報の記憶は必ず行われる。すなわち、音声入力部１から入力された音声についての情報である音声情報は、音声情報記憶部２に記憶される。その際、各音声情報に音声情報IDを付与してもよい。この場合、音声情報は音声情報IDと共に音声情報記憶部２に記憶される。

発話IDが付与される場合には、文字情報変換部３は、各発話の発話IDと音声情報IDとを対応付ける。この対応付けに関する情報についても音声情報記憶部２に記憶される。

記録フェーズにおける他の処理は、第一実施形態と同様である。

＜振り返りフェーズ＞
対応付部は、タッチパネルの第一領域における入力により画像情報が指定された場合には、その指定された画像情報と関連付けて記憶されている文字情報を自由記述領域情報記憶部８から読み込み、その読み込まれた文字情報を含む文字情報を文字情報記憶部１０から読み込み第二領域に表示させ、その指定された画像情報と関連付けて記憶されている文字情報に対応する音声情報を音声情報記憶部２から読み込みその読み込まれた音声情報を音声再生部１１に再生させる（ステップＳ１）。

対応付部９は、例えば、タッチパネルへの入力により指定された画像情報と関連付けて記憶されている文字情報を含む発話の発話IDを自由記述領域情報記憶部８に記憶されている自由記述セグメントから取得し、その発話IDに対応する音声情報IDを有する音声情報を音声情報記憶部２から読み込むことにより、音声情報を取得する。

音声再生部１１は、スピーカ、ヘッドフォン等の印加された電気信号に基づいて音を発生させる電気音響変換器である。

振り返りフェーズにおける他の処理は、第一実施形態と同様である。

［第三実施形態］
第一実施形態及び第二実施形態では、自由記述領域部１０２である第一領域の任意の箇所を指定すると、文字情報及び／又は音声情報の該当する部分がユーザに提示された。しかし、音声テキストである文字情報を追随して会議内容を把握するような場合には、文字情報から対応する画像情報を参照することができなければならない。

そこで、第三実施形態では、音声テキスト表示部１０１に表示された任意の文字情報を指定すると、対応する画像情報を表示する処理を更に行う。これにより、文字情報を追随しながら対応する画像情報を参照することができ、内容把握の効率化につながる。

以下、第一実施形態と異なる部分を中心に説明する。第一実施形態及び第二実施形態と同様の部分については重複説明を省略する。

＜記録フェーズ＞
記録フェーズにおける他の処理は、第一実施形態及び第二実施形態と同様である。

＜振り返りフェーズ＞
対応付部９は、タッチパネルの音声テキスト表示部１０１である第二領域における入力により文字情報が指定された場合には、その指定された文字情報に含まれる文字情報と関連付けて記憶されている画像情報を自由記述領域情報記憶部８から読み込み、その読み込まれた画像情報を第一領域に表示させる（ステップＳ１）。もちろん、対応付部９は、必要に応じて、画像情報のみならず、その画像情報と関連付けて記憶されている文字情報を自由記述領域情報記憶部８から読み込み第一領域に表示させてもよい。

対応付部９は、具体的には、タッチパネルの第二領域における入力によりある文字情報が指定された場合、指定された文字情報に対応する発話IDを文字情報記憶部１０から読み込む。自由記述領域部１０２が複数ページに渡る場合は、その自由記述領域IDも読み込まれる。そして、対応付部９は、読み込まれた発話IDをキーとして自由記述領域情報記憶部８を参照して、その発話IDと同じ発話IDを含む自由記述セグメントを検索する。条件に合致する自由記述セグメントが見つかった場合には、その自由記述セグメントに含まれる文字情報及び画像情報を自由記述領域情報記憶部８から読み込み第一領域に表示する。

読み込まれた文字情報及び画像情報は、自由セグメントに含まれるこれらの座標情報により定まる座標の位置に表示されてもよいし、他の位置に表示されてもよい。読み込まれた文字情報及び画像情報は、強調されて表示されてもよい。文字情報及び画像情報の強調は、文字情報及び画像情報の色や背景色を変更するなどしてハイライトすることや、文字情報及び画像情報をアニメーションで動かすことにより例えば行われる。

振り返りフェーズにおける他の処理は、第一実施形態及び第二実施形態と同様である。

［第四実施形態］
第一実施形態から第三実施形態では、文字情報変換部３として、音声認識システムや速記者による書き起しを想定していた。文字情報変換部３に音声認識システムを使う場合、発話音声が音声テキストとして表示されるタイムラグがなるべく少ないことが好ましい。一方、音声認識の精度を高めるために、音声認識システム内の音響モデルや言語モデルに複雑なものを用いたり、一度出力した認識結果を用いて再度精度の高い認識結果を出力するといった技術を用いたりすることがある。しかし、これらの技術は計算量が多く、音声テキストが出力されるまでにタイムラグが生じてしまう可能性がある。

そこで、第四実施形態では、例えば会議実施時には簡易的なモデルを用いてすばやく音声テキストを出力し、会議終了後に複雑なモデルや認識結果を使って精度を高める技術を用いて、文字情報記憶部１０に保存されている音声テキストを修正する。これにより、会議実施時の音声テキスト生成のタイムラグを少なくし、かつ振り返り時に高精度な音声テキストを利用することが可能となる。

以下、第一実施形態と異なる部分を中心に説明する。第一実施形態及び第二実施形態と同様の部分については重複説明を省略する。

第四実施形態の情報表示装置は、図２に示すように、文字情報変換部３に代えて第一音声認識部３１及び第二音声認識部３２を備えている点を除いては、第一実施形態の情報表示装置と同様である。

第四実施形態の情報表示方法は、図５及び図６にそれぞれ例示した学習フェーズ及び振り返りフェーズの各処理を行うことにより実現される。

＜記録フェーズ＞
第一音声認識部３１は、文字情報変換部３に代わり、第一音声認識方法により音声入力部１に入力された音声を音声認識して、その音声に対応する文字情報とする（ステップＲ３）。第一音声認識方法は、簡易な音声認識方法である。生成された文字情報は、第一実施形態と同様にして、文字情報表示部４に表示され、文字情報記憶部１０に記憶される。

記録フェーズにおける他の処理は、第一実施形態及び第二実施形態と同様である。

＜振り返りフェーズ＞
第二音声認識部３２が、第二音声認識方法により音声入力部１に入力された音声を音声認識して、音声に対応する文字情報を生成し、第一音声認識方法により生成された文字情報を第二音声認識方法により生成された文字情報に置き換える（ステップＳ２）。ここで、第二音声認識方法は、第一音声認識方法よりも音声認識の精度が高くその演算量が大きいとする。

具体的には、文字情報記憶部１０に記憶された文字情報が、第二音声認識方法により生成された文字情報に置き換えられる。もちろん、更に、自由記述領域情報記憶部８に記憶されている文字情報について、第一音声認識方法により生成された文字情報から、第二音声認識方法により生成された文字情報に置き換えてもよい。

発話の発話IDと音声情報IDとが対応付けられている場合には、この対応付けに関する情報に基づいて文字情報の置き換えが行われてもよい。すなわち、ある音声情報IDの音声情報について第二音声認識方法により生成された文字情報は、その音声情報IDに対応する発話IDを有する発話の文字情報に置き換えられる。

第二音声認識部３２による処理は、振り返りフェーズが始まる前に、例えば学習フェーズの終了後に自動的に行われる。もちろん、ユーザの明示の指示があった後に、第二音声認識部３２による処理が行われてもよい。

［変形例等］
上記の実施形態では、会議実施時の音声が音声入力部１に入力される例を挙げて説明しているが、他の音声が音声入力部１に入力されてもよい。言い換えれば、情報表示装置及び方法は、会議録としての利用に限られるものではない。

上記の実施形態では、文字情報変換部３又は第一音声認識部３１により生成された文字情報は、第二領域である音声テキスト表示部１０１に表示されたが、第一領域に表示されてもよい。また、この場合、第二領域である音声テキスト表示部１０１はタッチパネルに設けられていなくてもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

例えば、第一実施形態から第四実施形態を適宜組み合わせてもよい。言い換えれば、ある１つの情報表示装置が第一実施形態から第四実施形態の情報表示装置の機能を有していてもよい。この場合、ユーザは第一実施形態から第四実施形態の何れの情報表示装置の機能を使用するかを例えばスイッチにより選択可能であるとする。また、ある１つの情報表示方法として、第一実施形態から第四実施形態の情報表示方法の少なくとも２個の方法を行うことが可能であってもよい。これにより、更に柔軟な内容把握が可能となる。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１ 音声入力部
２ 音声情報記憶部
３ 文字情報変換部
３１ 第一音声認識部
３２ 第二音声認識部
４ 文字情報表示部
５ 文字情報複製部
６ 画像情報表示部
７ 自由記述領域情報処理部
８ 自由記述領域情報記憶部
９ 対応付部
１０ 文字情報記憶部
１１ 音声再生部

Claims (9)

1. タッチパネル上の情報表示方法において、
   文字情報表示部が、音声に対応する文字情報を、前記タッチパネルのある領域である第二領域に表示する文字情報表示ステップと、
   文字情報複製部が、前記第二領域に表示された前記文字情報の少なくとも一部を、前記タッチパネルの前記第二領域とは異なる第一領域に複製する文字情報複製ステップと、
   画像情報表示部が、前記タッチパネルの前記第一領域で入力された画像情報を、前記第一領域に複製された文字情報と共に第一領域に表示する画像情報表示ステップと、
   自由記述領域情報記憶部が、前記第一領域に複製された文字情報と、前記第一領域で入力された画像情報のうち前記第一領域に複製された文字情報の近傍にあるものとを関連付けて記憶する自由記述領域情報記憶ステップと、
   を含む情報表示方法。
2. 請求項１の情報表示方法において、
   前記音声に対応する文字情報は、前記音声を音声認識することにより得られた文字についての情報と、前記音声に基づいて書き起こされたテキストについての情報との少なくとも一方である、
   情報表示方法。
3. 請求項１又は２の情報表示方法において、
   文字情報記憶部が、前記音声に対応する文字情報を記憶する文字情報記憶ステップと、
   対応付部が、前記タッチパネルの前記第一領域における入力により画像情報が指定された場合には、その指定された画像情報と関連付けて記憶されている文字情報を前記自由記述領域情報記憶部から読み込み、その読み込まれた文字情報を含む文字情報を前記文字情報記憶部から読み込み前記第二領域又は前記第一領域に表示させる対応付ステップと、
   を更に含む情報表示方法。
4. 請求項３の情報表示方法において、
   前記対応付ステップは、前記タッチパネルの前記第一領域又は前記第二領域における入力により文字情報が指定された場合には、その指定された文字情報に含まれる文字情報と関連付けて記憶されている画像情報を前記自由記述領域情報記憶部から読み込み、その読み込まれた画像情報を上記第一領域に表示させるステップを更に含む、
   情報表示方法。
5. 請求項１又は２の情報表示方法において、
   文字情報記憶部が、前記音声に対応する文字情報を記憶する文字情報記憶ステップと、
   音声情報記憶部が、前記音声についての情報である音声情報を記憶する音声情報記憶ステップと、
   対応付部が、前記タッチパネルの前記第一領域における入力により画像情報が指定された場合には、その指定された画像情報と関連付けて記憶されている文字情報を前記自由記述領域情報記憶部から読み込み、その読み込まれた文字情報を含む文字情報を前記文字情報記憶部から読み込み前記第二領域又は前記第一領域に表示させ、その指定された画像情報と関連付けて記憶されている文字情報に対応する音声情報を上記音声情報記憶部から読み込みその読み込まれた音声情報を再生させるステップ、
   を更に含む情報表示方法。
6. 請求項１又は２の情報表示方法において、
   第一音声認識部が、簡易な音声認識方法である第一音声認識方法により前記音声を音声認識して、前記音声に対応する文字情報とする第一音声認識ステップ、
   を更に含む情報表示方法。
7. 請求項３から５の何れかの情報表示方法において、
   第一音声認識部が、第一音声認識方法により前記音声を音声認識して、前記音声に対応する文字情報とする第一音声認識ステップと、
   第二音声認識部が、前記第一音声認識方法よりも音声認識の精度が高くその演算量が大きい第二音声認識方法により前記音声を音声認識して、前記音声に対応する文字情報を生成し、前記第一音声認識方法により生成された文字情報を前記第二音声認識方法により生成された文字情報に置き換える第二音声認識ステップと、
   を更に含む情報表示方法。
8. タッチパネル上に情報を表示する情報表示装置において、
   音声に対応する文字情報を、前記タッチパネルのある領域である第二領域に表示する文字情報表示部と、
   前記第二領域に表示された前記文字情報の少なくとも一部を、前記タッチパネルの前記第二領域とは異なる第一領域に複製する文字情報複製部と、
   前記タッチパネルの前記第一領域で入力された画像情報を、前記第一領域に複製された文字情報と共に第一領域に表示する画像情報表示部と、
   前記第一領域に複製された文字情報と、前記第一領域で入力された画像情報のうち前記第一領域に複製された文字情報の近傍にあるものとを関連付けて記憶する自由記述領域情報記憶部と、
   を含む情報表示装置。
9. 請求項１から７の何れかの情報表示方法のステップをコンピュータに実現させるためのプログラム。

Images