以下、図面を参照しながら本発明の実施形態について説明する。まず、本実施形態に係る会話支援システムS1の構成例について説明する。図1は、本実施形態に係る会話支援システムS1の構成例を示すブロック図である。会話支援システムS1は、会話支援装置100と、端末装置200と、を含んで構成される。
会話支援システムS1は、2人以上の参加者が参加する会話において用いられる。参加者には、発話と音声の受聴の一方または両方に不自由な者(以下、「障がい者」と呼ぶ)が1名以上含まれていてもよい。障がい者は、個々に端末装置200の操作部270を操作して、発言内容を示すテキスト(以下、「第2テキスト」)を会話支援装置100に入力してもよい。発話および音声の受聴に困難を伴わない者(以下、「健常者」と呼ぶ)は、個々に収音部160または収音部を備える機器(例えば、端末装置200)を用い、発話した音声を会話支援装置100に入力してもよい。会話支援装置100は、入力された音声を示す音声データに対して公知の音声認識処理を行い、音声による発言内容を示すテキスト(以下、「第1テキスト」)に変換する。会話支援装置100は、変換により得られた第1テキストと端末装置200から得られた第2テキストのいずれかのテキストが取得されるたびに、取得されるテキストを表示部180に表示させる。障がい者は、表示されるテキスト(以下、「表示テキスト」)を読むことで会話における発言内容を理解することができる。
但し、会話支援装置100は、既に表示させた表示テキストの位置を所定方向(例えば、上方)に移動させ、表示部180の表示領域のうち移動により生じた空き領域に新たな表示テキストを表示させ、表示領域外に移動した表示テキストを消去する(スクロール)。障がい者は、端末装置200の操作部270を操作し、入力した第2テキストについて表示位置の固定を会話支援装置100に指示することができる。会話支援装置100は、表示位置の固定が指示されるとき、取得された第2テキストを表示部180の表示領域のうち所定の表示位置に固定して表示させる(ピン止め)。そのため、他の参加者の発言により第1テキストが順次表示されても、障がい者により入力された第2テキストの表示位置が固定されたまま表示が維持される。よって、健常者を含む他の参加者に対して第2テキストの発言内容をより確実に認識させることができる。
また、第2テキストの表示位置が固定されているとき、障がい者は、端末装置200の操作部270を操作し、その表示位置の固定の解除を会話支援装置100に指示することができる。会話支援装置100は、表示位置の固定の解除が指示されるとき、表示位置が固定された第2テキストを消去する(ピン止め解除)。そのため、障がい者は任意のタイミング、例えば、障がい者が第2テキストに示す質問に対する回答として、より新たな表示テキストが表示されるときに解除することができる。よって、他の参加者に対して表示位置を固定した第2テキストに対して必要以上に意識させずに済む。
図1に示す会話支援システムS1は、1個の会話支援装置100と1個の端末装置200を備えるが、これには限らない。端末装置200の数は、2個以上になることもありうるし、0個の場合もありうる。会話支援装置100、端末装置200は、それぞれ図1に示す例では、親機、子機としての機能を有する。
なお、本願では、「会話」とは2人以上の参加者間での意思疎通のことを意味し、音声を用いた意思疎通に限られず、テキストなどの、その他の種別の情報媒体を用いた意思疎通も含まれる。会話には、2人以上の参加者間で自発的または任意になされる意思疎通に限られず、会議、発表会、講演会、式典のように特定の参加者(例えば、司会者)が他の参加者の発言を統制する形態での意思疎通も含まれる。また、「発言」とは言語を用いて意思を伝達することを意味し、音声を発して意思を伝達することに限らず、テキストなど、その他の種別の情報媒体を用いて意思を伝達することも含まれる。
(会話支援装置)
次に、本実施形態に係る会話支援装置100の構成例について説明する。会話支援装置100は、制御部110と、記憶部130と、入出力部150と、を含んで構成される。制御部110は、各種の演算処理を行うことにより、会話支援装置100の機能を実現し、その機能を制御する。制御部110は、専用の部材により実現されてもよいが、プロセッサと、ROM(Read Only Memory)、RAM(Random Access Memory)などの記憶媒体を備えてもよい。プロセッサは、予めROMに記憶された所定のプログラムを読み出し、読み出したプログラムをRAMに展開して、RAMの記憶領域を作業領域として用いる。プロセッサは、読み出したプログラムで記述された各種の命令で指示される処理を実行して制御部110の機能を実現する。実現される機能には、後述する各部の機能が含まれうる。以下の説明では、プログラムに記述された命令で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。プロセッサは、例えば、CPU(Central Processing Unit)などである。
制御部110は、音声分析部112、音声認識部114、テキスト取得部118、テキスト処理部120、議事録作成部122、表示処理部124、表示制御情報取得部126およびモード制御部128を含んで構成される。
音声分析部112には、収音部160から入出力部150を経由して音声データが入力される。音声分析部112は、入力された音声データについて所定の長さのフレームごとに音声特徴量を算出する。音声特徴量は、そのフレームにおける音声の音響的な特徴を示す特性パラメータで表される。算出される音声特徴量は、例えば、パワー、零交差数(Number of Zero-Crossings)、メル周波数ケプストラム係数(MFCC:Mel-Frequency Cepstrum Coefficients)などである。そのうち、パワーとゼロ交差数は、発話状態の判定に用いられる。MFCCは、音声認識に用いられる。1フレームの期間は、例えば、10ms~50msである。
音声分析部112は、算出した音声特徴量に基づいてフレームごと発話状態を判定する。音声分析部112は、公知の音声区間検出処理(VAD:Voice Activity Detection)を行い、その時点での処理対象のフレーム(以下、「現フレーム」)が音声区間であるか否かを判定する。音声分析部112は、例えば、パワーが所定のパワーの下限よりも大きく、かつ、零交差数が所定の範囲内(例えば、1秒当たり300~1000回)であるフレームを発話区間として判定し、それ以外のフレームを非音声区間と判定する。そして、音声分析部112は、現フレームの直前のフレーム(以下、「前フレーム」)が非音声区間であったが、新たに現フレームを音声区間として判定する場合、その現フレームの発話状態を発話開始として判定する。発話状態が発話開始と判定されたフレームを「発話開始フレーム」と呼ぶ。音声分析部112は、前フレームが音声区間であったが、新たに現フレームを非音声区間として判定する場合、前フレームの発話状態を発話終了として判定する。発話状態が発話終了と判定されたフレームを「発話終了フレーム」と呼ぶ。音声分析部112は、発話開始フレームから次に発話終了フレームとなる一連の区間を1つの発話区間として判定する。1つの発話区間は、概ね1回の発話に相当する。音声分析部112は、判定した発話区間ごとに算出した音声特徴量を音声認識部114に順次出力する。なお、入力される音声データに収音識別情報が付加されている場合には、その収音識別情報を音声特徴量に付加して音声認識部114に出力してもよい。収音識別情報は、個々の収音部160を識別するための識別情報(例えば、Mic ID:Microphone Identifier)である。
音声認識部114は、音声分析部112から発話区間ごとに入力される音声特徴量に対して予め記憶部130に記憶させておいた音声認識モデルを用いて音声認識処理を行う。音声認識モデルは、音響モデルと言語モデルを含む。音響モデルは、音声特徴量から1つまたは複数の音素からなる音素列を定めるために用いられる。音響モデルは、例えば、HMM(Hidden Markov Model、隠れマルコフモデル)である。言語モデルは、音素列から構成される語句を用いるために用いられる。言語モデルは、例えば、n-グラム(n-gram)である。音声認識部114は、入力される音声特徴量について音声認識モデルを用いて算出した尤度が最も高い語句を認識結果として定める。音声認識部114は、認識結果として発話内容を構成する語句を示すテキストを示す第1テキスト情報をテキスト処理部120に出力する。即ち、第1テキスト情報は、収音された音声の発話内容を示す発話テキスト(以下、「第1テキスト」)を示す情報である。
なお、入力される音声特徴量に収音識別情報が付加されている場合には、その収音識別情報を第1テキスト情報に付加してテキスト処理部に出力してもよい。また、音声認識部114は、入力される音声特徴量に対して公知の話者認識処理を行って話者を特定してもよい。音声認識部114は、特定した話者を示す話者識別情報(話者ID)を音声特徴量に付加してテキスト処理部120に出力してもよい。話者IDは、個々の話者を識別するための識別情報である。
テキスト取得部118は、端末装置200から通信部140を用いてテキスト情報を受信する。操作信号を受信する。テキスト取得部118は、取得したテキスト情報を第2テキスト情報としてテキスト処理部120に出力する。第2テキスト情報は、端末装置200の操作部270への操作に応じて入力され、主に会話への参加者との意思疎通を目的とし、入力者の発言内容を表すテキストを示す。なお、テキスト取得部118は、後述する端末装置200の制御部210と同様な手法を用いて、操作部170から入出力部150を用いて入力される操作信号に基づいてテキスト情報を受け付けてもよい。なお、本願では、制御部110の各部における処理に用いられる、端末装置200から受信した操作信号と操作部170から入力される操作信号を、「取得した操作信号」または単に「操作信号」と総称することがある。テキスト取得部118は、操作信号の取得元である操作部170と端末装置200のいずれかの機器を識別するための機器識別情報を第2テキスト情報に付加してテキスト処理部120に出力してもよい。また、「収音識別情報」、「話者識別情報」および「機器識別情報」を「取得元識別情報」と総称することがある。
テキスト処理部120は、音声認識部114から入力される第1テキスト情報が示す第1テキストと、テキスト取得部118から入力される第2テキスト情報が示す第2テキストのそれぞれを表示部180に表示させるテキスト(以下、「表示テキスト」)として取得する。テキスト処理部120は、取得した表示テキストに対して表示または保存のために所定の処理を行う。テキスト処理部120は、例えば、第1テキストに対して公知の形態素解析を行い、第1テキストを1または複数の単語に区分し、単語ごとの品詞を特定する。テキスト処理部120は、特定した品詞が間投詞である単語、所定期間(例えば、10~60秒)内に繰り返し発言された単語など、発言内容に対して実質的に寄与しない単語を示すテキストを第1テキストから削除してもよい。
また、テキスト処理部120は、音声認識部114から入力される第1テキスト情報とテキスト取得部118から入力される第2テキスト情報のそれぞれについて、個々の発言を識別するための発言識別情報を生成し、生成した発言識別情報を、その発言に係る表示テキストを示す表示テキスト情報に付加してもよい。テキスト処理部120は、例えば、一連の会話開始後においてテキスト処理部120に第1テキスト情報または第2テキスト情報が入力される順序を発言識別情報として生成してもよい。テキスト処理部120は、表示テキスト情報を議事録作成部122と表示処理部124に出力する。なお、音声認識部114から入力される第1テキスト情報またはテキスト取得部118から入力される第2テキスト情報に取得元識別情報が付加されている場合には、テキスト処理部120は、その取得元識別情報を表示テキスト情報に付加して議事録作成部122と表示処理部124に出力してもよい。
議事録作成部122は、テキスト処理部120から入力される表示テキスト情報を順次記憶部130に記憶する。記憶部130には、記憶された個々の表示テキスト情報が順次累積して議事録情報として形成される。議事録作成部122は、テキスト処理部120から表示テキスト情報が入力される日時を示す日時情報を表示テキスト情報と関連付けて記憶部130に記憶してもよい。表示テキスト情報に取得元識別情報が付加されている場合には、議事録作成部122は、日時情報に代えて、または日時情報とともに取得元識別情報と表示テキスト情報と関連付けて記憶部130に記憶してもよい。また、表示テキスト情報に発言識別情報が付加されている場合には、議事録作成部122は、日時情報または取得元識別情報に代えて、または日時情報または取得元識別情報とともに発言識別情報と表示テキスト情報を関連付けて記憶部130に記憶してもよい。
表示処理部124は、テキスト処理部120から入力される表示テキスト情報が示す表示テキストを表示部180に表示させるための表示画面データを生成する。表示処理部124は、予め記憶部130に記憶させた表示画面テンプレートを読み出し、表示処理部124は、表示画面テンプレートのうち表示テキストを表示させるために予め設定された所定のテキスト表示領域に新たに入力される表示テキストを割り当てて表示画面を更新する。テキスト表示領域にさらに新たな表示テキストを割り当てる領域がなくなるとき、表示処理部124は、テキスト処理部120から表示テキスト情報が新たに入力されるごとに、テキスト表示領域において表示テキストを所定方向(例えば、垂直方向)にスクロールすることにより表示画面を更新する。スクロールにおいて、表示処理部124は、既にテキスト表示領域に割り当てた既表示の表示テキストの表示領域を所定の方向に移動させ、表示テキストが割り当てられていない空き領域を確保する。空き領域は、テキスト表示領域のうち表示テキストの移動方向とは逆方向の一端に接して設けられる。表示処理部124は、確保される空き領域の大きさが、新たな表示テキストの表示に要する表示領域の大きさと等しくなるように、既表示の表示テキストの移動量を定める。表示処理部124は、確保した空き領域に新たな表示テキストを割り当てるとともに、移動によりテキスト表示領域外に配置された既表示の表示テキストを消去する。
表示処理部124は、表示画面の表示中に表示制御情報取得部126から固定指示情報が入力されるとき、固定指示情報で指示される既表示の表示テキスト、つまり、テキスト表示領域に割り当てられた表示テキストの一部の区間を特定する。固定指示情報は、表示位置の固定を指示し、対象とする表示テキストの区間を示す制御情報である。表示位置を位置の固定対象とする区間は、固定指示情報に含まれる発言識別情報を用いて発言区間ごとに特定されてもよい。表示処理部124は、特定した区間内の表示テキストを表示画面内の所定の表示位置に配置された固定表示領域に固定テキストとして割り当てることにより表示画面を更新する。表示処理部124は、固定表示領域に割り当てた固定テキストに対してはスクロールの対象とせず、表示位置を固定する。
表示処理部124は、固定テキストの表示中に表示制御情報取得部126から固定解除情報が入力されるとき、固定テキストの表示位置の固定を解除する。固定解除情報は、固定テキストに対する表示位置の固定の解除を指示する制御情報である。表示処理部124は、表示位置の固定を解除する際、固定テキストを表示画面から消去する。
表示処理部124は、表示画面の表示中に表示制御情報取得部126からテキスト削除情報が入力されるとき、テキスト表示領域に割り当てた表示テキストの一部の区間を特定し、特定した区間内の表示テキストを消去してもよい。テキスト削除情報は、表示テキストの消去と、その対象とする表示テキストの区間を指示する制御情報である。対象とする区間は、テキスト削除情報に含まれる発言識別情報を用いて特定されてもよい。表示処理部124は、テキスト表示領域のうち、表示テキストを消去した領域に、より新しい他の表示テキストを移動させることにより表示画面を更新する(テキスト詰め)。
表示処理部124は、表示画面を更新する都度、更新した表示画面を示す表示画面データを表示部180に入出力部150を経由して出力する。また、表示処理部124は、通信部140を用いて表示画面データを端末装置200に送信する。よって、表示処理部124は、自装置の表示部180と端末装置200の表示部280に更新した表示画面を表示させることができる。なお、自装置の表示部180に表示させる表示画面には、操作領域が含まれてもよい。操作領域には、図3に例示されるように自装置の操作や動作状況の表示のための各種の画面部品が配置される。
表示制御情報取得部126は、端末装置200から表示画面の表示を制御するための表示制御情報を受信する。表示制御情報取得部126は、端末装置200の制御部210と同様の手法(後述)を用いて、入出力部150を経由して入力される操作信号に基づいて表示制御信号を生成してもよい。表示制御情報取得部126は、取得した表示制御情報を表示処理部124に出力する。抽出される表示制御信号には、上記の固定指示情報、固定解除情報、テキスト削除情報のいずれかが含まれうる。
表示制御情報取得部126は、抽出した表示制御情報を議事録作成部122に出力してもよい。議事録作成部122は、表示制御情報取得部126から入力される表示制御情報のうち固定指示情報で指示される表示テキストの区間を特定し、特定した区間内の表示テキストを示す表示テキスト情報と対応付けて固定指示情報を記憶部130に記憶する。議事録作成部122は、表示制御情報取得部126から入力される表示制御情報のうち固定解除情報を、その固定指示情報で指示される固定テキストを特定し、特定した固定テキストを表示テキストとして示す表示テキスト情報と対応付けて固定解除情報を記憶部130に記憶する。よって、議事録情報には、表示位置の固定ならびにその固定の解除が指示された区間の表示テキストの情報を含めて記録される。
モード制御部128は、取得した操作信号に基づいて会話支援装置100の動作モードを制御する。モード制御部128は、動作モードとして、会話支援装置100が提供可能とする機能の要否またはそれらの組み合わせを設定可能とする。モード制御部128は、取得操作信号からモード設定に関するモード設定情報を抽出し、抽出したモード設定情報で指示される動作モードを指示するためのモード制御情報を各部に出力する。
モード制御部128は、例えば、動作開始、動作終了、議事録作成の要否、録音の要否、などを制御可能とする。抽出されるモード設定情報が動作開始を示す場合、モード制御部128は、動作開始を示すモード制御情報を制御部110の各部に出力する。制御部110の各部は、モード制御部128から動作開始を示すモード制御情報が入力されるとき、自部に所定の処理を開始する。抽出されるモード設定情報が動作終了を示す場合、モード制御部128は、動作終了を示すモード制御情報を制御部110の各部に出力する。制御部110の各部は、モード制御部128から動作終了を示すモード制御情報が入力されるとき、自部に所定の処理を終了する。抽出されるモード設定情報が議事録作成を示す場合、モード制御部128は、議事録作成を示すモード制御情報を議事録作成部122に出力する。抽出されるモード設定情報が議事録作成を示す場合、モード制御部128は、議事録作成を示すモード制御情報を議事録作成部122に出力する。議事録作成部122は、モード制御部128から議事録作成要を示すモード制御情報が入力されるとき、議事録作成部122は、テキスト処理部120から入力される表示テキスト情報の記憶部130への記憶を開始する。よって、議事録の作成が開始される。抽出されるモード設定情報が議事録作成否を示す場合、モード制御部128は、議事録作成否を示すモード制御情報を議事録作成部122に出力する。議事録作成部122は、モード制御部128から議事録作成否を示すモード制御情報が入力されるとき、議事録作成部122は、テキスト処理部120から入力される表示テキスト情報の記憶部130への記憶を停止する。よって、議事録の作成が停止される。
記憶部130は、制御部110における処理に用いられる各種のデータ、制御部110が取得した各種のデータを記憶する。記憶部130は、例えば、上記のROM、RAMなどの記憶媒体を含んで構成される。
通信部140は、所定の通信方式を用いてネットワークに無線または有線で接続し、他の機器と各種のデータを送信および受信可能とする。通信部140は、例えば、通信インタフェースを含んで構成される。所定の通信方式は、例えば、IEEE802.11、4G(4th Generation Mobile Communication System;第4世代移動通信システム)、5G(5th Generation Mobile Communication System;第5世代移動通信システム)などのいずれの規格で規定された方式であってもよい。
入出力部150は、所定の入出力方式を用いて他の部材もしくは機器と各種のデータを無線または有線で入力および出力可能とする。所定の入出力方式は、例えば、USB(Universal Serial Bus)、IEEE1394などのいずれの規格で規定された方式であってもよい。入出力部150は、例えば、入出力インタフェースを含んで構成される。
収音部160は、自部に到来する音声を収音し、収音された音声を示す音声データを制御部110に入出力部150を経由して出力する。収音部160は、マイクロホンを備える。収音部160の数は、1個に限られず、2個以上であってもよい。収音部160は、例えば、可搬型のワイヤレスマイクロホンであってもよい。ワイヤレスマイクロホンは、主に個々の所持者の発話音声を収音する。
操作部170は、使用者による操作を受け付け、受け付けた操作に応じた操作信号を制御部110に入出力部150を経由して出力する。操作部170は、タッチセンサ、マウス、キーボードなどの汎用の入力デバイスを備えてもよいし、ボタン、つまみ、ダイヤルなどの専用の部材を備えてもよい。
表示部180は、制御部110から入力される表示画面データなどの表示データに基づく表示情報、例えば、図2や図3に例示される表示画面を表示する。表示部180は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機エレクトロルミネッセンスディスプレイ(OLED:Organic Electro-luminescence Display)など、いずれの方式のディスプレイであってもよい。なお、表示部180をなすディスプレイの表示領域は、操作部170をなすタッチセンサの検出領域を重畳して一体化した単一のタッチパネルとして構成されてもよい。
(端末装置)
次に、本実施形態に係る端末装置200の構成例について説明する。端末装置200は、制御部210と、記憶部230と、通信部240と、入出力部250と、収音部260と、操作部270と、表示部280と、を含んで構成される。
制御部210は、各種の演算処理を行うことにより、端末装置200の機能を実現し、その機能を制御する。制御部210は、専用の部材により実現されてもよいが、プロセッサと、ROM、RAMなどの記憶媒体を備えてもよい。プロセッサは、予めROMに記憶された所定の制御プログラムを読み出し、読み出したプログラムをRAMに展開して、RAMの記憶領域を作業領域として用いる。プロセッサは、読み出したプログラムで記述された各種の命令で指示される処理を実行することにより、制御部210の機能を実現する。
制御部210は、通信部240を用いて会話支援装置100から表示画面データを受信し、受信した表示画面データを表示部280に出力する。表示部280は、制御部210から入力される表示画面データに基づいて表示画面を表示する。制御部210は、表示画面の表示中に、操作部270から文字を示す操作信号を受け付け、受け付けた1以上の文字で構成されるテキストを示すテキスト情報を会話支援装置100に通信部240を用いて送信する(テキスト入力)。この段階で受け付けられたテキストは、上記の第2テキストに相当する。
制御部210は、表示画面のテキスト表示領域内に割り当てられた表示テキストのうち、操作部270から入力される操作信号で指示される一部の区間を特定し、操作信号により表示位置の固定が指示されるとき、特定した区間を対象として表示位置の固定を示す固定指示情報を生成する(ピン止め指示)。制御部210は、通信部240を用いて生成した固定指示情報を会話支援装置100に送信する。
制御部210は、表示画面に割り当てられた固定テキストが、操作部270から入力される操作信号で指示されるとき、その固定テキストに対する表示位置の固定の解除を示す固定解除情報を生成する(ピン止め解除)。制御部210は、通信部240を用いて生成した固定解除情報を会話支援装置100に送信する。
制御部210は、表示画面のテキスト表示領域内に割り当てられた表示テキストのうち、操作部270から入力される操作信号で指示される一部の区間を特定し、操作信号により削除が指示されるとき、特定した区間を対象として表示テキストの削除を示すテキスト削除情報を生成する(テキスト削除)。制御部210は、通信部240を用いて生成したテキスト削除情報を会話支援装置100に送信する。
記憶部230は、制御部210における処理に用いられる各種のデータ、制御部210が取得した各種のデータを記憶する。記憶部230は、ROM、RAMなどの記憶媒体を含んで構成される。
通信部240は、所定の通信方式を用いてネットワークに無線または有線で接続し、他の機器と各種のデータを送信および受信可能とする。通信部240は、例えば、通信インタフェースを含んで構成される。
入出力部250は、所定の入出力方式を用いて他の部材もしくは機器と各種のデータを入力および出力可能とする。入出力部250は、例えば、入出力インタフェースを含んで構成される。
収音部260は、自部に到来する音声を収音し、収音された音声を示す音声データを制御部210に入出力部250を経由して出力する。収音部260は、マイクロホンを備える。収音部260により取得された音声データは、通信部240を経由して会話支援装置100に送信され、会話支援装置において音声認識処理がなされてもよい。
操作部270は、使用者による操作を受け付け、受け付けた操作に応じた操作信号を制御部210に入出力部250を経由して出力する。操作部270は、入力デバイスを備える。
表示部280は、制御部110から入力される表示画面データなどの表示データに基づく表示情報を表示する。表示部280は、ディスプレイを備える。なお、表示部280をなすディスプレイは、操作部270をなすタッチセンサと一体化して単一のタッチパネルとして構成されてもよい。
(表示例)
次に、本実施形態に係る表示画面の例について説明する。図2は、本実施形態に係る表示画面の一例を示す図である。図2に例示される表示画面は端末装置200の表示部280に表示されうる。さらに操作領域(後述)を含む表示画面は、会話支援装置100の表示部180に表示されうる。図2に例示される表示画面には発言ごとの表示テキストがそれぞれ表示枠(吹き出し)内に表示される。但し、図2に例示される表示画面には固定テキストは表示されていない。
図2に例示される表示画面には、テキスト表示領域td01、テキスト入力欄mi11、送信ボタンbs11、手書きボタンhw11およびピン留めボタンpn11が配置されている。テキスト表示領域td01は、表示画面の大部分(例えば、面積比で半分以上)の領域を占める。テキスト表示領域td01には、個々の発言ごとに取得元識別表示および表示枠のセットが配置される。会話支援装置100の表示処理部124は、表示画面を更新する際、表示テキスト情報が取得されるごとに、表示テキスト情報に付加された取得元識別情報に対応する取得元識別表示とその表示テキスト情報で示される表示テキストを配置した表示枠をテキスト表示領域内の各行に配置する。表示処理部124は、個々の表示枠の左上端に日時情報と右上端に削除ボタンを配置する。テキスト表示領域td01が取得元識別表示と表示枠のセットで満たされた後に新たな表示テキスト情報を取得するとき、表示処理部124は、既に配置された取得元識別表示と表示枠のセットを所定の方向(例えば、上方)に移動させ、テキスト表示領域td01の移動方向に対して末尾(例えば、下方)に生じる空き領域に新たな表示テキストが配置された表示枠と、その表示テキストに係る取得元識別表示のセットを配置する(スクロール)。表示処理部124は、テキスト表示領域td01外に移動した取得元識別表示と表示枠のセットを消去する。
取得元識別表示は、個々の発言の取得元を示す表示である。図2に示す例では、デバイス表示dp01、収音部表示mk11~mk13が、それぞれ機器dev01、マイクロホンMic01~Mic03を取得元として示す取得元識別表示に相当する。dev01は、第2テキストの取得元となる機器として端末装置200を示す略称である。Mic01~Mic03は、それぞれマイクロホンMic01~Mic03をそれぞれ示す略称である。表示処理部124は、自部に入力される第1テキスト情報と第2テキスト情報のそれぞれから取得元識別情報を抽出し、抽出した取得元識別情報で示される取得元を特定する。表示処理部124は、特定した取得元を示す文字を含めて取得元識別表示を生成する。表示処理部124は、取得元識別表示には、文字とともに、または文字に代えて個々の取得元を特定するための記号もしくは図形を含めてもよい。表示処理部124は、取得元識別表示に取得元に応じて異なる態様を設定し、その態様で表示させてもよい。取得元識別表示の態様は、例えば、背景の色、濃度、表示パターン(塗りつぶし、網掛けなど)、形状などのいずれであってもよい。
表示枠mp11~mp14は、個々の発言の表示テキストが配置される枠である。個々の表示枠の左上端、右上端には、それぞれ日時情報、削除ボタンが配置されている。日時情報は、表示枠内に配置された表示テキストが取得された日時を示す。削除ボタンbd11~bd14は、その押下により、それぞれ対応づけて配置される表示枠mp11~mp14と取得元識別情報の削除を指示するためのボタンである。本願では、「押下」とは、ボタンなどの画面部品を指示すること、その画面部品の表示領域内の位置を指示すること、または、その位置を示す操作信号を取得すること、との意味を含む。例えば、削除ボタンbd12の押下が検出されるとき、表示処理部124は、収音部表示mk12と表示枠mp12を消去し、表示枠mp12に付随した日時情報「17:22 04」および削除ボタンbd12を消去する。より具体的には、制御部210は、操作部270から受信した操作信号で指示された位置を表示領域内に含む削除ボタンを特定し、削除ボタンに対応する表示テキストを含む表示枠および取得元表示の消去を示すテキスト削除情報を生成し、会話支援装置100の表示制御情報取得部126に送信する。表示制御情報取得部126は、端末装置200から受信したテキスト削除情報を表示処理部124に出力する。表示処理部124は、表示制御情報取得部126からのテキスト削除情報で指示される表示枠と取得元表示を消去し、表示枠に付随した日時情報と削除ボタンを消去することにより表示画面を更新する。
テキスト入力欄mi11は、テキストの入力を受け付けるための欄である。制御部210は、操作部270から入力される操作信号で指示される文字を特定し、特定した文字をテキスト入力欄mi11内に順次配置する。テキスト入力欄mi11の大きさの範囲内で一度に受け付け可能とする文字数が制限される。この文字数は、一回の発話をなす典型的な文字数、単語数などの範囲(例えば、日本語の全角文字30~100文字以内)に基づいて予め定めておいてもよい。
送信ボタンbs11は、押下によりテキスト入力欄mi11に配置された文字で構成されるテキストの送信を指示するためのボタンである。制御部210は、操作部270から入力される操作信号で送信ボタンbs11が指示されるとき、その時点でテキスト入力欄mi11に配置されたテキストを示すテキスト情報を会話支援装置100のテキスト取得部118に送信する。
手書きボタンhw11は、押下により手書き入力を指示するためのボタンである。制御部210は、操作部270から入力される操作信号で手書きボタンhw11が指示されるとき、予め記憶部230に記憶させた手書き入力画面データを読み出し、表示部280に出力する。表示部280は、制御部210から入力された手書き入力画面データに基づいて手書き入力画面(図示せず)を表示する。制御部210は、操作部270から入力される操作信号で手書き入力画面内の位置を逐次に特定し、特定した位置の軌跡で構成される曲線を示す手書き入力情報を会話支援装置100に送信する。会話支援装置100の表示処理部124は、端末装置200から手書き入力情報を受信するとき、表示画面内の所定の位置に手書き表示領域を設定する。手書き表示領域は、テキスト表示領域の範囲内でもよいし、その範囲外であってもよい。表示処理部124は、設定した手書き表示領域内に手書き入力情報が示す曲線を配置することにより、表示画面を更新する。
ピン留めボタンpn11は、テキスト表示領域td01内に表示された表示テキストのうち、その直前に指定される区間内の表示テキストの表示位置を、押下により所定の位置に固定することを指示するためのボタンである。図2に示す例では、表示位置の固定対象とする区間は、表示枠により指定可能とする。より具体的には、制御部210は、操作部270から入力される操作信号で示される位置を表示領域内に含む表示枠を、表示位置の固定対象とする表示テキストを配置した表示枠として定めることができる。制御部210は、その直後に、操作部270からピン留めボタンpn11を示す操作信号が入力されるとき、特定した表示テキストを対象として表示位置の固定を指示するための固定表示情報を生成し、生成した固定表示情報を会話支援装置100に送信する。会話支援装置100の表示処理部124は、固定表示情報で指示される表示テキストを固定テキストとして所定の固定表示領域fd01(図3)に配置する。例えば、表示枠mp13が指示された直後に、ピン留めボタンpn11を押下して、表示枠mp13に配置された表示テキスト「このテキストを書き換えます」の表示位置が所定の位置に固定される。表示枠mp14が指示された直後に、ピン留めボタンpn11を押下して、表示枠mp14に配置された表示テキスト「この部分もう一度お願いします」の表示位置が所定の位置に固定される。なお、会話支援装置100の表示処理部124は、固定テキストを所定の表示位置に配置する際、ピン留めボタンpn11に代えて、ピン留め解除ボタンpn12(図3)を配置して、表示画面を更新してもよい。これにより、一度に表示される固定テキストの数が1個に制限される。また、表示処理部124は、固定テキストを表示画面に表示させている場合には、表示制御情報取得部126から入力される固定指示情報を棄却してもよい。
表示処理部124は、テキスト処理部120から新たに入力される表示テキスト情報が、第2テキスト情報に基づく表示テキスト情報であって、その表示テキスト情報が示す表示テキストを対象として示す固定指示情報が表示制御情報取得部126から入力されることがある。つまり、制御部110としては、第2テキスト情報と同時に固定指示情報が取得される。その場合には、表示処理部124は、その表示テキストを固定テキストとして含む表示枠を固定表示領域に割り当ててもよい。表示処理部124は、その表示テキストを含む表示枠をテキスト表示領域に割り当てて表示画面を更新してもよいし、その表示テキストをテキスト表示領域に割り当てずに表示画面を更新してもよい。テキスト表示領域に割り当てない場合には、表示処理部124は、テキスト表示領域に既に割り当てた表示テキストの位置を移動(スクロール)しない。利用者がテキスト入力とピン留めを同時に指示するため、表示画面にはピン留め送信ボタンがさらに表示されてもよい。端末装置200の制御部210は、操作部270からピン留め送信ボタンを指示する操作信号が入力されるとき、既に受け付けたテキストを示すテキスト情報と、そのテキストを対象として示す固定指示情報を会話支援装置100に送信する。
表示処理部124は、固定テキストを他の表示テキストよりも優先して表示させてもよい。例えば、表示処理部124は、固定テキストの表示態様を表示テキストよりも目立つ表示態様を設定する。より目立つ態様とは、文字の太さが太いこと、装飾を付加すること、大きさが大きいこと、表示枠内の背景とのコントラストが高いこと、彩度が高いこと、表示位置が垂直方向により高い位置にあること、などのいずれか、または、それらの任意の組み合わせでありうる。表示処理部124は、固定表示領域の表示枠の一部または全部の領域を、テキスト表示領域の表示枠の一部(例えば、テキスト表示領域の最上部に配置された表示枠の一部)と重なる領域に設定してもよい。表示処理部124は、重なる領域において、固定表示領域の表示枠(固定テキストを含む)を表示させ、テキスト表示領域の一部に表示される表示枠(表示テキストを含む)を表示させない。
次に、本実施形態に係る表示画面の他の例について説明する。図3は、本実施形態に係る表示画面の一例を示す図である。図2に例示される表示画面には発言ごとの表示テキストの他、固定テキストが表示されている。以下、図2に示す例との差異点を主として説明する。
図3に例示される表示画面には、テキスト表示領域td01、テキスト入力欄mi11、送信ボタンbs11および手書きボタンhw11が配置され、ピン留めボタンpn11(図2)に代えてピン留め解除ボタンpn12が配置される。また、当該表示画面には、さらに固定表示領域fd01と操作領域fw01が配置される。図3に例示される表示画面は、会話支援装置100の表示部180に表示されうる。当該表示画面のうち、操作領域fw01を除く部分については、端末装置200の表示部280にも表示されうる。
固定表示領域fd01は、表示画面のうち固定テキストを表示させる領域である。図3に示す例では、テキスト表示領域td01と同じ列において、その上部に割り当てられている。固定表示領域fd01には、デバイス表示dp01と表示枠pp01が、その順序で一行に並置される。表示枠pp01には、固定テキストが配置されている。表示枠pp01の左上、右上には、それぞれ日時情報とピンマークpn01が配置されている。表示テキストから固定テキストが特定されるとき、表示処理部124は、固定テキストを示す表示テキスト情報に付加された取得元識別情報に対応する取得元識別表示とその表示テキスト情報で示される表示テキストを配置した表示枠を固定表示領域fd01に配置する。表示処理部124は、表示枠の左上端に日時情報と右上端にピンマークを配置する。
ピンマークpn01は、先端が尖った形状を有し、基端と先端がそれぞれ表示枠pp01の外部、内部に属する位置ならびに方向に配置される。ピンマークpn01は、その終点で指示される表示枠pp01に配置された固定テキストの表示位置が固定されていることを示す標識である。
ピン留め解除ボタンpn12は、固定テキストの表示位置の固定の解除を、押下により指示するためのボタンである。より具体的には、端末装置200の制御部210は、操作部270からピン留め解除ボタンpn12を示す操作信号が入力されるとき、固定テキストの表示位置の固定の解除を指示するための固定解除情報を生成し、生成した固定解除情報を会話支援装置100に送信する。会話支援装置100の表示処理部124は、表示制御情報取得部126から固定解除情報が入力されるとき、固定表示領域fd01に配置した取得元識別表示、表示枠、表示枠に付随した時刻情報およびピン留めボタンを消去する。なお、固定テキストとして特定した区間内の表示テキストを消去した場合には、表示処理部124は、その表示テキストを示す表示テキスト情報に付加された発言識別情報に基づいて、その発言の順序を特定する。表示処理部124は、特定した順序に応じた位置に、その表示テキストを含む表示枠と、その表示テキストに係る取得元識別表示のセットを再配置する。但し、表示位置が固定された期間における会話の進行により、その位置がテキスト表示領域td01の範囲外となる場合がある。その場合には、表示処理部124は、その表示枠と、その表示テキストに係る取得元識別表示は、テキスト表示領域td01内に配置されないため表示画面には表れない。なお、会話支援装置100の表示処理部124は、固定テキストの表示位置の固定を解除する際、ピン留め解除ボタンpn12に代えて、ピン留めボタンpn11(図2)を配置して、表示画面を更新してもよい。これにより、再度、表示テキストの表示位置の固定が指示されうる。また、表示処理部124は、固定テキストを表示画面に表示させている場合には、表示制御情報取得部126から入力される固定解除情報を棄却してもよい。なお、表示処理部124は、固定テキストの表示に係る固定指示情報の取得元となる機器と同一の機器(例えば、端末装置200)から取得される固定解除情報を採用し、それ以外の機器から取得される固定解除情報を棄却してもよい。これにより、表示位置の固定を指示した参加者以外の参加者による固定の解除を回避することができる。そこで、表示制御情報取得部126は、通信部140から入力される固定指示情報もしくは固定解除情報を、取得元の機器識別情報に付加して表示処理部124に出力する。同様に、表示制御情報取得部126は、入出力部150から入力される操作信号から取得される固定指示情報もしくは固定解除情報を、その操作信号の取得元の機器識別情報に付加して表示処理部124に出力する。
なお、ピンマークpn01は、ボタンとして機能させてもよい。端末装置200の制御部210は、ピンマークpn01が操作により指示されるときに、固定テキストの表示位置の固定を解除してもよい。ここで、制御部210は、固定テキストを表示させ、操作部270からピンマークpn01を示す操作信号が入力されるとき、固定テキストの表示位置の固定の解除を指示するための固定解除情報を生成し、生成した固定解除情報を会話支援装置100に送信すればよい。その場合には、ピン留め解除ボタンpn12は省略されてもよい。
操作領域fw01は、会話支援装置100に対する操作や動作状況の表示のための各種の画面部品が配置される表示領域である。操作領域fw01には開始ボタンbs01、終了ボタンbs02、質問表示bs03、設定ボタンbs04、機器表示dv01、収音部表示mc01、機能ボタン群fn01が配置される。
開始ボタンbs01は、押下により動作開始、つまり、会話支援処理(図4)の開始を指示するためのボタンである。
終了ボタンbs02は、押下により動作終了、つまり、会話支援処理(図4)の終了を指示するためのボタンである。
質問表示bs03は、その時点でいずれかの参加者が質問中であることを示す表示である。会話支援装置100の表示処理部124は、固定テキストを所定の位置に固定して表示させているとき、質問表示bs03を操作領域fw01内に配置することで表示させ、それ以外のときに質問表示bs03を表示させなくてもよい。これにより、固定テキストが質問内容を示すことを参加者に意識させることができる。
設定ボタンbs04は、押下により設定画面を表示させるためのボタンである。モード制御部128は、設定画面の表示中に、取得される操作信号に応じて会話支援装置100の動作に係る各種のパラメータを設定可能とする。
機器表示dv01は、第1テキスト情報が取得される機器を示す表示である。図3に示す例では、dev01で指示される端末装置200が第1テキスト情報の取得元として示される。表示処理部124は、通信部140または入出力部150から入力される機器識別情報で示される機器を、第1テキスト情報その他のデータを取得可能とする機器として特定することができる。通信部140、入出力部150は、それぞれ自部と接続された機器を特定し、特定した機器を示す機器識別情報を取得することができる。なお、モード制御部128は、機器表示dv01の一態様として特定した機器ごとに機器ボタンを設定し、機器ボタンへの押下により、押下された機器ボタンに対応する機器からの各種データの入力の有無を設定可能としてもよい。
収音部表示mc01は、音声データが取得される収音部を示す表示である、図3に示す例では、Mic01、Mic02でそれぞれ指示される収音部160が示される。表示処理部124は、入出力部150から入力される機器識別情報で示される収音部160を取得可能とする機器として特定することができる。入出力部150は、自部と接続された収音部160を特定し、特定した収音部160を示す機器識別情報を取得することができる。なお、モード制御部128は、収音部表示mc01の一態様として特定した収音部160ごとに収音部ボタンとして機能させ、収音部ボタンへの押下により、押下された収音部ボタンに対応する収音部160からの音声データの入力の有無を設定可能としてもよい。
機能ボタン群fn01は、押下により、その機能を指示するためのボタンの集合である。図3に示す例では、機能ボタン群fn01には、全会話録音ボタン、削除文録音ボタンおよび議事録ボタンが含まれる。
全会話録音ボタンは、押下により全会話録音ボタンを指示するためのボタンである。全会話録音とは動作中に行われた会話における音声データを全て記録することである。例えば、モード制御部128は、全会話録音ボタンを示す操作信号が入力されるとき、全会話録音を示すモード制御情報を議事録作成部122に出力する。議事録作成部122は、収音部160から入力される音声データを議事録情報と対応付けて記憶部130に記憶する。議事録作成部122は、入力される音声データと、その音声データに基づいて生成された表示テキストと対応付けて記憶部130に記憶してもよい。音声分析部112は発話ごとの音声特徴量とその発話に係る音声データを対応付けて音声認識部114に出力する。音声認識部114は、発話ごとの第1テキスト情報とその発話に係る音声データを対応付けてテキスト処理部120に出力する。そして、テキスト処理部120は、発話ごとの第1テキスト情報に基づく表示テキスト情報と、その発話に係る音声データを対応付けて議事録作成部122に出力する。
削除文録音ボタンは、押下により削除文録音を指示するためのボタンである。削除文録音とは、削除されたテキストで発言内容を示す音声の音声データを記録することである。例えば、モード制御部128は、削除文録音ボタンを示す操作信号が入力されるとき、削除文録音を示すモード制御情報を議事録作成部122に出力する。また、表示制御情報取得部126は、取得した操作信号からテキスト削除情報を抽出するとき、抽出したテキスト削除情報を議事録作成部122にも出力する。議事録作成部122は、モード制御部128から削除文録音を示すモード制御情報が入力されるとき削除文録音を行う。即ち、議事録作成部122は、上記のように発話ごとに表示テキスト情報と音声データを記憶部130に対応付けて記憶する。そして、表示制御情報取得部126から入力されるテキスト削除情報で指示される表示テキスト情報を消去し、消去する表示テキスト情報に対応する音声データは消去せずに記憶部130に記憶したままとする。
議事録ボタンは、押下により議事録作成を指示するためのボタンである。例えば、モード制御部128は、議事録ボタンを示す操作信号が入力されるとき、議事録作成を示すモード制御情報を議事録作成部122に出力する。議事録作成部122は、モード制御部128から議事録作成を示すモード制御情報が入力されるとき、上述したように議事録情報を生成する。
(会話支援処理)
次に、本実施形態に係る会話支援処理の例について説明する。図4は、本実施形態に係る会話支援処理の例を示すフローチャートである。但し、端末装置200からテキスト入力が行われ、入力されたテキストが表示テキストとしてスクロールの対象となり、さらに固定テキストとしてピン留め表示およびピン留め解除の対象となる場合を例にする。なお、次の説明では、特に断らない限り、取得元識別表示、時刻表示、削除ボタンおよびピンマークは、それぞれ対応する表示枠に従って表示または消去されることを仮定し、その説明を省略する。
(ステップS102)端末装置200の制御部210は、表示画面を表示させているとき、入力される操作信号で示される1以上の文字列で構成されるテキストを受け付ける。(テキスト入力)
(ステップS104)端末装置200の制御部210は、入力される操作信号で表示画面の送信ボタンが指示(押下)されるとき、受け付けたテキストを示す第2テキスト情報を会話支援装置100に送信する。会話支援装置100のテキスト取得部118は、端末装置200から第2テキスト情報を受信する。(テキスト受信)
(ステップS106)会話支援装置100の表示処理部124は、表示画面のテキスト表示領域に既に割り当てた表示テキストを含む表示枠を所定方向に移動させる。(表示テキストスクロール)表示処理部124は、テキスト表示領域外に移動した表示テキストの表示枠を消去するとともに、テキスト表示領域のうち移動により生じた空き領域に受信された第2テキスト情報に基づく第2テキストを表示テキストとして含む表示枠を割り当て、その表示テキストを表示画面内に表示させる。
(ステップS108)端末装置200の制御部210は、入力される操作信号によりテキスト表示領域に配置された表示枠のうちいずれか1つの表示枠を特定する。(対象テキスト指定)例えば、自部が受け付けた最新のテキストを表示位置の固定対象とする表示テキストとして含む表示枠が特定されうる。
(ステップS110)制御部210は、入力される操作信号で表示画面のピン留めボタンが指示されるとき(ピン留めボタン押下)、特定した表示枠内の区間の表示テキストを表示位置の固定対象として示す固定指示情報を会話支援装置100に送信する。会話支援装置100の表示制御情報取得部126は、端末装置200から受信した固定指示情報を表示処理部124に出力する。
(ステップS112)会話支援装置100の表示処理部124は、表示制御情報取得部126から入力される固定指示情報で指示される表示テキストを特定し、特定した表示テキストを固定テキストとして採用し、採用した固定テキストを含む表示枠を表示画面内の固定表示領域に割り当てる(ピン留め表示)。ここで、音声データに基づく第1テキスト、操作信号に基づく第2テキストのいずれも、表示位置が固定される固定テキストとなりうる。
(ステップS114)会話支援装置100の表示処理部124は、表示制御情報取得部126からの固定解除情報の入力を待ち受ける。(ピン留め解除指示)固定解除情報が入力されるとき(ステップS114 YES)、表示処理部124は、ステップS116の処理に進む。)固定解除情報が入力されないとき(ステップS114 NO)、表示処理部124は、ステップS114の処理を繰り返す。他方、端末装置200の制御部210は、入力される操作信号で表示画面のピン留め解除ボタンが指示(押下)されるとき、固定テキストに対する表示位置の固定の解除を示す固定解除情報を会話支援装置100に送信する。会話支援装置100の表示制御情報取得部126から受信した固定解除情報を表示処理部124に出力する。
(ステップS116)会話支援装置100の表示処理部124は、固定テキストを含む表示枠を固定表示領域から消去する。(ピン留め解除)
(ステップS118)表示処理部124は、新たな表示テキスト情報がテキスト処理部120から入力されるごとに、テキスト表示領域に既に割り当てた表示テキストを含む表示枠を移動させ、移動により生じた空き領域に入力されたテキスト情報で示される表示テキストを含む表示枠を割り当てる。移動の対象となる表示テキストには固定テキストとして指示されたテキストも含まれる。(対象テキストスクロール)
なお、ステップS112において、会話支援装置100の表示処理部124は、固定テキストとして採用した表示テキストを含む表示枠をテキスト表示領域において維持してもよいし、消去してもよい。その表示枠を維持する場合には、表示位置の固定対象となる区間の表示テキストが固定テキストとして複製(コピー)され、その表示テキストもテキスト表示領域に残される。そのため、ステップS118の処理が開始される前であっても、固定テキストの複製元となる表示テキストも移動の対象となりうる。他方、その表示枠を消去する場合には、ステップS118の処理に進む際、表示処理部124は、固定テキストとして採用していた表示テキストを含む表示枠をテキスト表示領域に再配置する。
表示処理部124は、その表示枠の位置を、例えば、その表示テキスト(以下、「再配置テキスト」)が取得された順序に対応した位置として、再配置テキストの直前の表示テキストの表示枠と、再配置テキストの直後の表示テキストの表示枠の間に定める。表示処理部124は、その再配置テキストを示す表示テキスト情報に付加された発言識別情報に基づいて特定することができる。再配置するための表示領域を確保するため、表示処理部124は、再配置テキストよりも前に取得された表示テキストのそれぞれの表示枠を所定の方向に移動させ、テキスト表示領域の範囲外に移動した表示枠を消去する。但し、定めた再配置テキストの表示枠の位置がテキスト表示領域外となる場合には、表示処理部124は、その表示枠をテキスト表示領域内に割り当て、表示画面に含めて表示させなくてもよい。
なお、表示処理部124は、再配置テキストの表示枠の位置を、その時点における最新の表示テキストの表示枠と同様に、テキスト表示領域の末尾となる位置に定め、定めた位置にその表示枠を配置してもよい。その場合には、表示処理部124は、その時点においてテキスト表示領域に既に割り当てた表示テキストを含む表示枠を移動させ、移動後の位置がテキスト表示領域外となる表示枠を消去する。これにより、最新の表示テキストと、固定テキストとして表示させた表示テキストとが隣接して表示される。例えば、固定テキストに現れた質問に対する回答が最新の表示テキストとして表示される。よって、両者の関連性を利用者に対して直感的に理解させることができる。
以上に説明したように、本実施形態に係る会話支援装置100は、音声データに対して音声認識を行い、発言内容を示すテキストである第1テキストを生成する音声認識部114と、操作に応じて発言内容を示すテキストである第2テキストを取得するテキスト取得部118を備える。また、会話支援装置100は、表示部180に表示させた表示テキストの位置を移動させ、第1テキストと第2テキストの少なくともいずれかのテキストを移動により生じる空き領域に表示テキストとして表示させる表示処理部124を備える。表示処理部124は、操作に応じて第2テキストの表示位置の固定が指示されるとき、第2テキストを固定テキストとして所定の表示位置に固定して表示部180に表示させる。この構成により、参加者の操作に応じて指示された区間の第2テキストの表示位置が所定の表示位置に固定される。そのため、新たな発言内容を示すテキストが取得されても、他の表示テキストのように表示位置が移動しないため、会話を妨げずに固定テキストで示される発言内容を会話の参加者(例えば、聴覚障がい者)に対してより確実に認識させることができる。
また、表示処理部124は、固定テキストを他の表示テキストよりも優先して表示させてもよい。この構成によれば、表示画面に接した参加者に、他の表示テキストよりも容易に固定テキストに注目させることができる。そのため、固定テキストで示される発言内容を会話の参加者に対してより確実に認識させることができる。
また、新たに取得される第2テキストの表示位置の固定が指示されるとき、表示処理部124は、表示テキストの位置を移動させず、当該第2テキストを表示させなくてもよい。この構成によれば、参加者は第2テキストの入力と同時に、その第2テキストの表示位置の固定を指示できるとともに、その時点において既に表示された表示テキストの位置も固定されるので、参加者に対して表示された固定テキストをより印象付けることができる。
また、表示処理部124は、音声データを取得した収音部160、260または端末装置200を示す表示(例えば、収音部表示)を第1テキストと対応付けて表示させ、第2テキストを取得した機器(例えば、端末装置200、操作部170)を示す表示(例えば、デバイス表示)を第2テキストと対応付けて表示させてもよい。この構成によれば、表示に接した利用者は、発言内容を示す第1テキストの変換元の音声データを取得元または第2テキストの取得元となる機器、またはその機器を主に用いる利用者を直感的に把握することができる。
また、表示処理部124は、操作に応じて固定テキストの表示位置の固定に対する解除が指示されるとき、固定テキストの表示位置の固定を解除してもよい。この構成によれば、固定テキストの表示位置の固定が解除されるので、他の参加者に対して固定テキストに対する注目を解除させ、もとの議題への復帰または他の議題への変更を促すことができる。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、収音部160、操作部170、表示部180は、会話支援装置100と必ずしも一体化されていなくてよく、それらのいずれかまたは組み合わせは、無線または有線で各種のデータを送受信可能に接続できれば、会話支援装置100と別体であってもよい。
音声分析部112は、収音部160に代え、または収音部160とともに、端末装置200の収音部260から音声データを取得してもよい。
テキスト取得部118は、端末装置200の操作部270に代え、自装置の操作部170から入力される操作信号に基づく第2テキスト情報を取得してもよい。
テキスト取得部118が端末装置200から第2テキスト情報を取得しない場合には、端末装置200に表示画面データを送信しなくてもよい。
また、表示テキストを囲む表示枠の形状は、図2、図3に例示される吹き出しに限られず、表示テキストを収容できれば、楕円、長方形、平行四辺形、雲形などいずれの形状であってもよい。また、個々の表示枠の水平方向の幅と垂直方向の高さは一定値に統一されてもよい。その場合、新たな表示テキストの割り当ての際における垂直方向の移動量は、垂直方向の高さと、互いに隣接する表示枠間の間隔の等しくなる。表示テキストは、表示枠内に収容して表示されずに、発話ごとに改行して表示されてもよい。その他、表示画面内を構成するボタンや入力欄などの各表示要素の位置、大きさは任意であり、それらの一部が省略されてもよいし、図2、図3に例示されていない表示要素が含まれてもよい。また、表示画面に付される文言や表示要素の名称は、本願の実施形態の趣旨を逸脱しない限り、任意に設定可能である。