JP6339529B2

JP6339529B2 - 会議支援システム、及び会議支援方法

Info

Publication number: JP6339529B2
Application number: JP2015117783A
Authority: JP
Inventors: 卓弥村山; 加藤　泰久; 泰久加藤; 篤信木村; 晶郁寺中; 孔希草野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-06-10
Filing date: 2015-06-10
Publication date: 2018-06-06
Anticipated expiration: 2035-06-10
Also published as: JP2017004270A

Description

本発明は、会議における議論内容を容易に把握することを可能とする技術に関連するものである。

従来から、会議中又は会議終了後に会議を振り返るための種々の手法が提案されている。例えば特許文献１には、会議参加者にセンサを身に着けさせ、センサでとらえたイベントが発生したタイミングや参加者の発話における音声ピッチの高低を色の濃淡、テキストメモにより録音トラックにインデキシングすることで、特定の出来事があった時点の会議の発話を振り返りやすくしている。

また、非特許文献１に記載の会議録作成支援システムでは、会議音声の音声認識を実施して自動で議事録を作成し、職員が修正することにより議事録を完成させ、テキストにより会議内容を可視化することを可能にしている。

特開２００４−１７３０５８号公報

https://www.ntt-east.co.jp/business/solution/minutes/、２０１５年４月９日検索

上述したように、従来技術では、会議を振り返るための手法として、特定値の生体情報が得られた場合に音声で会議を振り返る手法（特許文献１）や、会議の内容をテキストで振り返る（非特許文献１）手法等があるが、これらの技術では、長時間の会議における振り返りに時間がかかり、効率的に会議を振り返ることは難しい。

本発明は上記の点に鑑みてなされたものであり、会議の振り返りを効率的に行うことを可能とする技術を提供することを目的とする。

本発明の実施の形態によれば、会議の支援を行う会議支援システムであって、
会議における発話を発話テキストに変換する変換手段と、
前記発話テキストをディスプレイに表示するテキスト表示手段と、
イラストと、イラストに対応する属性情報とを記憶するイラスト記憶手段と、
前記テキスト表示手段により表示された発話テキストからユーザによりあるテキストが選択された場合に、当該テキストを属性情報として有する１つ又は複数のイラストを前記イラスト記憶手段から取得するイラスト検索手段と、
前記１つ又は複数のイラストを前記ディスプレイに表示するイラスト表示手段と、
前記イラスト表示手段により表示された前記１つ又は複数のイラストからユーザにより選択されたイラストを、会議に関するテキストとともに前記ディスプレイにおける所定の表示領域に表示する編集手段と
を備えることを特徴とする会議支援システムが提供される。

また、本発明の実施の形態によれば、会議の支援を行う会議支援システムが実行する会議支援方法であって、
前記会議支援システムは、イラストと、イラストに対応する属性情報とを記憶するイラスト記憶手段を備えており、
会議における発話を発話テキストに変換する変換ステップと、
前記発話テキストをディスプレイに表示するテキスト表示ステップと、
前記テキスト表示ステップにより表示された発話テキストからユーザによりあるテキストが選択された場合に、当該テキストを属性情報として有する１つ又は複数のイラストを前記イラスト記憶手段から取得するイラスト検索ステップと、
前記１つ又は複数のイラストを前記ディスプレイに表示するイラスト表示ステップと、
前記イラスト表示ステップにより表示された前記１つ又は複数のイラストからユーザにより選択されたイラストを、会議に関するテキストとともに前記ディスプレイにおける所定の表示領域に表示する編集ステップと
を備えることを特徴とする会議支援方法が提供される。

本発明の実施の形態によれば、会議の振り返りを効率的に行うことを可能とする技術が提供される。

本発明の実施の形態に係るグラフィックレコーディングシステムの構成図である。音声入力装置１００のブロック図である。サーバ２００のブロック図である。クライアント端末３００のブロック図である。クライアント端末３００のディスプレイに表示される画面イメージを示す図である。ユーザがテキストを選択してからイラストの検索結果が表示されるまでの処理手順を示すフローチャートである。サーバ２００のイラスト蓄積部２０４に蓄積される情報の例を示す図である。ユーザ操作による検索表示結果イラストの選択からイラスト表示順序変更処理が実施されるまでの処理手順を示すフローチャートである。イラスト表示順序変更処理の手順を示すフローチャートである。意図するポーズのイラストを作成する手順のフローチャートである。意図するポーズのイラストを作成する手順のイメージを示す図である。３Ｄモデルを回転させる処理の手順を示すフローチャートである。３Ｄモデルを回転させる処理のイメージを示す図である。基本表情の選定、及び表情の程度選定のイメージを示す図である。サーバ２００のブロック図である。クライアント端末３００のブロック図である。振り返りに必要な情報を議事録の背景色に反映した議事録の可視化イメージを示す図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（システム構成、装置構成）
図１に、本発明の実施の形態に係るグラフィックレコーディングシステムの全体構成の一例を示す。本実施の形態に係るグラフィックレコーディングシステムは、イラストとテキストで会議を記録するためのシステムである。また、当該システムを会議支援システムと称してもよい。

図１に示すように、本実施の形態に係るグラフィックレコーディングシステムは、ＬＡＮやインターネット等のネットワーク４００と、ネットワーク４００に接続したサーバ２００と、ネットワーク４００に接続したクライアント端末３００と、ネットワーク４００に接続した音声入力装置１００とを備える。

クライアント端末３００は、ＰＣ（パーソナルコンピュータ）、タブレット端末、電子黒板等の装置であり、議事録作成者がテキスト編集に利用するキーボードと、イラストの検索、編集操作に利用するマウスとを備えている。クライアント端末３００はキーボード、マウスの代わりにタッチディスプレイを備えていてもよい。また、キーボード、マウス、タッチディスプレイの全てを備えていてもよい。音声入力装置１００は、音声会議装置、マイクを接続したＰＣ等である。

なお、図１ではサーバ２００とクライアント端末３００と音声入力装置１００をそれぞれ別の構成要素として記載しているが、これらを一つのＰＣ上に構成してもよい。また、サーバ２００とクライアント端末３００を１つのＰＣ上に構成してもよい。

このグラフィックレコーディングシステムでは、音声入力装置１００に入力された音声情報はネットワーク４００を介してサーバ２００に送信される。サーバ２００では、受信した音声情報を蓄積し、音声情報をもとに作成したテキストをネットワーク４００を介してクライアント端末３００へ送信する。またサーバ２００では、イラストを蓄積し、クライアント端末３００がネットワーク４００を介してサーバ２００へ送信する検索要求に対し、該当イラストをクライアント端末３００へ送信する。クライアント端末３００では、テキスト、イラストをサーバ２００から受信し、表示する。

続いて、音声入力装置１００、サーバ２００、及びクライアント端末３００の装置構成について説明する。

＜音声入力装置１００の構成、動作＞
図２は、音声入力装置１００の構成をその内部での処理の流れに即して記したブロック図である。図２に示すとおり、音声入力装置１００は、音声入力部１０１、時間管理部１０２、符号化部１０３、符号化データ送信部１０４を備える。

音声入力部１０１は、マイクからの音声信号を入力し、音声検出、ノイズ除去、増幅を行い、これらの処理がなされた音声信号を符号化部１０３へ入力する。ここで、音声検出、ノイズ除去、増幅処理は音声会議装置や携帯電話等に利用されている一般的な技術の利用を想定している。当該音声検出処理により音声が検出された場合に、ノイズ除去、増幅が行われ、符号化部１０３へ処理された音声信号が入力される。

時間管理部１０２は、時刻情報を管理し、符号化部１０３へ時刻情報を入力する。また、符号化部１０３は音声信号を符号化し、符号化データ送信部１０４が当該符号化された音声信号を入力として、ネットワークへ符号化された音声信号を出力として送信する。当該音声信号には時刻情報が含まれる。

＜サーバ２００の構成＞
次に、サーバ２００の構成について説明する。図３は、サーバ２００の構成をその内部での処理の流れに即して記したブロック図である。

図３に示すとおり、サーバ２００は、符号化データ受信部２０１、音声情報復号化部２０２、音声認識処理部２０３、イラスト蓄積部２０４、テキスト符号化部２０５、符号化データ送信部２０６、テキスト選択情報復号化部２０７、イラスト検索部２０８、イラスト符号化部２０９を備える。各機能部の動作については後述する。

＜クライアント端末３００の構成＞
次に、クライアント端末３００の構成について説明する。図４は、クライアント端末３００の構成をその内部での処理の流れに即して記したブロック図である。

図４に示すとおり、クライアント端末３００は、符号化データ受信部３０１、テキスト情報復号化部３０２、テキスト表示部３０３、テキスト選択・編集部３０４、選択テキスト情報符号化部３０５、符号化データ送信部３０６、ユーザ操作入力部３０７、イラスト情報復号化部３０８、イラスト表示部３０９、イラスト選択部３１０、議事録編集部３１１、イラスト表示順序変更処理部３１２を備える。各機能部の動作については後述する。

本実施の形態（後述する変形例を含む）における音声入力装置１００、サーバ２００、及びクライアント端末３００のいずれの装置も、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、当該装置が有する機能は、コンピュータに内蔵されるＣＰＵやメモリ、ハードディスク等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

（システムの動作）
以下、本実施の形態に係るグラフィックレコーディングシステムの使用場面等に対応させて、上述したサーバ２００及びクライアント端末３００の処理動作について説明する。

＜サーバ２００における基本的な動作＞
まず、サーバ２００が音声信号を受信する際の動作を説明する。サーバ２００（図３）における符号化データ受信部２０１が、音声入力装置１００から送信されてくる音声信号を受信する。

符号化データ受信部２０１で受信した音声信号は音声情報復号化部２０２へ入力され、音声情報復号化部２０２で復号化される。復号化された音声信号は音声情報復号化部２０２からの出力となり、音声認識処理部２０３へ入力される。音声認識処理部２０３に入力された音声信号はテキスト化され、出力される。音声認識処理部２０３で実施する音声認識処理は携帯電話の音声認識アプリケーション等で利用されている一般的な技術の利用を想定している。

音声認識処理部２０３から出力されたテキストは、単語単位でイラスト蓄積部２０４に蓄積されているイラストのキーワードと照合され、イラスト蓄積部２０４に蓄積されているイラストのキーワードと合致するテキストか否かを示す情報が単語単位で付与される。

イラストのキーワードと合致するテキストか否かの情報が付与されたテキストはテキスト符号化部２０５へ入力され、符号化されて出力される。出力された符号化テキストは符号化データ送信部２０６の入力となり、符号化データ送信部２０６は当該符号化テキストをネットワーク４００を介してクライアント端末３００に送信する。

＜テキスト表示、テキスト選択、イラスト検索結果表示に係る動作＞
次に、クライアント端末３００においてテキストが表示され、テキストの選択がなされ、サーバ２００により実行されたイラスト検索の結果が表示されるまでの動作を説明する。

クライアント端末３００（図４）の符号化データ受信部３０１は、サーバ２００から送信されてくるテキスト情報を受信する。

符号化データ受信部３０１で受信したテキスト情報はテキスト情報復号化部３０２へ入力され、復号化されたテキストが出力として生成される。テキスト情報復号化部３０２から出力されたテキストはテキスト表示部３０３へ入力され、当該テキストは、テキスト表示部３０３の出力としてクライアント端末３００のディスプレイに表示される。

クライアント端末３００のディスプレイに表示される画面イメージを図５に示す。図５の音声認識結果テキストと記されている表示領域にテキスト表示部３０３の出力が表示される。表示領域中斜体の単語が、サーバ２００におけるイラスト蓄積部２０４に蓄積されているイラストのキーワードと合致するテキストであり、イラストの検索が可能な単語であることを示す。図５に示す例では、「バス」、「運転手」、「タクシー」について、キーワードと合致したテキストであることが示されている。

ユーザは、ディスプレイに表示されたテキストを選択することで、テキストに対応するイラストを表示させることができる。より詳細には以下のとおりである。

ディスプレイに表示されたテキストに対しユーザはマウス等による選択操作を実施することで、選択操作が実施されたテキストをイラスト検索のキーワードとし、検索することが可能となる。クライアント端末３００（図４）のテキスト選択・編集部３０４は、マウス等による選択操作がなされたテキストを取得し、当該テキストを選択テキスト情報符号化部３０５へ入力する。

図５における音声認識結果テキスト欄中のテキストの囲いはユーザがテキスト選択を行った状態のイメージである。この状態で検索ボタンを押下することで検索開始となる。

ユーザがテキストを選択した後、イラストが表示されるまでの処理について、図６に示すフローチャートの手順に沿って説明する。

図６のステップＳ１０１では、選択されたテキストをクライアント端末３００からサーバ２００へ送信する処理が行われる。すなわち、検索ボタンの押下に応じて、クライアント端末３００（図４）の選択テキスト情報符号化部３０５は、テキスト選択・編集部３０４から入力されたテキストを符号化し、符号化データ送信部３０６への入力とし、符号化データ送信部３０６は符号化されたテキストをサーバ２００へ送信する。

図６のステップＳ１０２では、サーバ２００により、選択されたテキストをキーワードとして保有するイラストを検索する処理が行われる。より詳細には以下の処理が行われる。

クライアント端末３００からサーバ２００へ送信されたテキストは、サーバ２００（図３）の符号化データ受信部２０１で受信され、テキスト選択情報復号化部２０７へ入力されて復号化される。

復号化されたテキストはイラスト検索部２０８の入力となり、イラスト検索部２０８にて、入力されたテキストと同じキーワードを属性として有するイラストの検索処理をイラスト蓄積部２０４に対して実施する。入力されたテキストが複数の場合、テキスト毎に検索を実施する。

イラスト蓄積部２０４にはイラストとその属性情報の組が蓄積されている。図７にイラスト蓄積部２０４に蓄積されるイラストとその属性情報の組の格納例を示す。

図７に示すとおり、本実施の形態におけるイラストの属性情報は、キーワード、分類、タッチ、カラー、作者／配布元、輪郭線の太さとするが、属性項目を減らしたり、別な属性項目を利用しても構わない。また本実施の形態では、属性情報は各イラストに対し手動で付与されているものとするが、イラスト蓄積部２０４に蓄積したイラストを自動解析して属性情報を自動で付与することとしてもよい。

サーバ２００（図３）のイラスト検索部２０８では、上記イラストの検索処理で得た全イラストをイラスト蓄積部２０４での登録順（例：登録番号の順）に出力し、イラスト符号化部２０９への入力とする。ここで、イラスト検索部２０８は、イラストの画像だけでなくイラストの属性情報もイラストと組みで出力する。イラスト符号化部２０９では入力されたイラストと属性情報の組を符号化し、出力する。

図６のステップＳ１０３に示すとおり、イラスト符号化部２０９の出力は符号化データ送信部２０６に入力され、符号化されたイラストとその属性情報がサーバ２００からクライアント端末３００へ送信される。

図６のステップＳ１０４では、クライアント端末３００にて、検索結果のイラストを検索順に表示する処理が行われる。より詳細には以下のとおりである。

サーバ２００からクライアント端末３００へ送信されたイラストとその属性情報は、クライアント端末３００（図４）の符号化データ受信部３０１で受信され、イラスト情報復号化部３０８へ入力されて復号化される。復号化されたイラストとその属性情報はイラスト表示部３０９に入力される。イラスト表示部３０９は、クライアント端末３００のディスプレイにイラスト検索結果表示領域を生成し、イラスト検索結果表示領域にイラストを表示する。

ユーザが選択したテキストを属性として有するイラストが複数あった場合、当該複数のイラストはイラスト蓄積部２０４での登録順に表示され、スクロールバー等で表示イラストを変更可能とする。また、ユーザは複数のテキスト（単語）を同時に選択可能であり、ユーザが複数のテキストに対しイラスト検索を行っている場合、検索の入力テキスト別にイラストの表示領域を分け、検索結果を表示することとする。

図５において、イラスト検索結果表示領域のイメージは点線で囲った部分となる。当該領域には、例えば、ユーザが選択したテキストである「バス」に対して検索された複数のイラストが表示されている。また、検索の入力テキスト（バス、運転手、タクシー）別にイラストの表示領域が分けられていることが示されている。

＜イラスト選択〜イラスト表示順序変更処理＞
ユーザがイラストを選択した場合に実施される処理について、図８に示すフローチャートの手順に沿って説明する。

図８のステップＳ２０１において、マウス操作等のユーザ操作入力により、検索結果から議事録作成に利用したいイラストが選択されると、ステップＳ２０２において、選択されたイラストとその属性情報は、クライアント端末３００（図４）におけるイラスト表示部３０９からイラスト選択部３１０へ入力される。

また、ユーザによりイラストが選択されると、イラスト表示部３０９は検索結果を表示していたイラスト表示領域を閉じる。例えば、図５に示す例において、「バス」の複数のイラストのうちの１つのイラストが選択されると「バス」に関するイラスト表示領域は閉じられる。

ステップＳ２０３において、イラスト選択部３１０に入力されたイラストは議事録編集部３１１に対して出力される。

イラストが議事録編集部３１１に入力されると、議事録編集部３１１により、当該イラストは、テキスト及びイラストを編集可能な表示領域（議事録編集表示領域）に表示される。図５の点鎖線で囲まれた領域に当該表示領域のイメージが示されている。

ユーザは当該表示領域において、ユーザ操作入力部３０７からのマウス操作等のユーザ操作入力によりイラストの拡大・縮小・回転、テキストの入力、サイズ・フォント・色変更等のイラスト・テキストに対する編集操作を実施できるものとする。

図８のステップ２０４において、イラスト選択部３１０は、閉じられていないイラスト検索結果表示領域があるかどうかを判定する。閉じられていないイラスト検索結果表示領域がある場合はステップＳ２０５に進み、ない場合はここでの処理を終了する。ユーザが複数のテキストに対しイラスト検索を行っている場合、複数のイラスト検索結果表示領域が表示され、１つのイラストを選択した時点では、閉じられていないイラスト検索結果表示領域があるので、ステップＳ２０５に進む。

ステップＳ２０５において、イラスト選択部３１０は、イラスト表示順序変更処理部３１２に対し選択されたイラストの属性情報を出力する。

ステップＳ３００において、イラスト表示順序変更処理部３１２は、選択されたイラストの属性情報の入力を受けるとイラスト表示順序変更処理を実行する。

＜イラスト表示順序変更処理＞
次に、イラスト表示順序変更処理部３１２により実行されるイラスト表示順序変更処理を図９に示すフローチャートの手順に沿って説明する。

ステップＳ３０１において、イラスト表示順序変更を行う対象領域をナンバリング（０、１、２、…、Ｎ）する。イラスト表示順序変更を行う対象領域は、ユーザが複数テキストによりイラスト検索を行い、あるイラストの選択を行った後、まだ選択がされていないイラスト検索結果表示領域である。例えば、図５において３つのイラスト検索結果表示領域が表示されている状態で、「バス」のイラストが選択され、残りのイラスト検索結果表示領域が２つとなった場合に、当該２つのイラスト検索結果表示領域がイラスト表示順序変更を行う対象領域となる。

図９のステップＳ３０２では、対象領域の番号を初期化する（ｉ＝０とする）。

ステップＳ３０３〜ステップＳ３０７において、ユーザが選択したイラストの属性とまだ選択がされていないイラスト検索結果表示領域Ｘ_ｉに存在するイラストの属性とを比較し、まだ選択がされていないイラスト検索結果の表示順序を変更する処理を行う。イラストの属性比較は、特定の属性項目に対し、ユーザが選択したイラストが保有する属性値と同じ属性値を有するイラストをイラスト検索結果表示領域Ｘ_ｉから検出する処理とする。表示順序変更処理にて検出されたイラストはイラスト検索結果表示領域Ｘ_ｉの表示領域の先頭から登録番号順に並ぶよう並べかえられる。

すなわち、ステップＳ３０３において、イラスト検索結果表示領域Ｘ_ｉに存在するイラストの中からユーザが選択したイラストと属性：分類が一致するイラストを検出し、検出されたイラストが先に表示されるようイラスト検索結果表示領域Ｘ_ｉの検索結果表示順を変更する（これを処理ａとする）。

ステップＳ３０４では、処理ａで検索結果表示順を変更されたイラスト（すなわち、属性：分類が一致したイラスト）の中からユーザが選択したイラストと属性：作者が一致するイラストを検出し、検出されたイラストが先に表示されるよう、処理ａの検索結果表示順を変更する（これを処理ｂとする）。

ステップＳ３０５では、処理ｂで検索結果表示順を変更されたイラストの中からユーザが選択したイラストと属性：タッチが一致するイラストを検出し、検出されたイラストが先に表示されるように処理ｂの検索結果表示順を変更する（これを処理ｃとする）。

ステップＳ３０６では、処理ｃで検索結果表示順を変更されたイラストの中からユーザが選択したイラストと属性：カラーが一致するイラストを検出し、検出されたイラストが先に表示されるように処理ｃの検索結果表示順を変更する（これを処理ｄとする）。

ステップＳ３０７では、処理ｄで検索結果表示順を変更されたイラストの中からユーザが選択したイラストと属性：輪郭線の太さが一致するイラストを検出し、検出されたイラストが先に表示されるように処理ｄの検索結果表示順を変更する。

上記の例では、イラストの属性比較、表示順序変更はイラストのテイストに与える影響の大きい属性項目から順に行うこととし、２項目以降の属性項目の比較と表示順序変更は前属性項目の比較と表示順序変更にてイラスト検索結果表示領域Ｘ_ｉの表示領域の先頭から登録番号順に並ぶよう並びかえられたイラストのみに対して行うこととしている。

本実施の形態においては上記のように属性項目の比較、表示順序変更の処理を適用するが、このような処理でなく、属性項目の比較は全項目でイラスト検索結果表示領域Ｘ_ｉ全てのイラストに対し実施し、マッチング項目の多いイラストから順にイラスト検索結果表示領域Ｘ_ｉの表示領域の先頭から並びかえる、といった処理にしてもよい。また、属性項目の比較は完全なマッチングかどうかで判断するのでなく、距離の概念を取り入れて属性ベクトルの近いものをテイストが似ていると判断してもよい。

イラスト検索結果表示領域Ｘ_ｉに対し全属性項目の比較、表示順序変更が実施されたら、ステップＳ３０８において、ｉをインクリメントする。ステップＳ３０９において、まだ選択がされていないイラスト検索結果表示領域数Ｎとｉが等しいか否かを確認する。Ｎとｉが等しくなければ（ステップＳ３０９のＮｏ）イラスト検索結果表示領域Ｘ_ｉに対し全属性項目の比較、表示順序変更する処理に戻り、Ｎとｉが等しければ（ステップＳ３０９のＹｅｓ）処理終了となる。

このイラスト表示順序変更処理により、選択したイラストとテイストが似ているイラストが先に表示されるので、ユーザは複数のイラストを用いて描く一つの場面の作画において、各イラストを選択する手間を減らすことができ、議論を聞く、議事録に記す内容を検討することに注力できるようになり、イラストを用いた議論の可視化を実現できる。

＜意図するポーズのイラスト作成＞
本実施の形態におけるクライアント端末３００（図４）の議事録編集部３１１は、上記テキストを利用したイラスト検索にて取得したイラストの編集等の機能だけでなく、デフォルメした人の３Ｄモデルを利用し、意図するポーズのイラストを作成する機能も有する。この機能は、人の感情や動作を端的に描いて伝えることで議論で得たアイデアや議論の場の雰囲気を伝えるというグラフィックレコーディングの重要な機能を実現するために必要な機能である。

意図するポーズのイラスト作成のための処理を、図１０のフローチャートの手順に沿って説明する。図１１は、意図するポーズのイラスト作成の際に、図５における議事録編集表示領域（他の表示領域でもよい）に表示される内容のイメージを示している。また、図１１には、図１０のフローチャートにおけるステップ番号のうち、操作に関するステップ番号が記載されている。

意図するポーズのイラスト作成処理は、ユーザが、マウス操作等のユーザ操作によりディスプレイ表示画面に表示されている３Ｄモデル利用ボタンの押下（ステップＳ４０１）を議事録編集部３１１が検出するところから開始する。

ステップＳ４０２において、議事録編集部３１１は、３Ｄモデル利用ボタンの押下を検出すると、基本ポーズ表を画面上に表示する。

図１１の点線枠内に記載されている表が基本ポーズ表のイメージである。基本ポーズ表には、喜怒哀楽や考え込む、驚く、落ち込む、考える等、アイデアの記述や議論の場で利用される頻度が高いと思われるポーズを組み込んでいる。基本ポーズは必ずしも本実施の形態における基本ポーズ表に記載のポーズとする必要はない。別のポーズを本実施の形態におけるポーズの代わりに加えてもよいし、表示するポーズの数を変更しても構わない。

ステップＳ４０３において、ユーザが基本ポーズ表から所望のポーズを選択し、議事録編集部３１１は当該選択されたポーズを検出する。

基本ポーズが選択されると、議事録編集部３１１は、続いて選択したポーズの程度のバリエーションを表示する（ステップＳ４０４）。ポーズの「程度」とは、例えば、ポーズが「驚く」を表すポーズである場合、驚きの程度を示すものである。図１１の点鎖線枠内に選択したポーズの程度のバリエーション表示のイメージを示している。

ステップＳ４０５において、ユーザはマウス等の操作によりスライドバーを操作しポーズの程度を選び、選んだイラストを押下することでポーズの程度が決定される。

ポーズの程度が決まると、３Ｄモデルのパーツ操作が可能となる。ステップＳ４０６では、ユーザはパーツ操作によりポーズを決定する。

本実施の形態において操作可能なパーツは、線で表現している腕４パーツ、足４パーツとしている。各パーツはユーザのマウス等の操作により３Ｄモデルの胴体側のパーツ接点を中心に３６０度回転可能とする。本実施の形態においては腕４パーツ、足４パーツを操作可能なパーツとしたが、胴体を上下でパーツ分けして操作可能としてもよいし、腕、足のパーツをさらに細かくパーツ分けしてもよい。また、３Ｄモデルは回転することも可能とする。

３Ｄモデルを回転させる処理を図１２のフローチャートの手順に沿って説明する。図１３は、３Ｄモデルを回転させる処理を行う際にディスプレイに表示される内容のイメージを示している。また、図１３には、図１２のフローチャートにおけるステップ番号が記載されている。

３Ｄモデルを回転させる処理はまず回転対象のイラストを基本ポーズ表からユーザが選択し、続いて回転ボタンを押下することにより始まる（ステップＳ５０１）。なお、回転対象のイラストをイラスト検索結果表示領域から選択してもよい。

ステップＳ５０２にて回転ボタンが押下されると、ユーザが選択した回転対象の３Ｄモデルを囲む３Ｄ球が表示される。ステップＳ５０３では、ユーザがこの３Ｄ球のある一点に対してドラッグ＆ドロップといったマウス操作等を行うことで３Ｄ球を回転させる。

ここでは、回転対象の３Ｄモデルに３Ｄ球と同一の座標系を組み込み、３Ｄ球の回転角度と同角度分回転対象の３Ｄモデルの座標系を回転させることで３Ｄモデルの回転を実現する（ステップＳ５０４）。

前述した３Ｄモデルの選択からパーツ操作までの処理、３Ｄモデルの回転処理により、ユーザは一からイラストを描くよりも早く、かつ、イラスト検索結果から最適なイラストを選定するよりも思い通りに人のイラストを作成することが可能となる。これによりイラスト作成の手間を減らすことができ、議論を聞く、議事録に記す内容を検討することに注力できるようになり、イラストを用いた議論の可視化を実現できる。

本実施の形態において、３Ｄモデルからのイラスト作成については基本ポーズの選定、ポーズの程度選定、パーツ操作、回転を実施可能としたが、３Ｄモデルの基本表情の選定、表情の程度選定等の処理を追加してもよい。また、ポーズの程度選定を省く等をしてもよい。

図１４は、議事録編集部３１１により実行される、基本表情の選定、表情の程度選定のイメージを示している。図１４に示すように、ユーザがイラストの顔部分をクリックする（ステップＳ６０１）ことで、基本表情表が表示される。ユーザは利用したい基本表情モデルを選択し（ステップＳ６０２）、ポーズの程度の指定と同様にして、スライドバー等により表情の程度を指定する（ステップＳ６０３）。

（変形例）
本実施の形態におけるグラフィックレコーディングシステムは、振り返るべき議論の箇所を限定して効率的な議論振り返りを実現するために、様々な観点から議論を定量評価し、評価結果を議事録に対し反映する機能を追加してもよい。以下、本実施の形態の変形例として、当該機能を含む装置構成、及び動作について説明する。

＜装置構成＞
図１５は、変形例におけるサーバ２００の構成図である。図１５に示すように、変形例におけるサーバ２００は、図３に示したサーバ２００に対し、音声蓄積部２１０、時間情報・振り返り観点情報復号化部２１１、振り返り分析部２１２、及び振り返り結果符号化部２１３が追加された構成を有する。

図１６は、変形例におけるクライアント端末３００の構成図である。図１６に示すように、変形例におけるクライアント端末３００は、図４に示したクライアント端末３００に対し、振り返り結果復号化部３１３が追加された構成を有する。

＜システムの動作＞
サーバ２００（図１５）における音声蓄積部２１０には、音声認識結果のテキスト、音声信号、及び、音声信号が取得された時点（発話が行われた時点と見なしてよい）の時刻情報が対応付けて保存される。

テキスト符号化部２０５は、サーバ２００からクライアント端末３００へ送付するテキストに上記の時刻情報を組み合わせて符号化し、符号化データ送信部２０６が当該符号化されたテキスト及び時刻情報をクライアント端末３００へ送信する。

クライアント端末３００に届いたテキストは、前述のように音声認識結果テキストの領域に表示され、テキストの選択によりイラスト検索を可能とする。テキストが時刻情報を保持していることにより、イラスト検索結果、及び、選択され議事録編集部３１１に渡されて、議事録編集表示領域に表示されるイラストに対しても当該時刻情報を引き継ぐことが可能となる。また、議事録編集部３１１によるテキスト編集に際しても、音声認識結果テキストをコピーし、議事録編集表示領域（議事録編集部３１１）に張り付けることで時刻情報を引き継ぐことが可能となる。

変形例では、議事録編集部３１１による表示領域を特定区間で区切り、時刻情報を用いて特定区間における音声信号を分析し、振り返りに必要な情報を盛り込んだ議事録の可視化が可能になる。

音声信号を分析し振り返りに必要な情報を議事録の背景色に反映した議事録の可視化イメージを図１７に示す。

例えば、議事録の大項目は特定フォントサイズ及び／又は特定書体で記すことを議事録編集部３１１に対し予め設定しておくことで、議事録編集部３１１が、当該特定フォントサイズ及び／又は特定書体で記述されたテキストを議事録の大項目であると認識することを可能とする。

これにより、議事録編集部３１１は、大項目の間に記されたテキスト／イラストに付随する時刻情報のうち、最も早い時刻から最も遅い時刻までが当該大項目を議論した時間とみなすことができる。

図１７の点線内に示すように、変形例における議事録編集表示領域には、振り返りの観点を複数の観点の中から選択するための機能（プルダウンメニュー等）がある。この機能を用いてユーザが振り返りの観点を選択し、振り返り実施ボタンを押下すると、それぞれの大項目を議論した時間情報（大項目に対応する時間区間の情報）と振り返り観点の情報が議事録編集部３１１から符号化データ送信部３０６に対し出力される。

振り返り観点については、例えば、発言数、議論参加者数、議論盛り上がり度から選択可能とするが、これらは例に過ぎず、他の振り返り観点を追加してもよいし、振り返り観点を削減してもかまわない。

符号化データ送信部３０６に入力された時間情報と振り返り観点の情報は符号化され、符号化データ送信部３０６により、クライアント端末３００からサーバ２００へ送信される。

サーバ２００（図１５）の符号化データ受信部２０１にて受信された時間情報と振り返り観点の情報は、時間情報・振り返り観点情報復号化部２１１へ入力され、復号化される。復号化された時間情報・振り返り観点情報は振り返り分析部２１２へ入力される。

振り返り分析部２１２では入力された振り返り観点情報を基に、入力された時間情報（大項目毎の時間区間）に該当する各時間区間の音声信号を音声蓄積部２１０から取得し、取得した音声信号を分析する。

ここでは、選ばれた振り返り観点が発言数であれば、音声信号に含まれる文章（発言）の数をカウントする処理を行い、各時間区間の文章数を各時間区間の分析結果として出力する。選ばれた振り返り観点が議論参加者数であれば、音声信号に対し話者認識を行い、各時間区間の話者数を各時間区間の分析結果として出力する。選ばれた振り返り観点が議論の盛り上がり度であれば、音声信号に対し発話がされている時間長を算出し、各時間区間について、「発話がされている時間長／時間区間の長さ」を各時間区間の分析結果として出力する。

振り返り分析部２１２の出力は振り返り結果符号化部２１３へ入力されて符号化される。振り返り結果符号化部２１３で符号化された振り返り分析結果は、符号化データ送信部２０６により、サーバ２００からクライアント端末３００へ送信される。

クライアント端末３００（図１６）へ送信された振り返り分析結果は符号化データ受信部３０１の入力となり、振り返り結果復号化部３１３へ出力される。振り返り結果復号化部３１３にて復号化された振り返り分析結果は議事録編集部３１１へ入力される。

議事録編集部３１１は、入力された振り返り分析結果を基にして、各大項目の記載領域を分析結果の該当色に変更する。例えば図１７に示すように、振り返り観点が発言数であれば、発言数が多い大項目であれば濃い色、発言数が少ない大項目であれば薄い色、といったように変更する。ここで、振り返り分析結果の可視化は議事録編集部３１１の表示領域の背景色を利用したが、背景色の変更以外にも、テキストのサイズ・フォント・色を分析結果に応じて変更するといった処理で振り返る形態にしてもよい。

変形例において説明した機能により、振り返るべき議論の箇所を限定して効率的な議論振り返りを実現することが可能となる。

（実施の形態のまとめ、効果等）
以上、説明したように、本実施の形態により、会議の支援を行う会議支援システムであって、会議における発話を発話テキストに変換する変換手段と、前記発話テキストをディスプレイに表示するテキスト表示手段と、イラストと、イラストに対応する属性情報とを記憶するイラスト記憶手段と、前記テキスト表示手段により表示された発話テキストからユーザによりあるテキストが選択された場合に、当該テキストを属性情報として有する１つ又は複数のイラストを前記イラスト記憶手段から取得するイラスト検索手段と、前記１つ又は複数のイラストを前記ディスプレイに表示するイラスト表示手段と、前記イラスト表示手段により表示された前記１つ又は複数のイラストからユーザにより選択されたイラストを、会議に関するテキストとともに前記ディスプレイにおける所定の表示領域に表示する編集手段とを備える会議支援システムが提供される。

ユーザにより複数のテキストが前記発話テキストから選択された場合に、前記イラスト検索手段は、複数のテキストにおける各テキストに関して１つ又は複数のイラストを取得し、前記イラスト表示手段は、テキスト毎に、テキストに対応するイラスト表示領域に当該テキストに関する１つ又は複数のイラストを表示するようにしてもよい。

前記イラスト表示手段により、複数のイラスト表示領域の各々に１つ又は複数のイラストが表示されている場合に、当該複数のイラスト表示領域のうちの特定のイラスト表示領域において、あるイラストがユーザにより選択されたときに、前記複数のイラスト表示領域における前記特定のイラスト表示領域以外のイラスト表示領域におけるイラストを、前記特定のイラスト表示領域における選択結果に応じて並び替えるイラスト表示順序変更手段を備えることとしてもよい。

前記イラスト表示順序変更手段は、例えば、前記特定のイラスト表示領域において選択されたインラストの属性情報と、当該特定のイラスト表示領域以外のイラスト表示領域におけるイラストの属性情報とを比較することにより、イラストの並び替えを実行する。

前記編集手段は、ユーザによる人の３Ｄモデルのパーツ操作により、人のポーズのイラストを作成する手段を有することとしてもよい。

前記会議支援システムに、発話の音声信号と、前記変換手段により得られた発話テキストと、発話の行われた時刻情報とを格納する音声記憶手段と、ユーザにより選択された振り返り観点に基づき、所定の時間区間毎に前記音声記憶手段に記憶された情報を分析する分析手段と、を備え、前記編集手段は、前記分析手段により得られた分析結果を前記所定の表示領域に反映させることとしてもよい。

本実施の形態における会議支援システムにより、イラストを交えた議事録を眺めることで瞬間的な議論内容の把握が可能となり、議論全体を俯瞰しながら議論する、短時間で議論を把握し議論に途中参加することが可能となる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１００音声入力装置
２００サーバ
３００クライアント端末
４００ネットワーク
１０１音声入力部
１０２時間管理部
１０３符号化部
１０４符号化データ送信部
２０１符号化データ受信部
２０２音声情報復号化部
２０３音声認識処理部
２０４イラスト蓄積部
２０５テキスト符号化部
２０６符号化データ送信部
２０７テキスト選択情報復号化部
２０８イラスト検索部
２０９イラスト符号化部
２１０音声蓄積部
２１１時間情報・振り返り観点情報復号化部
２１２振り返り分析部
２１３振り返り結果符号化部
３０１符号化データ受信部
３０２テキスト情報復号化部
３０３テキスト表示部
３０４テキスト選択・編集部
３０５選択テキスト情報符号化部
３０６符号化データ送信部
３０７ユーザ操作入力部
３０８イラスト情報復号化部
３０９イラスト表示部
３１０イラスト選択部
３１１議事録編集部
３１２イラスト表示順序変更処理部
３１３振り返り結果復号化部

Claims

会議の支援を行う会議支援システムであって、
会議における発話を発話テキストに変換する変換手段と、
前記発話テキストをディスプレイに表示するテキスト表示手段と、
イラストと、イラストに対応する属性情報とを記憶するイラスト記憶手段と、
前記テキスト表示手段により表示された発話テキストからユーザによりあるテキストが選択された場合に、当該テキストを属性情報として有する１つ又は複数のイラストを前記イラスト記憶手段から取得するイラスト検索手段と、
前記１つ又は複数のイラストを前記ディスプレイに表示するイラスト表示手段と、
前記イラスト表示手段により表示された前記１つ又は複数のイラストからユーザにより選択されたイラストを、会議に関するテキストとともに前記ディスプレイにおける所定の表示領域に表示する編集手段と
を備えることを特徴とする会議支援システム。
ユーザにより複数のテキストが前記発話テキストから選択された場合に、前記イラスト検索手段は、複数のテキストにおける各テキストに関して１つ又は複数のイラストを取得し、
前記イラスト表示手段は、テキスト毎に、テキストに対応するイラスト表示領域に当該テキストに関する１つ又は複数のイラストを表示する
ことを特徴とする請求項１に記載の会議支援システム。
前記イラスト表示手段により、複数のイラスト表示領域の各々に１つ又は複数のイラストが表示されている場合に、当該複数のイラスト表示領域のうちの特定のイラスト表示領域において、あるイラストがユーザにより選択されたときに、前記複数のイラスト表示領域における前記特定のイラスト表示領域以外のイラスト表示領域におけるイラストを、前記特定のイラスト表示領域における選択結果に応じて並び替えるイラスト表示順序変更手段
を備えることを特徴とする請求項２に記載の会議支援システム。
前記イラスト表示順序変更手段は、
前記特定のイラスト表示領域において選択されたインラストの属性情報と、当該特定のイラスト表示領域以外のイラスト表示領域におけるイラストの属性情報とを比較することにより、イラストの並び替えを実行する
ことを特徴とする請求項３に記載の会議支援システム。
前記編集手段は、ユーザによる人の３Ｄモデルのパーツ操作により、人のポーズのイラストを作成する手段を有する
ことを特徴とする請求項１ないし４のうちいずれか１項に記載の会議支援システム。
発話の音声信号と、前記変換手段により得られた発話テキストと、発話の行われた時刻情報とを格納する音声記憶手段と、
ユーザにより選択された振り返り観点に基づき、所定の時間区間毎に前記音声記憶手段に記憶された情報を分析する分析手段と、を備え、
前記編集手段は、前記分析手段により得られた分析結果を前記所定の表示領域に反映させる
ことを特徴とする請求項１ないし５のうちいずれか１項に記載の会議支援システム。
会議の支援を行う会議支援システムが実行する会議支援方法であって、
前記会議支援システムは、イラストと、イラストに対応する属性情報とを記憶するイラスト記憶手段を備えており、
会議における発話を発話テキストに変換する変換ステップと、
前記発話テキストをディスプレイに表示するテキスト表示ステップと、
前記テキスト表示ステップにより表示された発話テキストからユーザによりあるテキストが選択された場合に、当該テキストを属性情報として有する１つ又は複数のイラストを前記イラスト記憶手段から取得するイラスト検索ステップと、
前記１つ又は複数のイラストを前記ディスプレイに表示するイラスト表示ステップと、
前記イラスト表示ステップにより表示された前記１つ又は複数のイラストからユーザにより選択されたイラストを、会議に関するテキストとともに前記ディスプレイにおける所定の表示領域に表示する編集ステップと
を備えることを特徴とする会議支援方法。