WO2017009959A1 - 情報処理装置および情報処理方法 - Google Patents

Abstract

スライド、音声、あるいはペンなどの入力の対応関係に基づいて重要な議事録情報を選択して参照する。議事録作成支援装置２００は、画像入力部２０１、位置入力部２０２、音声入力部２０３、表示部２０８、および記録再生部２０６を有する。画像入力部２０１は、外部から入力される映像信号から画像情報を生成して出力する。位置入力部２０２は、外部接続されるポインティングデバイスから入力される入力パターンを認識する。音声入力部２０３は、外部入力される音声から音声情報を生成して出力する。表示部２０８は、画像入力部２０１から出力される画像情報に基づいて画像を表示する。記録再生部２０６は、画像情報および音声情報を記録または再生する。また、記録再生部２０６は、ポインティングデバイスから入力される入力パターン、画像情報、および音声情報を対応付けして記録する。

Description

情報処理装置および情報処理方法

　本発明は、情報処理装置および情報処理方法に関し、特に、議事録の効率的な作成に有効な技術に関する。

　議事録など作成を支援する技術としては、例えば特許文献１が知られている。この特許文献１には、「文書入力手段により座標データ又はキーデータを生成し、かかる入力信号に時刻情報が加えられてなる第１記憶情報を第１記憶手段に記憶し、音声入力手段により取り込まれた音声信号に時刻情報が加えられてなる第２記憶情報を第２記憶手段に記録し、上記時刻情報を媒介として上記第１記憶手段の第１記憶情報からそれに関連する第２記憶手段に記憶された第２記憶情報を検索して音声再生装置から出力させ、又は上記第２記憶手段の第２記憶情報からそれに関連する第１記憶手段に記憶された第１記憶情報を検索して表示装置により表示させる」ことが記載されている。

特開２００５－１７９４９号公報

　上述した特許文献１による文書作成支援技術では、ペンやキーボード入力を位置座標とタイムスタンプ付きで記録すると共に、音声入力をタイムスタンプ付きにて記録して、後からテキスト、図形、および音声の記録の対応付けが行われるように構成されている。

　会議の議事録や聴講での記録を作成する際には、詳細な記録を合わせて要点をまとめた記録を作成する場合が多い。しかしながら、特許文献１の技術は、各情報の重要度を記録することについては考慮されていない。

　そのため、要点をまとめた議事録を作成する際には、作成された記録を再度精査する必要が生じてしまうことなる。その結果、、議事録作成の時間や工数などが増加してしまい、議事録の作成効率が低下してしまうという問題がある。

　本発明の目的は、スライド、音声、あるいはペンなどの入力の対応関係に基づいて、重要な議事録情報を選択して参照することのできる技術を提供することにある。

　本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

　すなわち、代表的な情報処理装置は、画像入力部、画像表示部、位置入力部、音声入力部、および記録再生部を有する。画像入力部は、外部から入力される映像信号から画像情報を生成して出力する。画像表示部は、画像入力部から出力される画像情報に基づいて画像を表示する。

　位置入力部は、外部接続されるポインティングデバイスから画像に入力された入力パターンを認識する。音声入力部は、外部入力される音声から音声情報を生成して出力する。記録再生は、画像情報および音声情報を記録または再生する。

　また、記録再生部は、ポインティングデバイスから入力される入力パターン、画像入力部から出力される画像情報、および音声入力部から出力される音声情報をそれぞれ対応付けして記録する。

　特に、記録再生部は、入力パターン、画像情報、および音声情報を対応付けして記録する際に、入力パターン、画像情報、および音声情報に重要度を紐付け、入力パターン、画像情報、および音声情報を再生する際に、紐付けられた重要度に応じた再生を行う。

　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

　（１）重要な議事録情報を選択して容易に参照することができる。

　（２）上記（１）により、議事録などを効率よく作成することができる。

一実施の形態による議事録作成支援システムにおける構成の一例を示す説明図である。 図１の議事録作成支援システムが有する議事録作成支援装置における構成の一例を示した説明図である。 図２の議事録作成支援装置が有する画像入力部による画像情報記録処理の一例を示すフローチャートである。 図３の画像情報記録処理における画像記録の一例を示す説明図である。 図３の画像情報記録処理において生成される画像情報管理テーブルの構成の一例を示す説明図である。 図２の議事録作成支援装置が有する位置入力部によるペン入力記録処理の一例を示すフローチャートである。 図６のペン入力処理において作成されるペン入力情報管理テーブルにおける構成の一例を示す説明図である。 図６のペン入力処理においてペン入力が行われた際の画像位置の例を示す説明図である。 図６のステップＳ２０６の処理におけるパターン認識の一例を示す説明図である。 図２の議事録作成支援装置が有する音声入力部による音声入力記録処理の一例を示すフローチャートである。 図１０の音声入力記録処理において生成される音声入力情報テーブルの一例を示す説明図である。 図２の議事録作成支援装置が有する制御部による議事録情報再生処理の一例を示すフローチャートである。

　以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

　また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

　さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

　同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

　また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　以下、実施の形態を詳細に説明する。
　（実施の形態１）
　〈撮像装置の構成例〉

　図１は、一実施の形態による議事録作成支援システムにおける構成の一例を示す説明図である。

　議事録作成支援システムは、図１に示すように、画像情報出力装置１０１、ペン入力装置１０２、音声入力装置１０３、および議事録作成支援装置２００を有する。この議事録作成支援システムは、画像情報出力装置１０１からの画像情報を表示する。また、議事録作成支援システムは、表示した情報に対して、ユーザがペン入力装置１０２を用いて、任意の入力パターンを記入できるようになっている。

　入力パターンは、例えば丸で囲む、線を引く、文字や図形を書き込むなどである。同時に、ユーザが、音声入力装置１０３を通して音声を録音する、および該記録を再生する機能を有する。

　画像情報出力装置１０１は、表示する画像情報を映像信号として出力する装置であり、例えばパソコン、タブレット、またはスマートフォンなどである。画像情報出力装置１０１および議事録作成支援装置２００は、ＲＧＢ（Red Green Blue）、あるいはＨＤＭＩ（High Definition Multimedia Interface）（登録商標）などによって接続される。

　ペン入力装置１０２は、ペン型のポインティングデバイスを想定するが、これに限定されるものではなく、ポインティングデバイスであればマウス、タッチパッドなどの装置であってもよい。

　ペン入力装置１０２は、例えばＵＳＢ（Universal Serial Bus）あるいはＢｌｕｅｔｏｏｔｈ（登録商標）などによって議事録作成支援装置２００と接続され、カーソルの位置座標を議事録作成支援装置２００に出力する。ペン入力装置１０２は、カメラや赤外線センサによって画面を指示するユーザの指やレーザーポインタを認識する装置であってもよい。

　音声入力装置１０３は、議事録作成支援システムを使用するユーザの音声を入力するマイクである。音声入力装置１０３は、アナログ入力、ＵＳＢ、またはＢｌｕｅｔｏｏｔｈ（登録商標）などによって議事録作成支援装置２００と接続されている。

　情報処理装置である議事録作成支援装置２００は、画像情報出力装置１０１から入力された画像情報に対し、ペン入力装置１０２から入力された座標情報に基づいて描画したカーソルおよびカーソルが通過した軌跡を重畳させて、図２に示す表示部２０８に出力する。

　また、議事録作成支援装置２００は、画像情報出力装置１０１から入力された画像情報、ペン入力装置１０２から入力された座標情報、および音声入力装置１０３から入力された音声情報をそれぞれの対応関係を示す情報を付加して記録する機能を有する。

　さらに、議事録作成支援装置２００は、記録した画像情報出力装置１０１から入力された画像情報、ペン入力装置１０２から入力された入力パターン、および音声入力装置１０３から入力された音声情報を再生する機能を有する。
　〈議事録作成支援装置の構成例〉

　図２は、図１の議事録作成支援システムが有する議事録作成支援装置２００における構成の一例を示した説明図である。

　議事録作成支援装置２００は、図２に示すように、画像入力部２０１、位置入力部２０２、音声入力部２０３、表示合成部２０５、記録再生部２０６、および表示部２０８を有する。

　画像入力部２０１は、画像情報出力装置１０１から出力される映像信号をデコードして画像情報を生成して表示部２０８に出力するとともに、画像ファイルとして保存して記録再生部２０６に出力する。

　画像ファイルの生成および記録再生部２０６への出力は、映像信号のフレーム毎に行うのではなく、取り込んだフレームの画像に対して異なる画像が入力された時のみ行う。従って、画像入力部２０１は、画像同士を比較して同じ画像かどうかを判定する機能を有する。

　画像の判定は、比較する画毎に色のヒストグラムを作成して、ヒストグラムが等しいかどうかを比較する方法などがあるが、同様の結果が得られれば別のアルゴリズムを用いてもよい。

　このように処理することで、画像情報出力装置１０１から入力されるスライド資料の映像信号をページ毎に画像ファイルとして取り込み、且つ、冗長なフレームの取り込みを防ぐことができる。

　しかし、スライド資料には、アニメーションの効果や映像コンテンツが含まれる場合がある。この種のスライドが表示されたときは、アニメーションが行われている間あるいは映像コンテンツが再生されている間は、フレーム毎に異なる画像となるため、それぞれを異なるページと認識して画像の取り込みが行われてしまう。

　そこで、このような不必要なフレームを取り込まないよう、予め設定した時間内の変化であった場合は、画像ファイルの生成を行わない。このような処理によって、アニメーション途中のフレームは、画像ファイルとして保存せず、アニメーション開始前とアニメーション終了後のフレームのみ画像ファイルとして取り込むことができる。

　また、特定のスライドを飛ばす目的により短時間にページを切り替えた場合も、この処理によって取り込みは行われない。なお、記録処理の詳細については後述する。

　位置入力部２０２は、ペン入力装置１０２から入力される位置座標情報に基づいて議事録作成支援装置２００が有する座標平面上のカーソルの位置座標を決定する。議事録作成支援装置２００の座標平面は、表示部２０８の左上隅を原点とする平面とする。

　また、ペン入力装置１０２から所定の入力を受けることにより、カーソルモードとしてカーソルの現在位置のみを表示するか、あるいは描画モードとしてカーソルの現在位置を含むカーソルの軌跡を表示するかを切り替え、それぞれのモード毎に表示合成部２０５に対して描画データを生成して出力する。

　描画モードの場合は、軌跡が連続した線になるよう、ペン入力装置１０２から入力される座標データに基づいて補間曲線の生成を行う。また、ペン入力装置１０２あるいは操作入力部２０７の操作によって、描画する軌跡の色、太さ、および線種などを変えられるようにする。

　また、位置入力部２０２は、軌跡、すなわちペン入力装置１０２から入力される入力パターンが予め登録されているパターンかどうかを判定する機能を有する。パターンとは、線、円、矢印、記号などであり、基本的なパターンを予め登録しておくほか、ユーザが任意にパターンを登録できるようにしておくとよい。

　パターンには、種別のほかに重要度などの意味を持たせておく。例えば、点線は重要度低、実線は重要度中、二重線は重要度高などのようにする。このようにすることで、ユーザが所定のパターンに従ってペン入力を行うだけで、重要度などの意味を含めた記録を行うことができる。これにより、ユーザが後から重要度の高い情報を探し出すことを容易にすることができる。これらの重要度の意味を持たせたパターンは、例えば位置入力部２０２の図示しないメモリなどに格納されている。

　音声入力部２０３は、例えばマイクが接続されており、該マイクから入力された議事録作成支援装置２００の操作者や会議出席者の音声の入力を受け付ける。この音声入力部２０３は、入力された音声を所定のフォーマットの音声情報に変換して音声情報を出力する。

　音声情報への変換処理は、例えば入力された音声の大きさが予め定めたしきい値を上回ったときに開始され、その後、該しきい値を下回った際に終了するように処理され、音声が発せられたときのみ音声を記録する。

　音声入力部２０３は、記録した音声を音声情報に変換し、該音声情報に時間情報を付加して記録再生部２０６へ出力する。操作入力部２０７は、議事録作成支援装置２００の操作入力をユーザから受け付ける。

　操作内容には、記録の開始と停止のほか各種の設定が含まれる。操作入力部２０７は、例えば議事録作成支援装置２００に備えられた物理的なボタンあるいはスイッチなどによって構成され、ユーザからの操作入力を受けると、制御部２０４に操作内容を出力する。操作入力部２０７は、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）によるリモコンあるいはパーソナルコンピュータなどから操作できるよう構成してもよい。

　表示合成部２０５は、画像入力部２０１から出力された画像情報および位置入力部２０２から出力された軌跡情報を合成して表示部２０８に出力する機能を有する。

　また、操作入力部２０７が議事録作成支援装置２００の操作メニューを表示する際においても、操作入力部２０７からの出力を受けた制御部２０４から操作メニュー画像が出力され、表示合成部２０５は、画像情報と合成して表示部２０８に出力する。

　表示部２０８は、表示合成部２０５から出力される画像を表示する機能を有する。この表示部２０８は、スクリーンに表示を投影するプロジェクタ装置または液晶ディスプレイなどの直視ディスプレイである。

　なお、表示部２０８それ自体には表示機能を持たせずに、議事録作成支援装置２００の外部に表示装置を接続するよう構成し、議事録作成支援装置２００が該表示装置に対して信号を出力するようにしてもよい。

　記録再生部２０６は、画像入力部２０１から出力される画像情報、位置入力部２０２から出力される軌跡情報、および音声入力部２０３から出力される音声情報を記録し、それぞれを対応付ける画像情報管理テーブルを作成する。

　また、記録再生部２０６は、これらの記録情報を再生する機能を有する。再生は、各情報を時間情報にて同期を取りながら映像コンテンツの再生のように再生するモードと、検索条件を指定し、その条件に一致する情報を再生するモードとを備える。
　〈議事録情報記録処理について〉

　続いて、議事録作成支援装置２００による議事録情報記録処理について説明する。

　議事録情報記録処理は、画像情報記録処理、ペン入力情報記録処理、および音声情報記録処理を有する。議事録情報記録処理の開始とともに画像情報記録処理が開始され、ペン入力があった場合にペン入力情報記録処理が、音声入力があった場合に音声情報記録処理が実行される。
　〈画像情報記録処理について〉

　図３は、図２の議事録作成支援装置２００が有する画像入力部２０１による画像情報記録処理の一例を示すフローチャートである。

　画像情報記録処理は、画像入力部２０１に映像信号として入力されるスライド資料の画像をページ毎に画像として保存した上で、表示順番、および表示時間などのメタデータを付加する処理である。

　図４は、図３の画像情報記録処理における画像記録の一例を示す説明図である。この図４は、入力される映像信号のフレーム毎にどのようなタイミングによって記録が行われるかを説明するためのものである。

　また、図５は、図３の画像情報記録処理において生成される画像情報管理テーブルの構成の一例を示す説明図である。画像情報管理テーブルは、画像情報記録処理によって記録される画像の情報、関連するペン入力情報、および音声情報が記載されている。

　まず、図５に示す画像情報管理テーブルについて説明する。

　画像情報管理テーブルは、図５に示すように、記録した画像のＩＤ５０１、表示開始時刻５０２、表示時間５０３、重要度５０４、特徴パターン５０５、ファイルパス５０６、画像に対応付けられているペン入力情報５０７、および画像に対応付けられている音声情報５０８から構成されている。

　画像ＩＤ５０１は、画像情報出力装置１０１から取り込んだ画像に対して、議事録情報記録処理が開始されてから終了するまでの間でユニークに割り当てられるＩＤである。表示開始時刻５０２は、記録処理の中で各画像を取り込んだ時刻であり、記録処理を開始した時刻が開始時点として記録される。

　表示時間５０３は、当該画像が画像情報出力装置１０１から入力されていた時間、つまり、当該画像を表示していた時間である。重要度５０４は、表示時間５０３の長さに応じて決定される当該画像の重要度を示す情報である。

　特徴パターン５０５は、当該画像と他の画像を区別するための特徴データであり、当該画像のヒストグラムデータなどからなる。ファイルパス５０６は、当該画像の格納先を示すファイルパスである。

　ペン入力ＩＤ５０７は、当該画像に対応づいているペン入力情報であり、当該画像が表示されていた時にペン入力装置１０２によって書き込まれた情報である。ペン入力がなかった場合、ペン入力ＩＤ５０７には何も値が入らず、また、１つの画像に対して複数個所にペン入力が行われた場合は、その個数のＩＤが記録される。

　音声ＩＤ５０８は、当該画像に対応づいている音声情報であり、当該画像が表示されていた時に音声入力装置１０３によって入力された音声情報のＩＤである。音声入力がなかった場合、音声ＩＤ５０８には何も値が入らず、また、複数回の音声入力が行われた場合は、その個数のＩＤが記録される。
　〈画像情報記録処理の処理例〉

　続いて、画像入力部２０１による画像情報記録処理について、図３を用いて説明する。

　まず、操作入力部２０７が、ユーザから記録開始の操作指示を受け付けると、制御部２０４が画像情報記録処理を開始する。これにより、画像入力部２０１は、映像信号の取り込みを行う。なお、画像情報を表示部２０８に表示するための映像信号のデコード処理は、画像情報記録処理の開始有無に関わらず常に動作しているものとする。

　画像情報記録処理が開始すると、画像入力部２０１は、最初に入力されたフレームを画像として取り込み、画像入力部２０１が有する図示しないメモリに保持するとともに（ステップＳ１０１）、その画像のパターン情報を抽出する。ここで、画像情報管理テーブルに当該画像のデータを生成し、表示開始時刻と特徴パターンを記録する。

　そして、次のフレームを取り込み、図示しないメモリが保持している画像のパターン情報との比較を行う（ステップＳ１０２）。ステップＳ１０２の処理において、同じ画像であると判定した場合は（ステップＳ１０３：ＹＥＳ）、ステップＳ１０２の処理に戻り、さらに次のフレームを取り込んで同様の処理を行う。これらの処理を異なる画像が入力されるまで繰り返す。

　ここで、図４に示す例は、フレーム２以降においてもページ１が表示され続けており、フレーム９までページが変わっておらず、フレーム１０においてページ２に切り替わって表示されていることを示している。

　例えば図４に示すように、フレーム１０にてページ２に切り替わると、ステップＳ１０２の処理において、画像入力部２０１は、保存していたページ１の画像と新たに入力されたページ２の画像とを比較し、その結果、２つの画像が異なると判定する（ステップＳ１０３：ＮＯ）。

　すると、現在時刻からページ１の画像を最初に取り込んだ時刻を差し引いて、ページ１の画像の表示時間を算出する（ステップＳ１０４）。

　そして、表示時間に基づいて取り込んだ画像を保存するかどうかを決定し、表示時間がしきい値（予め設定された時間）以下だった場合は保存を行わない（ステップＳ１０５：ＮＯ）。この場合には、画像情報管理テーブルにおける当該画像のデータも削除する。

　ここで、表示時間が極端に短かった場合は、スライドのアニメーションか、映像コンテンツの再生中の表示、あるいはスライドのページ送りが行われたかのいずれかであると考えられる。

　画像の保存を行わないかどうかのしきい値は、例えば１秒程度を想定するが、ユーザが操作入力部２０７または議事録作成支援装置２００に接続されたパーソナルコンピュータなどから任意の時間を入力して設定するようにしてもよい。

 表示時間がしきい値以上だった場合には、表示時間に基づいて当該画像の重要度情報を決定する（ステップＳ１０６）。表示時間が長いほど重要度を高く設定し、表示時間が短いほど重要度を低く設定する。

　ここでは、重要度を３段階程度に分けるものとする。例えば、３０秒までを重要度低、１分までを重要度中、それ以上を重要度高と設定するなどである。あるいは、ユーザが任意に重要度の段階を設定できるようにしてもよい。

　続いて、これまで保存した画像の中に当該画像と同じ画像が含まれていないかを検索する（ステップＳ１０７）。これは、画像情報管理テーブルの特徴パターンを参照して行う。

　これまで保存した画像の中に当該画像と同じ画像が含まれていた場合は（ステップＳ１０８：ＹＥＳ）、新規に画像を保存せずに一致した画像のファイルパスを画像情報管理テーブルに書き込む（ステップＳ１０９）。これによって、１度表示したスライドページを再度表示した場合に、同じ画像を冗長に保存してしまうことを防ぐことができる。

　また、このとき、画像情報管理テーブルのペン入力情報５０７を参照して、当該画像にペン入力画像が対応づいていないかを調べ、後述するペン入力画像が対応づいていれば、その画像を読み込み、スライドの画像と重畳表示を行う。

　このように処理することによって、ペン入力による書き込みを行ったスライドページを再び表示させた場合に、ペン入力による書き込みも一緒に表示させることができる。

　同一の画像がなかった場合には（ステップＳ１０８：ＮＯ）、取り込んだ画像を保存し、画像情報管理テーブルに当該画像の表示時間、重要度、およびファイルパスを記録する。終了操作が行われなければ（ステップＳ１１１：ＮＯ）、ステップＳ１０２の処理に戻り同様の処理を継続する。

　以上の処理によって、表示したスライドを、その表示時間の長さに基づいて判定した重要度を付加したスライド情報を保存することができる。
　〈ペン入力記録処理について〉

　次に、議事録情報記録処理におけるペン入力記録処理について説明する。

　ペン入力記録処理は、議事録情報記録処理と平行して開始され、表示部２０８に表示されるスライド資料に対して、例えば丸で囲む、線を引くあるいは文字や図形を書き込むなどの描画処理を行う処理である。このペン入力記録処理は、位置入力部２０２によって処理が実行される。

　位置入力部２０２に位置座標情報が入力されると、入力モードによって処理を変える。入力モードの切り替えは、ペン入力装置１０２のボタン、あるいはスイッチなどによって行われる。例えば、ボタンを押している間は描画モード、押していないときはカーソルモードのようにする。

　入力モードがカーソルモードである場合には、入力された位置座標にカーソルのカーソルモードのアイコンを描画し、表示合成部２０５に出力する。位置入力部２０２からの出力を受けた表示合成部２０５は、画像入力部２０１からの入力の上に位置入力部２０２が生成したカーソルを描画して表示部２０８へ出力する。

　そして、次の位置座標が入力されたら、描画したカーソルを削除した後、新しく入力された位置座標でカーソルを再描画して、表示合成部２０５へ出力する。カーソルモードの場合は、このようにカーソルの消去と再描画を繰り返す。

　一方、入力モードが描画モードである場合には、入力された位置座標にカーソルの描画モードのアイコンを描画し、表示合成部２０５に出力する。位置入力部２０２からの出力を受けた表示合成部２０５は、画像入力部２０１からの入力の上に位置入力部２０２が生成したカーソルを描画して表示部２０８へ出力する。

　次の位置座標が入力されたら、描画したカーソルを削除した後、前回入力された位置座標と今回入力された位置座標を保管する線を描画し、さらに今回入力された位置座標に新たなカーソルを描画する。描画モードでは、カーソルのみ消去と再描画を行い、カーソルが通過した位置座標を結ぶ線を描画していく。
　〈ペン入力記録処理について〉

　続いて、図６～図８を用いてペン入力処理を説明する。

　図６は、図２の議事録作成支援装置２００が有する位置入力部２０２によるペン入力記録処理の一例を示すフローチャートである。図７は、図６のペン入力処理において作成されるペン入力情報管理テーブルにおける構成の一例を示す説明図である。図８は、図６のペン入力処理においてペン入力が行われた際の画像位置の例を示す説明図である。

　まず、図７のペン入力情報管理テーブルについて説明する。

　ペン入力情報管理テーブルは、図示するようにペンＩＤ７０１、描画時刻７０２、描画開始位置座標７０３、領域サイズ７０４、ファイルパス７０５、重要度７０６、画像ＩＤ７０７、および音声ＩＤ７０８によって構成される。

　ペン入力ＩＤ７０１は、描画モードにて入力された１回のペン入力に対して、議事録情報記録処理が開始されてから終了するまでの間においてユニークに割り当てられるＩＤである。

　描画時刻７０２は、当該ペン入力が開始された時刻で、議事録情報記録処理が開始された時刻を開始時点として記録される。描画開始位置座標７０３は、描画した軌跡を長方形の領域で囲んだ時の領域の左上の座標である。領域サイズ７０４は、領域の縦横の長さである。

　続いて、図８において、画像８０１は、画像情報出力装置１０１によって出力され、画像入力部２０１に入力されたスライドの画像の例を示している。画像８０２は、画像８０１に対して、ペン入力による描画が行われた状態を示している。画像８０３は、ペン入力によって描画された線である。

　図７の描画開始位置座標７０３は、基準点８０４を基準とする座標８０５を示し、領域サイズ７０４は、範囲８０７と範囲８０６によって表される領域８０８の領域である。

　ペン入力は、ベクトルデータとして保存され、そのファイルパスが、図７のファイルパス７０５に記録される。重要度７０６は、ペン入力が重要度を示す所定のパターンに一致している場合、その重要度が記録される。画像ＩＤ７０７は、ペン入力が行われた画像のＩＤである。音声ＩＤ７０８は、ペン入力と対応づいている音声情報のＩＤである。
　〈ペン入力記録処理の処理例〉

　続いて、図６により、ペン入力記録処理の一例を説明する。

　まず、ペン入力の初期状態はカーソルモードとなっており、位置入力部２０２は、カーソルのみの描画を行い、表示合成部２０５に出力する（ステップＳ２０２）。表示合成部２０５は、位置入力部２０２が生成したカーソル画像と画像入力部から出力された画像を合成して表示部２０８に出力する。

　ペン入力装置１０２にてボタンを押下するなど描画モードを開始する所定の操作が行われると描画モードが開始される（ステップＳ２０１：ＹＥＳ）。描画モードが開始されると、カーソルとともにカーソルの軌跡の描画を開始する（ステップＳ２０３）。

　このとき、図７のペン入力情報管理テーブルに新規にデータが作成され、ペン入力ＩＤ７０１、描画時刻７０２、および画像ＩＤ７０７が記録される。画像ＩＤ７０７は、ペン入力が行われたときに表示されている画像のＩＤであり、その時点で画像情報管理テーブルに記録されている最も新しい画像ＩＤである。また、画像情報管理テーブルの当該画像ＩＤのペン入力ＩＤの項目には、この時生成したペン入力ＩＤを記録する。

　ペン入力装置１０２にてボタンを離すなどの描画モードを終了する所定の操作が行われると描画モードが終了し（ステップＳ２０４：ＹＥＳ）、描画した軌跡を画像として保存する（ステップＳ２０５）。このとき、ペン入力情報管理テーブルには、描画開始位置座標７０３、領域サイズ７０４、およびファイルパス７０５が記録される。

　続いて、位置入力部２０２は、描画した軌跡に対してパターン認識を行う（ステップＳ２０６）。このステップＳ２０６の処理は、描画した軌跡が所定のパターンかどうかを判定するものである。

　図９は、図６のステップＳ２０６の処理におけるパターン認識の一例を示す説明図である。

　特定の領域を囲むように線を引く場合や、文章に対してアンダーラインを引く場合に、その線の描き方を変えることで、線に重要度を持たせる。図９の上方に示す画像９０１は、二重の線によって領域を囲った例である。

　複数の線で領域を囲む場合の認識について説明する。まず、ペン入力によってある領域を囲む場合、始点と終点の座標が近接し、一方、始点と終点の中間にあたる点の座標は、Ｘ、Ｙの双方の座標で始点と終点から離れているはずである。このような判定によって、領域を囲む線が描かれたと認識する。さらに、その線から所定の範囲内に同じ形状の線が描かれていた場合には、二重線で囲まれたと認識する。

　図９の画像９０１の下方に示す画像９０２は、領域を囲む線に鋭角を持たせた例を示しており、線の描き方に特徴を持たせるものである。画像９０２における認識は、所定の間隔で鋭角が含まれ、その鋭角の向きが交互に変わっているかどうかを判定すればよい。

　また、図９の画像９０２の下方に示す画像９０３は、領域を囲む線に記号を重ねる例を示している。記号を変えることによってパターンの違いを表す。

　領域を囲む線に対して記号が重ねられて書かれた場合は、記号の形状をパターン認識した後、領域を囲む線と記号を１つのペン入力として記録する。なお、パターンを識別するアルゴリズムは一例であり、同じ効果を達成できれば他の方法でも構わない。

　続いて、図６において、該当するパターンがあった場合には（ステップＳ２０７：ＹＥＳ）、そのパターンの重要度をペン入力情報管理テーブルの重要度７０６に記録する（ステップＳ２０８）。

　さらに、パターンが認識されて、重要度が付加されたことが分かるよう、描画した線の色を変更する。該当するパターンがなかった場合には（ステップＳ２０７：ＹＥＳ）、そのまま終了する。

　上記の説明では、ペン入力による手書き入力によって様々なパターンを表現する例で説明したが、メニューから記号や線種、あるいは色を選択して描画することで同様の効果を実現してもよい。

　このように処理する場合は、選択した記号、線種、および色の情報を直接記録するため、記号や線種をパターン認識する処理を不要とすることができるので、より簡単に実現することが可能である。
　〈音声入力記録処理について〉

　次に、議事録情報記録処理における音声入力記録処理について説明する。この音声入力記録処理は、議事録情報記録処理と平行して開始される処理である。

　図１０は、図２の議事録作成支援装置２００が有する音声入力部２０３による音声入力記録処理の一例を示すフローチャートである。図１１は、図１０の音声入力記録処理において生成される音声入力情報テーブルの一例を示す説明図である。

　音声入力情報テーブルは、図１１に示すように、音声ＩＤ１１０１、録音開始時刻１１０２、録音時間１１０３、ファイルパス１１０４、画像ＩＤ１１０５、およびペン入力ＩＤ１１０６を有する。

　音声入力ＩＤ１１０１は、音声入力に対して、議事録情報記録処理が開始されてから終了するまでの間にてユニークに割り当てられるＩＤである。録音開始時刻１１０２は、当該音声入力が開始された時刻で、議事録情報記録処理が開始された時刻を開始時点として記録する。

　録音時間１１０３は、音声が録音された時間の長さである。ファイルパス１１０４は、音声ファイルの格納先を示すファイルパスである。画像ＩＤ１１０５は、音声が入力された際に表示されていた画像のＩＤである。ペン入力ＩＤは、音声が入力された際、または、その前後に入力されたペン入力のＩＤである。
　〈音声入力記録処理の処理例〉

　音声入力記録処理について、図１０を用いて説明する。

　まず、音声入力処理が開始されると、音声入力部２０３は、音量がしきい値以上かどうかを判定する（ステップＳ３０１）。そして、音量がしきい値以上になったとき（ステップＳ３０１：ＹＥＳ）、入力された音声の記録を開始する（ステップＳ３０２）。

　このとき、音声ファイルを生成するとともに、図１１の音声入力情報管理テーブルに新規データが作成され、音声ＩＤ１１０１、録音開始時刻１１０２、ファイルパス１１０４、および画像ＩＤ１１０５が記録される。

　画像ＩＤ１１０５は、音声入力が行われたときに表示されている画像のＩＤであり、その時点で画像情報管理テーブルに記録されている最も新しい画像ＩＤである。また、音声入力部２０３は、画像情報管理テーブルの当該画像ＩＤの音声ＩＤの項目に、この時生成した音声ＩＤを記録する。

　ペン入力情報管理テーブルに所定の時間以内に記録されたものがあれば、当該データの音声ＩＤに生成した音声ＩＤを登録し、ペン入力ＩＤ１１０６に当該データのペン入力ＩＤを登録する。

　音量がしきい値以下になると（ステップＳ３０３：ＹＥＳ）、録音を停止する（ステップＳ３０４）。そして、音声入力情報管理テーブルに録音時間を記録して終了する。

　なお、音声入力部２０３に発話したユーザを特定する話者認識機能を設け、音声入力管理テーブルに認識したユーザの情報を登録できるようにしてもよい。この場合、ユーザを認識するための各ユーザの音声情報は予め登録しておき、この登録情報に基づいて話者認識を行うことができる

　また、音声入力部２０３に音声認識機能を設け、音声を録音するとともにテキストデータに変換して音声データとともに記録するようにしてもよい。また、特定の言葉を発した場合に、その言葉に合わせた重要度の情報を付加するようにしてもよい。例えば、「重要」という言葉に重要度の情報を付加した際には、その「重要」という言葉を認識した際に、それに連なる音声を重要情報として登録する。これによって、簡単に重要度情報を付加することができる。
　〈議事録情報再生処理の処理例〉

　続いて、議事録情報再生処理について説明する。

　図１２は、図２の議事録作成支援装置２００が有する制御部２０４による議事録情報再生処理の一例を示すフローチャートである。

　まず、議事録情報再生処理では、ユーザにおいて表示する情報の重要度を設定する（ステップＳ４０１）。この重要度の設定によって、すべての記録を表示するか、あるいは一部の記録のみ表示するかが決定される。

　重要度は、例えば操作入力部２０７に所定の操作が入力されることによって、表示部２０８が重要度を選択するメニューを表示し、これをユーザが選択することによって設定される。

　続いて、ステップＳ４０１の処理による設定に基づいて、図５の画像情報管理テーブル、図７のペン入力情報管理テーブル、および図１１の音声入力情報管理テーブルから、該当するデータを抽出する（ステップＳ４０２）。このステップＳ４０２の処理においては、まず、画像情報管理テーブルの重要度５０４を参照して、設定された重要度に合う画像ＩＤのみ抽出する。

　そして、抽出した画像ＩＤに登録されているペン入力ＩＤをペン入力情報管理テーブルにて参照し、各ペン入力ＩＤの重要度７０６から設定された重要度に対応するペン入力ＩＤを選択する。

　これに基づいて、当該ＩＤの画像情報とペン入力情報とを合成し（ステップＳ４０３）、時系列に沿って表示を行う（ステップＳ４０４）（１２０４）。なお、音声情報は、抽出された情報に対応付けられたもののみ再生するようにする。

　以上により、スライド、音声、およびペン入力の対応関係とともに情報の重要度を付加した議事録情報を作成することができる。加えて、議事録情報を再生する際は、重要度に応じて再生の有無を変更することで、重要な議事録情報のみ選択して参照することができる。

　これにより、議事録作成の時間や工数を短縮することができ、議事録などを効率よく作成することができる。

　なお、本実施の形態においては、各情報を記録するとともに、各情報の対応関係を表す情報の生成を行うものとしたが、すべての情報を一旦記録した後に、一括して各情報の分析を行って対応関係を表す情報を生成するように構成してもよい。

　このように構成することによって、議事録情報作成まで時間を要するものの、ハードウェアの性能が低くリアルタイムの処理が難しい場合であっても、同じ効果を得ることができる。

　また、同様に、議事録作成支援装置２００の負荷を下げることができるために、分析処理を議事録作成支援装置２００内で行わず、例えばネットワークにて接続されたサーバなどにおいて実行するようにしてもよい。

　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

　また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理ステップ等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１　画像情報出力装置
１０２　ペン入力装置
１０３　音声入力装置
２００　議事録作成支援装置
２０１　画像入力部
２０２　位置入力部
２０３　音声入力部
２０４　制御部
２０５　表示合成部
２０６　記録再生部
２０７　操作入力部
２０８　表示部

Claims (12)

1. 　外部から入力される映像信号から画像情報を生成して出力する画像入力部と、
   　前記画像入力部から出力される前記画像情報に基づいて画像を表示する画像表示部と、
   　外部接続されるポインティングデバイスから前記画像に入力される入力パターンを認識する位置入力部と、
   　外部入力される音声から音声情報を生成して出力する音声入力部と、
   　前記画像情報および前記音声情報を記録または再生する記録再生部と、
   　を有し、
   　前記記録再生部は、前記位置入力部が認識する前記入力パターン、前記画像入力部から出力される画像情報、および前記音声入力部から出力される音声情報をそれぞれ対応付けして記録する、情報処理装置。
2. 　請求項１記載の情報処理装置において、
   　前記記録再生部は、前記入力パターン、前記画像情報、および前記音声情報を対応付けして記録する際に、前記入力パターン、前記画像情報、および前記音声情報に重要度を紐付け、前記入力パターン、前記画像情報、および前記音声情報を再生する際に、紐付けられた前記重要度に応じた再生を行う、情報処理装置。
3. 　請求項２記載の情報処理装置において、
   　前記記録再生部は、記録された前記入力パターン、前記画像情報、および前記音声情報を再生する際に、紐付けられた前記重要度が低い画像情報を表示しない、情報処理装置。
4. 　請求項２記載の情報処理装置において、
   　前記記録再生部は、記録された前記入力パターン、前記画像情報、および前記音声情報を再生する際に、紐付けられた前記重要度が低い音声情報を出力しない、情報処理装置。
5. 　請求項２記載の情報処理装置において、
   　前記位置入力部は、種別毎に重要度が対応付けされた複数のパターンからなるパターン情報を有し、前記ポインティングデバイスから入力される入力パターンが前記パターン情報に登録されているパターンであると判定した前記パターンに紐付けられている重要度を前記入力パターンに紐付けて前記記録再生部に出力する、情報処理装置。
6. 　請求項５記載の情報処理装置において、
   　前記画像入力部は、前記画像表示部に表示される画像の表示時間を取得し、取得した前記画像の表示時間の長さから前記画像情報の重要度を決定し、決定した前記重要度を前記画像情報に付加して前記記録再生部に出力する、情報処理装置。
7. 　画像情報を生成して出力する画像入力部と、前記画像入力部から出力される前記画像情報に基づいて画像を表示する画像表示部と、外部接続されるポインティングデバイスから前記画像に入力される入力パターンを認識する位置入力部と、音声情報を生成して出力する音声入力部と、前記画像情報および前記音声情報を記録または再生する記録再生部とを有する情報処理装置による情報処理方法であって、
   　前記記録再生部は、前記位置入力部が認識する前記入力パターン、前記画像入力部から出力される画像情報、および前記音声入力部から出力される音声情報をそれぞれ対応付けして記録する、情報処理方法。
8. 　請求項７記載の情報処理方法において、
   　前記記録再生部が、前記入力パターン、前記画像情報、および前記音声情報を記録する際に、前記入力パターン、前記画像情報、および前記音声情報に重要度を紐付け、前記入力パターン、前記画像情報、および前記音声情報を再生する際に、紐付けられた前記重要度に応じた再生を行う、情報処理方法。
9. 　請求項８記載の情報処理方法において、
   　前記記録再生部は、記録された前記入力パターン、前記画像情報、および前記音声情報を再生する際に、紐付けられた前記重要度が低い画像情報を表示しない、情報処理方法。
10. 　請求項８記載の情報処理方法において、
    　前記記録再生部は、記録された前記入力パターン、前記画像情報、および前記音声情報を再生する際に、紐付けられた前記重要度が低い音声情報を出力しない、情報処理方法。
11. 　請求項８記載の情報処理方法において、
    　前記位置入力部が、前記ポインティングデバイスから入力される入力パターンが種別毎に重要度が対応付けされた複数のパターンからなるパターン情報に登録されているパターンであるか否かを判定し、前記入力パターンが登録されているパターンであると判定した際に前記パターンに紐付けられている重要度を前記入力パターンに紐付けて前記記録再生部に出力する、情報処理方法。
12. 　請求項１１記載の情報処理方法において、
    　前記画像入力部が、前記画像表示部に表示される画像毎の表示時間を取得し、前記画像の表示時間の長さから前記画像情報の重要度を決定し、決定した前記重要度を前記画像情報に付加して前記記録再生部に出力する、情報処理方法。

Images