JP4572545B2 - 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、複数のシーンが時間軸上に配列して構成される動画像データの中から所望のシーンを検索する作業を支援する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、会議室で開催される会議を録画した動画像データの中から所望のシーンを検索する作業を支援する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、ユーザが検索したいシーンの手がかりを入力し、この入力情報に基づいて動画像データの中から所望のシーンを検索する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、ユーザが検索したいシーンの手がかりを入力するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供するとともに、このＧＵＩを介して入力された内容を基に検索条件を組み、シーンの検索を行なう情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。

昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。

例えば、企業における産業活動やその他のさまざまに日常生活において、会議が頻繁に行なわれているが、会議室にコンピュータを取り込むことで、会議の運用を支援することができる。

会議支援システムの一例として、遠隔会議システムを取り上げることができる。遠隔会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニタやスピーカなどの画像・音声出力装置を設置し、通信回線を利用して、各会議室において行なわれる発言や質疑応答などのイベントを共有し、遠隔地間で議事を同期して進行させることができる。

例えば、複数のユーザが端末装置のネットワーク接続によって対話を可能とした会議システムとしての対話システム制御方式がある（例えば、特許文献１を参照のこと）。この方式によれば、各端末装置において対話への参加、参加者の離脱を処理することによって、自由な参加や離脱を可能にして会議に相当する対話をすることができる。

また、会議の進行上、会議の参加者を撮影した映像や、参加者の発言内容などの音声だけでなく、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまな資料を会議室間で共有し、保管することができる。

例えば、会議に用いられる共有の資料などの用意や保管を容易に行なうことができる会議システムについて提案がなされている（例えば、特許文献２を参照のこと）。この場合、インターネット上の会議支援ウェブサイトを運営する情報提供装置によりＴＶ電話会議のサービスを提供する第１の工程と、会議参加者（ユーザ）が通信端末を用いるとともに、この情報提供装置を通し、共有資料を用いてリアルタイムで会議を行なう第２の工程とを備え、会議に用いられる共有の資料等の用意や保管を容易に行なうことができ、その場で資料などに書き込みを行なうこともでき、さらにはアプリケーションソフトの違いやバージョンの違いによる不具合も解消することができる。

さらに、会議システムでは、映像や音声などの会議の進行上で発生するさまざまなデータをデジタル化して保存し、さらに、ホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまなメディア・データを、映像や音声などのビデオ・データすなわち会議の経過時間と同期させて保管することができる。このように会議に関連するデータを保存しておくことにより、これらを次回の会議において再利用することが可能となる。

会議は、ほぼ毎日、複数の会議において時間毎に開催される。このため、会議毎に捕捉され、蓄積された会議データは膨大であり、その数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議を特定し、さらに会議データの中から所望の箇所（シーン）を探し出す手間が煩わしくなる、あるいは探し出すことが困難若しくは不可能である、という問題が浮上する。

従来、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、決定事項に至った詳細な経緯などは記録されないため、振り返ることができない。また、本題から外れた内容であるが当人にとっては重要であると思える発話の内容や資料の内容など、議事録に載らないような事柄でも後で思い出したいと思う場合がある。

このような振り返りを支援する技術として動画像を利用する方法を挙げることができる。すなわち、会議をビデオ撮影し、後で思い出したいシーンを再生することにより想起を支援する方法である。そのためには、見たいシーンをすばやく検索する技術が不可欠となる。

例えば、動画像からある一定の時間間隔で抽出したシーン（静止画）を代表画像としてユーザに提示することにより、ユーザはその代表画像を頼りに時間的前後関係を推測し、見たいシーンに辿り着くことができる（例えば、特許文献３を参照のこと）。しかし、この場合、ユーザに提示されるシーンは一定間隔の時間で切り出されたシーンであり、そのシーンが時間推定にどれだけ有用であるかは不明である。例えば、似たような複数のシーンが抽出された場合、それらから時間的前後関係を推測するのは難しい。

このような問題を解決するために、動画像の内容が大きく変化した場合の静止画を代表画像としてユーザに提示する方法がある（例えば、特許文献４を参照のこと）。この場合、単なる時間間隔で得られた代表画像と異なり、シーンが変化した時点を代表画像とするため、同じようなシーンが連続して代表画像となることはない。しかしながら、この方法では、画像中の変化が少ないために代表画像が得られない場合もある。逆に、カメラのパンやブレやズーム、又は誰かがカメラの前を通った場合はシーンが大きく変化したとみなされ、そのシーンが代表画像として提示される場合もある。それらは会議の振り返りをするユーザにとっては意味のない（記憶にない）シーンであるので役立たない。

また、どの発言者がいつ発言したかを特定し、それをビジュアルにタイムラインとして表示し、そのタイムラインから再生したい部分の動画へアクセスする方法が提案されている（例えば、特許文献５を参照のこと）。しかし、ユーザは表示されたタイムラインを見て、自分が探しているシーンがどこに相当するかを推測する必要がある。このため、長時間の会議になればなるほど、見る範囲も広くなり、ユーザに負担を強いることになる。

また、見たいシーンを画像としてユーザがシステムに与えることにより、システムはその与えられた画像と類似するシーンを検索するという方法がある（例えば、特許文献６を参照のこと）。この場合、ユーザは画像を検索要求として与えるが、会議の録画の場合、設置されたカメラ位置を想定して、その位置から見える画像を作りシステムに与えなければならない。ユーザは通常、カメラの位置などについては考慮していないのでカメラ位置からの画像を作成して与えるのは難しい。
特開平３−１９２８４５号公報 特開２００２−４１４２９号公報 特開２００２−２６２２４０号公報 特開平１０−１２６７２号公報 特開２０００−１２５２７４号公報 特開２０００−１０９９７号公報

本発明の目的は、会議室で開催される会議を録画した動画像データの中から所望のシーンを検索する作業を支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、ユーザが検索したいシーンの手がかりを入力し、この入力情報に基づいて動画像データの中から所望のシーンを検索することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、ユーザが検索したいシーンの手がかりを入力するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供するとともに、このＧＵＩを介して入力された内容を基に検索条件を組み、シーンの検索を行なうことができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、会議の映像から所望のシーンを検索する情報処理システムであって、各会議の映像を、会議の経過時間毎に生ずるイベント情報とともに管理する会議データベースと、イベント情報を指定するための複数のミニチュアと、各ミニチュアを操作する操作領域を用意し、前記操作領域上にミニチュアを配置する形式で検索要求を受け付ける検索要求受付部と、前記操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する検索条件式生成部と、生成された検索条件式に従って前記会議データベースを検索する検索部と、前記検索部による検索結果を提示する検索結果提示部とを具備することを特徴とする情報処理システムである。

ここで、前記検索部は検索条件式に合致する会議とその経過時間を検索し、前記検索結果提示部は検索結果としての会議の当該経過時間におけるシーンの映像を提示するようになっている。また、前記検索結果提示部は、ユーザ選択に応答して、検索結果としての会議の映像を当該経過時間から再生することができる。そして、会議の再生映像を見ながら、所望のシーンが見当たらなかった場合には、さらに検索要求受付部でミニチュアの操作を繰り返し行なうことで、シーン検索を続行することができる。

前記会議データベースは、会議の経過時間毎に生ずるイベント情報として、会議の識別情報、会議の開始及び終了時間又は会議時間、会議室の識別情報、会議毎の参加者や会議室内に配設されている各機器に関する情報を管理している。参加者や機器に関する情報として、具体的には、各参加者の会議室内での位置や発話開始時間を会議の経過時間に結び付けて管理し、また、会議室内に設置される機器・機材の設置場所や動作状態を会議の経過時間に結び付けて管理する。

前記検索要求受付部は、会議の各参加者及び機器を表すミニチュアと、前記操作領域として会議室のレイアウトを表す会議室表示エリアを用意する。このような場合、ユーザは、ミニチュアの組み合わせや、前記会議室表示エリア上に各ミニチュアを配置し、この配置場所に相当する会議室内での位置やミニチュア同士の配置の組み合わせをシーン検索の手がかりとして入力することができる。そして、前記検索条件式生成部は、ユーザが前記操作領域上に配置したミニチュアに該当する人物又は機器の組み合わせ、あるいは該当する人物又は機器の会議室内での場所の組み合わせを記述した検索条件式を生成する。

また、前記検索要求受付部は、各ミニチュアの状態の指定をさらに受け付け、前記検索条件生成部は、受け付けられたミニチュアの状態を検索条件式に組み込むことができる。ここで言うミニチュアの状態として、具体的には、ミニチュアに相当する人物の会議への参加の有無や会議での発話や、ミニチュアに相当する機器の動作状態の指定を受け付けることができる。

また、ユーザが会議の参加者までは想起することができるが、各人の会議室内での配置までは思い出すことができない場合のために、前記検索要求受付部は、操作領域として会議の参加者を指定する参加者エリアを用意し、ユーザが前記参加者エリアに設置したミニチュアの組み合わせを検索の手がかりとして受け付けるようにしてもよい。このような場合、前記検索条件式生成部は、ユーザが前記参加者エリア上に配置したミニチュアに該当する人物の組み合わせを記述した検索条件式を生成し、参加者の組み合わせをキーに検索を行なうことができる。

本発明に係る情報処理システムによれば、ユーザは、検索したいシーンの手がかりを、ＧＵＩ画面上の操作によりミニチュアを使って与えることができ、その手がかりに合致したシーンを検索することができる。

ここで言う手がかりとして、会議室、参加者や物の位置、誰の発話、発話の順序、使用した機器がある。会議が行なわれている間、会議内容を動画像に記録するとともに、これらの手がかりも一緒に記録する。会議が終了し、ある時間が経った後、ある参加者がこの会議のあるシーンを振り返りたいと思ったとき、参加者は振り返りたいシーンの手がかりを思い浮かべ、ミニチュアを通してシステムに手がかりとして与える。ミニチュアは会議室の見取り図として構成され、参加者のアイコンを自由にその見取り図上に配置できるようになっている。

例えば、参加者Ａが振り返りたいシーンとして、「参加者Ｂがホワイトボードに何かを書き込んだ後、その図を指しながら自分（参加者Ａ）に向かって、何か大事なことを言った」というシーンを考える。参加者Ａはこのときの「何か大事なこと」をもう一度確認したいとする。

このような場合、参加者Ａはこのシーンを再現する手がかりとして、そのシーンが起こった会議室、自分（参加者Ａ）が座っていた位置、参加者Ｂの立っていた位置、ホワイトボードに何か書いたこと、何か言ったこと、それに対して自分（参加者Ａ）も何か言ったことを思い浮かべることができたとする。

参加者Ａはこれらの思い浮かべた内容を手がかりとしてシステムに与える。まず、会議室を覚えているので、会議室名を手がかりとしてシステムに与えることにより、その会議室の見取り図に相当する会議室表示エリアを取り出すことができる。

次に、自分（参加者Ａ）が座っていた位置を覚えているので、その見取り図上に、自分を示すアイコンを配置する。さらに参加者Ｂが立っていた位置も覚えているので、参加者Ｂを示すアイコンを見取り図上に配置する。また、参加者Ｂが発話したことを覚えているので、参加者Ｂのアイコンに発話したという動作を与える。これに対して自分も発話したことを覚えているので、自分を示すアイコンに発話したという動作を与える。

システムは、以上の人物アイコンの配置や発話の順番を、ユーザがＧＵＩ画面上で行なった操作内容から読み取り、その配置や発話順に合致したシーンを検索し、その結果をユーザに提示する。

このようにシステムはそのシーンに合致したシーンを検索して提示するので、ユーザは代表画像を見比べる手間が要らなくなる。また、検索要求としてミニチュアを利用してシーンを構成することができるので、位置情報や発話の順序など自然な方法で指示することができる。

また、本発明の第２の側面は、会議の映像から所望のシーンを検索するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、各会議の映像が会議の経過時間毎に生ずるイベント情報とともに会議データベースで管理されており、イベント情報を指定するための複数のミニチュアと、各ミニチュアを操作する操作領域を用意し、前記操作領域上にミニチュアを配置する形式で検索要求を受け付ける検索要求受付ステップと、前記操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する検索条件式生成ステップと、生成された検索条件式に従って前記会議データベースを検索する検索ステップと、前記検索ステップにおける検索結果を提示する検索結果提示ステップとを具備することを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報処理システムと同様の作用効果を得ることができる。

本発明によれば、会議室で開催される会議を録画した動画像データの中から所望のシーンを検索する作業を支援することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、ユーザが検索したいシーンの手がかりを入力し、この入力情報に基づいて動画像データの中から所望のシーンを検索することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、ユーザが検索したいシーンの手がかりを入力するＧＵＩを提供するとともに、このＧＵＩを介して入力された内容を基に検索条件を組み、シーンの検索を行なうことができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

本発明に係る情報処理システムは、会議を録画した画像データを記録・保存・管理するとともに、その際の利用を支援するものである。具体的には、検索したいシーンの手がかりを、ＧＵＩ画面上の操作によりミニチュアを使って与え、その手がかりに合致したシーンを検索するものである。本発明に係る情報処理システムは、会議の内容を手がかりとともに記録し保存する部分と、保存された会議の内容を手がかりによって検索する部分に大別される。

Ａ．会議データの記録
図１には、本発明の一実施形態に係る情報処理システム１における記録・保存機能の構成を模式的に示している。同図に示すように、情報処理システム１は、会議記録装置１０と、情報管理装置２０と、会議データベース３０で構成される。

このうち会議記録装置１０は、会議を録画するビデオ撮影装置１１と、会議の最中における各参加者の会議室内での時々刻々の位置情報を特定し保存する人物位置特定装置１２と、会議室内でのテーブルやホワイトボードなどの物体の位置情報を特定し保存する物体位置特定装置１３と、会議の最中に時々刻々行なわれた発言の話者を認識し保存する話者認識装置１４と、会議の最中に起きたスライドやその他の機材の動作を特定し保存する機器動作特定装置１５で構成される。これら各装置１１〜１５は、時間的に同期が保たれた状態で記録される。

会議記録装置１０は、会議室毎に用意され、記録開始を指示することにより、会議室内での会議の記録を開始する。また、各会議室に設置された会議記録装置１０には会議室ＩＤが割り当てられており、どの会議室の記録かを判断できるようになっている。

ビデオ撮影装置１１は、会議中の映像・音声を記録するための装置で、例えば従来のビデオ・カメラを利用することができる。会議室毎に複数台のビデオ・カメラを用意し、会議室内のすべての位置を視野に収めることが望ましい。このビデオ・カメラによって撮影された映像・音声は、情報管理装置２０に送られる。

人物位置特定装置１２は、会議室内での人物の位置を特定するための装置である。例えばＩＣタグ（ＲＦＩＤタグ）を利用して会議室内での各参加者の位置を特定することができるが、本発明の要旨はこれに限定されるものではない。人物位置特定装置１２は、人物ＩＤを記録したＩＣタグ、ＩＣタグから人物ＩＤを読み取るためのリーダから構成される。各個人はＩＣタグを埋め込んだＩＤカードを身に付ける。ＩＣタグには個人を特定できるような人物ＩＤが記憶されている。会議室の床面、壁面にはこの人物ＩＤを読み取るためのリーダが複数個埋め込まれている。

例えば、会議室の床面には、図２のように格子状に区切られた区画の中央にリーダが埋め込まれている（格子の中央の丸）。この格子の対角距離は、ＩＣタグとリーダ間の通信に用いる通信方式に依存する。例えば、指向性、到達距離によって異なる。互いに干渉しないで、且つできるだけすべての床面をカバーできることが望ましい。区画毎に配設されたリーダは、各自の読み取り可能範囲に存在するＩＣタグから人物ＩＤを読み取る。複数のリーダによって読み取られＩＣタグがある場合もある。読み取られた人物ＩＤは、読み取った読取装置を示す読取装置ＩＤ（ここでは格子の位置を表すＡ〜Ｇと１〜６の組み合わせで表す）とともに、情報管理装置２０へ送られる。このとき、後述する発話フラグも読み取られ、情報管理装置２０へ送られる場合もある。このようにリーダＩＤからリーダの位置を特定できるので、ある人物の位置が特定できる。ある一定間隔でリーダは人物ＩＤ、発話フラグを読み取り、各リーダはそれらの情報を情報管理装置２０に送る。

また、位置の認識方法としてリーダを机に設置することも考えられる。各座席に向かい合う位置にリーダを設置することにより、机の周辺に座っている人の位置を認識することができる（図２の机周辺の丸）。各リーダにリーダＩＤを割り当てることにより、リーダＩＤから机のどの位置にいたかが分かる。上記の格子状に配置したリーダと組み合わせて使用することも考えられる。

物体位置特定装置１３は、会議室内での物体の位置を特定するための装置である。ここでは上記の人物特定装置１２と同様の仕組みを利用する。但し、上記の人物ＩＤの代わりに物体ＩＤを記録したＩＣタグを移動する可能性のある物体に付与する。例えば、移動式のホワイトボード、椅子、机などが挙げられる。

話者認識装置１４は、各個人が携帯するＩＤカードに小型のマイクロフォンと書き込み機を取り付け（内蔵し）、ある一定以上の強度の発話があった場合、ＩＣタグに発話したことを示す発話フラグをオンにする回路を持つ。ある一定時間マイクロフォンからの入力がない場合は、ＩＣタグの発話フラグをオフにする。上記の人物位置特定装置１２と同様に、読取装置によって人物ＩＤとともに発話フラグがオン状態であることも読み取られる。人物ＩＤと読取装置ＩＤと発話フラグを情報管理装置へ転送する。但し、本発明の要旨はこれに限定されるものではない。

機器動作特定装置１５は、会議室内に配設されているさまざまな機器の状態を監視する。例えば、プロジェクタ・ランプや照明の電源のオン／オフを監視し、その状態の変化を情報管理装置２０へ送る。

図３には、会議の開始と終了のフローを図解している。

記録を開始する場合、ユーザはコントローラ１６に会議開始を指示する。コントローラ１６は、コントローラ１６自身に記録されている会議室名と会議開始が指示されたことを情報管理装置２０に送る。

情報管理装置２０は、状態が開始である場合、会議データベース３０に問い合わせをし、新しい会議ＩＤを取得する。会議ＩＤと会議室の対（会議ＩＤリスト）を情報管理装置２０内に保存する。会議ＩＤリストには現在会議が行なわれている会議室名とその会議ＩＤが保存されている。

次に、会議データベース３０に対して新たなレコードを作成し、その中に、会議ＩＤ、会議室名、日付、時間を格納する。このとき、情報管理装置２０は、開始日時と時間も会議データベース３０に送り、保存する。

記録を終了する場合、ユーザはコントローラ１６に会議終了を指示する。コントローラ１６は、会議室名と状態が終了となったことを情報管理装置２０に送る。情報管理装置２０は、会議ＩＤリストから該当する会議ＩＤを取得し、終了時間を記録する（又は会議の時間も記録する）。情報管理装置２０は、会議ＩＤリストから該当する会議室名と会議ＩＤを削除する。

図４には、会議の記録時におけるビデオ撮影装置１１によるビデオ撮影のフローを示している。

ビデオ撮影装置１１は、記録しているビデオ画像を情報管理装置２０に送る。情報管理装置２０は、ＩＤリストを参照し、会議室名から会議ＩＤを検索し、検索された会議ＩＤに対応するレコードにビデオ画像を保存する。ビデオ画像の記録のタイミングは、逐次、記録しても良いが、ビデオ撮影装置１１内のデジタル・ビデオ・テープなどに一旦保存し、会議終了後に会議データベース３０に保存するようにしても良い。

図５には、会議の記録時における人物位置特定装置１２並びに話者認識装置１３による動作フローを示している。上述したように、両装置１２、１３は一部同じ機器を使用する。

ＩＤカード内のマイクによって、ＩＤカードを装着している人物の発話を検出する。検出した場合、書き込み装置は、ＩＤカードに埋め込まれている無線ＩＣタグの発話フラグをオンにする。検出しなかった場合は、オフにする。また、無線ＩＣタグに人物を特定するための人物ＩＤが記録されており、リーダによって読み取られる。ここではＩＳＯ１５６９３に規定されている無線方式を採用するものとする。リーダは読み取った人物ＩＤと発話フラグとリーダ自身のリーダＩＤ及びリーダが設置されている会議室名を情報管理装置２０に送る。

情報管理装置２０は、人物ＩＤ変換リストを使って人物名を取得し、会議ＩＤリストを使って会議ＩＤを求める。情報管理装置２０は、それらの情報を会議データベース３０に送る。ここでは、リーダは１秒毎に読み取りをしているものとする。

また、物体位置検出装置１３において、物体に物体ＩＤを付与した無線ＩＣタグを付与することにより、人物位置特定装置１２と同じ方法が利用できるので、ここでは説明を省略する。

図６には、会議の記録時における機器動作特定装置１６による動作フローを示している。

機器動作特定装置１５は、液晶プロジェクタ、照明の電源のオン・オフを監視する。オン・オフに変更があった場合は、その機器名、及び変化後の機器の状態、その会議室名を情報管理装置２０に送る。情報管理装置２０は、会議室名から会議ＩＤリストを利用して、会議ＩＤを取得し、その会議ＩＤ、機器ＩＤ、機器状態、時間を記録する。

情報管理装置２０は、ビデオ映像と上記の各読取装置から読み取られた人物ＩＤと発話フラグ、読み取った読取装置の読取装置ＩＤ及び機器の動作状態を受け取り、会議データベース３０に保存する。

このとき、１つの記録装置の開始から終了までの間に送られてきた情報を１つのレコードとして保存する。図７には、会議データベース３０内のデータ構造を模式的に示している。図示の例では、１つのレコードが１枚のシートとして表されている。各レコードには、会議ＩＤを割り当て、開始日時、会議室名、会議時間が記載されている。また、レコード内には、ビデオ映像の他、参加者、機材などの会議又は会議室を構成する各要素に関する情報が時間軸に沿ってそれぞれ保存されている。具体的には、各参加者の会議室内での位置や、発話開始時間が時間に結び付けられて保存される。また、液晶プロジェクタやその他の会議室内に設置される機器・機材に関しては、その設置場所や動作（オン／オフ）状態が時間に結び付けられて保存される。本実施形態では、参加者の位置は格子状に配置されたリーダにより認識した結果が格納される（後述）。また、本実施形態では、１台のカメラによって撮影されたビデオ映像が保存されているが、複数台のカメラによって撮影された場合、複数のビデオ映像を保存するようにしてもよい。

また、図８には、会議データベース２０内のレコードを表組み形式で構成した例を示している。レコード生成時には、会議ＩＤ及び会議室名、会議の開始時間が記録される。記録される情報は時間に沿って記録される。同図に示す例では、秒単位に時間が区切られているとする。参加者毎に、参加者の位置を示す行と発話開始のタイミングを示す行が追加される。また、機器についても位置と動作状態を示す行が追加される。情報管理装置から終了が通知されると終了時間を記録してこのレコードを保存する。したがって、このデータ構造においても、図７の場合と同様に、各参加者の会議室内での位置や、発話開始時間が時間に結び付けて保存することができ、また、液晶プロジェクタやその他の会議室内に設置される機器・機材に関してもその設置場所や動作（オン／オフ）状態が時間に結び付けて保存することができる。

なお、図９に示すように、リーダとリーダの間に人がいて両方のリーダが読み取るなど、複数のリーダが１つの参加者ＩＤを読み取ることがある。この場合、１人の参加者に複数の場所を割り当てて記憶させる。

Ｂ．会議映像の検索
次に、記録された会議の内容を検索する機能について説明する。

本発明によれば、ユーザは、検索したいシーンの手がかりを、ＧＵＩ画面上の操作によりミニチュアを使って与えることができ、その手がかりに合致したシーンを検索することができる。

ここで言う手がかりとして、会議室、参加者や物の位置、誰の発話、発話の順序、使用した機器がある。前項Ａで既に説明したように、会議が行なわれている間、会議内容を動画像に記録するとともに、これらの手がかりも一緒に会議データベース３０に記録されている。会議が終了しある時間が経った後、ある参加者がこの会議のあるシーンを振り返りたいと思ったとき、参加者は振り返りたいシーンの手がかりを思い浮かべ、ミニチュアを通してシステムに手がかりとして与える。ミニチュアは会議室の見取り図を模したＧＵＩ操作画面として構成され、参加者のアイコンを自由にその見取り図上に配置できるようになっている。

例えば、参加者Ａが振り返りたいシーンとして、「参加者Ｂがホワイトボードに何かを書き込んだ後、その図を指しながら自分（参加者Ａ）に向かって、何か大事なことを言った」というシーンを考える。参加者Ａはこのときの「何か大事なこと」をもう一度確認したいとする。

このような場合、参加者Ａはこのシーンを再現する手がかりとして、そのシーンが起こった会議室、自分（参加者Ａ）が座っていた位置、参加者Ｂの立っていた位置、ホワイトボードに何か書いたこと、何か言ったこと、それに対して自分（参加者Ａ）も何か言ったことを思い浮かべることができたとする。

参加者Ａはこれらの思い浮かべた内容を手がかりとしてシステムに与える。まず、会議室を覚えているので、会議室名を手がかりとしてシステムに与えることにより、その会議室の見取り図を取り出すことができる。

次に、自分（参加者Ａ）が座っていた位置を覚えているので、その見取り図上に、自分を示すアイコンを配置する。さらに参加者Ｂが立っていた位置も覚えているので、参加者Ｂを示すアイコンを見取り図上に配置する。また、参加者Ｂが発話したことを覚えているので、参加者Ｂのアイコンに発話したという動作を与える。これに対して自分も発話したことを覚えているので、自分を示すアイコンに発話したという動作を与える。

システムは、以上の人物アイコンの配置や発話の順番を、ユーザがＧＵＩ画面上で行なった操作内容から読み取り、その配置や発話順に合致したシーンを検索し、その結果をユーザに提示する。

このようにシステムはそのシーンに合致したシーンを検索して提示するので、ユーザは代表画像を見比べる手間が要らなくなる。また、検索要求としてミニチュアを利用してシーンを構成することができるので、位置情報や発話の順序など自然な方法で指示することができる。

図１０には、本発明の一実施形態に係る情報処理システム１における、保存された会議の内容を手がかりによって検索するための検索機能の構成を模式的に示している。同図に示すように、検索機能は、検索要求を受け付ける検索要求受付部４０と、検索要求に合致した内容を会議データベース３０から検索する検索部６０と、検索結果を提示する検索結果提示部７０で構成される。

本実施形態に係る情報処理システム１では、検索要求受付部４０は、検索したいシーンの手がかりを、ミニチュアを使って与えるためのＧＵＩ操作画面を用意する。また、検索条件式生成部５０は、ミニチュアを用いた操作により得られる手がかりに基づいて、検索条件式を生成する。そして、検索部６０は、得られた検索条件に従って会議データベース３０を検索する。

図１１には、検索要求受付部４０が提示するＧＵＩ画面の構成例を示している。同図において、参照番号１００は会議室を選択するためのボタン群、１１０は会議の行なわれた時期を選択するためのカレンダー、１２０は参加者を指定するための参加者エリア、１３０は人物を示すアイコンを表示する人物エリアである。

人物エリア１３０には、各個人を示すミニチュアとして人物アイコンが表示される。各人物アイコンの下には、個人の名前がそれぞれ付与される。また、特定の人物を示さない人物アイコンもある。これは、名前が「だれか」となっている、ワイルドカードに相当する人物アイコンである。所望の人物アイコンを参加者エリアに置くことで、シーン検索している会議に参加していたことを指定することができる。各人物アイコンを識別するために、対応する人物の顔写真を人物アイコンに貼り付けるという工夫も考えられる。

また、参照番号１４０は会議室のミニチュアとしての会議室表示エリアであり、１００のあるボタン操作により特定の会議室が選択された場合にその会議室の見取り図が表示される。会議室の見取り図は会議室データベース８０に格納されており、検索要求受付部４０はレイアウトなど必要な情報をそこから取り出す。所望の人物アイコンを会議室表示エリア１４０に置くことで、検索しているシーンには当該参加者が会議室のその場所に存在していることを指定することができる。

また、参照番号１５０は発話を指示するための発話ボタンであり、検索しているシーンにおいて、参加者エリア１２０又は会議室表示エリア１４０に配置した人物アイコンに相当する人物が発話していることを指定することができる。

また、参照番号１６０はリセットボタン、参照番号１８０は検索対象となっている会議における経過時間を示す時間スクロールバーであり、会議中の時間的位置を直接的に特定することができる。

図示のＧＵＩ画面上で、現実の会議室を模したミニチュアを操作することによって、検索要求受付部４０はユーザの直感的な操作から検索の手がかりを引き出すことができる。そして、検索条件式生成部５０は、その操作を通じて得られる情報を検索クエリとして発行する。

次に検索の手順について説明する。図１１に示すようなＧＵＩ画面を通じて、検索したいシーンの手がかりとして、以下の事柄を利用して検索することができる。通常はこれらの手がかりを組み合わせることにより、シーンを絞り込んでいく。

（１）参加者を特定できる場合
（２）会議室を特定できる場合
（３）日時を特定できる場合
（４）発話者を特定できる場合
（５）参加者の位置や移動を特定できる場合
（６）物の位置や移動を特定できる場合
（７）会議中の時間的位置を特定できる場合

それぞれの場合におけるＧＵＩ画面の操作手順について以下に説明する。

（１）参加者を特定できる場合
図１２には、検索要求受付部４０が用意するＧＵＩ画面上において、シーンを検索する手がかりとして参加者を特定する場合の操作例を示している。図示するように、想起したいシーンの手がかりとして参加者を利用できる場合、会議に参加していた人のミニチュアである人物アイコンを人物エリア１３０から選び参加者エリア１２０へ移動する。図示の例では、ユーザは、会議に参加者Ａと参加者Ｂがいたことを思い出し、参加者Ａと参加者Ｂを示すミニチュアである人物アイコンを、順に参加者エリア１２０に移動する。

このとき、検索条件式生成部５０では、検索要求受付部４０において図示の要求を受け付けたことに応答して、以下のような検索クエリを発行する。

検索クエリ：
参加者：参加者Ａ、参加者Ｂ

ここで、検索クエリは上記のように、変数名とその値の対として表すことができる。検索時には、例えばＰｅｒｌ（Ｐｒａｃｔｉｃａｌ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｒｅｐｏｒｔ Ｌａｎｇｕａｇｅ）やその他のプログラミング言語によって変数名と対応する値を抽出し、やはり、Ｐｅｒｌなどのパターン・マッチによってデータベース中のデータと照合したり、データベース操作用言語であるＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）などによってデータベース中のデータを検索することができる。

検索部６０は、上記の検索クエリを受け取ると、参加者Ａと参加者Ｂが参加している会議を検索する。ここでは、図７若しくは図８に示す会議データベース３０から検索するものとする。各レコードについて参加者Ａ、Ｂを含む会議を検索する。

ここで、仮に会議ＩＤが０３７８、０３７７、０３７６となる３件が検索されたとする。検索部６０は、各レコードにおけるビデオ映像の先頭の画像を抽出し、その画像と、画像の撮影開始からの時間、会議ＩＤ、開始日時、会議室名、全員の参加者名、使用した機器などの情報を組み合わせて、検索結果提示部７０へ送る。

検索結果提示部７０は、これらの検索結果を、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。図１３には、検索結果提示部７０における検索結果の提示画面の構成例を示している。例えば、ビデオ撮影装置１１として複数台のカメラで撮影された場合、それぞれの映像における先頭の画像を表示させる。

ここで、検索結果提示部７０で提示されている静止画のうちいずれかをクリックすることにより、検索結果提示部７０はその画像の撮影開始からの時間（この場合はビデオ画像の先頭なので０）と会議ＩＤを検索部６０に渡す。検索部６０はその会議ＩＤの映像の、撮影開始からの時間から始まる動画を抽出し、検索結果提示部７０へ渡す。検索結果提示部７０は、動画表示用のウィンドウを開いて、この動画を再生する。

（２）会議室を特定できる場合
想起したいシーンの手がかりとして会議室を特定できる場合には、図１１に示したＧＵＩ画面上で、該当する会議室ボタン１００を選択操作する。この場合、検索要求受付部４０は、会議室データベース８０から該当する会議室の見取り図などの描画情報を取り出し、会議室の見取り図を表示した会議室表示エリア１４０を表示する。

図１４には、会議室表示エリア１４０内に、指定された会議室のミニチュアとしてその見取り図が表示されている様子を示している。図示の例では、会議室のほぼ中央に円卓が配設され、その円周に８脚の椅子が並べられている。また、２面の壁にホワイト・ボードが配設され、部屋の一角には電話並びに電話代のミニチュアが設置されている。

このように検索要求受付部４０で会議室を特定した時点で、検索条件式生成部５０は、以下のような検索クエリを発行する。

検索クエリ：
会議室： １２会議室

検索部６０は、この要求を受け取ると、１２会議室で行なわれている会議を検索する。ここでは、図７若しくは図８に示す会議データベース３０から検索するものとする。

ここで、仮に会議ＩＤが０３７８、０３７６となる２件が検索されたとする。検索部６０は、各レコードにおけるビデオ映像の先頭の画像を抽出して、その画像と会議ＩＤ、開始日時、会議室名を検索結果提示部７０へ送る。

検索結果提示部７０は、これらの検索結果を、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。

（３）日付を特定できる場合
想起したいシーンとして日付が想起できる場合には、図１１に示したＧＵＩ画面上で、カレンダー１１０上に候補の日付をクリックする。あるいは、ドラッグすることにより複数の日付を選択することができる。例えば、検索要求受付部４０により先週（１２月８日から１２日）が選択された場合、検索条件式生成部５０は、以下のような検索クエリを発行する。

検索クエリ：
日付： ２００３年１２月８日〜１２日

検索部６０は、この要求を受け取ると、会議データベース３０からからこの期間に行なわれた会議を検索する。ここでは、図７若しくは図８に示す会議データベース３０から検索するものとし、各レコードについて２００３年1２月８日〜1２日に行なわれた会議を検索する。

ここで、仮に会議ＩＤが０３７８、０３７７、０３７６、０３７５となる４件が検索されたとする。検索部６０は、各レコードにおけるビデオ映像の先頭の画像を抽出し、その画像と、会議ＩＤ、開始日時、会議室を検索結果提示部７０へ送る。検索結果提示部７０は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。

（４）発話者を特定できる場合
想起したいシーンの手がかりとして発話者が特定できる場合は、参加者を指定する場合と同様、まず参加者エリア１２０に参加者を配置し、これに続いて、発話した参加者を発話ボタン１５０を用いて指定する。

例えば、参加者Ａと参加者Ｂが参加した会議で、参加者Ａが発話者の場合、図１２に示したように、人物エリア１３０中の参加者Ａ並びに参加者Ｂの人物アイコンを参加者エリア１２０に移動する。そして、参加者Ａが発話したシーンを検索する場合、まず発話ボタン１５０を選択し、続けて参加者Ａをクリックすることにより、参加者Ａが発話者であることを指示する。

このとき、検索条件式生成部５０では、検索要求受付部４０において上記の受け付けたことに応答して、以下のような検索クエリを発行する。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話者： 参加者Ａ

検索部６０は、この要求を受け取ると、図７若しくは図８に示す会議データベース３０から該当するシーンを検索する。このとき、参加者Ａと参加者Ｂが参加している会議のうち、さらに参加者Ａが発話する時間を検索する。

図１５には、発話者を指定して得られた検索結果の提示画面の構成例を示している。同図では、会議ＩＤ０３７８のレコードにおいて、タイムラインに垂直に描かれた破線の部分が、参加者Ａが発話を開始する時間として検索されていることを示している。また、他の会議ＩＤについても同様に検索され、該当するレコードの内容を記載したシートが後方に重畳表示されている。

検索部６０は、この検索された時間の静止画をビデオ画像から抽出し、検索結果提示部７０へ送る。検索結果提示部７０は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、会議の開始時間に相当するタイムラインの位置に検索された静止画を割り当てて表示する。図１６にはその様子を示している。

また、発話の回数と密度を指定することもできる。参加者エリア１２０にいる参加者に対して、コンテキスト・メニューなどを利用したメニューを表示させる。図１７には、参加者Ａに発話の回数と密度を指定するメニュー・ウィンドウがポップアップ表示された様子を示している。

このようなメニュー上で、例えば１の連続発言回数を選択した場合、連続発話回数と発話間隔を入力するように促すダイアログ・ボックス（図示しない）が出現する。例えば、連続発話回数と発話間隔として５回、３秒をそれぞれ入力したとすると、これに応答して検索条件式生成部５０は、以下のような検索クエリを発行する。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話者： 参加者Ａ
連続発話回数： ５回
発話間隔： ３秒以内

検索部６０は、上記の検索クエリを受け取ると、参加者Ａが連続して５回以上発話し、その発話間隔が３秒以内の部分を、図７（若しくは図８）に示すような会議データベース３０から検索する。ここで、目的の部分があった場合には、その始まりのシーンの画像を抽出し、その画像と会議ＩＤ、開始日時、会議室を検索結果提示部７０へ送る。

検索結果提示部７０は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する（同上）。

また、図１７に示したメニュー上で２の発言密度を選択した場合、発話時間と発話回数を入力するように促すダイアログ・ボックス（図示しない）が出現する。このダイアログ・ボックス上で、例えば発話時間と発話回数として３分、２０回をそれぞれ入力したとすると、これに応答して検索条件式生成部５０は、以下のような検索クエリを発行する。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話者： 参加者Ａ
発話時間： ３分
発話回数： ２０回

検索部６０は、上記の検索クエリを受け取ると、図７（若しくは図８）に示したような会議データベース３０から、参加者Ａが３分間の間に２０回以上の発話を行なっているシーンを検索する（３分間の間に他の参加者の発話が挿入していることを許容しても、禁止してもよい）。目的の部分が見つかった場合には、検索部６０は、その始まりのシーンの画像を抽出し、その画像と会議ＩＤ、開始日時、会議室を検索結果提示部７０へ送る。

検索結果提示部７０は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する（同上）。

また、図７（若しくは図８）に示したような会議データベース３０のデータ構造であれば、参加者同士の会話のシーンを検索することも可能である。

図１８には、検索の手がかりとして参加者Ａと参加者Ｂが会話していることを入力する操作を示している。まず、参加者エリア１２０に参加者Ａと参加者Ｂの人物アイコンを移動させる。そして、発話ボタンを選択した後、参加者エリア１２０にいる参加者Ａと参加者Ｂの人物アイコンを順にクリックする。これに応答して、ＧＵＩ画面上では、参加者Ａと参加者Ｂの人物アイコン間には、両者会話を意味する線が引かれる。このとき、検索条件式生成部４０では、次のようなクエリを発行する。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話順： 参加者Ａ、参加者Ｂ

検索部６０は、上記のクエリを受け取ると、図７（若しくは図８）に示した会議データベース３０から、参加者Ａの後に参加者Ｂが発話した部分を検索する。目的の部分が見つかった場合には、その始まりのシーンの画像を抽出し、その画像と会議ＩＤ、日付、会議室を検索結果提示部７０へ送る。

検索結果提示部７０は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する（同上）。

なお、上述の例では発話者をクリックした順番を、実際の発話の順序としてみなして検索したが、勿論、発話の順序を無視し、参加者Ｂ、参加者Ａの順で発話しているシーンを検索してもよい。

（５）参加者の位置や移動を特定できる場合
検索したいシーンがどの会議室のものか検索者が判断できる場合には、検索要求提示部１０が提示するＧＵＩ画面左上の会議室選択エリアで該当する会議室の会議室選択ボタンを選択する。すると、選択された会議室のレイアウトや見取り図の情報が会議室データベース８０から読み出され、その会議室の平面図がその下の会議室表示エリア１４０に表示される。図１９には、１２会議室が選ばれているときのＧＵＩ画面を示している。

続いて、検索者は、自分（参加者Ａ）の座っていた位置や、参加者Ｃが立っていた位置を思い出し、マウスなどを用いて、その人物アイコンを会議室表示エリア１４０内の該当する位置に配置する。

検索条件生成部５０は、検索要求受付部４０が提示するＧＵＩ画面上で操作が行なわれる度に、ＧＵＩ画面上でミニチュアにより構成されたシーンから検索クエリを生成し、これを検索要求として検索部６０へ送る。

図１９に示した例では、参加者Ａが会議室上の位置Ｃ１へ、参加者ＣがＦ５へ移動されたものとする。この場合、検索条件生成部５０は、以下のような検索クエリを検索部６０へ送る。

検索クエリ：
会議室： １２会議室
日時： ２００３年１２月１日〜１２日
参加者と位置：参加者Ａ−Ｃ１、参加者Ｃ−Ｆ５

検索部６０は、受け取った検索クエリに合致シーンを会議データベース３０で検索する。ここでは、図７（若しくは図８）に示した会議データベース３０から検索する。まず、会議データベース３０から、1２会議室で２００３年1２月１日〜１２日に行なわれた会議のレコードを検索する。続いて、検索されたレコードの中から、参加者Ａと参加者Ｃがそれぞれ位置Ｃ１並びに位置Ｆ５にいるシーンの始まりの時間をさらに検索する。

ここでは、２件のレコードが検索クエリに該当し、会議ＩＤが０３７８のレコードからＴ１とＴ２が、会議ＩＤが０３７６のレコードからＴ３が検索されたとする。図２０には、会議ＩＤが０３７８のレコードからＴ１とＴ２が検索された様子を示している。検索部６０は、Ｔ１、Ｔ２、Ｔ３に相当する経過時間におけるビデオ映像の静止画を会議データベース３０から抽出し、検索結果提示部７０へ送る。このとき、会議ＩＤ、会議室名、開始日時、全参加者名などの関連情報も併せて送る。

そして、検索結果提示部７０は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、Ｔ１、Ｔ２、Ｔ３の各時間に相当するタイムラインの位置に静止画を割り当てて表示する。図２１には、その様子を示している。

ユーザは、検索結果提示部７０が提示した静止画を見て、ユーザが詳細に見たいコマを選択する。これに応答して、静止画の表示が拡大し、その時点から映像を再生する。

また、さらに検索要求として、誰が発話したかという情報も与えることができる。例えば図１９に示すＧＵＩ画面上で、さらに発話ボタンをポインタで選択してから参加者Ｃをクリックすることにより、参加者の位置や移動を特定した検索要求に対し、参加者Ｃが発話したという情報が検索要求として追加される。すなわち検索条件生成部５０は、検索要求として、以下のような検索クエリを生成する。

検索クエリ：
会議室： １２会議室
日時： ２００３年１２月１日〜１２日
参加者と位置：参加者Ａ−Ｃ１、参加者Ｃ−Ｆ５
発話者： 参加者Ｃ

検索部６０は、これらの検索クエリを受け取ると、図７（若しくは図８）に示すような会議データベース３０からこれらの要求に適合するシーンを検索する。ここでは、ある特定の人物の配置で、初めて発話された時点が要求にあうシーンとする。図２２には、検索クエリに適合するシーンとしてＴ４が検索されている様子を示している。勿論、初めての発話だけではなく、すべての発話の時点を検索結果としてもよい。この場合、Ｔ４の直後の参加者Ａが発話した２つの時点も検索結果となる。この時点の映像を検索結果提示部７０に提示することにより、ユーザはすばやくこのシーンを再生することができる。

さらに、２人の発話者を指定することもできる。例えば、検索要求受付部４０のＧＵＩ画面上で発話ボタン１５０を選択した後、参加者Ａと参加者Ｃのミニチュアを連続してクリックすることにより、２人の発話者を指定する。図２３には、このときの様子を示している。すると、図示のように、参加者Ａと参加者Ｃのミニチュアの間が点線で結ばれ、参加者Ａと参加者Ｃが会話をしたというシーンを表す。そして、検索条件式生成部５０では、検索要求として参加者Ａと参加者Ｃが会話したという要求が追加され、以下のような検索クエリが生成される。

検索クエリ：
会議室： １２会議室
日時： ２００３年１２月１日〜１２日
参加者と位置：参加者Ａ−Ｃ１、参加者Ｃ−Ｆ５
発話順： 参加者Ａ、参加者Ｃ

検索部７０は、上記の検索クエリを受け取ると、図７（若しくは図８）に示した会議データベース３０から、これらの要求に合致するシーンを検索する。この場合、図２２に示した検索結果に対し、参加者Ａが発話した後に参加者Ｃが発話したという検索要求を追加して、シーンを検索する。ここでは、ある特定の人物の配置で、初めて参加者Ａ、参加者Ｃの順番に発話したシーンのはじめの時点を検索結果とする。

図２４には、この場合の検索結果を示している。図示の例ではＴ５が検索される。この時点の映像を検索結果提示部７０に提示することにより、ユーザはすばやくこのシーンを再生することができる（同上）。

なお、上述の説明では、発話者の順序をクリックする順序としたが、この順序は無視しても構わない。例えば、順序を無視して、参加者Ｃ、参加者Ａの順序を含めても検索することも可能とする。また、ある特定の配置での初めてのシーンのみではなくすべてのシーンを検索結果としてもよい。

以上のように、ユーザはもう一度見たいシーンを検索するために、ＧＵＩ上に手がかりを利用してシーンを構成することにより、そのＧＵＩ上のシーンにマッチしたシーンをビデオ画像から検索し見ることができる。

（６）物の位置や移動を特定できる場合
検索したいシーンの手がかりとして、物の移動、例えば、ホワイトボードの位置の変化などを利用できる。例えば、図１４に示したように会議室が指定された状態で、ホワイトボードを移動することにより、そのシーンの検索が行える。

（７）会議中の時間的位置を特定できる場合
検索したいシーンが会議中のどの辺りの時間かを特定することができる場合、検索要求受付部４０が提示するＧＵＩ画面上の時間スクロールバー１８０を利用する。すなわち、このスクロールバー上のノブをスライドさせることにより、そのバーより後の時間から検索を指示することができる。他の検索手がかりと組み合わせて使用する。この場合、検索条件式生成部５０は、以下のような検索クエリを生成することになる。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話者： 参加者Ａ
時間６５％

検索部６０は、図７（若しくは図８）に示したような会議データベース３０の各レコードから、会議時間の６５％だけ経過した時間を計算し、その時間以降について検索を行なう。

また、スクロールバー上に２つのノブを用意することにより、検索する対象をある特定の時間幅に制限することが出来る。２つ存在するノブのうち、左側にあるノブが示す時間と右側にあるノブが示す時間の間を検索することが可能となる。例えば、左側のノブが４５％、右側のノブが５５％の位置にある場合は、検索条件式生成部５０は、以下のような検索クエリを生成することになる。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話者： 参加者Ａ
時間４５％、５５％

検索部６０は、図７（若しくは図８）に示したような会議データベース３０の各レコードから、会議時間の４５％経過した時間と５５％経過した時間を計算し、その間の時間について検索を行なう。

Ｃ．手がかりが曖昧又は不正確な場合の検索方法、検索提示方法
Ｃ−１．参加者の位置の記憶が曖昧な場合
参加者の位置の記憶が曖昧であったり、間違って憶えていたりする場合もある。このような場合、望んだ検索結果を得ることができない。このような場合のため、検索部６０は、曖昧検索を行なうことにより、参加者の位置の記憶が曖昧な場合でも検索できる仕組みを持つ。

図２５には、参加者のミニチュアを会議室表示エリア内に配置することで参加者の位置を特定した様子を示している。図示の例では、参加者ＣをＢ２に配置しており、検索要求として参加者Ｃが位置Ｂ２にいるという検索クエリが生成され、検索部６０は参加者Ｃが位置Ｂ２にいるシーンを検索する。しかし、Ｂ２という位置が間違っている場合もある。この場合のため、検索部６０では、特定された位置Ｂ２とこれに隣接するＡ１、Ａ２、Ａ３、Ｂ１、Ｂ２、Ｂ３、Ｃ１、Ｃ２、Ｃ３の９つの位置について検索をすることとし、参加者の位置を誤って憶えている場合でも検索することができる。

このような曖昧検索によって複数の検索結果が得られた場合、検索結果提示部７０は、結果をランキングして表示することができる。ランキングするために、検索結果提示部７０は、各検索結果について参加者の位置の一致度によってスコア付けを行なう。

ユーザがＧＵＩ画面上で指示した参加者の位置と検索結果の人の位置が一致する場合、すなわち上述の例では参加者Ｃが位置Ｂ２にいる映像が検索された場合、スコアとして＋２点を付与し、参加者Ｃが位置Ｂ２に隣接する８つの位置にいる映像が検索された場合、スコアとして＋１点を付与する。また、複数の参加者について曖昧検索がなされた場合は人数分だけスコアを計算し、各検索結果であるシーン毎に累積する。そして、累積されたスコアを基に検索結果の表示方法を変える。例えば、図２６に示したように最も高いスコアを持つ画像の縁の太さを変えたり、画像そのものの大きさをスコアによって変えたりしてもよい。

Ｃ−２．参加者や発話者が曖昧な場合
次に、参加者や発話者が曖昧な場合についての検索方法について説明する。例えば、誰が発話したか忘れてしまった場合、人物アイコンの中の「だれか」すなわちワイルドカードに相当するアイコンを、会議室表示エリア１４０内に配置し、発話の指示を与えると、検索条件式生成部５０は以下のようなクエリを生成する。

検索クエリ：
会議室： １２会議室
日時： ２００３年１２月１日〜１２日
参加者と位置： 参加者Ａ−Ｃ１、参加者Ｃ−Ｆ２、だれか−Ｆ３
発話者：だれか

検索部６０は、不特定の人物がＦ３の場所にいて発話したというシーンを検索データベース３０から検索する。

Ｃ−３．会議室が曖昧な場合
次に、会議室が曖昧な場合についての検索方法について説明する。同じレイアウトの会議室が複数ある場合には参加者や人の位置を想起し易いが、会議室そのものが特定できない場合がある。このような場合のため、会議室を選択するボタンとして、会議室のレイアウトを示したアイコンを用いることにより、ユーザはレイアウトを想起しながら会議室を選択できるようにする。

図２７には、会議室１２、１３、１４の共通のレイアウトが選択された状態である。図示の画面で検索要求を入力することにより、検索条件式生成部５０では以下のような検索クエリが生成される。

検索クエリ：
会議室： １２，１３，１４会議室
日時： ２００３年１２月１日〜１２日
参加者と位置： 参加者Ａ−Ｃ１、参加者Ｃ−Ｆ５

検索部６０は、検索部は１２会議室、１３会議室、１４会議室を対象として会議データベース３０の検索を行なう。検索結果提示部７０は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを提示し、検索結果の静止画像を時間に相当するタイムラインの位置に静止画を割り当てて表示する。

Ｃ−４．ＧＵＩ画面上での会議室の再現
検索結果提示部７０に提示された、検索結果である静止画に対してＧＵＩ画面上への再現指示をすることにより、その静止画で示された会議の状態を、検索要求受付部４０が提示するＧＵＩ画面上にミニチュアを配置することにより再現することが出来る。再現指示は例えば、検索結果である静止画に対してコンテキスト・メニューを表示させ、再現メニューを選択することにより指示できる。

具体的には、再現を支持された静止画像の会議ＩＤ、時間を検索部６０に送り、検索部６０は該当する会議ＩＤの会議室名、該当する時間の参加者の位置や発話の状態、物体の位置や状態を検索し、検索要求受付部４０へ送る。検索要求受付部４０は受け取った会議室名の会議室の見取り図を表示し、参加者を示す人物アイコンや発話の状態、物体の位置や状態をＧＵＩ画面上へ表示・配置する。このようにすることで、ＧＵＩ画面上に会議室内の状態を再現することができるので、検索結果提示部７０に提示された静止画が会議室の全域を映していない場合でも、会議室内の様子を概観することができる。

Ｃ−５．検索結果を支持することによる絞込検索
図３３に示すように、検索結果提示部７０に、絞込みチェックボックスを設けチェックすることにより、チェックされた会議ＩＤのみの検索結果を表示する。具体的には、検索結果提示部が検索結果である静止画像を提示する際に、すでに絞込みチェックボックスがチェックされている会議ＩＤのみの静止画像を提示する。このようにすることで、目的の会議が見つかった場合、絞込みチェックボックスをチェックすることにより、以降の検索ではチェックした会議の静止画像のみを検索結果として見ることができる。

Ｄ．検索要求の入力
前々項Ｂでは、本実施形態に係る情報処理システム１では、検索要求受付部４０において、ユーザが想起する会議上のさまざまな事柄を手がかりとして入力していくことで、検索要求を特定していく点、並びにＧＵＩ画面上での操作方法について説明した。この項では、ＧＵＩ画面上でのユーザ操作に応じてシステム側で検索要求を特定するための方法について詳解する。

検索要求受付部４０はＧＵＩ画面上で変化が起こる度に、ＧＵＩ画面上の状態を読み取り検索要求を生成し検索条件式生成部５０へ送る。本実施形態では、検索データベースが図７又は図８に示すようなデータ構造を管理していることから、検索要求は、図２８に示すような変数名とその値の組のリストからなるデータ構造をとることができる。

図２９には、検索要求受付部４０が提示するＧＵＩ画面の構成例を示している。

検索要求の会議室フィールドには、図２９の会議室エリア１００で選択されている会議室の名前が値として代入される。会議室が選択されていない場合は何も代入されない。

検索要求の日付フィールドには、図２９のカレンダー１１０上で指示された日付が代入される。複数の日付が選択可能である。何も選択されていない場合は何も代入されない。

検索要求の経過時間フィールドには、スクロールバー１８０上でノブが置かれている時刻に相当する値が代入される。左端にノブがある場合０％、右端にある場合１００％とし、ノブの左端からの位置の割り合いが値として代入される。

検索要求の参加者と位置フィールドには、図２９の人物エリア１３０からミニチュアすなわち人物アイコンが参加者エリア１２０に移動された場合、移動された人物名が値として代入される。但し、この場合は位置情報は付与されない。人物アイコンが会議室エリア１４０に移動された場合、その人物アイコンと、その座標（Ａ〜Ｇ、１〜６の組み合わせ）が対となって、参加者と位置情報フィールドの値となる。

検索要求の発話者フィールドには、発話ボタンを選択した後、参加者エリア１２０又は会議室エリア１４０にある人物アイコンをクリックしたとき、人物アイコンの人物名が代入される。

検索要求の発話回数フィールドについては、発話ボタン１５０を選択した後、参加者エリア１２０又は会議室エリア１４０にある人物アイコン上でコンテキスト・メニュー（前述）を表示させ、発話回数メニューを選択する。このとき表示される発話回数ダイアログに入力した、発話回数と発話の間隔が値として代入される。

また、検索要求の発話密度フィールドには、コンテキスト・メニューを表示させ、発話密度メニューを選択し、このとき表示される発話密度ダイアログに入力した、発話回数と発話の時間が代入される。

また、検索要求の発話順序フィールドには、発話ボタンを選択した後、参加者エリアまたは会議室エリアにある２つの人物アイコン間にドラッグで線を引くことにより値が代入される。このとき、引いた順番、例えば参加者Ａから参加者Ｂに向かって線を引いた場合は、参加者Ａ、参加者Ｂの発話順序とする。また、線を引いた直後にコンテキスト・メニューなどを表示させ、順序指定なしを選ばせることにより、順序を無視して、参加者Ａ、Ｂ又は参加者Ｂ、Ａの順を検索することも可能とする。

検索要求の物と位置フィールドには、例えば会議室を特定したとき、会議室エリア１４０内でおかれている物、例えばホワイトボードなどの位置が代入される。このとき位置情報としては、実際のホワイトボードの位置の認識方法にならった方法が必要である。例えば、両端に無線ＩＣタグを付与して位置を記録している場合、ＧＵＩ上でもこれに合わせてホワイトボードの両端の座標を位置情報とする。

検索要求の機器動作フィールドには、例えば参照番号１７０のＯＮボタンを押下した後に、１４０内の照明スイッチ又はプロジェクタをクリックするとそれらの機器名とＯＮが代入される。また、機器がオフの場合は、ｏｆｆボタンを押下した後に該当する機器類をクリックする。無視ボタンを押下して、機器類をクリックすると、該当する機器動作フィールドには何も代入されない。

Ｅ．検索要求から検索クエリへの変換及び検索
検索要求受付部４０においてＧＵＩ画面を通じて検索要求が入力される度に、検索条件式生成部５０はその入力内容を受け取り、検索クエリに変換する。そして、検索部６０では、この検索クエリを基に会議データベース３０を検索し、要求に適ったシーンを検索する。この項では、検索要求を検索クエリに変換し、さらに検索クエリを用いてデータベースを検索する手順について説明する。

Ｅ−１．ＧＵＩ画面を通じた検索要求と検索クエリへの変換、検索、詳細検索
例えば、ユーザが会議に参加者Ａと参加者Ｂがいたことを思い出したとき、参加者Ａと参加者Ｂを示すミニチュアである人物アイコンを、順に参加者エリア１２０に移動する（図１２を参照のこと）。

このとき、検索条件式生成部５０は、以下のような検索クエリを発行する。

検索クエリ：
会議室： １２会議室
日付： 指定なし
経過時間：０％
参加者：
参加者１：
名前： 参加者Ａ
位置： 指定なし
発話： 指定なし
発話回数： 指定なし
参加者２：
名前： 参加者Ｂ
位置： 指定なし
発話： 指定なし
発話回数： 指定なし
発話順序： 指定なし
発話密度： 指定なし
物体： 指定なし
機器動作： 指定なし

上記のように、検索クエリには、ＧＵＩ画面上で指定された会議室名、日付、参加者、各参加者の位置、発話、発話回数、発話の順序、発話密度、物体、機器動作が含まれる。これらは、階層構造を持つ。特にＧＵＩ画面上で指定されていない項目については、指定なしとする。なお、このような検索クエリは、例えば、Ｐｅｒｌのようなパターン・マッチングや連想配列によるテキスト処理が可能な言語で記述することができる。

検索部６０は、このような検索クエリを受け取ると、所定の手順に従って、会議データベース３０の検索を行なう。図３０には、検索部６０において実行される会議データベース３０の検索処理の手順をフローチャートの形式で示している。

まず検索要求を受け取り、該当するレコードの検索を行なう（ステップＳ１）。

図７並びに図８に示したように、会議データベース３０では、１つのレコードは１つの会議に関する情報が記録されている。このレコードは、検索クエリと同様に、Ｐｅｒｌのようなパターン・マッチングや連想配列によるテキスト処理が可能な言語で記述することができる。

図３１には、このような形式で記述されたレコードを示している。各レコードには会議ＩＤ、会議室名、日付、参加者、会議時間、動画データ、詳細データから構成される。詳細データは、会議データベース３０によって記録された各参加者の位置と発話の有無が時間とともに記録されている。各参加者の位置の変化、発話の変化があった場合に記録される（一定の時間間隔でサンプリングされたものでも良い）。例えば、以下の詳細データは、「１０時５８分３１秒に参加者Ａは発話なし（０）、位置Ｃ３、参加者Ｂは発話あり（１）、位置はＣ５にいた」ということを示している。

１０：５８：３１｜参加者Ａ：０Ｃ３｜参加者Ｂ：１Ｃ５

検索部は検索要求から会議室名と日付、参加者名を取得し、該当するレコードを検索する。ここでは１２会議室で、少なくとも参加者Ａと参加者Ｂが参加しているレコードが検索される。日付は「指定なし」なのでどの日付でも構わない。図３１に示す例では、会議ＩＤ：０１２３４のレコードが検索されたとする。

次いで、各レコードに対して詳細検索を行なうか否かの判断を行なう（ステップＳ２）。ここで言う詳細検索とは、各レコードの中の詳細データを検索することである。

この判断ブロックＳ２では、検索要求の各参加者の位置、発話について指定されているか調べる。どの参加者についてもまったく指定されていない場合、詳細検索は行なわない。ここでは、指定されていないので詳細検索は行なわない。但し、詳細検索を行なう場合については、後述に譲る。

次いで、該当したレコードに含まれる動画データの代表画像を取得する（ステップＳ３）。ここでは、代表画像として、動画の一番初めの画像を代表画像とする。また、代表画像の時間も一緒に取得する。図３１に示す例では、会議ＩＤ０１２３４の動画データから先頭の画像とその時間を取得する。

次いで、関連情報を取得する（ステップＳ４）。ここで言う関連情報とは、各会議における、会議ＩＤ、会議室名、日付、参加者、会議時間などの情報のことである。これは該当したレコードから取得可能である。図３１に示す例では、以下の事柄を関連情報として取得する。

会議室： １２会議室
日時： ２００４年１月２９日
参加者： 参加者Ａ、参加者Ｂ、参加者Ｃ、参加者Ｄ
会議時間： １０：５５：３４−１２：１４：４１

そして、代表画像とその時間、及び関連情報を検索結果として、検索結果提示部７０へ送る。

検索要求受付部４０が提示するＧＵＩ画面を介して検索要求を入力することで、さまざまな検索バリエーションが考えられる。例えば、ユーザは図１２に示したような会議室表示エリアを眺めながら、参加者Ａの位置と参加者Ｂの位置を思い出し、人物アイコンをその位置に移動したとする。さらに参加者Ａがその位置で発話したシーンを検索するために、１５０の発話ボタンを押下した後、参加者Ａをクリックしたとする。図３２には、このときのＧＵＩ画面の様子を示している。検索条件式生成部５０では、図示の状態で、以下のように検索クエリを発行する。

検索クエリ：
会議室： １２会議室
日付： 指定なし
経過時間：０％
参加者：
参加者１：
名前： 参加者Ａ
位置： Ｂ２
発話： あり
発話回数： 指定なし
参加者２：
名前： 参加者Ｂ
位置： Ｃ５
発話： 指定なし
発話回数： 指定なし
発話順序： 指定なし
発話密度： 指定なし
物体： 指定なし
機器動作： 指定なし

上記の検索クエリは、参加者Ａ及び参加者身Ｂの位置が特定されていることと、参加者Ａの発話が合ったことが指定されており、より詳細に条件を指定した検索クエリとなっている。

検索部６０は、上記の検索クエリを受け取ると、図３０に示したフローチャートに従い改めて検索を行なう。まず、検索クエリを受け取り、該当するレコードの検索を行なう（ステップＳ１）。すなわち、検索部６０は、検索クエリから会議室名と日付、参加者名を取得し、該当するレコードを検索する。ここでは1２会議室で、少なくとも参加者Ａと参加者Ｂが参加しているレコードが検索され、会議ＩＤ：０１２３４のレコードが取り出されたとする。日付は指定なしなのでどの日付でも構わない。

次に、各レコードに対して詳細検索を行なうか否かの判断を行なう（ステップＳ２）。まず、検索要求の各参加者の位置、発話について指定されているか調べる。どの参加者についてもまったく指定されていない場合、詳細検索は行なわない。ここでは、参加者Ａについて発話：あり、位置：Ｂ２、参加者Ｂについて位置：Ｃ５、と指定されているので各レコードに詳細検索を行なう（ステップＳ５）。

ステップＳ５における詳細検索では、各レコードの詳細データに記述された情報について検索を行なう。まず、検索要求の各参加者の位置と発話について、以下に示すような検索キーに変換する。検索キーは、例えばＰｅｒｌのようなパターン・マッチングや連想配列によるテキスト処理が可能な言語で記述される。

検索キー１： 参加者Ａ：１Ｂ２
検索キー２： 参加者Ｂ：０Ｃ５

ここで、参加者Ａ：の後の１は発話ありを意味し、その後のＢ２は参加者の位置を意味する。続け参加者Ｂについて同様に変換する。

次に、検索部６０は、該当したレコードの詳細データについて、この検索キーを利用して検索を行なう。この検索処理は例えばＰｅｒｌのようなプログラミング言語を用いて記述することができる。この場合、パターン・マッチングを利用し、上記の検索キー１と検索キー２を同時に含む行を、図３１に示すような会議データベース３０中から検索することができる。

while(<>){
if(/検索キー1/ && /検索キー２/){
時間情報取得処理;
}
}

該当する行が見つかった場合、時間情報取得処理を行ない、時間を取得する。この時間情報取得処理では、単に該当する行の先頭に書かれている時間を取り出せばよい。会議ＩＤ０１２３４のレコードに対して上記の検索を行なった場合、以下の行が当該レコードから検索され、該当時間として、１１：０２：２０と１１：０７：１４を取得することができる。

１１：０２：２０｜参加者Ａ：１Ｂ２｜参加者Ｂ：０Ｃ５｜参加者Ｃ０Ｆ４｜参加者Ｄ：０Ｅ２｜；
１１：０７：１４｜参加者Ａ：１Ｂ２｜参加者Ｂ：０Ｃ５｜参加者Ｃ１Ｆ５｜参加者Ｄ：０Ｅ２｜；

次いで、検索部６０は、該当時間である１１：０２：２０と１１：０７：１４の時点の画像を動画データから抽出する。

次いで、検索部６０は、該当するレコードすなわち会議における関連情報を取得する。関連情報は、該当する会議における、会議ＩＤ、会議室名、日付、参加者、会議時間で構成され、この場合は以下の通りである。

会議室名：１２会議室
日付：２００４年０１月２９日
参加者：参加者Ａ、参加者Ｂ、参加者Ｃ、参加者Ｄ，
会議時間：１０：５５：３４−１２：１４：４１

最後に、検索部６０は、代表画像とその会議時間、及び関連情報を、検索結果提示部７０へ送る。

Ｅ−２．発話の順序を指定した詳細な検索
検索要求受付部４０が提示するＧＵＩ画面上で発話の順序を指定した場合、例えば、発話ボタンを押下した後で、参加者Ａをクリックし続けて参加者Ｂをクリックしたとする。この場合、検索条件式生成部５０からは、以下のような検索クエリが発行される。

検索クエリ：
会議室： １２会議室
日付： 指定なし
経過時間：０％
参加者：
参加者１：
名前： 参加者Ａ
位置： Ｂ２
発話： あり
発話回数： 指定なし
参加者２：
名前： 参加者Ｂ
位置： Ｃ５
発話： 指定あり
発話回数： 指定なし
発話順序： 参加者Ａ→参加者Ｂ：間隔３秒
発話密度： 指定なし
物体： 指定なし
機器動作： 指定なし

このような場合、検索部６０では、図３０に示したフローチャートのステップＳ５に相当する詳細検索において、まず各参加者の位置と発話の状態を、以下のような検索キーに置き換える。

検索キー１：参加者Ａ：１Ｂ２｜参加者Ｂ：．Ｃ５
検索キー２：参加者Ａ：．Ｂ２｜参加者Ｂ：１Ｃ５

ここで、検索キー１は、参加者Ａが場所Ｂ２にいて発話している状態（１）を示し、参加者Ｂは場所Ｃ５にいて発話の状態は問わない（“.”は１でも０でも良い）。また、検索キー２は、参加者Ａが場所Ｂ２にいて発話の状態は問わず、参加者Ｂは場所Ｃ５にいて発話している状態を示す。

そして、検索部６０は、検索キー１について詳細検索を行なう。この検索処理は例えばＰｅｒｌのようなプログラミング言語を用いて以下のように記述される。検索処理、パターン・マッチングを利用し、上記の検索キー１を含む行を、図３１に示すような会議データベース３０中から検索する。

while(<>){
if(/検索キー1/){
時間情報取得処理;
}
}

この結果、該当するレコードからは、以下に示す２行が検索され、該当する時間として１１：０２：２０、１１：０７：１４が取り出される。この時間を要素として含む集合を集合Ａとする。

１１：０２：２０｜参加者Ａ：１Ｂ２｜参加者Ｂ：０Ｃ５｜参加者Ｃ：０Ｆ４｜参加者Ｄ：０Ｅ２｜；
１１：０７：１４｜参加者Ａ：１Ｂ２｜参加者Ｂ：０Ｃ５｜参加者Ｃ：１Ｆ５｜参加者Ｄ：０Ｅ２｜；

続いて、検索部６０は、検索キー２について詳細検索を行なう。この検索処理は例えばＰｅｒｌのようなプログラミング言語を用いて以下のように記述される。検索処理、パターン・マッチングを利用し、上記の検索キー２を含む行を、図３１に示すような会議データベース３０中から検索する。

while(<>){
if(/検索キー２/){
時間情報取得処理;
}
}

この結果、該当レコードからは、以下に示す２行が検索され、１１：０７：１６、１１：０７：５１が取り出される。この時間を要素として含む集合を集合Ｂとする。

１１：０７：１６｜参加者Ａ：０Ｂ２｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ２｜参加者Ｄ：０Ｅ２｜；
１１：０７：５１｜参加者Ａ：０Ｂ２｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ２｜参加者Ｄ：０Ｅ２｜；

次に、集合Ａに含まれるそれぞれの時間から、ある一定時間以内に集合Ｂの要素が存在するか調べる。例えば、ここでは一定時間を３秒とする。この時間はユーザが指定できるようにしても良い。ここでは、集合Ａの１１：０７：１４の３秒以内に集合Ｂの１１：０７：１６ が含まれる。そこで、この時間の時間的に早い方、つまり１１：０７：１４の時点の画像を動画像データから取得する。そして、関連情報をさらに取得し、検索結果提示部７０へ渡す。

なお、検索要求受付部４０で発話の順序を無視するように指定した場合、つまり、参加者Ａと参加者Ｂがどの順序でもよく連続して発話したいシーンを検索する場合には、集合Ａと集合Ｂの各時間の前後関係を無視し、集合Ａと集合Ｂの間で単純に３秒以内に収まる発話を調べればよい。

Ｅ−３．発話回数を指定した検索
検索要求受付部４０が提示するＧＵＩ画面上で、ある参加者の発話回数を指定した場合、例えば、発話ボタンを押下した後で、参加者Ｂをクリックし、その後、コンテキスト・メニュー（前述）を表示し、さらに発話回数ダイアログを表示し、その中で発話回数として２回を指定し、その間隔を５秒以内に指定したとする。この場合、検索条件式生成部５０からは、以下のような検索クエリが発行される。

検索クエリ：
会議室： １２会議室
日付： 指定なし
経過時間：０％
参加者：
参加者１：
名前： 参加者Ａ
位置： Ｃ３
発話： なし
発話回数： 指定なし
参加者２：
名前： 参加者Ｂ
位置： Ｃ５
発話： あり
発話回数： ２回：間隔５秒
発話順序： 指定なし
発話密度： 指定なし
物体： 指定なし
機器動作： 指定なし

このような場合、検索部６０では、図３０に示したフローチャートのステップＳ５に相当する詳細検索において、まず各参加者の位置と発話の状態を、以下のような検索キーに置き換える。

検索キー１：参加者Ａ：．．Ｃ３｜参加者Ｂ：１Ｃ５

ここで、参加者Ａは場所Ｃ３にいて発話の状態は無視し（“．”は１でも０でも良いことを意味する）、参加者Ｂは場所Ｃ５で発話していることを示す。

そして、検索部６０は、検索キー１について詳細検索を行なう。この検索処理は例えばＰｅｒｌのようなプログラミング言語を用いて以下のように記述される。検索処理、パターン・マッチングを利用し、上記の検索キー１を含む行を、図３１に示すような会議データベース３０中から検索する。

while(<>){
if(/検索キー1/){
時間情報取得処理;
}
}

この結果、該当するレコードからは、以下に示す５行が検索され、該当する時間として、１０：５５：４０、１０：５７：０２、１０：５８：３１、１１：０９：２１、１１：０９：２４が取り出される。これを集合Ａとする。

１０：５５：４０｜参加者Ａ：０Ｃ３｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ３｜参加者Ｄ：０Ｅ２｜；
１０：５７：０２｜参加者Ａ：０Ｃ３｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ４｜参加者Ｄ：０Ｅ２｜；
１０：５８：３１｜参加者Ａ：０Ｃ３｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ４｜参加者Ｄ：０Ｅ２｜；
１１：０９：２１｜参加者Ａ：０Ｃ３｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ３｜参加者Ｄ：０Ｅ２｜；
１１：０９：２４｜参加者Ａ：１Ｃ３｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ３｜参加者Ｄ：０Ｅ２｜；

次に、この集合Ａ内で、時間間隔が指定された発話間隔に相当する５秒以内でつながる２時点を集合Ａから検索する。まず時間順に２つの時点を取り出し、その間隔が５秒以内か否かを調べる。この場合、５秒以上の間隔がある場合、時点を１つだけずらし、次の２つの時点について調べる。５秒以内の場合はそれらのシーンの中の一番初めのシーンの画像を動画データから得て、時点をさらに１つずらし、次の２つの時点について５秒以内かどうか調べる。これを最後まで繰り返す。

上記の例では、２つの検索結果１１：０９：２１と１１：０９：２４が５秒以内であるので、これらのシーンの中で一番初めのシーン（１１：０９：２１）の画像を動画データから得る。そして、関連情報をさらに取得し、検索結果提示部７０へ渡す。

Ｅ−４．発話密度を指定した検索
検索要求受付部４０が提示するＧＵＩ画面上で、ある参加者の発話密度を指定した場合、例えば、発話ボタンを押下した後で、参加者Ａ、参加者Ｂをクリックし、その後、コンテキスト・メニュー（前述）を表示し、発話密度ダイアログを表示し、その中で発話密度として発話回数３回を指定し、さらにその時間幅を３分以内に指定したとする。この場合、検索条件式生成部５０からは、以下のような検索クエリが発行される。

検索クエリ：
会議室： １２会議室
日付： 指定なし
経過時間：０％
参加者：
参加者１：
名前： 参加者Ａ
位置： Ｂ２
発話： あり
発話回数： 指定なし
参加者２：
名前： 参加者Ｂ
位置： Ｃ５
発話： あり
発話回数： 指定なし
発話順序： 指定なし
発話密度： 発話回数３回：時間幅１分
物体： 指定なし
機器動作： 指定なし

このような場合、検索部６０では、図３０に示したフローチャートのステップＳ５に相当する詳細検索において、まず各参加者の位置と発話の状態を、以下のような検索キーに置き換える。

検索キー１：参加者Ａ：１Ｂ２｜参加者Ｂ：．Ｃ５
検索キー２：参加者Ａ：．Ｂ２｜参加者Ｂ：１Ｃ５

そして、検索部６０は、検索キー１について詳細検索を行なう。この検索処理は例えばＰｅｒｌのようなプログラミング言語を用いて以下のように記述される。検索処理、パターン・マッチングを利用し、上記の検索キー１を含む行を、図３１に示すような会議データベース３０中から検索する。

while(<>){
if(/検索キー1/){
時間情報取得処理;
}
}

この結果、該当するレコードからは、以下に示す２行が検索され、該当する時間として、１１：０２：２０、１１：０７：１４が取り出される。この時間を要素として含む集合を集合Ａとする。

１１：０２：２０｜参加者Ａ：１Ｂ２｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ４｜参加者Ｄ：０Ｅ２｜；
１１：０７：１４｜参加者Ａ：１Ｂ２｜参加者Ｂ：０Ｃ５｜参加者Ｃ：１Ｆ５｜参加者Ｄ：０Ｅ２｜；

続いて、検索部６０は、検索キー２について詳細検索を行なう。この検索処理は例えばＰｅｒｌのようなプログラミング言語を用いて以下のように記述される。検索処理、パターン・マッチングを利用し、上記の検索キー１を含む行を、図３１に示すような会議データベース３０中から検索する。

while(<>){
if(/検索キー２/){
時間情報取得処理;
}
}

この結果、該当するレコードからは、以下に示す２行が検索され、該当する時間として、１１：０７：１６、１１：０７：５１が取り出される。この時間を要素として含む集合を集合Ｂとする。

１１：０７：１６｜参加者Ａ：０Ｂ２｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ２｜参加者Ｄ：０Ｅ２｜；
１１：０７：５１｜参加者Ａ：０Ｂ２｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ２｜参加者Ｄ：０Ｅ２｜；

続いて、検索部６０は、集合Ａと集合Ｂの和集合を取る。これを集合Ｃとする。

集合Ｃ＝｛１１：０２：２０、１１：０７：１４、１１：０７：１６、１１：０７：５１｝

この集合Ｃ中で、３つ以上の時間が任意の１分間以内に含まれる要素を検索する。ここでは、該当するレコードからは以下に示す３行が検索され、該当する時間として、１１：０７：１４、１１：０７：１６、１１：０７：５１が取り出される。また、これらの抽出されたシーンが、少なくとも参加者Ａと参加者Ｂが１回以上発話していることを調べる。

１１：０７：１４｜参加者Ａ：１Ｂ２｜参加者Ｂ：０Ｃ５｜参加者Ｃ：１Ｆ５｜参加者Ｄ：０Ｅ２｜；
１１：０７：１６｜参加者Ａ：０Ｂ２｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ２｜参加者Ｄ：０Ｅ２｜；
１１：０７：５１｜参加者Ａ：０Ｂ２｜参加者Ｂ：１Ｃ５｜参加者Ｃ：０Ｆ２｜参加者Ｄ：０Ｅ２｜；

ここでは上記のシーンが１分以内で３回以上の発話があり、且つそれが参加者Ａと参加者Ｂの発話を含むシーンである。この先頭シーン１１：０７：１４の画像を動画像データから抽出する。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、検索要求として与えられた検索クエリを含むシーンを検索したが、完全に一致する場合と、検索クエリを包含するシーンで検索の結果に重みを付けてもよい。例えば、参加者Ａと参加者Ｂが会議室上に配置されているとき、実際に参加者Ａと参加者Ｂのみが参加している会議Ａと、それに加えて参加者Ｃも参加している会議Ｂがある場合、会議Ａから検索されるシーンに高いスコアを与え、会議Ｂから検索されたシーンには低いスコアを与えるようにしてもよい。また、曖昧検索を行なった検索結果を提示する場合に、スコアに応じて提示する画像のシーン枠を太くしたり、画像そのものを大きくしたりしても良い。

また、本明細書では、検索要求を受け付けるＧＵＩ操作画面は、会議室の平面図を利用して構成されるが、本発明の要旨はこれに限定されるものではない。例えば３Ｄ表示形式の会議室表示エリアを用いて検索要求を受け付けるようにしてもよい。このような場合、各会議室の３Ｄモデルをあらかじめ作成しておき、視点移動の操作に応じて、実際に検索者が参加していたときの視点で会議室内を表示するようにしてもよい。これによって、手がかりを配置する際により、自然な方法で配置することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

図１は、本発明の一実施形態に係る情報処理システム１の記録・保存機能の構成を模式的に示した図である。 図２は、人物位置特定装置１２の構成例を示した図である。 図３は、会議の開始と終了のフローを示した図である。 図４は、会議の記録時におけるビデオ撮影装置１１によるビデオ撮影のフローを示した図である。 図５は、会議の記録時における人物位置特定装置１２並びに話者認識装置１３による動作フローを示した図である。 図６は、会議の記録時における機器動作特定装置１６による動作フローを示した図である。 図７は、会議データベース３０内のデータ構造を模式的に示した図である。 図８は、会議データベース２０内のレコードを表組み形式で構成した例を示した図である。 図９は、リーダとリーダの間に人がいて両方のリーダが読み取る様子を示した図である。 図１０は、本発明の一実施形態に係る情報処理システム１の検索機能の構成を模式的に示した図である。 図１１は、検索要求受付部４０が提示するＧＵＩ画面の構成例を示した図である。 図１２は、検索要求受付部４０が用意するＧＵＩ画面上において、シーンを検索する手がかりとして参加者を特定する場合の操作例を示した図である。 図１３は、検索結果提示部７０における検索結果の提示画面の構成例を示した図である。 図１４は、会議室表示エリア１４０内に、指定された会議室の見取り図が表示されている様子を示した図である。 図１５は、発話者を指定して得られた検索結果の提示画面の構成例を示した図である。 図１６は、発話者を指定して得られた検索結果を示す静止画をタイムライン上に割り当てて表示した様子を示した図である。 図１７は、参加者Ａに発話の回数と密度を指定するメニュー・ウィンドウがポップアップ表示された様子を示した図である。 図１８は、検索の手がかりとして参加者Ａと参加者Ｂが会話していることを入力する操作を説明するための図である。 図１９は、参加者の位置を利用して検索する再のＧＵＩ操作を説明するための図である。 図２０は、会議ＩＤが０３７８のレコードからＴ１とＴ２が検索された様子を示した図である。 図２１は、検索結果提示部７０により検索結果が提示されている様子を示した図である。 図２２は、検索結果提示部７０により検索結果が提示されている様子を示した図である。 図２３は、検索要求受付部４０のＧＵＩ画面上で２人の発話者を指定する様子を示した図である。 図２４は、シーンの検索結果を示した図である。 図２５は、特定された参加者の位置並びにその隣接する位置を検索する様子を示した図である。 図２６は、曖昧検索の結果にスコアを与え、スコアに基づいて各検索結果の表示形態を変えた様子を示した図である。 図２７は、会議室を選択するボタンとして、会議室のレイアウトを示したアイコンを用いたＧＵＩ画面の構成例を示した図である。 図２８は、検索要求のデータ構造を示した図である。 図２９は、検索要求受付部４０が提示するＧＵＩ画面の構成例を示した図である。 図３０は、検索部６０において実行される会議データベース３０の検索処理の手順を示したフローチャートである。 図３１は、パターン・マッチングや連想配列によるテキスト処理が可能な言語で記述された会議データベース３０のレコードのデータ構成例を示した図である。 図３２は、検索要求受付部４０が用意するＧＵＩ画面上において、シーンを検索する手がかりを入力する場合の操作例を示した図である。 図３３は、検索結果提示部７０に、絞込みチェックボックスを設けチェックすることにより、チェックされた会議ＩＤのみの検索結果を表示した様子を示した図である。

符号の説明

１…情報処理システム
１０…会議記録装置
１１…ビデオ撮影装置
１２…人物位置特定装置
１３…物体位置特定装置
１４…話者認識装置
１５…機器動作特定装置
１６…コントローラ
２０…情報管理装置
３０…会議データベース
４０…検索要求受付部
５０…検索条件式生成部
６０…検索部
７０…検索結果提示部

Claims (12)

1. 会議の映像から所望のシーンを検索する情報処理システムであって、
   各会議の映像を、会議の識別情報、会議の開始時間及び会議時間、会議室の識別情報、複数の区画からなる会議室内での各会議参加者の会議の経過時間毎に位置する区画や発話開始時間、会議室内に配設されている各機器・機材の会議の経過時間毎の設置場所の区画や動作状態に関するイベント情報とともに管理する会議データベースと、
   イベント情報を指定するための会議の各参加者及び機器を表すミニチュアと、会議室の前記複数の区画付きの見取り図を表示する会議室表示エリアからなり各ミニチュアをユーザ操作に応じて配置する操作領域を用意し、前記会議室表示エリア上に各ミニチュアが配置された会議室内での区画の位置又は位置の組み合わせからなる形式で検索要求を受け付ける検索要求受付部と、
   前記ユーザ操作に応じて前記会議室表示エリア上に配置したミニチュアに該当する人物又は機器の該ミニチュアの会議室内での区画の位置の組み合わせを記述した検索条件式を生成する検索条件式生成部と、
   生成された検索条件式に合致する会議の識別情報とその経過時間を前記会議データベースで検索する検索部と、
   前記検索部による検索結果を提示する検索結果提示部と、
   を具備することを特徴とする情報処理システム。
2. 前記検索結果提示部は、検索結果としての会議の当該経過時間におけるシーンの映像を提示する、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記検索結果提示部は、ユーザ選択に応答して、検索結果としての会議の映像を当該経過時間から再生する、
   ことを特徴とする請求項２に記載の情報処理システム。
4. 前記検索要求受付部は、各ミニチュアの状態の指定をさらに受け付け、
   前記検索条件生成部は、受け付けられたミニチュアの状態を検索条件式に組み込む、
   ことを特徴とする請求項１に記載の情報処理システム。
5. 前記検索要求受付部は、ミニチュアの状態として、ミニチュアに相当する人物の会議への参加の有無、会議での発話、又はミニチュアに相当する機器の動作状態の指定を受け付ける、
   ことを特徴とする請求項４に記載の情報処理システム。
6. コンピュータを用いて構築される情報処理システム上で、会議の映像から所望のシーンを検索する情報処理方法であって、
   各会議の映像を、会議の識別情報、会議の開始時間及び会議時間、会議室の識別情報、複数の区画からなる会議室内での各会議参加者の会議の経過時間毎に位置する区画や発話開始時間、会議室内に配設されている各機器・機材の会議の経過時間毎の設置場所の区画や動作状態に関するイベント情報とともに前記コンピュータが備える会議データベースで管理されており、
   前記コンピュータが備える検索要求受付手段が、イベント情報を指定するための会議の各参加者及び機器を表すミニチュアと、会議室の前記複数の区画付きの見取り図を表示する会議室表示エリアからなり各ミニチュアをユーザ操作に応じて配置する操作領域を用意し、前記会議室表示エリア上に各ミニチュアが配置された会議室内での区画の位置又は位置の組み合わせからなる形式で検索要求を受け付ける検索要求受付ステップと、
   前記コンピュータが備える検索条件式生成手段が、前記ユーザ操作に応じて前記会議室表示エリア上に配置したミニチュアに該当する人物又は機器の該ミニチュアの会議室内での区画の位置の組み合わせを記述した検索条件式を生成する検索条件式生成ステップと、
   前記コンピュータが備える検索手段が、生成された検索条件式に合致する会議の識別情報とその経過時間を前記会議データベースで検索する検索ステップと、
   前記コンピュータが備える検索結果提示手段が、前記検索ステップにおける検索結果を提示する検索結果提示ステップと、
   を有することを特徴とする情報処理方法。
7. 前記検索結果提示ステップでは、検索結果としての会議の当該経過時間におけるシーンの映像を提示する、
   ことを特徴とする請求項６に記載の情報処理方法。
8. 前記検索結果提示ステップでは、ユーザ選択に応答して、検索結果としての会議の映像を当該経過時間から再生する、
   ことを特徴とする請求項７に記載の情報処理方法。
9. 前記検索要求受付ステップでは、各ミニチュアの状態の指定をさらに受け付け、
   前記検索条件生成ステップでは、受け付けられたミニチュアの状態を検索条件式に組み込む、
   ことを特徴とする請求項６に記載の情報処理方法。
10. 前記検索要求受付ステップでは、ミニチュアの状態として、ミニチュアに相当する人物の会議への参加の有無、会議での発話、又はミニチュアに相当する機器の動作状態の指定を受け付ける、
    ことを特徴とする請求項９に記載の情報処理方法。
11. 前記検索要求受付ステップでは、操作領域として会議の参加者を指定する参加者エリアをさらに用意し、ユーザが前記参加者エリアに設置したミニチュアの組み合わせを検索の手がかりとして受け付け、
    前記検索条件式生成ステップでは、ユーザが前記参加者エリア上に配置したミニチュアに該当する人物の組み合わせを記述した検索条件式を生成する、
    ことを特徴とする請求項６に記載の情報処理方法。
12. 会議の映像から所望のシーンを検索するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
    各会議の映像を、会議の識別情報、会議の開始時間及び会議時間、会議室の識別情報、複数の区画からなる会議室内での各会議参加者の会議の経過時間毎に位置する区画や発話開始時間、会議室内に配設されている各機器・機材の会議の経過時間毎の設置場所の区画や動作状態に関するイベント情報とともに管理する会議データベース手段、
    イベント情報を指定するための会議の各参加者及び機器を表すミニチュアと、会議室の前記複数の区画付きの見取り図を表示する会議室表示エリアからなり各ミニチュアをユーザ操作に応じて配置する操作領域を用意し、前記会議室表示エリア上に各ミニチュアが配置された会議室内での区画の位置又は位置の組み合わせからなる形式で検索要求を受け付ける検索要求受付手段、
    前記ユーザ操作に応じて前記会議室表示エリア上に配置したミニチュアに該当する人物又は機器の該ミニチュアの会議室内での区画の位置の組み合わせを記述した検索条件式を生成する検索条件式生成手段、
    生成された検索条件式に合致する会議の識別情報とその経過時間を検索する検索手段、
    前記検索部による検索結果を提示する検索結果提示手段、
    として機能させるためのコンピュータ・プログラム。
    

Images