JP6544209B2 - 情報処理装置、会議システム、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、会議システム、情報処理方法およびプログラムに関する。

遠隔地との間で、インターネット等の通信ネットワークを介して遠隔会議を行うビデオ会議システムが普及している。このビデオ会議システムにおいては、遠隔会議（ビデオ会議）を行う参加者等の当事者の一方がいる会議室において、ビデオ会議システムの端末装置を用いて会議室の参加者等の画像（映像）を撮像し、かつ、発話による音声を入力し、映像データおよび音声データを相手方の端末装置に送信する。そして、相手方の会議室のディスプレイに表示し、かつ、スピーカにより音声出力して、実際の会議に近い状態で遠隔地間の会議を実現している。

また、ビデオ会議システムでは、会議の参加者の音声を取得するためにマイクを、映像を取得するためにカメラを使用している。ただし、カメラには画角があるため、カメラの画角外にいる参加者の映像は撮影することができない。この問題を解決するために、３６０度全方向を撮影することができるパノラマカメラを用いる方法が知られている。一方、マイクは、通常、無指向性のため、参加者の発話以外の周囲の音も集音してしまう。この問題を解決するため、マイクアレイを使用してマイクの集音範囲に指向性をもたせることにより、周囲の音の集音を抑え、参加者の発話を効率よく集音する方法が知られている。

このような、ビデオ会議システムとして、会議時における参加者の配置パターンを予め記憶しておき、会議開始時に端末装置に予め記憶されている配置パターンから、参加者の配置パターンに合致したものを選択し、会議端末は、選択された配置パターンに基づいてマイクアレイの集音方向を設定する技術が開示されている（特許文献１）。

しかしながら、特許文献１に記載された技術では、例えば、複数の参加者が同時に発話している場合等、それぞれの参加者のいずれの者の映像（画像）をクローズアップ（映像の切り出し）すればよいのかシステム上判別できず、意図通りに映像が切り替わらないという問題点がある。

本発明は、上記に鑑みてなされたものであって、会議に参加している利用者について、意図通りに利用者の映像をクローズアップすることができる情報処理装置、会議システム、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、情報処理装置であって、映像を撮像する撮像部と、音声を入力する入力部と、前記撮像部により撮像された前記映像から利用者を認識する認識部と、前記撮像部により撮像された前記映像において、前記認識部により認識された利用者が前記情報処理装置に対してどの方向に配置されているかを示す配置パターンを特定する特定部と、少なくとも利用者を示す情報と、該利用者を示す情報に関連付けられた利用者の役割と、を含む第１情報を取得する取得部と、前記認識部により認識された利用者に対応する前記第１情報の役割と、役割と優先度とを予め関連付けた第２情報と、に基づいて、該利用者に対して、該利用者の役割に対応する優先度を設定する設定部と、前記入力部により複数の方向から音声が入力されている場合、前記複数の方向の中で前記配置パターンで特定される利用者の方向のうち、優先度が高い役割を有する利用者の方向を優先して、該方向に対応する該利用者を含む映像領域を前記映像から切り出す切出部と、前記切出部により切り出された前記映像領域を送信する送信部と、を備えたことを特徴とする。

本発明によれば、会議に参加している利用者について、意図通りに利用者の映像をクローズアップすることができる。

図１は、実施の形態に係る会議システムの全体構成の一例を示す図である。 図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図３は、実施の形態に係る情報処理装置の複数のマイクの配置およびパノラマカメラの配置の一例を示す図である。 図４は、実施の形態の会議情報テーブルの構成の一例を示す図である。 図５は、実施の形態の優先度設定テーブルの構成の一例を示す図である。 図６は、実施の形態の顔認識特徴情報テーブルの構成の一例を示す図である。 図７は、実施の形態に係る情報処理装置の機能ブロック構成の一例を示す図である。 図８は、会議に参加する利用者の配置例を示す図である。 図９は、実施の形態に係る情報処理装置の優先度設定処理の一例を示すフローチャートである。 図１０は、実施の形態に係る情報処理装置の集音動作および映像切り出し動作の流れの一例を示すフローチャートである。

以下に、図１〜１０を参照しながら、本発明に係る情報処理装置、会議システム、情報処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（会議システムの構成）
図１は、実施の形態に係る会議システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態に係る会議システム１の構成について説明する。

図１に示すように、本実施の形態に係る会議システム１は、２以上の情報処理装置（情報処理装置１０ａ、１０ｂ、・・・）と、会議サーバ２０と、予約サーバ３０と、を含む。情報処理装置１０ａ、１０ｂは、それぞれインターネット等のネットワーク２を介して、会議サーバ２０および予約サーバ３０と通信可能となっている。

情報処理装置１０ａ、１０ｂは、他の情報処理装置との間で、会議サーバ２０の制御に基づいて、セッションを確立し、確立したセッションを介して、音声データおよび映像データを送受信する会議端末装置である。これにより、会議システム１において、複数の情報処理装置（１０ａ、１０ｂ、・・・）間のビデオ会議（以下、単に「会議」という場合がある）が実現される。なお、図１に示す１以上の情報処理装置（１０ａ、１０ｂ、・・・）について、任意の情報処理装置を示す場合、または総称する場合、単に「情報処理装置１０」と称するものとする。

会議サーバ２０は、各情報処理装置１０が会議サーバ２０と接続しているか否かのモニタリング、会議開始時に各情報処理装置１０の呼び出し制御、および会議時の情報処理の制御を行うサーバ装置である。

予約サーバ３０は、会議を主催する利用者等が、事前に、会議情報（開催日時、開催場所、参加する利用者、役割、使用する情報処理装置等）を登録（予約）しておくサーバ装置である。会議情報については、後述する図４で説明する。また、予約サーバ３０は、後述する図５および６にそれぞれ示す優先度設定テーブル１００２および顔認識特徴情報テーブル１００３を記憶している。各テーブルの詳細については後述する。なお、予約サーバ３０は、例えば、管理ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等がネットワーク２を介して接続されており、上述の会議情報の登録、および優先度設定テーブル１００２および顔認識特徴情報テーブル１００３の追加および更新等の設定ができるものとしてもよい。

なお、図１に示す会議システム１の構成は一例であり、例えば、会議サーバ２０および予約サーバ３０は別々のサーバ装置としているが、これに限定されるものではなく、１つのサーバ装置で構成されるものとしてもよい。

（情報処理装置のハードウェア構成）
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図３は、実施の形態に係る情報処理装置の複数のマイクの配置およびパノラマカメラの配置の一例を示す図である。図２および３を参照しながら、本実施の形態に係る情報処理装置１０のハードウェア構成の詳細について説明する。

図２に示すように、本実施の形態に係る情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、補助記憶装置２０４と、メディアドライブ２０５と、操作ボタン２０６と、電源スイッチ２０７と、ネットワークＩ／Ｆ２０８と、撮像素子Ｉ／Ｆ２０９と、パノラマカメラ２１０と、音声Ｉ／Ｆ２１１と、マイクアレイ２１２と、スピーカ２１３と、出力Ｉ／Ｆ２１４と、外部機器Ｉ／Ｆ２１６と、を備えている。

ＣＰＵ２０１は、情報処理装置１０全体の動作を制御する集積回路である。ＲＯＭ２０２は、情報処理装置１０用のファームウェア等のプログラムを記憶している不揮発性の記憶装置である。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される揮発性の記憶装置である。

補助記憶装置２０４は、情報処理装置１０の動作を実現する各種プログラム、ならびに映像データおよび音声データ等の各種データを記憶する不揮発性の記憶装置である。補助記憶装置２０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。

メディアドライブ２０５は、フラッシュメモリ等である記録メディア２０５ａに対するデータの読み出しおよび書き込みを制御する装置である。

操作ボタン２０６は、情報処理装置１０に対する設定操作等を行うためのボタンである。電源スイッチ２０７は、情報処理装置１０の電源のＯＮ／ＯＦＦを切り替えるスイッチである。

ネットワークＩ／Ｆ２０８は、ネットワーク２を利用してデータを通信するためのインターフェースである。ネットワークＩ／Ｆ２０８は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等である。撮像素子Ｉ／Ｆ２０９は、ＣＰＵ２０１の制御に従って被写体を撮像して映像データを得るパノラマカメラ２１０との間で映像データを伝送するためのインターフェースである。

パノラマカメラ２１０は、レンズ、および光を電荷に変換して被写体の画像（映像）をデジタルデータ化する固体撮像素子を含む撮像装置である。パノラマカメラ２１０は、周囲３６０度の映像データを取得する。このように、３６０度の映像データを取得することにより、情報処理装置１０の周囲にいる会議に参加する利用者を全て撮像することが可能となる。パノラマカメラ２１０は、撮像素子Ｉ／Ｆ２０９に接続される。固体撮像素子としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等が用いられる。また、パノラマカメラ２１０は、例えば、図３に示すように、情報処理装置１０の上面の中央部等に設置される。

音声Ｉ／Ｆ２１１は、ＣＰＵ２０１の制御に従って、音声を入力するマイクアレイ２１２および音声を出力するスピーカ２１３との間で音声信号の入出力を処理するインターフェースである。マイクアレイ２１２は、会議に参加している利用者の音声を入力する集音装置である。マイクアレイ２１２は、複数のマイクを有し、ＣＰＵ２０１の制御に従って、集音方向を任意に設定する指向性制御を実現することができる。スピーカ２１３は、ＣＰＵ２０１の制御に従って、音声を出力する装置である。マイクアレイ２１２およびスピーカ２１３は、それぞれ音声Ｉ／Ｆ２１１に接続される。また、マイクアレイ２１２は、例えば、図３に示すように、６つのマイク（２１２ａ〜２１２ｆ）を有する。マイク２１２ａ〜２１２ｆは、例えば、図３に示すように、情報処理装置１０の筐体の上面に分散して配置される。これらのマイク２１２ａ〜２１２ｆは、ＣＰＵ２０１の制御に従って、入力動作の有効または無効の切り替え、または、それぞれが入力した音声を増幅するゲイン等を切り替えることによって、周囲３６０度の任意の方向または範囲の音声を集音することができる。なお、マイクアレイ２１２は、図３に示すように６つのマイクで構成されることに限定されるものではなく、複数のマイクを有するものとすればよい。また、マイクアレイ２１２の各マイクは、図３に示すように、情報処理装置１０の筐体に分散して配置されるものとしているが、これに限定されるものではなく、マイク２１２ａ〜２１２ｆを有するマイクアレイ２１２のユニットが、情報処理装置１０の筐体とは別体として構成されているものとしてもよい。

出力Ｉ／Ｆ２１４は、ＣＰＵ２０１の制御に従って、外付けの表示装置２１５に映像データを伝送するためのインターフェースである。外部機器接続Ｉ／Ｆ２１６は、ＵＳＢ(Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ)ケーブル等によって、外付けカメラ、外付けマイクおよび外付けスピーカ等の外部機器がそれぞれ電気的に接続可能なインターフェースである。

表示装置２１５は、会議に参加している他拠点の利用者の映像を表示する表示装置である。表示装置２１５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）、または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。表示装置２１５は、ケーブル２１５ａによって出力Ｉ／Ｆ２１４に接続される。ケーブル２１５ａは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよく、コンポーネントビデオ用のケーブルであってもよく、ＨＤＭＩ（登録商標）(Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ)またはＤＶＩ(Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒａｃｔｉｖｅ)信号用のケーブルであってもよい。

上述のＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、メディアドライブ２０５、操作ボタン２０６、電源スイッチ２０７、ネットワークＩ／Ｆ２０８、撮像素子Ｉ／Ｆ２０９、音声Ｉ／Ｆ２１１、出力Ｉ／Ｆ２１４、および外部機器Ｉ／Ｆ２１６は、アドレスバスおよびデータバス等のバス２１７によって互いに通信可能に接続されている。

なお、情報処理装置１０のハードウェア構成は、図２に示す構成に限定されるものではない。例えば、メディアドライブ２０５は備えていなくてもよい。

（各種情報テーブル）
図４は、実施の形態の会議情報テーブルの構成の一例を示す図である。図４を参照しながら、予約サーバ３０が記憶する会議情報テーブル１００１について説明する。

図１に示す予約サーバ３０は、上述のように、登録された会議情報を管理するため会議情報テーブル１００１を記憶している。図４に示すように、会議情報テーブル１００１では、例えば、会議情報を識別する会議識別情報毎に、開催日時、開催場所、利用者を識別する利用者識別情報、役割、およびその会議で使用される使用端末（情報処理装置１０）が、それぞれ関連付けられて管理されている。ここで、役割とは、会議に参加する利用者に割り当てられるその会議における役割である。例えば、役割として、議長、議事録（議事録をとる利用者）、板書（板書する利用者）、ならびに、議長、議事録および板書以外の通常の参加者等が挙げられる。また、使用端末とは、例えば、その会議室で使用される会議端末（情報処理装置１０）に一意に識別する識別情報である。

例えば、図４に示す会議情報テーブル１００１では、会議識別情報が「００２」である会議情報としては、開催日時が「２０１５／１１／１４ ０９：３０」、開催場所が「会議室２−Ｆ」、利用者識別情報が「１０５０７，２０３１１」、役割が「議長，参加者」、使用端末が「ＶＤ５０１１」であることが示されている。

なお、図４に示す会議情報テーブル１００１は、テーブル形式の情報としているが、これに限定されるものではなく、テーブルの各フィールドの値が互いに関連付けて管理することができれば、どのような形式の情報であってもよい。

図５は、実施の形態の優先度設定テーブルの構成の一例を示す図である。図５を参照しながら、予約サーバ３０が記憶する優先度設定テーブル１００２について説明する。

図１に示す予約サーバ３０は、役割に対する優先度を管理する優先度設定テーブル１００２（第２情報の一例）を記憶している。図５に示すように、優先度設定テーブル１００２では、会議の役割毎に優先度が関連付けられて管理されている。ここで、優先度とは、会議中にパノラマカメラ２１０によって撮像された映像データにおいて、それぞれの役割が割り当てられた利用者の映像の切り出しをするための優先順位を決める値である。

例えば、図５に示す優先度設定テーブル１００２では、役割である「議長」、「議事録」、「参加者」、「ホワイトボード」および「その他」は、それぞれ、優先度として「３」、「２」、「１」、「４」および「０」が割り当てられている。図５の例では、優先度の値が大きいほど、優先度が高いことを示す。すなわち、図５に示す優先度設定テーブル１００２では、役割「ホワイトボード」の優先度が「４」で最も高く、役割「その他」の優先度が「０」で最も小さいことを示す。

なお、図５に示す優先度設定テーブル１００２は、テーブル形式の情報としているが、これに限定されるものではなく、役割と優先度とが互いに関連付けて管理することができれば、どのような形式の情報であってもよい。

図６は、実施の形態の顔認識特徴情報テーブルの構成の一例を示す図である。図６を参照しながら、予約サーバ３０が記憶する顔認識特徴情報テーブル１００３について説明する。

図１に示す予約サーバ３０は、利用者に対応する顔画像の特徴情報を管理する顔認識特徴情報テーブル１００３を記憶している。図６に示すように、顔認識特徴情報テーブル１００３では、利用者を識別する利用者識別情報毎に、その利用者の顔画像の特徴情報が関連付けられて管理されている。ここで、利用者の顔画像の特徴情報とは、例えば、利用者の顔の輪郭、目、鼻、あご、およびほお骨等の各パーツの形状および相対位置等を含む情報であり、パノラマカメラ２１０により撮像された画像から利用者の顔を認識するための情報である。

例えば、図６に示す顔認識特徴情報テーブル１００３では、利用者識別情報「２０３９１」に対して、特徴情報「｛７２，１２３，−３，・・・，−１１０、５６，２１９｝」が関連付けられている。

（情報処理装置の機能ブロック構成）
図７は、実施の形態に係る情報処理装置の機能ブロック構成の一例を示す図である。図８は、会議に参加する利用者の配置例を示す図である。図７および８を参照しながら、本実施の形態に係る情報処理装置１０の機能ブロック構成の詳細について説明する。

図７に示すように、本実施の形態に係る情報処理装置１０は、取得部１０１と、認識部１０２と、特定部１０３と、切出部１０４と、切替部１０５と、設定部１０６と、送信部１０７と、受信部１０８と、撮像制御部１０９と、表示制御部１１０と、音声出力制御部１１１と、入力部１１２と、記憶部１１３と、操作部１１４と、通信部１１５と、撮像部１１６と、表示部１１７と、音声出力部１１８と、を有する。

取得部１０１は、通信部１１５およびネットワーク２を介して、予約サーバ３０から会議情報（第１情報）を取得する機能部である。具体的には、取得部１０１は、例えば、会議情報を取得するための取得要求、ならびに、会議の開催日時、開催場所および使用端末の情報を、通信部１１５およびネットワーク２を介して予約サーバ３０に送信する。そして、予約サーバ３０は、取得要求を受信すると、図４に示す会議情報テーブル１００１を参照し、受信した開催日時、開催場所および使用端末に対応する利用者識別情報および役割を、ネットワーク２および通信部１１５を介して、取得部１０１に送信する。取得部１０１は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

認識部１０２は、撮像部１１６により撮像された画像に含まれる１以上の利用者の顔画像から利用者を認識（以下、「顔認識」という場合がある）する機能部である。具体的には、認識部１０２は、例えば、まず、撮像部１１６により撮像された画像に含まれる１以上の利用者の顔画像から、顔の輪郭、目、鼻、あご、およびほお骨等の各パーツの形状および相対位置等を含む特徴情報を抽出する。次に、認識部１０２は、抽出した１以上の利用者分の特徴情報を、通信部１１５およびネットワーク２を介して予約サーバ３０に送信する。そして、予約サーバ３０は、認識部１０２より抽出された特徴情報を受信すると、図６に示す顔認識特徴情報テーブル１００３を参照し、受信した特徴情報と一致する特徴情報に対応する利用者識別情報を、ネットワーク２および通信部１１５を介して、認識部１０２に送信する。認識部１０２は、利用者識別情報を受信することによって、会議に参加する利用者を認識する。すなわち、認識部１０２が受信した利用者識別情報が示す利用者が、実際に会議に参加する利用者ということになる。ここで、認識部１０２により抽出された特徴情報と、顔認識特徴情報テーブル１００３に含まれる特徴情報とが一致するとは、２つの特徴情報が完全に一致した場合だけではなく、２つの特徴情報が実質的に同じ利用者を示す特徴情報と判断できる場合も含まれ得る。認識部１０２は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

特定部１０３は、撮像部１１６によって撮像された画像において、認識部１０２により認識された利用者の位置を特定し、会議に参加する利用者の会議室における利用者の配置パターンを特定する機能部である。例えば、図８（ａ）に示す状況で、机４０の上に載置された情報処理装置１０の撮像部１１６により撮像された３６０度全方向の画像（以下、「パノラマ画像」という場合がある）において、特定部１０３は、認識部１０２によって認識された利用者６０ａ〜６０ｅについて、利用者６０ａが領域Ｐ１に、利用者６０ｂが領域Ｐ２に、利用者６０ｃが領域Ｐ３に、利用者６０ｄが領域Ｐ５に、利用者６０ｅが領域Ｐ６に、そして、ホワイトボード５０が領域Ｐ７に位置することを示す配置パターンを特定する。また、図８（ｂ）に示す状況で、撮像部１１６により撮像されたパノラマ画像において、特定部１０３は、認識部１０２によって認識された利用者６１ａ〜６１ｄについて、利用者６１ａが領域Ｐ２に、利用者６１ｂが領域Ｐ３に、利用者６１ｃが領域Ｐ４に、利用者６１ｄが領域Ｐ５に、そして、ホワイトボード５０が領域Ｐ７に位置することを示す配置パターンを特定する。すなわち、配置パターンを特定するということは、情報処理装置１０に対してどの方向にどの利用者またはホワイトボードが配置されているかを特定することになる。特定部１０３は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。なお、配置パターンで情報処理装置１０に対して配置された方向が特定される利用者およびホワイトボード等を「利用者等」という場合がある。

なお、ホワイトボード５０の位置を特定するには、情報処理装置１０を机４０に設置した状態で、情報処理装置１０とホワイトボード５０との位置関係を予め記憶部１１３に記憶させておくものとしてもよい。または、認識部１０２が、利用者の顔のみではなく、ホワイトボード５０の基準画像に基づくテンプレートマッチング等の公知の方法により、パノラマ画像においてホワイトボード５０を認識するものとしてもよい。

また、撮像部１１６により撮像された画像を「パノラマ画像」という場合があるものとしたが、撮像部１１６により撮像する客体として映像を示す場合、「パノラマ映像」という場合があるものとする。ただし、映像は、画像を含む概念であるものとする。

切出部１０４は、利用者に割り当てられた役割に対応する優先度に基づいて、パノラマ映像から特定の利用者等（図８の例では、例えば、複数の利用者およびホワイトボード５０のうちいずれか）の映像領域を切り出す機能部である。切出部１０４は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

切替部１０５は、利用者に割り当てられた役割に対応する優先度に基づいて、入力部１１２の集音方向を特定の利用者等（図８の例では、例えば、複数の利用者およびホワイトボード５０のうちいずれか）が位置する方向となるように切り替える機能部である。切替部１０５は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

設定部１０６は、利用者の操作入力を受け付けた操作部１１４からの操作情報に基づいて、または、取得部１０１により取得された会議情報に基づいて、認識部１０２により認識された利用者に対して、優先度を設定する機能部である。設定部１０６は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

送信部１０７は、切出部１０４により切り出された映像領域に対応する映像データ、および、入力部１１２により入力された音声データを、通信部１１５およびネットワーク２を介して、他拠点の情報処理装置１０に送信する機能部である。具体的には、送信部１０７は、例えば、映像データおよび音声データをエンコードして、他拠点の情報処理装置１０に送信する。ここで、エンコードの方法としては、公知の方法を用いればよい。例えば、Ｈ．２６４／ＡＶＣ、またはＨ．２６４／ＳＶＣ等の圧縮符号化技術を用いればよい。送信部１０７は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

受信部１０８は、ネットワーク２および通信部１１５を介して、他拠点の情報処理装置１０から受信した映像データおよび音声データを受信する機能部である。具体的には、受信部１０８は、例えば、受信した映像データおよび音声データをデコードし、デコードした映像データを表示制御部１１０に送り、デコードした音声データを音声出力制御部１１１に送る。ここで、デコードの方法としては、公知の方法を用いればよい。受信部１０８は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

撮像制御部１０９は、撮像部１１６の動作を制御する機能部である。具体的には、撮像制御部１０９は、例えば、撮像部１１６による撮像の開始および停止の動作等を制御し、撮像部１１６により撮像されたパノラマ画像を取得する。撮像制御部１０９は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

表示制御部１１０は、表示部１１７に各種画像を表示させる制御を行う機能部である。表示制御部１１０は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

音声出力制御部１１１は、音声出力部１１８に各種音声を出力させる制御を行う機能部である。音声出力制御部１１１は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。

入力部１１２は、音声を入力する機能部である。入力部１１２は、切替部１０５の制御に従って、特定の集音方向の音声を入力する。入力部１１２は、例えば、図２に示すマイクアレイ２１２によって実現される。

記憶部１１３は、情報処理装置１０の動作を実現する各種プログラム、映像データ、音声データ、および特定部１０３によって特定された配置パターン等の情報を記憶する機能部である。記憶部１１３は、例えば、図２に示すＲＡＭ２０３および補助記憶装置２０４によって実現される。

操作部１１４は、利用者（例えば、会議の参加者）の各種操作入力を受け付ける機能部である。操作部１１４は、例えば、図２に示す操作ボタン２０６および電源スイッチ２０７等によって実現される。なお、操作部１１４は、図２に示す操作ボタン２０６および電源スイッチ２０７に限定されるものではなく、マウス、キーボード、またはタッチパネル等によって実現されるものとしてもよい。

通信部１１５は、ネットワーク２を介して、他の情報処理装置１０、会議サーバ２０および予約サーバ３０とデータ通信をする機能部である。通信部１１５は、例えば、図２に示すネットワークＩ／Ｆ２０８によって実現される。

撮像部１１６は、３６０度全方向のパノラマ画像またはパノラマ映像を撮像する機能部である。撮像部１１６は、例えば、図２に示すパノラマカメラ２１０によって実現される。

表示部１１７は、表示制御部１１０の制御に従って、各種画像を表示する機能部である。表示部１１７は、例えば、図２に示す表示装置２１５によって実現される。

音声出力部１１８は、音声出力制御部１１１の制御に従って、各種音声を出力する機能部である。音声出力部１１８は、例えば、図２に示すスピーカ２１３によって実現される。

なお、図７に示す情報処理装置１０の取得部１０１、認識部１０２、特定部１０３、切出部１０４、切替部１０５、設定部１０６、送信部１０７、受信部１０８、撮像制御部１０９、表示制御部１１０、音声出力制御部１１１、入力部１１２、記憶部１１３、操作部１１４、通信部１１５、撮像部１１６、表示部１１７および音声出力部１１８は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図７に示す情報処理装置１０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図７に示す情報処理装置１０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、情報処理装置１０の取得部１０１、認識部１０２、特定部１０３、切出部１０４、切替部１０５、設定部１０６、送信部１０７、受信部１０８、撮像制御部１０９、表示制御部１１０および音声出力制御部１１１の一部または全部は、ソフトウェアであるプログラムではなく、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア回路によって実現されてもよい。

（優先度設定処理）
図９は、実施の形態に係る情報処理装置の優先度設定処理の一例を示すフローチャートである。図９を参照しながら、本実施の形態に係る情報処理装置１０の優先度設定処理の流れについて説明する。

＜ステップＳ１１＞
まず、会議に参加しようとする利用者は、情報処理装置１０の操作部１１４を操作して、情報処理装置１０の電源をＯＮ状態にし、撮像部１１６によって周囲の画像（パノラマ画像）を撮像するための操作入力を行う。撮像制御部１０９は、操作部１１４からパノラマ画像を撮像するための操作情報を受け取ると、撮像部１１６にパノラマ画像を撮像させる。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
認識部１０２は、撮像部１１６により撮像されたパノラマ画像に含まれる１以上の利用者の顔画像から、顔の輪郭、目、鼻、あご、およびほお骨等の各パーツの形状および相対位置等を含む特徴情報を抽出する。次に、認識部１０２は、抽出した１以上の利用者分の特徴情報を、通信部１１５およびネットワーク２を介して予約サーバ３０に送信する。そして、予約サーバ３０は、認識部１０２より抽出された特徴情報を受信すると、図６に示す顔認識特徴情報テーブル１００３を参照し、受信した特徴情報と一致する特徴情報に対応する利用者識別情報を、ネットワーク２および通信部１１５を介して、認識部１０２に送信する。認識部１０２は、利用者識別情報を取得することによって、会議に参加する利用者を認識（顔認識）する。

そして、特定部１０３は、撮像部１１６によって撮像されたパノラマ画像において、認識部１０２により認識された利用者の位置を特定し、会議に参加する利用者の会議室における利用者の配置パターンを特定する。特定部１０３は、特定した配置パターンの情報を、記憶部１１３に記憶させる。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
取得部１０１は、通信部１１５およびネットワーク２を介して、予約サーバ３０から会議情報を取得する。具体的には、取得部１０１は、会議情報を取得するための取得要求、ならびに、会議の開催日時、開催場所および使用端末の情報を、通信部１１５およびネットワーク２を介して予約サーバ３０に送信する。予約サーバ３０は、取得要求を受信すると、図４に示す会議情報テーブル１００１を参照し、受信した開催日時、開催場所および使用端末に対応する利用者識別情報および役割を、ネットワーク２および通信部１１５を介して、取得部１０１に送信する。そして、取得部１０１は、これから開催される会議の会議情報として、会議に参加する利用者の利用者識別情報および役割を取得する。これから開催される会議の会議情報が取得部１０１によって取得できた場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１４へ移行し、取得できなかった場合（ステップＳ１３：Ｎｏ）、ステップＳ１５へ移行する。

＜ステップＳ１４＞
設定部１０６は、取得部１０１により取得された会議情報のうちの役割に対応する優先度を取得するための取得要求、およびその役割の情報を、通信部１１５およびネットワーク２を介して予約サーバ３０に送信する。予約サーバ３０は、取得要求を受信すると、図５に示す優先度設定テーブル１００２を参照し、受信した役割に対応する優先度を、ネットワーク２および通信部１１５を介して、設定部１０６に送信する。また、設定部１０６は、取得部１０１により取得された会議情報のうちの利用者識別情報と、認識部１０２による顔認識により取得された利用者識別情報（実際に会議に参加する利用者の利用者識別情報）とが一致する利用者に対応する役割に基づいて、その利用者に対して、受信した優先度を設定する。そして、ステップＳ１８へ移行する。

なお、取得部１０１により取得された会議情報のうちの利用者識別情報の中に、認識部１０２による顔認識により取得された利用者識別情報がない場合、すなわち、会議情報に登録されていない利用者が、実際の会議室に存在する場合、設定部１０６は、デフォルトの役割（例えば、「参加者」）を設定するものとすればよい。または、設定部１０６は、会議情報に登録されていない利用者は実際の会議に参加しないものと判断し、役割を「その他」に設定するものとしてもよい。または、会議情報に登録されていない利用者が、実際の会議室に存在する場合、利用者は、操作部１１４を介して、その登録されていない利用者に対して手動で役割の設定操作を行うものとしてもよい。

＜ステップＳ１５＞
これから開催される会議の会議情報が取得部１０１によって取得できなかった場合に、利用者が、認識部１０２により顔認識された利用者に対して、操作部１１４から手動で役割を設定する操作入力を行った場合（ステップＳ１５：Ｙｅｓ）、ステップＳ１６へ移行する。一方、利用者が、認識部１０２により顔認識された利用者に対して、操作部１１４から手動で役割を設定する操作入力を行わなかった場合（ステップＳ１５：Ｎｏ）、ステップＳ１７へ移行する。

＜ステップＳ１６＞
設定部１０６は、利用者により操作部１１４から入力された役割の設定操作に基づいて、認識部１０２により顔認識された利用者に対して役割を設定し、その役割に対応する優先度を取得するための取得要求、およびその役割の情報を、通信部１１５およびネットワーク２を介して予約サーバ３０に送信する。予約サーバ３０は、取得要求を受信すると、図５に示す優先度設定テーブル１００２を参照し、受信した役割に対応する優先度を、ネットワーク２および通信部１１５を介して、設定部１０６に送信する。また、設定部１０６は、認識部１０２により顔認識された利用者に対応する役割に基づいて、その利用者に対して、受信した優先度を設定する。そして、ステップＳ１８へ移行する。

＜ステップＳ１７＞
設定部１０６は、デフォルトの役割設定に基づいて、認識部１０２により顔認識された利用者に対して役割を設定し、その役割に対応する優先度を取得するための取得要求、およびその役割の情報を、通信部１１５およびネットワーク２を介して予約サーバ３０に送信する。予約サーバ３０は、取得要求を受信すると、図５に示す優先度設定テーブル１００２を参照し、受信した役割に対応する優先度を、ネットワーク２および通信部１１５を介して、設定部１０６に送信する。また、設定部１０６は、認識部１０２により顔認識された利用者に対応する役割に基づいて、その利用者に対して、受信した優先度を設定する。ここで、デフォルトの役割設定とは、例えば、図８に示す領域Ｐ１に存在する利用者に対して優先的に役割を「議長」に設定し、領域Ｐ２に存在する利用者に対して優先的に役割を「議事録」に設定し、領域Ｐ６に存在する利用者に対して優先的に役割を「板書」に設定し、その他の利用者の役割を「参加者」に設定する、というような予め定められた役割の設定である。そして、ステップＳ１８へ移行する。

＜ステップＳ１８＞
情報処理装置１０は、設定部１０６によって、顔認識がされた利用者に対して役割および優先度が設定された後、ビデオ会議を開始する。具体的には、情報処理装置１０は、後述する図１０に示す集音動作および映像切り出し動作の処理に移行する。

以上のステップＳ１１〜Ｓ１８の動作によって、情報処理装置１０により優先度設定処理が実行される。

なお、図９に示す優先度設定処理においては、会議情報に基づいて役割および優先度を設定するか、利用者による役割設定操作に基づいて役割および優先度を設定するかについては、予約サーバ３０の会議情報テーブル１００１に、該当する会議情報の有無によって判定するものとしているが、これに限定されるものではない。例えば、情報処理装置１０で手動モードおよび自動モードのいずれかを設定できるようにし、手動モードの場合は、予約サーバ３０の会議情報テーブル１００１を参照せず、利用者の役割設定操作により設定し、自動モードの場合は、予約サーバ３０の会議情報テーブル１００１を参照して設定するものとしてもよい。

また、図９に示す優先度設定処理のうち、ステップＳ１１〜Ｓ１７の処理は、会議中においても、所定時間ごとに、または、所定の条件を充足した場合に再実行するものとしてもよい。所定の条件を充足した場合とは、例えば、撮像部１１６により撮像されているパノラマ映像において、認識部１０２が顔認識した利用者の位置が移動した場合、前回に認識部１０２により顔認識した利用者がいなくなった場合、または、前回に認識部１０２により顔認識した利用者以外の利用者が顔認識された場合等が挙げられる。

（集音動作および映像切り出し動作）
図１０は、実施の形態に係る情報処理装置の集音動作および映像切り出し動作の流れの一例を示すフローチャートである。図１０を参照しながら、本実施の形態に係る情報処理装置１０の集音動作および映像切り出し動作の流れについて説明する。

＜ステップＳ３１＞
まず、切替部１０５は、入力部１１２の集音方向を３６０度全方向になるように切り替える。そして、ステップＳ３２へ移行する。

＜ステップＳ３２＞
切出部１０４は、特定部１０３により特定された配置パターンで配置方向が定まった利用者等のうち、優先度が最も高い役割を有する利用者等の映像領域を、撮像部１１６により撮像されているパノラマ映像から切り出す。例えば、優先度設定テーブル１００２が図５に示す内容に設定されている場合、役割「ホワイトボード」の優先度が「４」で最も高いので、切出部１０４は、配置パターンで配置方向が定まっているホワイトボードを含む映像領域をパノラマ映像から切り出す。そして、ステップ３３へ移行する。

なお、このステップＳ３２で、切出部１０４は、優先度が最も高い役割を有する利用者等の映像領域を切り出すものとしているが、これに限定されるものではない。例えば、どの利用者等を切り出しの対象とするかについての設定を、優先度とは別個独立に設定するものとしてもよい。

＜ステップＳ３３＞
送信部１０７は、切出部１０４により切り出された映像領域に対応する映像データをエンコードし、通信部１１５およびネットワーク２を介して、他拠点の情報処理装置１０に送信する。そして、ステップＳ３４へ移行する。

＜ステップＳ３４＞
入力部１１２は、音声の入力の受け付けを開始する。そして、ステップＳ３５へ移行する。

＜ステップＳ３５＞
情報処理装置１０は、ビデオ会議が終了したか否かを判定する。例えば、情報処理装置１０は、利用者が操作部１１４から会議終了のための操作を行ったか否かを判定する。ビデオ会議が終了した場合（ステップＳ３５：Ｙｅｓ）、集音動作および映像切り出し動作を終了し、ビデオ会議が終了していない場合（ステップＳ３５：Ｎｏ）、ステップＳ３６へ移行する。

＜ステップＳ３６＞
入力部１１２により音声が入力された場合（ステップＳ３６：Ｙｅｓ）、ステップＳ３７へ移行し、入力部１１２により音声が入力されない場合（ステップＳ３６：Ｎｏ）、ステップＳ３１へ戻る。

＜ステップＳ３７＞
入力部１１２は、入力した音声が複数の方向からの音声か否かを判定する。入力部１１２により複数の方向からの音声が入力された場合（ステップＳ３７：Ｙｅｓ）、ステップＳ３８へ移行し、入力部１１２により１の方向からの音声が入力された場合（ステップＳ３７：Ｎｏ）、ステップＳ４０へ移行する。

＜ステップＳ３８＞
入力部１１２により複数の方向からの音声が入力されている場合、切替部１０５は、特定部１０３により特定された利用者等の配置パターンから、複数の方向に対応する利用者を特定し、特定した利用者のうち最も優先度の高い役割を有する利用者の方向に、入力部１１２の集音方向を切り替える。

ここで、例えば、切替部１０５によって、特定の利用者の方向に入力部１１２の集音方向が切り替えられた後、入力部１１２により新たな方向から音声が入力された場合、切替部１０５は、現在の入力部１１２の集音方向に対応する利用者の役割の優先度と、新たな方向に対応する利用者の役割の優先度とを比較し、優先度が高い役割を有する利用者の方向に、入力部１１２の集音方向を切り替えるものとすればよい。これは、後述する、ステップＳ４０でも同様である。

なお、切替部１０５は、特定した利用者のうち最も優先度の高い役割を有する利用者の方向に、入力部１１２の集音方向を切り替えるものとしたが、これに限定されるものではない。すなわち、切替部１０５は、特定した利用者のうち、他の利用者の役割の優先度よりも高い優先度の役割を有する利用者の方向を優先して、入力部１１２の集音方向を切り替えるものとしてもよい。

また、切替部１０５は、配置パターンから特定した、複数の方向に対応する利用者がそれぞれ有する役割の優先度が等しい場合、例えば、等しい優先度の役割を有する利用者のうち、ランダムに決定した利用者の方向に、入力部１１２の集音方向を切り替えるものとすればよい。または、切替部１０５は、等しい優先度の役割を有する利用者のうち、先に入力部１１２により音声が入力された利用者の方向を優先して、入力部１１２の集音方向を切り替えるものとしてもよい。

入力部１１２は、切替部１０５により切り替えられた集音方向からの音声を入力する。そして、ステップＳ３９へ移行する。

＜ステップＳ３９＞
切出部１０４は、撮像部１１６により撮像されているパノラマ映像から、切替部１０５により切り替えられた集音方向に対応する利用者を含む映像領域を切り出す。そして、ステップＳ４２へ移行する。

＜ステップＳ４０＞
入力部１１２により１の方向からの音声が入力されている場合、切替部１０５は、特定部１０３により特定された利用者等の配置パターンから、１の方向に対応する利用者を特定し、特定した利用者の方向に、入力部１１２の集音方向を切り替える。入力部１１２は、切替部１０５により切り替えられた集音方向からの音声を入力する。そして、ステップＳ４１へ移行する。

なお、切替部１０５は、配置パターンにより特定した１の方向に対応する利用者の役割およびその優先度が、例えば、図５に示す優先度設定テーブル１００２のように、それぞれ「その他」および「０」となっている場合は、その利用者は会議に参加しないと判定し、その利用者の方向に集音方向を切り替えない、すなわち、その利用者が発話する音声を集音させないものとしてもよい。この場合、後述のステップＳ４１でも、切出部１０４は、その利用者を含む映像領域をパノラマ映像から切り出さないものとすればよい。

＜ステップＳ４１＞
切出部１０４は、撮像部１１６により撮像されているパノラマ映像から、切替部１０５により切り替えられた集音方向に対応する利用者を含む映像領域を切り出す。そして、ステップＳ４２へ移行する。

＜ステップＳ４２＞
送信部１０７は、切出部１０４により切り出された映像領域に対応する映像データ、および、入力部１１２により入力された音声データをエンコードし、通信部１１５およびネットワーク２を介して、他拠点の情報処理装置１０に送信する。そして、ステップＳ３５へ戻り、動作が繰り返される。

以上のステップＳ３１〜Ｓ４２の動作によって、情報処理装置１０により集音動作および映像切り出し動作が実行される。

以上のように、本実施の形態に係る情報処理装置１０では、ビデオ会議に参加する利用者等に対して、予め役割および優先度を設定し、複数の利用者が発話した場合には、優先度が高い役割を有する利用者の方向に、入力部１１２の集音方向を切り替え、パノラマ画像から集音方向に対応する利用者を含む映像領域を切り出すものとしている。そして、送信部１０７は、切出部１０４により切り出された映像領域に対応する映像データ、および、入力部１１２により入力された音声データをエンコードし、他拠点の情報処理装置１０に送信するものとしている。これによって、会議中に複数の利用者が同時に発話している場合でも、優先度の高い利用者の音声を集音し、その利用者を含む画像を切り出して、他拠点の情報処理装置１０に送信するので、会議に参加している利用者について、意図通りに利用者の映像をクローズアップすることができる。

また、予約サーバ３０に予め会議情報を登録しておくので、会議に参加する利用者の役割を改めて設定する必要がなく、手間を省くことができ、会議をスムーズに開始することができる。

また、会議の開始前に、撮像部１１６がパノラマ画像を撮像し、認識部１０２が会議に参加する利用者を認識し、特定部１０３が利用者の配置パターンを特定しておくので、会議中に毎回、顔認識および配置パターンの特定等の動作を行う必要がなく、ＣＰＵ２０１の負荷を軽減することができる。

なお、撮像部１１６は、パノラマカメラ２１０によって実現されるものとし、パノラマ画像またはパノラマ映像を撮像するものとしたが、必ずしもこれに限定されるものではない。すなわち、撮像する範囲が３６０度全方向である必要がない等の場合、パノラマカメラを利用する必要はなく、例えば、必要な撮像範囲を網羅する画角を有する撮像装置（カメラ）であってもよい。この場合、撮像装置が撮像可能な画角の範囲で、映像の切り出し、および集音方向の設定を行うものとすればよい。

また、上述の実施の形態において、情報処理装置１０の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態に係る情報処理装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶して提供するように構成してもよい。また、上述の実施の形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態の情報処理装置１０で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２０１が上述の記憶装置（例えば、ＲＯＭ２０２および補助記憶装置２０４等）からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（例えば、ＲＡＭ２０３）上にロードされて生成されるようになっている。

１ 会議システム
２ ネットワーク
１０、１０ａ、１０ｂ 情報処理装置
２０ 会議サーバ
３０ 予約サーバ
４０ 机
５０ ホワイトボード
６０ａ〜６０ｅ 利用者
６１ａ〜６１ｄ 利用者
１０１ 取得部
１０２ 認識部
１０３ 特定部
１０４ 切出部
１０５ 切替部
１０６ 設定部
１０７ 送信部
１０８ 受信部
１０９ 撮像制御部
１１０ 表示制御部
１１１ 音声出力制御部
１１２ 入力部
１１３ 記憶部
１１４ 操作部
１１５ 通信部
１１６ 撮像部
１１７ 表示部
１１８ 音声出力部
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 補助記憶装置
２０５ メディアドライブ
２０５ａ 記録メディア
２０６ 操作ボタン
２０７ 電源スイッチ
２０８ ネットワークＩ／Ｆ
２０９ 撮像素子Ｉ／Ｆ
２１０ パノラマカメラ
２１１ 音声Ｉ／Ｆ
２１２ マイクアレイ
２１２ａ〜２１２ｆ マイク
２１３ スピーカ
２１４ 出力Ｉ／Ｆ
２１５ 表示装置
２１５ａ ケーブル
２１６ 外部機器Ｉ／Ｆ
２１７ バス
１００１ 会議情報テーブル
１００２ 優先度設定テーブル
１００３ 顔認識特徴情報テーブル
Ｐ１〜Ｐ７ 領域

特開２００７−２７４４６３号公報

Claims (12)

1. 情報処理装置であって、
   映像を撮像する撮像部と、
   音声を入力する入力部と、
   前記撮像部により撮像された前記映像から利用者を認識する認識部と、
   前記撮像部により撮像された前記映像において、前記認識部により認識された利用者が前記情報処理装置に対してどの方向に配置されているかを示す配置パターンを特定する特定部と、
   少なくとも利用者を示す情報と、該利用者を示す情報に関連付けられた利用者の役割と、を含む第１情報を取得する取得部と、
   前記認識部により認識された利用者に対応する前記第１情報の役割と、役割と優先度とを予め関連付けた第２情報と、に基づいて、該利用者に対して、該利用者の役割に対応する優先度を設定する設定部と、
   前記入力部により複数の方向から音声が入力されている場合、前記複数の方向の中で前記配置パターンで特定される利用者の方向のうち、優先度が高い役割を有する利用者の方向を優先して、該方向に対応する該利用者を含む映像領域を前記映像から切り出す切出部と、
   前記切出部により切り出された前記映像領域を送信する送信部と、
   を備えた情報処理装置。
2. 前記入力部は、音声の集音方向の切り替えが可能であり、
   前記入力部により複数の方向から音声が入力されている場合、前記配置パターンから特定される該複数の方向の利用者のうち、最も優先度が高い役割を有する利用者の方向に、前記入力部の集音方向を切り替える切替部を、さらに備えた請求項１に記載の情報処理装置。
3. 前記切替部は、前記入力部によって、一の方向に集音方向に切り替えられている状態で、前記一の方向とは異なる方向から音声が入力された場合に、前記異なる方向に対応する利用者が有する役割の優先度が、前記一の方向に対応する利用者が有する役割の優先度よりも高い場合、前記入力部の集音方向を前記異なる方向に切り替え、
   前記切出部は、前記異なる方向に対応する利用者を含む映像領域を前記映像から切り出す請求項２に記載の情報処理装置。
4. 前記切出部は、前記入力部により音声が入力されていない場合、特定の方向に対応する映像領域を前記映像から切り出す請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記切出部は、前記入力部により音声が入力されていない場合、前記特定の方向として前記第２情報での最も優先度が高い役割の方向に対応する映像領域を前記映像から切り出す請求項４に記載の情報処理装置。
6. 前記切替部は、前記入力部により複数の方向から音声が入力されている場合、かつ、前記配置パターンから特定される該複数の方向の利用者が有する役割の優先度がそれぞれ等しい場合、該複数の方向からの音声のうち、早く前記入力部に入力した音声を優先して、該音声に対応する利用者の方向に前記入力部の集音方向を切り替え、
   前記切出部は、該集音方向に対応する利用者を含む映像領域を前記映像から切り出す請求項２に記載の情報処理装置。
7. 前記切替部は、前記入力部により入力された音声に対応する利用者が有する役割の優先度が、前記第２情報で最も低い場合、前記入力部の集音方向を該利用者の方向に切り替えず、
   前記切出部は、該利用者を含む映像領域を前記映像から切り出さない請求項２に記載の情報処理装置。
8. 所定時間ごとに、
   前記認識部は、前記撮像部により撮像された前記映像から利用者を認識し、
   前記特定部は、前記配置パターンを特定し、
   前記設定部は、前記認識部により認識された利用者に対応する前記第１情報の役割と、前記第２情報と、に基づいて、該利用者に対して、該利用者の役割に対応する優先度を設定する請求項１〜７のいずれか一項に記載の情報処理装置。
9. 前記撮像部は、全方位を撮像して、全方位の前記映像を得る請求項１〜８のいずれか一項に記載の情報処理装置。
10. 請求項１〜９のいずれか一項に記載の情報処理装置と、
    前記第１情報と、前記第２情報とを有するサーバ装置と、
    を有する会議システム。
11. 情報処理装置での情報処理方法であって、
    映像を撮像する撮像ステップと、
    音声を入力する入力ステップと、
    撮像した前記映像から利用者を認識する認識ステップと、
    撮像した前記映像において、認識した利用者が前記情報処理装置に対してどの方向に配置されているかを示す配置パターンを特定する特定ステップと、
    少なくとも利用者を示す情報と、該利用者を示す情報に関連付けられた利用者の役割と、を含む第１情報を取得する取得ステップと、
    認識した利用者に対応する前記第１情報の役割と、役割と優先度とを予め関連付けた第２情報と、に基づいて、該利用者に対して、該利用者の役割に対応する優先度を設定する設定ステップと、
    複数の方向から音声を入力している場合、前記複数の方向の中で前記配置パターンで特定される利用者の方向のうち、優先度が高い役割を有する利用者の方向を優先して、該方向に対応する該利用者を含む映像領域を前記映像から切り出す切出ステップと、
    切り出した前記映像領域を送信する送信ステップと、
    を有する情報処理方法。
12. 映像を撮像する撮像部と、音声を入力する入力部と、を備えたコンピュータに、
    前記撮像部により撮像された前記映像から利用者を認識する認識ステップと、
    前記撮像部により撮像された前記映像において、認識した利用者が情報処理装置に対してどの方向に配置されているかを示す配置パターンを特定する特定ステップと、
    少なくとも利用者を示す情報と、該利用者を示す情報に関連付けられた利用者の役割と、を含む第１情報を取得する取得ステップと、
    前記認識ステップで認識された利用者に対応する前記第１情報の役割と、役割と優先度とを予め関連付けた第２情報と、に基づいて、該利用者に対して、該利用者の役割に対応する優先度を設定する設定ステップと、
    前記入力部により複数の方向から音声が入力されている場合、前記複数の方向の中で前記配置パターンで特定される利用者の方向のうち、優先度が高い役割を有する利用者の方向を優先して、該方向に対応する該利用者を含む映像領域を前記映像から切り出す切出ステップと、
    切り出した前記映像領域を送信する送信ステップと、
    を実行させるためのプログラム。

Images