JP5783157B2 - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents

Description

本発明は、カメラの撮影対象を適切に撮影するため、カメラの方向、倍率を自動的または手動により制御するカメラの撮影制御技術に関する。

従来から、電子会議システムなどにおいて、カメラを発話者の方向に自動的に向ける、などの制御を行う技術が提供されている。

しかしながら、実際にはカメラの方向を単に発話者に自動的に向けるだけでは、例えば会議室において、カメラから近い席にいるか遠い席にいるかで、遠隔地のユーザにとっては非常に見にくい映像となってしまう場合がある。

また、発話者の音声以外にも、例えばホワイトボードなどを撮影する場合など、ユーザの操作により方向、倍率を変更する必要があり、ユーザにとって操作の負荷があるものであった。

特許文献１においては、複数のカメラを用いて会議の参加者を撮影する技術が提供されている。具体的には、複数のカメラを用いて、室内の話者を自動的に追跡し、制御された出席者ビューカメラと固定式の室内ビューカメラとの間を動的に切り換える。誰も発言していない場合、本装置は遠端に室内ビューを示す。室内に優勢な話者がいる場合、本装置は、出席者ビューカメラを優勢な話者に向け、室内ビューカメラから出席者ビューカメラに切り換える。室内に新しい話者がいる場合、本装置は、最初に室内ビューカメラに切り換え、出席者ビューカメラを新しい話者に向け、そして新しい話者に向けられた出席者ビューカメラに切り換える。会話中の２人の近端話者がいる場合、本装置は、これらを追跡し、話者がともにビュー内に納まるように出席者ビューカメラをズームインする技術が提供されている。

特開２０１１−２４４４５５号公報

しかしながら、特許文献１に記載の技術は、基本的に発話者の音声に基づいてカメラの方向を制御するものであり、誰も発話していない状況を例外として会議室全体を撮影するという切り替えができるに過ぎない。

すなわち、例えば、会議の参加者が、発話と共にホワイトボードに何らかの記載をしている場合に、ホワイトボードの適切な位置を撮影する、などといった発話者に基づかない制御はできない。

本発明は、条件に応じて撮影対象、撮影領域を自動的に切り替えることが可能な仕組みを提供することを目的とする。

本発明は、撮影領域を変化させるために駆動装置を備えたカメラの制御をする情報処理装置であって、前記カメラの動作が制御されることにより撮影可能となる前記撮影領域の範囲として指定する定義と、該定義による撮影の制御を開始する開始条件と、該定義による撮影の制御を終了する終了条件と、を撮影モード情報として撮影モード情報記憶手段に記憶させる撮影モード情報登録手段と、第１の前記撮影モード情報における前記開始条件を満たすか否かを判定する開始条件判定手段と、第２の前記撮影モード情報における前記終了条件を満たすか否かを判定する終了条件判定手段と、前記終了条件判定手段により、第２の前記撮影モード情報の終了条件が満たされていると判定され、且つ前記開始条件判定手段により、第１の前記撮影モード情報の開始条件が満たされていると判定された場合には、前記第２の撮影モード情報の定義で指定された範囲を撮影する第２の撮影モードを前記第１の撮影モード情報の定義で指定された範囲を撮影する第１の撮影モードに切り替える撮影モード切替手段と、を備えることを特徴とする。

本発明により、条件に応じて撮影対象、撮影領域を自動的に切り替えることが可能なカメラ制御の仕組みを提供することが可能となる。

本発明の実施形態に係わるシステム構成の一例を示す図である。 本発明の実施形態に係わる会議サーバ、クライアント装置のハードウェア構成の一例を示すブロック図である。 本発明の実施形態に係る会議システムにおける構成要素を示す図である。 本発明の実施形態に係わるクライアント装置に表示される会議室を登録する画面の一例である。 本発明の実施形態に係わるクライアント装置に表示される会議室を予約する画面の一例である。 本発明の実施形態に係わるクライアント装置に表示される会議に参加する画面の一例である。 本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。 本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。 本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。 本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。 本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。 本発明の実施形態に係わる撮影モードの条件及びその撮影モードで撮影可能な領域などを定義するデータ項目から構成される撮影モード情報記憶部のデータ構成の一例を示す図である。 本発明の実施形態に係わる撮影モードの自動、手動切り替えの処理を示すフローチャートの一例である。 本発明の実施形態に係わる１つの撮影モードでの撮影中のカメラの制御および撮影モードの継続、終了の判断処理を示すフローチャートの一例である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

図１は、本発明の実施形態に係わるシステム構成の一例を示す図である。

本発明のクライアント装置１０２（情報処理装置）は、例えば、パーソナルコンピュータであり、ネットワーク通信機能を備え、ネットワーク１０３（ＬＡＮ、ＷＡＮなど）を介して会議サーバ１０１（会議支援サーバ、テレビ会議サーバ）とデータ通信が可能である。

会議サーバ１０１は、クライアント装置１０２同士での会議を実現するためのサーバである。クライアント装置１０２は会議サーバ１０１へアクセスすることにより、会議画面（インターフェース）を取得して会議を行うことができる。

クライアント装置１０２は、会議システム（会議支援システム、テレビ会議システム）を利用するユーザが操作するパーソナルコンピュータ、タブレット端末、携帯端末などであり、会議サーバ１０１へアクセスするためのクライアント側アプリケーション、および専用のモジュール（アプリケーション）がインストールされている。また、会議システムがウェブを利用したウェブ会議システムである場合には、クライアント側アプリケーションはウェブブラウザを用いるように構成されていてもよい。すなわち、専用のモジュールは、例えば、ウェブブラウザを介して、会議サーバ１０１からダウンロードするＡｃｔｉｖｅＸ（登録商標）コンポーネントであってもよい。なお、会議システムにおいてクライアント装置１０２から動画像を、会議サーバ１０１を通じて会議の会議参加者が利用する他のクライアント装置１０２（自身も含んでもよい）に配信する場合は、撮像装置（不図示）を、音声を送信する場合は、マイクロフォン（不図示）を接続する。また、相手の音声を視聴するためにはスピーカ（不図示）を接続する。

また、クライアント装置１０２のうちの１台が、会議サーバ１０１を兼ねるよう、会議サーバ１０１とクライアント装置１０２が同一筐体に構成可能であってもよい。

図２は、会議サーバ１０１およびクライアント装置１０２に適用可能な情報処理装置のハードウェア構成例を示すブロック図である。

図２に示すように、会議サーバ１０１およびクライアント装置１０２は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８等が接続された構成を採る。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、各サーバあるいは各ＰＣが実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

また、入力コントローラ２０５は、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。

ビデオコントローラ２０６は、ディスプレイ２１０等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。

メモリコントローラ２０７は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、あるいは、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）カードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ２０８は、ネットワーク１０３を介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いた通信等が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上に表示することが可能である。また、ＣＰＵ２０１は、ディスプレイ２１０上のマウスカーソル（図示しない）等によるユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイルおよび各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明についても後述する。

図３は、本発明の実施形態に係る会議システムにおける構成要素を示す図である。図３で示すとおり、すべてのユーザとルーム（会議室）は、グループに所属する（３０１、３０３）。

システム管理者３０２は、会議システム全体の管理者であって、グループおよびグループ管理者の登録、変更、削除を行うと共に、会議システムに関する各種設定を行う。

グループ管理者３０４は、会議システム内の管理者であって、グループ内の一般ユーザと傍聴ユーザ、ルーム、タグの登録、変更、削除を行う。

一般ユーザ３０５は、グループ内で、実際に会議を行うユーザであって、会議室の予約、変更、削除を行うと共に、予約した会議への参加、フリースペースへの参加を行うことができる。なお、グループ管理者は、一般ユーザと同様に、会議室の予約や会議への参加を行うことができる。

その他、例えば電子メールにて招待された会議にのみ参加できるユーザである「ゲストユーザ」や、グループ内で実施されている会議を傍聴する「傍聴ユーザ」がある。また、会議を行うためには、ルームを登録する必要があり、ルームの登録は、グループ管理者が行う。

ルームには、日時、会議参加者を制限して参加するルームであって、会議を行う前に予約が必要な会議室３０６と、日時、会議参加者を問わず会議の予約を行わなくても、いつでも会議を行うことができる「フリースペース」３０７の２種類ある。ユーザは、会議の内容に応じて「会議室」と「フリースペース」を使い分けることができる。

図４は、本発明の実施形態に係わるクライアント装置に表示される会議室を登録する画面の一例である。

本願発明の実施形態で会議を実施する仮想会議室（本明細書では、「ルーム」という。）の設定方法について説明する。図４は、本実施の形態において会議を行うための会議室の設定を行うルーム登録画面である。本図のルーム登録画面は、クライアント装置１０２を操作する会議システムの管理者ユーザ（アドミニストレーター）のアカウントでシステムにログインをし、画面左側のルーム管理の領域を押下することにより、ルーム登録画面がディスプレイに表示される。

ルーム名４０１に、任意のルーム名の名称入力を受け付ける。ルームタイプ４０２は、「会議室」として設定するのか、「フリースペース」として設定するのかの選択を受け付ける。本発明の実施形態において「会議室」とは、会議の参加者や、開始時刻などを定めて予約をする必要があるルームのことを指す。また「フリースペース」とは会議を行うのに予約を必要とせず、参加者などの設定を特に設ける必要のない、誰でも会議に参加可能なルームのことをいう。

定員４０３は、ルーム定員の設定を受け付ける。傍聴機能４０４の設定は、会議に招待されるユーザとは別に、会議の傍聴ユーザを許可するか否かの設定を受け付ける。会議を傍聴するユーザは、定員に空きがあればルームに入室することが可能であるが、発言権限などは制限される。

録画機能４０５の設定は、当該ルームで実施される会議の録画を許可するか否かの設定を受け付ける。録画が許可されたルームであれば、会議中に「録画開始」ボタンの押下を受け付けることで、当該会議を録画することができる。

プロファイル４０６では、ルームに適用させるプロファイルの選択を受け付ける。具体的には、右側の呼出ボタン押下を受け付けると、前述の図３のプロファイル登録画面で登録したプロファイルの一覧が表示され、現在詳細設定を行っているルームに適用するプロファイルの選択を受け付けることができる。４０７の登録ボタンの押下を受け付けると、ルームとルームの詳細設定を会議サーバ１０１の管理テーブル（不図示）に登録する。

図５は、本発明の実施形態に係わるクライアント装置１０２に表示される会議室を予約する画面の一例である。

会議を行うために、会議室の予約をすることができる。これは、前述の「会議室」もしくは「フリースペース」という本発明の実施形態で想定するルームの種類のうち、会議の参加者や開始時間などを決めて予約する必要のある「会議室」タイプのルームを利用する場合に必要な予約処理である。

会議システムの予約画面は、本実施形態の会議システムの一般ユーザアカウントでシステムにログインをし、画面左側の「会議室予約５０１」の領域を押下することにより、クライアント装置１０２の表示装置に表示される。

会議室名５０２は、前述の図４のルーム登録画面で登録をしたルーム（会議室、もしくはフリースペース）の選択を受け付け、会議タイトル５０３の項目で、会議名を設定する。利用日付５０４、利用時間５０５で、該当のルームの利用スケジュールを設定する。参加者５０６は、本実施形態の会議システムに登録されているユーザ情報を呼出し、会議の参加者（会議に招待する者）を選択する。５０６で、「限定する」が選択されている場合には、招待（参加）ユーザの選択画面が表示され、ユーザ情報を検索して招待するユーザの選択をする。参加者を限定しない場合には、特に参加者の設定は受け付けない。なお、会議への参加者を限定しない場合とは、例えば、フリースペース形式のルームで実施する意見交換会のような会議のことをいう。

ゲスト参加者５０７の招待設定は、会議に参加してほしいユーザに招待通知（例えば、ユーザ情報と紐づくメールアドレスを宛先として送信される）を送信する場合に設定をする。ゲスト参加者を招待する場合には、ユーザ選択画面（不図示）が表示され、ユーザ情報を検索して招待するユーザの選択をする。

会議の録画設定５０８は、予約する会議の録画を許可するか否かの設定を受け付ける。なお図４のルーム登録画面において４０５で録画機能を「許可しない」に設定していた場合には、５０８の各項目はグレーアウトをして選択ができない状態となる。

予約ボタン５０９の押下を受け付けると、会議の予約が完了する。会議の予約が完了すると、会議サーバ１０１は、会議の予約情報をサーバの記憶部に記憶し、会議予約データテーブル（不図示）を更新する。また、予約ボタン５０９の押下を受け付けると、予約をしたユーザおよび会議に招待されたユーザのメールアドレスに対して、会議予約メールが送信されるようにしてもよい。

図６は、本発明の実施形態に係わるクライアント装置１０２に表示される会議に参加する画面の一例である。本画面を通して、クライアント装置１０２のユーザは、予約している会議に参加することができる。本実施の形態において会議参加画面は、本実施形態の会議システムの一般ユーザアカウントでシステムにログインをし、画面左側の「会議参加６０１」の領域を押下することにより、会議参加画面がディスプレイに表示される。図６で表示されている会議室は、ログイン中のユーザアカウントが、会議の参加者として登録されている会議の一覧である。図６では、ルームＡとルームＢの２つの会議室が予約されており、参加ボタン６０２の押下を受け付けることにより選択した会議室の会議に参加することが可能である。

次に図７〜図１２を用いて、カメラと撮影対象の位置関係および撮影モード（撮影設定）についての説明をする。以降は、カメラを接続したクライアント装置１０２が会議室に参加した状態であるものとして、会議の進行などには触れず、前述のクライアント装置１０２におけるカメラの制御に関してのみ説明を進める。図１２の撮影モード情報記憶部に記憶される１つの撮影モード情報は、図７〜図１１はそれぞれが１つの撮影モードを説明するものである。撮影モードは図１２におけるデータベースに登録されているため、図７の説明において、図１２のデータ構成の説明も行う。

図７は、本発明の実施形態に係わる撮影モードの一例を、カメラ７０２と撮影対象の位置関係により説明するために使用する図である。例としてホワイトボードを固定的に撮影するものとする。

図７において、７０１〜７１１について説明する。これらについては、図１１まで同一の対象については同一の番号を用いる。

なお、カメラ７０２は原則として後述する不図示の撮影モード継続条件を満たすように、音声認識対象、画像認識対象等の認識対象、また図１２の必須領域１２１３を、撮影するように動作する。そのため、図１２の設定を用いて、カメラの撮影領域、倍率を調整する。

カメラ台７０１（または雲台）は、カメラ７０２を固定するため、カメラ７０２と一体となった台を示している。カメラ台７０１は常に正面（図の中では上）を向いて設置される。従って、カメラ７０２の撮影角度７０７において、「０度」とは正面（図の中の上）を意味するものとする。具体的には、カメラ正面７０５で示す向きが正面であり「０度」である。

カメラ７０２は、撮像装置本体を示している。カメラ７０２は任意の方向、すなわち３６０度撮影可能なデバイスであるとして説明するが、制限があってもよい。撮影している向きを撮影方向７０６で示す。図７の例では、カメラ７０２の撮影方向７０６はホワイトボード７０３の中心を示している。

撮影対象の例として、ホワイトボード７０３、講師７０４を用いる。講師７０４は、音声または画像認識による人の認識が可能であるとする。画像認識においては、カメラ７０２が撮影可能な領域に入っている場合に認識可能である。

撮影角度７０７は、カメラ台７０１に対するカメラ７０２の角度の差である。すなわち、カメラ正面７０５と撮影方向７０６の差分が撮影角度７０７として示される。図７の例では、カメラ台７０１とホワイトボード７０３の向きの差分であり「＋３０度」とする。

７０８はカメラ７０２による撮影領域である。カメラ７０２の倍率により、撮影領域７０８において「同時に」撮影可能な部分であるとする。

撮影可能範囲７１１は、「同時に」ではないが、カメラ７０２を図１２で説明する稼働領域（左右に向きを変える角度）と倍率を変更することで、いずれかのタイミングで撮影可能な左端から右端までの角度である。実際には、カメラ７０２の画角の関係で、カメラ７０２が左右に稼働する角度よりも広い範囲が撮影可能である。撮影可能左端７０９は撮影可能範囲７１１の左端、撮影可能右端７１０は撮影可能範囲７１１の右端である。

次に、図１２の説明をする。
図１２は、本発明の実施形態に係わる撮影モードの条件及びその撮影モードで撮影可能な領域などを定義するデータ項目から構成される撮影モード情報記憶部のデータ構成の一例を示す図である。

撮影モード情報記憶部１２００は、下記のデータ項目（１２０１〜１２０４、１２１１〜１２１５）などから構成されるデータベースである。

モードＩＤ１２０１は、撮影モード情報記憶部１２００に記憶される１つの撮影モード情報を特定するＩＤである。モードＩＤにより、以下に説明する１２０２〜１２０４、１２１１〜１２１５のデータ項目の値が取得される。

開始条件１２０２は、撮影モードを切り替え、対応する撮影モード情報の各データ項目の値に従って撮影を開始するための条件である。図７で説明するモードＩＤ＝１の場合には、クライアント装置１０２を操作しているユーザの手動指定により指定された場合に、該当する撮影モードでの撮影が開始される。図１２においては、手動指示以外の例として、音声認識、人認識を用いる。音声認識の場合には、音声がした方向を特定する。また、人認識の場合には、撮影した画像内から人物が抽出できるか否かによる。また、特に例えば講師７０４の顔を記憶しておくことで、講師７０４と他の人物を区別して、講師７０４が抽出できるか否かにより条件としてもよい。人認識については、特許文献１において、モーション検出法、顔認識法などを用いたフレーミングについて記載されている。

終了条件１２０３は、その撮影モードでの撮影を中止し、他の撮影モードでの撮影に切り替えるための中止の条件である。

備考１２０４は、撮影モード情報がどのような目的で登録されたか、撮影モードの管理者などユーザに分かり易く説明するための情報である。例えば、これらの撮影モード情報は、不図示の撮影モード情報エディタで、クライアント装置１０２などからユーザに編集させることも可能である。それらのユーザのために、備考を指定してもよい。

認識領域１２１１は、開始条件１２０２において「音声認識方法」が指定されている場合には、カメラ台７０１の向きに対して、いずれの向きから講師７０４の発話などの音声がした場合に、このモードでの撮影を開始するか条件の一部を指定するデータ項目である。詳細には、認識領域１２１１は、後述の図８ではホワイトボード７０３と同じ８０４とされている。カメラ台７０１からの左端と右端の角度（図８で説明する８０１と８０２に対応）が指定される。また、開始条件１２０２において、「人認識方向」が指定されている場合には、カメラ７０２の撮影領域７０８において、撮影した画像の中に認識対象である人物が撮影される場合の条件が指定される。図７で説明するモードＩＤ＝１の場合には、前述の通りホワイトボード７０３を固定で撮影するため、また開始条件１２０２が、手動指定であるため、認識領域１２１１は値が指定されていない。

稼働領域１２１２は、カメラ台７０１のカメラ正面７０５に対してのカメラ７０２の撮影角度７０７の左端と右端を設定するものである。カメラ７０２の稼働領域１２１２、後述する撮影サイズ（倍率）、カメラ７０２の画角とあわせることで、「同時に」ではないが、カメラ７０２を稼働させているいずれかの状態で、撮影領域７０８の各部分が撮影可能となる。図７の例（モードＩＤ＝１）では、カメラ７０２はホワイトボード７０３の撮影方向７０６に固定するため、稼働領域１２１２の左端と右端はいずれも「＋３０度」であり動かない。また、撮影サイズ（倍率）１２１４は、カメラ７０２の稼働領域１２１２とともに撮影領域７０８を変更する方法であり、最小、最大の倍率が設定されている。図７の場合はホワイトボード７０３を固定的に撮影するため、稼働領域１２１２とともに撮影サイズ（倍率）１２１４も固定（２倍）である。

必須領域１２１３は、カメラ台７０１からの差分として、必ず撮影されるべき範囲を角度で表したものである。図７では、ホワイトボード７０３の領域を示すものとして、例えばホワイトボード７０３の向き「＋３０度」から「±１０度」でホワイトボード７０３全体が撮影可能とする。すなわちカメラ７０２により「＋２０度」から「＋４０度」の領域を撮影すればホワイトボード７０３全体が撮影領域７０８として撮影される。ただしこの角度は撮影サイズ（倍率）１２１４も関連する。

以上、説明した数値、また図１２の撮影モード情報記憶部１２００の数値はあくまで例であり、実際にはカメラ７０２の仕様（前述の画角などレンズの仕様も含むものとする）やカメラ７０２を置いた位置（撮影対象との距離）などと関連するものであり、本発明の内容を限定するものではない。

優先順位１２１５は、開始条件１２０２の条件が同時に複数満たされた場合に、撮影モード情報を使用する優先順位である。開始条件が手動である場合には優先順位１２１５は参照されない。

図８は、本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。例として、ホワイトボード７０３上に、講師７０４が何らかの書き込みをしている際に、講師７０４および周辺（ホワイトボード７０３全体よりは撮影領域７０８を狭くする。すなわち倍率を上げて書き込み内容を見やすくする）を撮影する撮影モード（図１２のモードＩＤ＝２）である。

講師７０４が、認識領域８０４の認識条件左端８０１（認識領域１２１１の左端）に入ると、モードＩＤ＝２の開始条件１２０２が満たされ、他の撮影モードでの撮影が継続していなければ、モードＩＤ＝２での撮影に移行する。

講師７０４およびその周辺（特に書き込みをしている手元）を拡大して撮影するため、撮影サイズ（倍率）１２１４は常に４倍となっている。図７の例では、撮影サイズ（倍率）１２１４を「２倍」に固定しているため、撮影角度７０７を「＋３０度」、画角が左右に１０度で必須領域１２１３の左端（＋２０度）から、右端（＋４０度）までの２０度の範囲が撮影領域７０８となる。しかし、図８の例では、撮影サイズ（倍率）１２１４を「４倍」に固定しているため、「＋３０度」を中心として、「＋２５度」（左へ「−５度」）、「＋３５度」（右へ「＋５度」）、カメラ７０２を稼働させる必要がある。

撮影方向７０６（撮影角度７０７）にカメラを向けたときには、ホワイトボード７０３の左端が撮影領域７０８の左端に一致する。

なお、図８の例では、撮影可能範囲７１１（すなわち、撮影可能左端７０９と撮影可能右端７１０内の範囲）が、認識領域８０４（すなわち、認識条件左端８０１と認識条件右端８０２の範囲）と同一である。

図９は、本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。ホワイトボード７０３全体と、ホワイトボード７０３の周辺にいる講師７０４を撮影するための撮影モード（モードＩＤ＝３）である。

図９においては、認識領域８０４における認識条件左端８０１と、撮影可能左端７０９が異なっている。すなわち、認識条件左端８０１の角度の方が小さいため、講師７０４が撮影画像に撮影されていなくとも、発話が条件を満たす範囲にあれば、「モードＩＤ＝３」での撮影の開始条件１２０２を満たすことになる。

また、撮影可能左端７０９は、ホワイトボード７０３よりも左側まで撮影するように稼働領域１２１２が設定されている。

また、必須領域１２１３（左端「＋２０度」、右端「＋４０度」）、すなわちホワイトボード７０３を必須で撮影するように指定している。これにより、講師７０４の立ち位置が、ホワイトボード７０３に完全に重なるときには、「モードＩＤ＝１」の場合と同様、２倍で撮影可能であるが、図９のようにホワイトボード７０３の左側の離れた位置に立った場合には、倍率を下げて撮影する必要がある。そのための倍率を指定する範囲が、撮影サイズ（倍率）１２１４の最小、最大で設定される。

実際には、前述の必須領域１２１３で設定した左端、右端の角度は撮影サイズ（倍率）によって変わるため、設定に際しては、例えば特定の倍率の時に基づいて設定することとしてもよい。あるいは、前述の講師７０４を画像認識したように、ホワイトボード７０３も画像として記憶させておき、稼働領域１２１２、撮影サイズ（倍率）１２１４の条件の範囲であって、且つホワイトボード７０３の右端と、講師７０４ができるだけ大きく撮影されるように自動的に倍率を変更させてもよい。すなわち、条件を満たさなくなる直前まで、倍率をあげるという処理にすることが可能である。

なお、図８（モードＩＤ＝２）と図９（モードＩＤ＝３）の開始条件１２０２は同じものであり、認識領域１２１１も一部は重なっている。そのため、両方のモードの開始条件を満たしてしまう場合がある。このとき、いずれのモードＩＤで撮影を行うか（あるいは切り替えるか）を判定するため、優先順位１２１５が指定される。

例えば、図９で撮影している（モードＩＤ＝３状態であり、ホワイトボード７０３全体と講師７０４を撮影している）状態において、講師７０４がホワイトボード７０３の位置に重なると、講師７０４とその周辺（ホワイトボード７０３に何らかの記入をしている手元周辺）を拡大して撮影する、優先順位１２１５が高い図８（モードＩＤ＝２）の状態に切り替わる。

図１０は、本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。例として、正面に立っている講師７０４を撮影するモードである（モードＩＤ＝４）。

図１０で示す状態では、講師７０４が演台に立っており、カメラ７０２は、カメラ正面７０５を向いている。すなわち、講師７０４ａ、撮影方向７０６ａ、撮影領域７０８ａとなる。しかし、講演しながら演台の周辺を歩き回ることを想定して、稼働領域１２１２（左端「−１０度」、右端「＋１０度」）を設定する。この場合、講師７０４ｂ、撮影方向７０６ｂ、撮影領域７０８ｂとなる。さらに、カメラ７０２から講師７０４の距離に応じて、撮影サイズ（倍率）１２１４は、最小２倍から最大３倍まで変化する。

倍率の変化は、撮影対象（この場合は講師７０４）が撮影した画像内に占める面積を特定し、画像全体に対する比率を一定以上にする、あるいは、撮影対象の左端と右端を画像処理により認識し、画像の左端と右端に一致する（所定のマージンを設けてもよい）ように変化させる。

前述の「面積の比率」、「所定のマージン」は、不図示の設定記憶部を設ける。また、クライアント装置１０２のユーザが、設定可能なように登録・編集ツールを用意してもよい。

図１１は、本発明の実施形態に係わる撮影モードの一例を、カメラと撮影対象の位置関係により説明するために使用する図である。講習会などで、講師７０４、受講者１１０１のうち、発言している人を音声で認識する。不図示の撮影モード継続条件を発話している人とし、撮影モードが変わらない限り（モードＩＤ＝５）発話者が変わった場合にも追跡して撮影する。

図１２における「モードＩＤ＝５」の情報では、カメラ７０２の稼働領域１２１２は３０６度の全てを撮影可能である。また、音声を認識した方向における発話者の距離が近い場合でも遠い場合でも対応可能にするため、撮影サイズ（倍率）１２１４を「１倍〜６倍」として、撮影対象を特定した場合に、できる限り大きく撮影するようにする。

以上で、カメラと撮影対象の位置関係および撮影モード（撮影設定）についての説明を完了する。なお、前述の説明において、撮影モード情報記憶部１２００に記憶される認識領域１２１１、稼働領域１２１２、必須領域１２１３については、「左端」、「右端」として説明してきたが、「上端」、「下端」を登録して、上下方向の稼働を可能なようにしてもよい。

次に図１３、図１４のフローチャートを用いてカメラ７０２の撮影モードの切り替えについて説明する。また、図１３、図１４で説明する処理は、あくまで撮影モードの切り替えであって、一部のステップで撮影された画像を利用する部分はあるが、基本的に撮影は別のプロセスで並行して処理されているものとする。

図１３は、本発明の実施形態に係わる撮影モードの自動、手動切り替えの処理を示すフローチャートの一例である。図１３のフローチャートにおける各ステップは、クライアント装置１０２のＣＰＵ２０１によって実行される。

Ｓ１３０１においては、ユーザからの指示として、会議システム、あるいはカメラ７０２の撮影モードを切り替える処理を終了する指示を受け付けているか否かを判断する。終了指示がある場合（ありの場合）には、図１３のフローチャートを終了する。終了指示がない場合（なしの場合）には、Ｓ１３０２に進む。

Ｓ１３０２においては、現在の撮影モードにおける撮影処理が行われる。詳細は、図１４のフローチャートで説明する。

Ｓ１３０３においては、ユーザによる撮影モードの変更指示が受け付けられたか否かを判定する。変更指示がある場合（ＹＥＳの場合）は、Ｓ１３０７に進み、ユーザが指示した撮影モードに切り替える。変更指示がない場合（ＮＯの場合）には、Ｓ１３０４に進む。

Ｓ１３０４においては、現在の撮影モードではない、他の撮影モードで開始条件を満たす撮影モード情報があるか否かを判定する。具体的には、現在のカメラ７０２の状況などを確認し、撮影モード情報記憶部１２００の開始条件１２０２が、開始条件を満たす撮影モード情報があるか否かを判定する。開始条件１２０２を満たす撮影モード情報が存在しない場合（ＮＯの場合）には、Ｓ１３０１に進み、現状の撮影モードでの撮影を継続する。存在する場合（ＹＥＳの場合）には、Ｓ１３０５に進む。

Ｓ１３０５においては、現在の撮影モードの終了条件を満たすか否かを判定する。具体的には、現在のカメラ７０２の状況などを確認し、撮影モード情報記憶部１２００における現在の撮影モードに対応する終了条件１２０３が満たされるか否かを判定する。満たされる場合（ＹＥＳの場合）には、終了条件１２０３における時間経過を確認するためＳ１３０６に進む。満たさない場合（ＮＯの場合）には、Ｓ１３０１に進み、現在の撮影モードでの撮影を継続する。また、終了条件を満たしていなくとも、他の撮影モードで優先順位が高いものが開始条件を満たす場合には、現在の撮影条件が終了条件を満たしていない場合と同様に判定するように該判定処理を実装してもよい。

Ｓ１３０６においては、前述の「終了条件を満たす状態」が終了条件内に指定された所定時間だけ経過しているか否かを判定する。所定時間を経過している場合（ＹＥＳの場合の場合）には、Ｓ１３０７に進む。そうでない場合（ＮＯの場合）には、Ｓ１３０１に進み、現在の撮影モードでの撮影を継続する。

Ｓ１３０７においては、新しく設定する撮影モードを決定し、設定する。具体的には、Ｓ１３０４において開始条件を満たすと判定された撮影モード情報から優先順位をもとにして、１つの撮影モードを選択する。
以上で、図１３のフローチャートの説明を完了する。

図１４は、本発明の実施形態に係わる１つの撮影モードでの撮影中のカメラの制御および撮影モードの継続、終了の判断処理を示すフローチャートの一例である。図１４のフローチャートにおける各ステップは、クライアント装置１０２のＣＰＵ２０１によって実行される。

Ｓ１４０１においては、現在の撮影モードにおける稼働領域１２１２、撮影サイズ（倍率）１２１４が固定であるか否かを判定する。固定である場合（ＹＥＳの場合）には、Ｓ１４０２に進む。固定ではない場合（ＮＯの場合）には、Ｓ１４０５に進む。

Ｓ１４０２においては、撮影対象が画像内に撮影されているか否かを判定する。具体的には、開始条件１２０２と同じ条件にて判定する。あるいは、開始条件１２０２において条件が音声認識方向である場合には、実際に撮影対象が撮影されていない可能性もある。例えば、講師７０４の発話は認識領域１２１１内に含まれているが、この認識領域１２１１が撮影領域７０８より広く、講師７０４が撮影されていない場合である。そのため、Ｓ１４０２の判定をするため、人が撮影領域７０８の中に撮影されているか判定するための条件（撮影モード継続条件）を用意し、例えば音声認識による場合には開始条件１２０２と同じ条件、人認識による場合には撮影モード継続条件と同じ条件を用いる、あるいは両者を独自に設定できるようにしてもよい。撮影対象が撮影されている場合（ＹＥＳの場合）には、Ｓ１４０３に進む。撮影されていない場合（ＮＯの場合）には、Ｓ１４０４に進む。

Ｓ１４０３においては、現在の撮影モードの撮影モード継続条件を満たしている旨を指定して、図１４のフローチャートを完了する。

Ｓ１４０４においては、現在の撮影モードの撮影モード継続条件を満たしていない旨を指定して、図１４のフローチャートを完了する。

Ｓ１４０５においては、認識処理（音声認識）などにより、撮影する認識対象（例えば講師７０４）がいる方向を取得する。

Ｓ１４０６においては、カメラ７０２の撮影角度７０７を稼働領域１２１２の範囲内で認識対象の方向に向ける。

Ｓ１４０７においては、カメラ７０２の撮影角度７０７を変更した結果、撮影対象が撮影されたか否かを判定する。撮影された場合（ＹＥＳの場合）には、Ｓ１４０８に進む。撮影されない場合（ＮＯの場合）には、Ｓ１４０９に進む。

Ｓ１４０８においては、現在の撮影モードの撮影モード継続条件を満たしている旨を指定して、図１４のフローチャートを完了する。

Ｓ１４０９においては、現在の撮影モードにおいて撮影サイズ（倍率）１２１４を下げることが可能か否かを判定する。すなわち、条件判定に必要な撮影対象が撮影されていないため、倍率を下げることにより撮影領域７０８を広くすることによって撮影されるか否かを判定する。倍率を下げることが可能な場合（ＹＥＳの場合。撮影領域を広くできる場合）には、Ｓ１４１１に進む。可能ではない場合（ＮＯの場合）には、Ｓ１４１０に進む。

Ｓ１４１０においては、現在の撮影モードの撮影モード継続条件を満たしていない旨を指定して、図１４のフローチャートを完了する。

Ｓ１４１１においては、倍率を下げて、さらにＳ１４０７に進む。

なお、１つのクライアント装置１０２において、同時に１台または複数台のカメラ７０２を制御可能である。複数の場合、例えば、１台は、ホワイトボード７０３を固定して撮影し、もう１台は、講師７０４を撮影するようにする。

カメラ７０２が複数台の場合、それぞれのカメラ７０２に対応する撮影モード情報記憶部１２００が存在してもよいし、撮影モード情報記憶部１２００のデータ項目として、どのカメラ７０２を制御する撮影モード情報であるかを特定するため、カメラ７０２を特定する識別子を含むようにしてもよい。

また、クライアント装置１０２においてカメラ７０２の撮影モードを手動指定するユーザに対しては、操作画面を提供し、いずれのカメラ７０２を操作指示しているのかわかるようにする。

以上の処理により、クライアント装置１０２は、カメラ７０２が撮影モードに従って適切な撮影対象を撮影するように制御し、また、撮影対象が撮影できない状態となった場合には、自動的、またはユーザの指示により撮影モードを変更するという効果を得ることができる。
以上で、図１４のフローチャートの説明を完了する。

以上、会議システムを例としてカメラの制御の実施形態を説明したが、必ずしも会議システムに限定されない。他のシステムとしては、例えば監視カメラシステムなどがあげられる。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、図１３、図１４に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図１３、図１４の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図１３、図１４の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 会議サーバ
１０２ クライアント装置
１０３ ネットワーク
３０１ 会議システム
３０２ システム管理者
３０３ グループ
３０４ グループ管理者
３０５ 一般ユーザ
３０６ 会議室
３０７ フリースペース
７０１ カメラ台
７０２ カメラ
７０３ ホワイトボード
７０４ 講演者
７０５ カメラ正面
７０６ 撮影方向
７０７ 撮影角度
７０８ 撮影領域
７０９ 撮影可能左端
７１０ 撮影可能右端
７１１ 撮影可能範囲

Claims (8)

1. 撮影領域を変化させるために駆動装置を備えたカメラの制御をする情報処理装置であって、
   前記カメラの動作が制御されることにより撮影可能となる前記撮影領域の範囲として指定する定義と、該定義による撮影の制御を開始する開始条件と、該定義による撮影の制御を終了する終了条件と、を撮影モード情報として撮影モード情報記憶手段に記憶させる撮影モード情報登録手段と、
   第１の前記撮影モード情報における前記開始条件を満たすか否かを判定する開始条件判定手段と、
   第２の前記撮影モード情報における前記終了条件を満たすか否かを判定する終了条件判定手段と、
   前記終了条件判定手段により、第２の前記撮影モード情報の終了条件が満たされていると判定され、且つ前記開始条件判定手段により、第１の前記撮影モード情報の開始条件が満たされていると判定された場合には、前記第２の撮影モード情報の定義で指定された範囲を撮影する第２の撮影モードを前記第１の撮影モード情報の定義で指定された範囲を撮影する第１の撮影モードに切り替える撮影モード切替手段と、
   を備えることを特徴とする情報処理装置。
2. 前記撮影モード情報には、更に、カメラの方向に対して発話の音声が認識される領域、または撮影対象の画像が認識される領域が認識領域として定義されるものであって、
   前記開始条件は、前記認識領域に認識対象である音声、または撮影対象が前記認識領域の中に入ることにより該開始条件が満たされたものとみなすことを特徴とする請求項１に記載の情報処理装置。
3. 前記終了条件は、前記認識領域に認識対象である音声、または撮影対象が前記認識領域の中から出ることにより該終了条件が満たされたものとみなすことを特徴とする請求項２に記載の情報処理装置。
4. 前記開始条件または前記終了条件は、情報処理装置におけるユーザの操作により指示されるものであることを特徴とする請求項２または請求項３に記載の情報処理装置。
5. 前記撮影モード情報における撮影可能となる前記撮影領域の範囲は、カメラを固定して設置した時の正面からの角度により示される稼働領域、撮影サイズを示す倍率、によって定義されるものであって、
   前記終了条件は、指定の時間を経過した後、該終了条件を満たす状態になったと見なされるものであって、
   前記撮影モード情報における撮影において、前記認識対象を含む範囲において、前記倍率を大きくするようカメラを制御することを特徴とすることを特徴とする請求項２乃至請求項４に記載のいずれか１項に情報処理装置。
6. 前記撮影モード切替手段は、
   複数の前記撮影モード情報の前記開始条件において、前記認識領域に重なりがあることにより、複数の前記撮影モードの該開始条件が満たされた場合には、該撮影モード情報における優先順位に基づき、該撮影モードに切り替えることを特徴とする請求項２乃至請求項５のいずれか１項に記載の情報処理装置。
7. 撮影領域を変化させるために駆動装置を備えたカメラの制御をする情報処理装置の制御方法であって、
   撮影モード情報登録手段が、前記カメラの動作が制御されることにより撮影可能となる前記撮影領域の範囲として指定する定義と、該定義による撮影の制御を開始する開始条件と、該定義による撮影の制御を終了する終了条件と、を撮影モード情報として撮影モード情報記憶手段に記憶させる撮影モード情報登録ステップと、
   開始条件判定手段が、第１の前記撮影モード情報における前記開始条件を満たすか否かを判定する開始条件判定ステップと、
   終了条件判定手段が、第２の前記撮影モード情報における前記終了条件を満たすか否かを判定する終了条件判定ステップと、
   撮影モード切替手段が、前記終了条件判定ステップにより、第２の前記撮影モード情報の終了条件が満たされていると判定され、且つ前記開始条件判定ステップにより、第１の前記撮影モード情報の開始条件が満たされていると判定された場合には、前記第２の撮影モード情報の定義で指定された範囲を撮影する第２の撮影モードを前記第１の撮影モード情報の定義で指定された範囲を撮影する第１の撮影モードに切り替える撮影モード切替ステップと、
   を備えることを特徴とする情報処理装置の制御方法。
8. コンピュータを、撮影領域を変化させるために駆動装置を備えたカメラの制御をする情報処理装置として機能させるためのプログラムであって、
   前記コンピュータを、
   前記カメラの動作が制御されることにより撮影可能となる前記撮影領域の範囲として指定する定義と、該定義による撮影の制御を開始する開始条件と、該定義による撮影の制御を終了する終了条件と、を撮影モード情報として撮影モード情報記憶手段に記憶させる撮影モード情報登録手段、
   第１の前記撮影モード情報における前記開始条件を満たすか否かを判定する開始条件判定手段、
   第２の前記撮影モード情報における前記終了条件を満たすか否かを判定する終了条件判定手段、
   前記終了条件判定手段により、第２の前記撮影モード情報の終了条件が満たされていると判定され、且つ前記開始条件判定手段により、第１の前記撮影モード情報の開始条件が満たされていると判定された場合には、前記第２の撮影モード情報の定義で指定された範囲を撮影する第２の撮影モードを前記第１の撮影モード情報の定義で指定された範囲を撮影する第１の撮影モードに切り替える撮影モード切替手段、
   を備えることを特徴とする情報処理装置として機能させるためのプログラム。

Images