JP4396092B2

JP4396092B2 - コンピュータ援用ミーティングキャプチャシステム、コンピュータ援用ミーティングキャプチャ方法、及びコントロールプログラム

Info

Publication number: JP4396092B2
Application number: JP2002303783A
Authority: JP
Inventors: 真吾内橋; ボレッキージョン; フートジョナサン
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2001-10-19
Filing date: 2002-10-18
Publication date: 2010-01-13
Anticipated expiration: 2022-10-18
Also published as: JP2003179895A

Description

【０００１】
【発明の属する技術分野】
本発明は、ミーティング又はプレゼンテーション事象（イベント）のコンピュータ援用及びコンピュータ媒介による記録又はキャプチャに関する。
【０００２】
【従来の技術】
従来のビデオ会議システムは、単一の固定焦点を有する単一のカメラを使用してミーティング又はプレゼンテーションをキャプチャする。これには、カメラや設備にかかるコストを低く抑えられるという利点があるが、静的なプレゼンテーションが退屈なものとして認識されるという欠点がある。キャプチャされたプレゼンテーションは、会議又はミーティングのスピーカ（発言者）やプレゼンテーションのアクティビティ（活動）の流れに追従しない。
【０００３】
会議システムの業者はこれらのシステムに複数のカメラを付け加えることによってこれらの問題に取り組もうと試みた。複数のカメラシステムは複数のビュー（視界）を可能とするが、システムの操作に多大なる注意を払わなければならない。複数のビデオカメラ会議システムでは、複数のカメラから供給されるビデオの選択、ズームするカメラの選択、室内の他のアクティビティをフォーカスするためにカメラをいつ切換えるかの決定、及びどのアクティビティに切換えるかの正確な決定を専用のオペレータが行うことが要求される。
【０００４】
従って、従来のマルチカメラシステムは、これらの機能を果たすために熟練したオペレータを必要とする。これによって、キャプチャされるミーティング又はプレゼンテーションの計画及び実行に更なるリソース（資源）上の制約が課せされることになる。例えば、オペレータのスケジュールが合わないときや病気のときには、ミーティングは再度予定を組みなおす必要があった。同様に、ミーティング又はプレゼンテーションの議題の秘密を守りたいときには、ミーティングは、オペレータをほぼお抱え状態で使用可能な範囲でスケジュールを立てる必要があるが、そのようなオペレータはなかなか見つからない。
【０００５】
ビアンキ（Ｂｉａｎｃｈｉ）及びマクホパドヒャイ（Ｍｕｋｈｏｐａｄｈｙａｙ）は、非特許文献１、及び非特許文献２に記載されているような実験的会議システムを開発した。しかしながら、これらのシステムは、一人のスピーカがプレゼンテーションを行うという限定された条件下でしか効果がなかった。
【０００６】
他の従来技術も上述の課題を解決していない。
【０００７】
【非特許文献１】
ビアンキ（Ｂｉａｎｃｈｉ，Ｍ．）著、「自動オーディトリアム：オーディトリアムプレゼンテーションをテレバイズするための完全自動マルチカメラシステム（ＡｕｔｏＡｕｄｉｔｏｒｉｕｍ：ａｆｕｌｌｙＡｕｔｏｍａｔｉｃ，Ｍｕｌｔｉ−ＣａｍｅｒａＳｙｓｔｅｍｔｏｔｅｌｅｖｉｓｅＡｕｄｉｔｏｒｉｕｍＰｒｅｓｅｎｔａｔｉｏｎ）」ＤＡＲＰＡ／ＮＩＳＴ共同のスマート空間技術ワークショップ（Ｊｏｉｎｔ．ＤＡＲＰＡ／ＮＩＳＴＳｍａｒｔＳｐａｃｅｓＴｅｃｈｎｏｌｏｇｙＷｏｒｋｓｈｏｐ），ガイサーブルグ（Ｇａｉｔｈｅｒｓｂｕｒｇ），メリーランド州（ＭＤ），１９９８年６月
【非特許文献２】
マクホパドヒャイ（Ｍｕｋｈｏｐａｄｈｙａｙ，Ｓ）等著、「講義の受動キャプチャと構造（ＰａｓｓｉｖｅＣａｐｔｕｒｅａｎｄＳｔｒｕｃｔｕｒｉｎｇｏｆＬｅｃｔｕｒｅｓ）」ＡＣＭマルチメディア１９８９予稿集（Ｐｒｏｃ．ＡＣＭＭｕｌｔｉｍｅｄｉａ１９８９）, １９９９年, ｐ．４７７−４８７
【非特許文献３】
ベルニエ（Ｂｅｒｎｉｅｒ，Ｏ．），コロベルト（Ｃｏｌｌｏｂｅｒｔ，Ｍ．），フェラウド（Ｆｅｒａｕｄ，Ｒ．），ルメール（Ｌｅｍａｉｒｅ，Ｖ．），ビアレー（Ｖｉａｌｌｅｔ，Ｊ．Ｅ．），コロベルト（Ｃｏｌｌｏｂｅｒｔ，Ｄ．）著「ＭＵＬＴＲＡＫ：自動多人数位置決め及びリアルタイムでの追跡システム（ＡＳｙｓｔｅｍｆｏｒＡｕｔｏｍａｔｉｃＭｕｌｔｉｐｅｒｓｏｎＬｏｃａｌｉｚａｔｉｏｎａｎｄＴｒａｃｉｎｇｉｎＲｅａｌ−Ｔｉｍｅ）」ＩＣＩＰ‘９８予稿集，１９９８年，ｐ．１３６−１３９
【非特許文献４】
チウ（Ｃｈｉｕ，Ｐ．），カプスカール（Ｋａｐｕｓｋａｒ，Ａ．），ライトマイヤー（Ｒｅｉｔｍｅｉｅｒ，Ｓ．），ウィルコックス（Ｗｉｌｃｏｘ，Ｌ）著「ノートルック（ＮｏｔｅＬｏｏｋ）：会議でのデジタルビデオ及びインクによるノート（ＴａｋｉｎｇＮｏｔｅｓｉｎＭｅｅｔｉｎｇｓｗｉｔｈＤｉｇｉｔａｌＶｉｄｅｏａｎｄＩｎｋ）」ＡＣＭマルチメディア‘９９予稿集（Ｐｒｏｃ．ＡＣＭＭｕｌｔｉｍｅｄｉａ‘９９）, １９９９年, ｐ．１４９−１５８
【非特許文献５】
クルツ（Ｃｒｕｚ，Ｇ．），ヒル（Ｈｉｌｌ，Ｒ．）著「ＳＴＲＥＡＭＳによるマルチメディアイベントのキャプチャ及び利用（ＣａｐｔｕｒｉｎｇａｎｄＰｌａｙｉｎｇＭｕｔｉｍｅｄｉａＥｖｅｎｔｓｗｉｔｈＳＴＲＥＡＭＳ）」ＡＣＭマルチメディア‘９４予稿集（Ｐｒｏｃ．ＡＣＭＭｕｌｔｉｍｅｄｉａ‘９４）, １９９４年, ｐ．１９３−２００
【０００８】
【発明が解決しようとする課題】
従って、熟練していないミーティングの出席者でも複数のアクティブスピーカによるミーティング及びプレゼンテーションをキャプチャすることができる、コンピュータ援用ミーティングキャプチャのためのシステム及び方法は有用である。
【０００９】
【課題を解決するための手段】
本発明によるコンピュータ援用ミーティングキャプチャのための種々のシステム及び方法は、直覚的インターフェースと埋め込まれたシステムインテリジェンスを使用することによって熟練していない出席者によるミーティングのキャプチャを容易にする。
【００１０】
本発明の第１の態様は、ミーティングキャプチャコントローラと、カメラと、検知されたアクティビティ情報を決定するセンサと、記憶されたオブジェクト位置情報と、記憶されたルール情報と、を有する、コンピュータ援用ミーティングキャプチャシステムであって、ミーティングキャプチャコントローラが検知されたアクティビティ情報、記憶されたオブジェクト位置情報、及び記憶されたルール情報に基づいて、提示されたカメラ及び提示されたカメラアングルの少なくとも一つをディスプレイする、コンピュータ援用ミーティングキャプチャシステムである。
【００１１】
本発明の第２の態様は、ミーティングキャプチャコントローラが、検知されたアクティビティ情報を記録するために提示されたカメラ及び提示されたカメラアングルの少なくとも一つを自動的に選択する、本発明の第１の態様に記載のシステムである。
【００１２】
本発明の第３の態様は、センサにより決定されたアクティビティ情報が、サウンド情報、動作情報、及び存在情報の少なくとも一つを有する、本発明の第１の態様に記載のシステムである。
【００１３】
本発明の第４の態様は、サウンド情報が、マイクロフォンから得られる、本発明の第１の態様に記載のシステムである。
【００１４】
本発明の第５の態様は、動作情報が、赤外受動検出器、マイクロ波検出器、光検出器、及び超音波検出器の少なくとも一つから得られる、本発明の第３の態様に記載のシステムである。
【００１５】
本発明の第６の態様は、存在情報が、赤外受動検出器、マイクロ波検出器、光検出器、圧力検出器、及び超音波検出器の少なくとも一つから得られる、本発明の第３の態様に記載のシステムである。
【００１６】
本発明の第７の態様は、記憶されたオブジェクト位置情報が、ジオ−ポジショニングシステム信号及びモバイルロケータサービス信号の少なくとも一つによって自動的に得られる、本発明の第１の態様に記載のシステムである。
【００１７】
本発明の第８の態様は、コンピュータ援用ミーティングキャプチャ方法であって、センサからアクティビティ情報を決定するステップと、記憶されたオブジェクト位置情報と記憶されたルール情報に基づいて決定された検知されたアクティビティ情報に基づいて、提示されたカメラ及び提示されたカメラアングル選択の少なくとも一つをディスプレイするステップとを有する、コンピュータ援用ミーティングキャプチャ方法である。
【００１８】
本発明の第９の態様は、提示されたカメラ及び提示されたカメラアングルが検知されたアクティビティ情報を記録するために選択される、本発明の第８の態様に記載の方法である。
【００１９】
本発明の第１０の態様は、センサからアクティビティ情報を決定するステップがサウンド情報、動作情報、及び存在情報の少なくとも一つを検知することからなる、本発明の第８の態様に記載の方法である。
【００２０】
本発明の第１１の態様は、センサからアクティビティ情報を決定するステップが、マイクロフォンからサウンド情報を検知することからなる、本発明の第８の態様に記載の方法である。
【００２１】
本発明の第１２の態様は、センサからアクティビティ情報を決定するステップが、赤外受動検出器、マイクロ波検出器、光検出器、及び超音波検出器の少なくとも一つから得られる動作情報を検知することからなる、本発明の第８の態様に記載の方法である。
【００２２】
本発明の第１３の態様は、センサからアクティビティ情報を決定するステップが、赤外受動検出器、マイクロ波検出器、光検出器、圧力検出器、及び超音波検出器の少なくとも一つから得られる存在情報を検知することからなる、本発明の第８の態様に記載の方法である。
【００２３】
本発明の第１４の態様は、記憶されたオブジェクト位置情報が、ジオ−ポジショニングシステム信号及びモバイルロケータサービス信号の少なくとも一つによって自動的に得られる、本発明の第８の態様に記載の方法である。
【００２４】
本発明の第１５の態様は、コンピュータ援用ミーティングキャプチャに使用可能なコントロールプログラムであって、該コントロールプログラムは符号化された搬送波により該コントロールプログラムを実施するデバイスへ転送され、前記コントロールプログラムは、センサからアクティビティ情報を決定する命令と、記憶されたオブジェクト位置情報と記憶されたルール情報に基づいて決定された検知されたアクティビティ情報に基づいて、提示されたカメラ及び提示されたカメラアングルの選択の少なくとも一つをディスプレイする命令と、を有する、コントロールプログラムである。
【００２５】
本発明の第１６の態様は、コンピュータ援用ミーティングキャプチャを実行するコンピュータをプログラムするために使用可能なコンピュータ読み取り可能プログラムコードであって、該プログラムコードはコンピュータ読み取り可能記憶媒体に記憶され、前記コンピュータ読み取り可能プログラムコードが、センサからアクティブティ情報を決定する命令と、記憶されたオブジェクト位置情報と記憶されたルール情報に基づいて決定された検知されたアクティビティ情報に基づいて、提示されたカメラ及び提示されたカメラアングル選択の少なくとも一つをディスプレイする命令と、を有する、コンピュータ読み取り可能プログラムコードである。
【００２６】
本発明の第１７の態様は、赤外受動検出器、マイクロ波検出器、光検出器、及び超音波検出器の少なくとも一つから得られる動作情報を検知するセンサから、アクティビティ情報を決定するステップと、記憶されたオブジェクト位置情報と記憶されたルール情報に基づいて決定された検知されたアクティビティ情報に基づいて、提示されたカメラ及び提示されたカメラアングル選択の少なくとも一つをディスプレイするステップと、を有するコンピュータ援用ミーティングキャプチャ方法である。
【００２７】
本発明の第１８の態様は、ミーティングキャプチャコントローラと、カメラと、検知されたアクティビティ情報を決定するセンサと、記憶されたオブジェクト位置情報と、記憶されたルール情報と、を有する、コンピュータ援用ミーティングキャプチャシステムであって、ミーティングキャプチャコントローラが、検知されたアクティビティ情報、記憶されたオブジェクト位置情報、及び記憶されたルール情報に基づいて、提示されたカメラ及び提示されたカメラアングル選択の少なくとも一つをディスプレイし、センサにより決定されたアクティビティ情報が、サウンド情報、動作情報、及び存在情報の少なくとも一つを有し、記憶されたオブジェクト位置情報がジオ−ポジショニングシステム信号及びモバイルロケータサービス信号の少なくとも一つによって自動的に得られる、コンピュータ援用ミーティングキャプチャシステムである。
【００２８】
【発明の実施の形態】
図１は、本発明によるコンピュータ援用ミーティングキャプチャシステムの実施の形態を例示的に示す。図１に示されるように、コンピュータ援用ミーティングキャプチャシステム１は、通信リンク５に接続された、ミーティングキャプチャコントローラ１０とインテリジェントカメラコントローラ２０を有する。インテリジェントカメラコントローラ２０は、一つ又は複数のルームカメラ２２、２４及び２６及びコンピュータディスプレイ２８の様々な局面をコントロールする。コンピュータ援用ミーティングキャプチャシステム１は、一つ又は複数のセンサ３２、３４及び３６に接続されたソースアナライザコントローラ３０も有する。ミーティングキャプチャコントローラ１０、インテリジェントカメラコントローラ２０、ソースアナライザコントローラ３０、及び更なるセンサ３５は、通信リンク５にそれぞれ接続されている。
【００２９】
通信リンク５は、直接ケーブル接続、ワイドエリアネットワーク又はローカルエリアネットワークを介した接続、イントラネットを介した接続、インターネットを介した接続、任意の他の分散型処理ネットワーク又はシステムを介した接続を含む、ミーティングキャプチャコントローラ１０、インテリジェントカメラコントローラ２０、ソースアナライザコントローラ３０、及び更なるセンサ３５を接続するための任意の知られている又は後に開発されるデバイス又はシステムであってもよい。一般に、リンク５は、ミーティングキャプチャコントローラ１０、インテリジェントカメラコントローラ２０、及びソースアナライザコントローラ３０を接続するために使用可能な、任意の知られている又は後に開発される接続システム又は構造であってもよい。
【００３０】
ミーティングキャプチャコントローラ１０は、図２に示されるように、コンピュータ援用ミーティングキャプチャシステムを用いて、直感的カメラコントロール及びビデオシステムスイッチを提供する。図２に示されるように、グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０は、一つ又は複数のルームカメラ２２乃至２６と他の画像ソースからの画像をディスプレイする。他の画像ソースは、コンピュータディスプレイ２８、ビデオテープレコーダ／プレーヤー、衛星からの供給又は任意の知られているか又は後に開発されるタイプの画像ソースを含むが、これらに限定されない。グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０は、一つ又は複数のカメラ２２乃至２６の状態や会議室で発生する任意の事象をディスプレイし、ソースアナライザコントローラ３０と更なるセンサ３５から受け取った種々の通知、及び任意のシステムの通知もディスプレイする。
【００３１】
インテリジェントカメラコントローラ２０は、コンピュータ援用ミーティングキャプチャシステムからのハイレベルコマンドを解釈して、カメラをコントロールする。インテリジェントカメラコントローラ２０は、カメラの自律的なコントロールのためにミーティングキャプチャコントローラ１０からハイレベルコマンドを受け取る。例えば、ミーティングキャプチャコントローラ１０は、ハイレベルコマンドを、選択されたオブジェクト又は人物を追跡することを要求するインテリジェントカメラコントローラ２０へ、送ってもよい。インテリジェントカメラコントローラ２０は、次に、選択された人物又はオブジェクトの焦点合わせ、適切な枠付け、中心位置合わせなどに必要なローレベルのカメラ調整コマンドを提供する。このようなコマンドは、オブジェクトを追跡するカメラのパン及びチルト角の調整と、人物又はオブジェクトの適切なアスペクト比を維持するズームコントロールと、を含む。人物又はオブジェクトの最初の選択は、グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０を介して行われてもよい。
【００３２】
ソースアナライザコントローラ３０は、会議室のレイアウトによって分散された一つ又は複数のインテリジェントルームセンサ３２、３４及び３６から情報を受け取り、解析する。インテリジェントルームセンサ３２乃至３６は、通信リンク５を介して、ソースアナライザコントローラ３０に接続される。インテリジェントルームセンサ３２乃至３６は、要求されるダウンストリームプロセッシングを低減させると共に通信リンク５への要求を低減するために生のセンサ情報を処理することもある。本発明の種々の他の実施の形態において、処理のためにセンサを中心位置へ移送してもよい。
【００３３】
ソースアナライザコントローラ３０は、候補となるアクティブティ事象情報を得るのに一つ又は複数のインテリジェントセンサ３２乃至３６からの情報を統合してもよい。インテリジェントセンサからの情報は、第２スピーカ（話し手）の声のサウンドなどの候補となる事象アクティビティの位置を決定するために使用されてもよい。候補となる事象アクティビティは、次に、第２スピーカをキャプチャすることが可能な適切なカメラの選択を容易にする直覚的フォーマットで、オペレータへ提供される。コンピュータ援用ミーティングキャプチャシステム１の種々の実施の形態において、インテリジェントマイクロフォンなどのインテリジェントセンサは、候補事象アクティビティを立体的に位置付けるために使用され得る。同様に、インテリジェント画像センサは、二つの連続画像フレーム（コマ）を比較することによって物理的なモーション（動作）を決定し得る。
【００３４】
ソースアナライザコントローラ３０は、センサ３２乃至３６からの情報を統合して、ミーティングキャプチャコントローラ１０のコンピュータ援用ミーティングキャプチャ４０を眺めるオペレータへ、候補となるサウンド事象又は物理的モーション事象のディスプレイを提供する。一つの例示的な実施の形態においては、インテリジェントマイクロフォンセンサとインテリジェント画像キャプチャセンサが使用される。しかしながら、いかなるタイプのインテリジェントセンサでも本発明のシステムに使用可能であることが理解されよう。例えば、候補となるアクティビティ事象情報を検知するために使用可能な、座席占有センサ、フロア圧力センサ、超音波範囲ファインダ、又は任意の他の知られている又は後に開発されるセンサを、本発明の精神又は範囲を逸脱することなく、使用することができる。
【００３５】
上述のように、図２は、本発明のグラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０の例示的な実施の形態を示す。グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０は、三つのカメラと一つのコンピュータディスプレイ４５からの画像情報をディスプレイする。グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０は、ルームレイアウト部４１、一つ又は複数のカメラ選択ボタン４２、ズーム情報入力フィールド４３、及び画像をディスプレイするために使用可能なモニタ部４４を含む。現在記録中のカメラ情報に関連付けられるアクティブ画像データディスプレイ４６には人が感知できるインジケータが設けられている。人が感知できるインジケータは、オペレータへ、別のカメラ又は別のカメラアングルを選択すべきときにそれを示す情報を伝える。
【００３６】
本発明のシステム及び方法の種々の例示的な実施の形態において、人が感知できるインジケータは、選択されたディスプレイを囲む着色されたボーダ４６によって提供される。ミーティングキャプチャコントロールシステムは、選択されたミーティングの種類に基づいてユーザを誘導する。例えば、「講義方式の会議」の設定であれば、ヘッドショットなどのカメラ画像タイプに対する最大カメラ保持時間が示される。最小カメラ画像保持時間などのシステム全体のデフォルトが示されてもよい。「タウンミーティング」タイプの会議には異なる設定が適用される。「タウンミーティング」タイプの会議は、似通った最小保持時間パラメータを含むこともできるが、より長い最大保持時間パラメータを含むことによって、カメラオペレータが、他のカメラ画像データディスプレイが提示される前に、カメラをより長くスピーカに保持することができる。
【００３７】
例えば、種々の例示的な実施の形態において、ミーティングキャプチャコントローラ１０は、メモリに記憶された設定を、ある一定のタイプのミーティング事象に関する情報によって、符号化する。例えば、ある設定は、アクティブ画像データが３０秒未満の間しか保持できないことを示すことがある。次に、カメラの切換えが行われるべきことをオペレータに知らせる。この設定は、１）電話会議、２）講義、３）法廷又は他の任意のミーティングなどのオプションから選択することによって、オペレータが、最初にプログラムをスタートするときにロードされてもよい。
【００３８】
カメラ切換え又は焦点の変更に適した時間は、例えば、最大カメラ保持時間が近づくにつれて、ディスプレイを囲むボーダカラーを明るいグレーから赤みがかったグレーへ徐々に変化させることによって、直覚的にオペレータへ付与される。或いは、カメラ経験の豊富なオペレータは、画像データディスプレイスイッチよりもむしろ、経過時間を示すタイマーや残り時間を示すカウントダウンタイマーの形式で情報がディスプレイされるのを好むこともある。情報伝達に有用な人が感知できる任意の特徴が、提示される最大及び最小画像保持時間を含む本発明によるシステム及び方法に使用され得るが、これらに限定されないことを理解されたい。
【００３９】
グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０のルームレイアウト部４１は、直覚的且つ認知度の低いオーバーヘッドで位置情報をユーザへ伝えるために使用される。これによってシステムへの位置情報の入力が容易になる。ルームレイアウト部４１は、部屋の表示をディスプレイする。ソースアナライザコントローラ３０によってインテリジェントセンサ３２乃至３６から受け取られるアクティビティ事象情報は、新しいカメラの選択、又は現在選択されているカメラのパン、チルト角、又はズーム変更のいずれかによって、ルームレイアウト部４１内のキャプチャされ得る候補となるアクティビティ事象を位置付けるために使用される。
【００４０】
例えば、ルームレイアウト部４１のある領域は、一つのカラー４８で着色され、検出されたサウンドアクティビティを示してもよい。ルームレイアウト部４１の他の領域は、第２のカラーで着色され、検出された物理的動作（図示せず）を示してもよい。ソースアナライザコントローラ３０は次にオペレータにディスプレイされる、候補となるアクティビティ事象を選択することができる。候補となるアクティビティ事象は、次にルームレイアウト部４１にディスプレイされ、これによって、オペレータが、次のカメラを選択することや現在選択されているカメラの焦点、パン、及びチルト角を変更することが容易になる。
【００４１】
オペレータは、対象となる候補的アクティビティ事象がどこに位置するかによって、ルームレイアウト部４１の周りに配置された一つ又は複数のボタン４２を用いて、カメラを直接選択することができる。ボタン４２と関連付けられたカメラは、カメラの視界を示すルームレイアウト部４１に表示される。
【００４２】
オペレータは、マウスや他の入力デバイスを用いて特定の事象をクリックすることによって又は触覚ディスプレイにタッチすることによって、候補となるアクティビティ事象を選択することができる。本発明によるシステム及び方法の種々の例示的な実施の形態において、ルームレイアウト部４１は部屋の二次元空間を示す。ミーティングキャプチャコントローラ１０は、会議室内部の識別されたオブジェクトについての位置情報及びタイプ情報を記憶する。識別されたオブジェクトの位置情報及びタイプ情報は、適切なパン、チルト角及び／又は、ズームパラメータ及び／又は選択すべき適切なカメラを決定するために使用され、識別された（位置）関係やルールに基づいて候補となるアクティビティ事象をキャプチャすることができる。例えば、ミーティングルーム内のテーブルや椅子についての位置、向き、及び高さの情報が、ミーティングキャプチャコントローラ１０内に記憶される。センサ情報は、候補となるアクティビティ事象が、テーブルの手前近く又は椅子の近くで発生することを示す。シートセンサは、座席がふさがったことを示す。ミーティングキャプチャコントローラは、センサ情報に基づいたルールを適用して、着席されたヘッドショットが候補となるアクティビティ事象をキャプチャするために適切な高さであるとともにズームパラメータであると推測する。ルール情報が、ミーティングのキャプチャを円滑にするために有用な適切なカメラ選択、適切なマイクロフォン選択、適切な室内照明、又は任意の他のパラメータを推測するためにも使用できることは明らかである。テキスト入力などの更なる情報を提供する任意の技術が使用されてもよい。
【００４３】
オペレータは、高さ及びズーム情報入力フィールド４３を用いて、提示された高さ及びズーム情報をオーバーライドして、他の高さパラメータ及び／又はズームパラメータを選択するための決定をする。高さ及びズーム情報入力フィールド４３は、ミーティングキャプチャコントローラ１０によって決定された設定をオーバーライドするために使用され得るルームレイアウトについてのデフォルトパラメータと、関連付けられる。これらのフィールドは、プルダウンメニュー又は任意の他の知られている又は後に開発される方法を介してアクセスされ、ルームレイアウト表示へ、高さ情報を、提供することができる。オペレータは、メニュー内の「起立（ｓｔａｎｄｉｎｇ）」又は「着席（ｓｅａｔｅｄ）」などの所定のメニューアイテムの一つ、及びズームパラメータを選択することができる。ズームパラメータは、放送業界の人々にとって広く用いられている用語によって指定され、他の人々にも簡単に理解されるものである。このような用語の例としては、「頭部（ｈｅａｄ）」、「肩部（ｓｈｏｕｌｄｅｒ）」又は「胸部（ｃｈｅｓｔ）」等が挙げられ、それぞれ、人物の頭部、肩部又は胸部のショットをキャプチャすることと同時に人物の頭部、肩部又は胸部を意味する。これらの用語を使用する利点は、オペレータがズームパラメータを調整することを心配せずに、比較的簡単にズームパラメータを指定することができることである。「人物を追跡せよ（ｔｒａｃｋａｐｅｒｓｏｎ）」などの他の情報はミーティングキャプチャコントローラ１０へ送られてもよい。
【００４４】
選択されたアクティビティ情報は、次に、選択されたカメラ２２に必要とされるチルト角及びズームの量を計算するためにミーティングキャプチャコントローラ１０によってインテリジェントカメラコントローラ２０へ渡される。オペレータが、関心のある領域を、コントロール表示あるいは選択を示すルームレイアウト部４１のある領域上のジェスチャ、すなわち、マウスあるいはスタイラスジェスチャ又はルームレイアウト部４１上の関心のある領域を示す他の任意の方法によって示すと、ｘｙ座標平面内のアクティビティ位置がキャプチャされ、記憶されたルールに基づいて提示されるｚ座標情報と連結される。オペレータが、パラメータを高さ及びズーム情報入力フィールド４３へ入力した場合、これらのパラメータがルールにより決定されたパラメータの代わりに使用される。この連結された情報は次にインテリジェントカメラコントローラ２０へ転送される。連結されたｘｙ及びｚ座標情報は、選択されたカメラを駆動し選択されたアクティブティ事象をカバーするために使用される。示されていない種々の他の実施の形態において、候補となるアクティビティ情報はまた、インテリジェントカメラコントローラ２０によって維持されるルームレイアウトの知見に基づいてカメラを選択するために使用され、これにより、オペレータにかかる負担も軽減される。
【００４５】
オペレータは、位置４７を丸で囲むなどのコントロール表示又はジェスチャにより、ルームレイアウト部４１上の関心のあるアクティビティ事象を示すことによって、アクティビティ事象を選択することができる。サイズ及び位置情報及びジェスチャの種類は、インテリジェントカメラコントローラ２０によって解釈される。インテリジェントカメラコントローラ２０は、選択されたカメラを駆動し、コントロール表示又はジェスチャによって指定されたエリアを撮影するためにローレベルコマンドを生成する。カメラコントロール及びカメラコントロールジェスチャについては、同時係願中の本明細書中に参照することによって組み込まれている１９９９年９月７日に出願された米国出願番号第０９／３９１，１４１号にもその全体が記載されている。
【００４６】
モニタ部４４を用いることによって、オペレータは、各モニタビューに隣接するボタン４９を用いて、モニタビューのための異なるカメラを選択することができる。モニタ部４４は、選択されたカメラにインクリメンタルなコントロールを付与するために使用されてもよい。例えば、モニタ部４４の選択されたモニタビュー４６の右下コーナーをタッピングするなどのコントロール表示又はジェスチャをコントロール表示又はジェスチャの方向にカメラをインクリメンタルに動かすために使用してもよい。選択されたモニタビュー４６上に直線を引くことによって、引かれた長さに応じて、カメラをコントロール表示又はジェスチャの方向にインクリメンタルに動かすこともできる。
【００４７】
ミーティングキャプチャコントローラ・ユーザインターフェース４０のルームレイアウト部４１及びビデオモニタ部４４は、カメラを向ける位置を直接指定する直覚的な方法を提供すると共に、完璧なカメラコントロールを提供するための統合システムにおいてインクリメンタルな命令を認知度の低いオーバーヘッドでカメラへ送る方法を提供する。
【００４８】
図３は、画像がディスプレイされる期間を示すために動的に調整される人が感知可能な要素を示す。ウィンドウの境界は、色相カラーを、低保持時間の明るい色相から、最大保持時間に達成して次に超過すると、赤色に変化させる。
【００４９】
図４は、カメラ座標変換システムを例示的に示す。上述のように、インテリジェントカメラコントローラ２０は、ミーティングキャプチャコントローラ１０からのハイレベルコマンドを解釈して、ローレベルコマンドを生成し、カメラを駆動させる。インテリジェントカメラコントローラ２０は、ルームカメラを駆動するパラメータだけでなく、会議室又はミーティングルームの幾何学情報を保持する。カメラのパン及び／又はチルト角については、回転の中心（ｘ₀，ｙ₀，ｚ₀）は、幾何学的に画定され得る。カメラを所望される角度に方向付けるパラメータが分かっている場合は、カメラは、任意の方向へ駆動されてモーション範囲内の室内での任意のポイントをねらう（ここで、θはｚ軸を中心とした角度であり、（θ,φ）はｘ−ｙ平面となす角度である）。ズーム可能カメラは、焦点長さｆをコントロールするためのパラメータも必要とする。適切なパラメータを付与することによって、カメラは任意のビューアングル（視界角度）のピクチャをキャプチャすることできる。従って、パン／チルト／ズーム可能カメラは、一般に、三つの変数ｖ_p、ｖ_t、ｖ_zを必要とする。各変数は、パン、チルト、及びズームの量をそれぞれ指定する。これらの変数と実際のカメラパラメータ間の対応は、以下の三つの等式（１）〜（３）によって記述され得る。対応が線形であれば、等式（１）〜（３）は、等式（４）と書換えられる（式中、α_p、α_t、α_f、β_p、β_t、及びβ_fは、カメラ依存定数である）。
【００５０】
【数１】

【００５１】
ミーティングキャプチャコントローラ１０からルームレイアウト部４１へのコマンドは、ｘｙ位置、高さ、及び視界角度情報を含む。コマンドが、上述のように、コントロール表示又はジェスチャによって生成された場合、視界角度情報は、「頭部（ｈｅａｄ）」や「胸部（ｃｈｅｓｔ）」等の抽象的形式で付与される。ミーティングキャプチャコントローラ１０は情報を結合して、通信リンク５を介してインテリジェントカメラコントローラへ転送する。インテリジェントカメラコントローラ２０は、適切な所定の値ｄで抽象情報を置き換える。丸を描くジェスチャによるコマンドについては、ミーティングキャプチャコントローラ・ユーザインターフェース４０のルームレイアウト部４１に描かれた円のサイズがｄとして使用される。ルームレイアウト部４１又はモニタビュー４４上のコントロール表示又はジェスチャは、プリセットされた高さの抽象値の一つをインテリジェントカメラコントローラ２０へ転送する。このプリセットされた高さの値もインテリジェントカメラコントローラ２０によって適切な所定値ｈに置き換えられる。オペレータが高さやズーム情報を入力しない場合は、アクティブルールの適用によって決定されたパラメータが高さ及びズーム情報を決定するために使用される。
【００５２】
すべての抽象値を実数値と置き換えた後、インテリジェントカメラコントローラ２０は、ねらうべき位置（ｘ，ｙ，ｚ）と、カバーされたエリア（ｄ）を有する。実数値とカメラパラメータ値に基づいて、インテリジェントカメラコントローラ２０は、選択されたカメラを駆動して選択されたアクティビティ事象の画像をキャプチャするために必要とされる変数ｖ_p、ｖ_t、ｖ_zを求める。
【００５３】
最初のステップでは、θ、φ、及びｆは、ポイント（ｘ₀，ｙ₀，ｚ₀）及び（ｘ，ｙ，ｈ）から等式（５）、（６）、及び（７）に基づいて求められる。第２のステップでは、変数ｖ_p、ｖ_t、ｖ_zを求めるために等式（１）、（２）、及び（３）の逆関数が使用される。
【数２】

【００５４】
ミーティングキャプチャコントローラ１０によって付与される抽象値を置き換えるために使用されるプリセットされた値は、最初の見積もりのためだけに適している。インテリジェントカメラコントローラ２０は、ミーティングキャプチャコントローラ１０によって送られたオリジナルのハイレベルコマンドに合わせるために発行されたローレベルのカメラコマンドを自主的に調整する。例えば、キャプチャされた画像は、モーション、エッジ、カラー、又はこれらのパラメータの組み合わせなどの種々の特徴を用いて人物を検知するために処理されてもよい。人物が検知されない場合は、インテリジェントカメラコントローラ２０は、カメラの位置を自律的に調整するのを止める。カメラの向きは、従って、検知された人物の実際の位置とハイレベルコマンドによって指定された人物の理想的な位置との間のギャップを取り除くように調整される。
【００５５】
調整が行われると、カメラは人物を所望のサイズでキャプチャする。人物をキャプチャされた画像内に維持するためにカメラの方向を連続的に調整することによって、カメラはこの人物を自律的に追跡することができる。この追跡の特徴はミーティングキャプチャコントローラ１０からのコマンドによってターンオン及びターンオフされ得る。
【００５６】
一つ又は複数のインテリジェントセンサ３２、３４、及び３６は、センサ信号情報のプリプロセッシング（前処理）を提供することもある。インテリジェントセンサ出力は、上述のように、ソーサアナライザコントローラ３０によって解析される。ミーティングキャプチャコントローラ１０は、統合されたセンサ情報を基づいて、ミーティングキャプチャコントローラ１０内に記憶されたルール情報及び設定情報に基づくオペレータのカメラ選択とビデオ画像情報のオペレータのスイッチングを容易にする。設定情報は、ビデオ画像を保持する時間と、他のビデオ画像へのスイッチングを提示するタイミングを含む。このルール情報は、室内に現れるオブジェクトについての知見及びセンサ情報に基づいて、カメラ機能を提示するためのルールを含む。一つ又は複数のインテリジェントセンサ３２、３４、及び３６からの出力は、グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０上に視覚的に存在し、これによって、ユーザは使用すべき適切なカメラを容易に決定して、アクティビティ事象をキャプチャすることができる。
【００５７】
マイクロフォンの配列は、インテリジェントセンサの一つの例である。会議室内に設置された複数のマイクロフォンがスピーカを位置付けるために使用され得る。グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０は、着色されたブローブ（斑点）を識別されたアクティビティ事象に置くことによって、室内ビューにおける識別されたアクティビティ事象の位置情報を示す。ユーザは、ブローブをタップしてブローブの周りに円を描き、ルームカメラの一つを駆動して、スピーカ又はアクティビティ事象をキャプチャすることができる。
【００５８】
室内の物理的なモーションのアクティビティは、広角カメラを用いて視覚的ににキャプチャされ得る。ミーティングキャプチャで広角カメラを使用することは、本明細書中に参照することによって組み込まれる１９９９年８月９日に出願された同時係願中の米国出願番号第０９／３７０，４０６号にもその全体が詳細に記載されている。最も動作が集中する室内の位置は、カメラからひとコマ置きに差を取ることによって容易に決定され得る。検出されたモーション位置は、次に、グラフィカルミーティングキャプチャコントローラ・ユーザインターフェース４０上に着色されたエリアをディスプレイすることによって事象候補として識別される。異なる色が、異なる度合のアクティビティ又は異なるタイプのアクティビティを示すために使用され得る。例えば、モーション事象アクティビティが第一のカラーでディスプレイされてもよいし、サウンド事象アクティビティが第２のカラーでディスプレイされてもよい。
【００５９】
図５は、本発明によるミーティングを自動的にキャプチャする方法の例示的な実施の形態を概略的に示すフローチャートである。ステップ１０に始まって、コントロールは、ステップ２０へ進み、オペレータがシステムのシャットダウンを要求したかを判断する。シャットダウンは、メニューを選択して、コンロトールキーを組み合わせることによって、又はシステムをシャットダウンする他の知られている又は後に開発される技術を実行することによって、要求される。ステップ２０において、オペレータがシステムのシャットダウンを選択したと判断されると、コントロールは、ステップ１１０へジャンプし、処理が終了する。
【００６０】
ステップ２０において、オペレータがシステムをシャットダウンステップすることを選択しなかったと判断された場合、コントロールはステップ３０へ進み、カメラが選択される。カメラは、ミーティングルーム表示のカメラの位置に隣接するエリアを選択することによって選択され得る。コントロールは次にステップ４０へ進む。
【００６１】
ステップ４０において、選択されたカメラのモニタビューに人が感知できるインジケータが付け加えられる。人が感知できるインジケータは、カメラ保持時間に関する予め記憶された情報に基づいてカラーを変更するモニタの周囲のウィンドウの境界を含んでもよい。或いは、カメラの保持時間は、ゆっくり大きくなるサウンド又は着実に大きくなるボーダのフラッシュ等の人が感知できる特徴によって示されてもよい。コントロールは次にステップ５０へ進む。
【００６２】
次に、ステップ５０において、候補となるアクティビティ事象がディスプレイされる。候補となるアクティビティ事象は、ミーティングにおいて潜在的に関心がもたれる事象である。例えば、電話会議中、スピーカは、討議において意見表明を行うであろう。誰かが壁にかかったチャートを指し示すなどの画像アクティビティが意見に対する無言の応答を示す。この画像アクティビティは、ユーザインターフェース上に候補となるアクティビティを示すセンサによって、検知される。候補となるアクティビティ事象は、インテリジェントセンサ情報の処理に基づいて決定される。他の候補となるアクティビティ事象としては、インテリジェント立体マイクロフォンセンサを通して位置決めされるサウンドと、モーションを検知するインターフレーム画像解析によって検知される物理的モーションとを含むことができるが、これらに限定されない。アクティビティ事象は、ミーティングのレイアウト表示を組み込む直覚的なユーザインターフェースにディスプレイされる。ディスプレイは、モーションなどの第１のアクティビティを反映するために一つの色だけを使用することもできる。アイコンはサウンドなどの第２のタイプのアクティビティを表すために使用され得る。ユーザインターフェースは、オペレータの情報入力に対する接触感知スクリーンを含むことができる。コントロールは次にステップ６０へ進む。
【００６３】
ステップ６０において、アクティビティ事象が選択される。オペレータは、接触感知スクリーン上にディスプレイされたアクティビティ事象にタッチすることによって或いはマウス又は他のユーザ入力デバイスでそれを選択することによってディスプレイされたアクティビティ事象を選択することができる。本発明の種々の実施の形態において、アクティビティ事象はプログラムコントロール下で選択されてもよい。次に、ステップ７０において、ステップ６０で選択されたアクティビティ事象に対して高さ及びズーム情報が指定される。オブジェクトの位置、オブジェクトのタイプ情報、及びオブジェクトを感知されたアクティビティ事象に関連付けるルールを用いることによって、高さ及びズーム情報が指定される。例えば、テーブル上の候補となるアクティビティ事象は、高さが少なくともテーブルの上面以上であることが分かっているので、フロアのショット又はスタンディングショット（立ち位置のショット）が必要とされることはありそうにない。オペレータは、提示された高さ及びズーム情報をオーバーライドして、ヘッドショット（頭部のショット）やフェイスショット（顔のショット）などのオペレータ指定のオーバーライドパラメータを使用することによってカメラがカバーすべきアクティビティ事象を示すこともできる。本発明の種々の他の実施の形態においては、高さ及びズーム情報はインテリジェントセンサをコンスタントにモニタすることによって動的に提供されてもよい。
【００６４】
次に、ステップ８０においては、高さ及びズーム情報が結合される。選択されたカメラのパン／チルト／及び／又はズーム操作を駆動するために必要とされる適切な値が求められ、カメラが起動され所望されるアクティビティ事象をキャプチャする。コントロールは次にステップ９０へ進む。
【００６５】
ステップ９０においては、カメラ、カメラアングル及び／又はズームアングルが変更されているので、人が感知できるインジケータが更新される。画像がディスプレイされると、人が感知できるインジケータは、変化し、カメラの最小保持時間や更なる画像変更が望ましいと思われる時間等のミーティングコントロール情報をあまり周りに影響を与えない態様で提供する。コントロールは次にステップ１００へ進む。
【００６６】
ステップ１００において、オペレータがカメラを変えたかどうかが判断される。オペレータがカメラを変えた場合、コントロールはジャンプしてステップ４０へ戻り、処理が繰り返される。オペレータがカメラを変えてない場合、コントロールはジャンプしてステップ２０へ戻り、ステップ２０において、システムをシャットダウンすべきであることをオペレータが示すまで処理が続行される。オペレータがシステムをシャットダウンすべきであることを示した場合、コントロールはステップ１１０へ進み、処理が終了する。
【００６７】
図６は、例示的な設定データ構造５０を示す。設定データ構造５０は、最小及び最大のカメラ保持時間、自動トラッキング設定、及びシステム設定情報を記憶する好適な記憶機構を提供する。オペレータはシステムが最初にスタートしたとき全ての設定を示すことができるので、例示的な設定データ構造５０は、オペレータが、選択されたミーティングのタイプに基づいて、適切な保持時間及びトラッキングの設定を選択するのを可能にする。設定データ構造部６０は、ミーティングのタイプを指定する。ミーティングのタイプは「タウンミーティング（ＴｏｗｎＭｅｅｔｉｎｇ）」、「電話会議ミーティング（ＴｅｌｅｃｏｎｆｅｒｅｎｃｅＭｅｅｔｉｎｇ）」、又はミーティングのタイプを定義づける任意の名前であってもよい。設定データ構造部７０は、オブジェクトタイプを指定する。オブジェクトタイプは、どのオブジェクトがセットされるかを識別し、さらに、最小及び最大のカメラ保持時間、自動トラッキング及びマイクロフォンの設定を含むことができるが、これらに限定されない。任意の制御可能なオブジェクトが指定され得る。設定データ構造部８０は、設定データ構造部７０によって示されるオブジェクトが初期化されるときに実行されるアクション（動作）を識別する。アクションは、カメラの自動トラッキング設定、及びカメラの最小及び最大の保持時間の指定を含むことができるが、これらに限定されない。
【００６８】
図７は、ルール情報を記憶するための例示的なルールデータ構造９０を示す。例示的な実施の形態において、会議室のオブジェクト情報及びオブジェクトタイプ情報をセンサ情報と関連付けるルールが符号化される。例えば、ルールデータ構造９０での最初の入力は、アクティビティ事象ターゲット１の位置が「テーブルの手前（ｆｒｏｎｔｏｆｔａｂｌｅ）」と呼ばれるエリア又はゾーンの近傍にある場合は、ターゲット１の高さの設定は着席（ＳＩＴＴＩＮＧ）にセットされることを示す。ターゲット１の位置は、限定されないが、センサ情報、直接テキスト入力、及びマウス選択を含む任意の手段によって決定され得る。ルール起動の結果として、オペレータは、使用すべき適切な高さパラメータに対する提示を受け取り、事象をキャプチャする。
【００６９】
同様に、第２の入力はターゲット１が「テーブルの手前（ｆｒｏｎｔｏｆｔａｂｌｅ）」のゾーンから離れて位置付けられる時にターゲット高さ情報は、正確に事象をキャプチャするため、起立（ＳＴＡＮＤＩＮＧ）に設定されることを示す。
【００７０】
第３の入力は、数値１５を用いてカメラ３を指定することによって高さ情報の選択を示す。ターゲット１が「演壇の手前（ｆｒｏｎｔｏｆｐｏｄｉｕｍ）」と呼ばれるゾーンの近くにあるためにカメラ３が選択される。
【００７１】
第４の入力は、ターゲット１が「テーブルの手前（ｂａｃｋｏｆｔａｂｌｅ）」として画定されるゾーンから離れて位置付けされる場合、ターゲット１がテーブルゾーンの手前から遠く離れており座っていそうもないので、ターゲット情報は起立（ＳＴＡＮＤＩＮＧ）に設定されることを指定する。
【００７２】
上記に概略的に示された種々の実施の形態において、コンピュータ援用ミーティングキャプチャシステム１は、プログラムされた汎用コンピュータを用いて実施され得る。しかしながら、本発明によるコンピュータ援用ミーティングキャプチャシステム１は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロ・コントローラ、及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、ディジタル信号プロセッサ、離散素子回路などのハードワイヤード電子又はロジック回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬなどのプログラム可能ロジックデバイス等で実施されてもよい。一般に、図５に示されたフローチャートを実施することを可能とする有限状態マシンを実施することが可能な任意のデバイスが、本発明のシステム及び方法を実施するために使用され得る。
【００７３】
上記に概略的に示されたコンピュータ援用ミーティングキャプチャシステム１の種々の例示的な実施の形態の回路、ソフトウェアルーチン又は要素は、適切にプログラミングされた汎用コンピュータの部分として実施され得る。或いは、上記に概略的に示されたコンピュータ援用ミーティングキャプチャシステム１の種々の例示的な実施の形態の回路、ソフトウェアルーチン又は要素の各々は、ＡＳＩＣ内の物理的に別個のハードウェア回路として又はＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬを用いて、又は離散論理素子又は離散回路素子を用いて実施され得る。上記に概略的に示されたコンピュータ援用ミーティングキャプチャシステム１の種々の例示的な実施の形態の回路、ソフトウェアルーチン又は要素の各々が取る特別な形態は、設計上の選択であり、当業者にとって明白であり予測可能なものである。
【００７４】
さらに、上記に概略的に示されたコンピュータ援用ミーティングキャプチャシステム１及び／又は種々の回路、ソフトウェアルーチン又は要素の種々の例示的な実施の形態は、それぞれ、プログラムされた汎用コンピュータ、専用コンピュータ、マイクロプロセッサなどで実施されるソフトウェアルーチン、マネージャー、またはオブジェクトとして実施され得る。この場合、上記に概略的に示されたコンピュータ援用ミーティングキャプチャシステム１及び／又は種々の回路、ソフトウェアルーチン又は素子の種々の例示的な実施の形態は、それぞれ、通信ネットワークに埋め込まれた一つ又は複数のルーチン、サーバ上にあるリソース、その他として、実施され得る。上記に概略的に示されたコンピュータ援用ミーティングキャプチャシステム１及び／又は種々の回路、ソフトウェアルーチン又は素子の種々の例示的な実施の形態は、ウェブサーバやクライアントデバイスのハードウェア及びソフトウェアデバイス等のハードウェア及び／又はソフトウェアシステムに、コンピュータ援用ミーティングキャプチャシステム１を物理的に組み込むことによって、実施されてもよい。
【００７５】
図１に示されているように、メモリは、可変、揮発性又は不揮発性のメモリ、又は変更不能若しくは固定されたメモリを任意に適当に組み合わせたものを用いて実施され得る。可変メモリは、揮発性又は不揮発性のいずれでもよく、静的又は動的ＲＡＭ、フロッピィ（商標）ディスク及びディスクドライブ、書込み可能又は書換え可能な光ディスク及びディクスドライブ、ハードドライブ、フラッシュメモリなどの任意の一つ以上を用いることによって実施され得る。同様に、変更不可能又は固定メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭディスクなどの光ＲＯＭディスク、及びディスクドライブなどの任意の一つ以上を用いて実施されていもよい。
【００７６】
図１に示される通信リンク５は、通信デバイスをコンピュータ援用ミーティングキャプチャシステム１に接続する、直接ケーブル接続、ワイドエリアネットワーク又はローカルエリアネットワークを介した接続、イントラネットを介した接続、インターネットを介した接続、又は任意の他の分散処理ネットワーク又はシステムを介した接続を含む、任意に知られている又は後に開発されるデバイス又はシステムであってもよい。概して、通信リンク５は、任意の知られている、又は後に、開発される接続システムであってもよい。
【００７７】
また、通信リンク５は、ネットワークにワイヤード又はワイヤレスでリンクされ得ることを理解されたい。ネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、イントラネット、インターネット、又は任意の他の知られている又は後に開発される分散処理及び記憶ネットワークであってもよい。
【００７８】
本発明は、概略的に上述された例示的な実施の形態に関して説明されてきたが、当業者にとって多数の変形、改良及び変更が明白であることが明らかである。従って、本発明の例示的な実施の形態は、説明のみを目的としており、これらに限定されるものではない。本発明の精神及び範囲を逸脱することなく種々の変更が行われてもよい。
【図面の簡単な説明】
【図１】本発明によるコンピュータ援用ミーティングキャプチャシステムの例示的な実施の形態を示す図である。
【図２】本発明によるミーティングキャプチャコントローラユーザインターフェースの例示的な実施の形態を示す図である。
【図３】本発明によるストリームモニタのフレームカラー変換の例示的な実施の形態を示す図である。
【図４】本発明によるカメラ座標の例示的な実施の形態を示す図である。
【図５】本発明によるミーティングをキャプチャする方法の例示的な実施の形態を概略的に示すフローチャートである。
【図６】本発明による設定情報を記憶するために使用可能なデータ構造の例示的な実施の形態を示す図である。
【図７】本発明によるルール情報を記憶するために使用可能なデータ構造の例示的な実施の形態を示す図である。
【符号の説明】
１：コンピュータ援用ミーティングキャプチャシステム
５：通信リンク
１０：ミーティングキャプチャコントローラ
２０：インテリジェントカメラコントローラ
２２、２４、２６：ルームカメラ
２８：コンピュータディスプレイ
３０：ソースアナライザコントローラ
３２、３４、３６：センサ

Claims

複数のカメラと、
ミーティングルーム内の事象の変化を検知するセンサと、
前記センサの検知した情報に基づきアクティビティ情報を決定する制御装置と、
記憶された、ミーティングルーム内の設備の位置を示すオブジェクト位置情報と、
記憶された、前記アクティビティ情報と前記オブジェクト位置情報を関連付けカメラアングルを決定するためのルール情報と、
前記ミーティングルーム内の設備を表示し、該設備の位置に対応して前記複数のカメラの位置と前記アクティビティ情報とを表示し、前記アクティビティ情報に基づいて対象とすべきアクティビティ事象の選択入力とカメラの選択入力とを受け付けるユーザインターフェースと、
前記ルール情報を使用して前記選択されたアクティビティ事象を撮影するよう前記選択されたカメラのカメラアングルを決定するミーティングキャプチャコントローラと、
を有する、
コンピュータ援用ミーティングキャプチャシステム。
前記センサは、ミーティングルームの出席者の音声を検知するマイクロフォンと、出席者の動きを検知する広角カメラとを含み、前記アクティビティ情報は、前記マイクロフォンにより検知されたサウンド事象と、前記広角カメラにより検知された物理的モーション事象とを含む、請求項１に記載のコンピュータ援用ミーティングキャプチャシステム。
前記オブジェクト位置情報は、前記ミーティングルーム内の各設備の位置及び高さを含む、請求項１に記載のコンピュータ援用ミーティングキャプチャシステム。
前記カメラの選択入力は、前記ユーザインターフェースに設けられたカメラの選択ボタンによりカメラの選択入力を受け付けること、及び前記ユーザインターフェースのミーティングルーム内のエリアの選択に基づき近隣のカメラが選択されることのうち少なくとも一つにより行われる、請求項１に記載のコンピュータ援用ミーティングキャプチャシステム。
前記ユーザインターフェースは、更に、前記カメラアングルの選択入力を受け付け、該選択入力されたカメラアングルで前記ミーティングキャプチャコントローラにより決定されたカメラアングルを上書きする、請求項１に記載のコンピュータ援用ミーティングキャプチャシステム。
更に、ミーティングのタイプと該タイプに応じたカメラの保持時間を記憶した設定データ構造を有し、
前記ユーザインターフェースは、更に、複数のカメラに対応するモニタビューを表示し、前記選択されたカメラに対応するモニタビューを識別するインジケータを表示し、該インジケータは、前記設定データ構造に基づいて前記選択されたカメラ及びカメラアングルの少なくとも一つを変更する時を通知する、請求項１に記載のコンピュータ援用ミーティングキャプチャシステム。
コンピュータ援用ミーティングキャプチャ方法であって、
センサが、ミーティングルーム内の事象の変化を検知してアクティビティ情報を決定するステップと、
ユーザインターフェースが、ミーティングルーム内の設備の位置を示すオブジェクト位置情報に基づいて前記設備を表示し、該設備の位置に対応して複数のカメラの位置と前記アクティビティ情報とを表示し、前記アクティビティ情報に基づいて対象とすべきアクティビティ事象の選択入力とカメラの選択入力とを受け付けるステップと、
ミーティングキャプチャコントローラが、前記アクティビティ情報と前記オブジェクト位置情報を関連付けカメラアングルを決定するためのルール情報を使用して前記選択されたアクティビティ事象を撮影するよう前記選択されたカメラのカメラアングルを決定するステップと
を有する、コンピュータ援用ミーティングキャプチャ方法。
コンピュータ援用ミーティングキャプチャに使用可能なコントロールプログラムであって、該コントロールプログラムは符号化された搬送波により該コントロールプログラムを実施するデバイスへ転送され、前記コントロールプログラムは、
センサが検知したミーティングルーム内の事象の変化からアクティビティ情報を決定する命令と、
ミーティングルーム内の設備の位置を示すオブジェクト位置情報に基づいて前記設備と、該設備の位置と対応して複数のカメラの位置及び前記アクティビティ情報とをディスプレイする命令と、
前記ディスプレイされたアクティビティ情報に基づいて対象とすべきアクティビティ事象の選択入力とカメラの選択入力とを受け付ける命令と、
前記アクティビティ情報と前記オブジェクト位置情報を関連付けカメラアングルを決定するためのルール情報を使用して前記選択されたアクティビティ事象を撮影するよう前記選択されたカメラのカメラアングルを決定する命令と、
を有する、コントロールプログラム。