JP4219682B2 - 自動マルチカメラ映像合成 - Google Patents

Description

【０００１】
発明の技術分野
本発明は、一般に、マルチカメラ映像システムに関し、より詳細には、自動マルチカメラ映像合成システム及びその操作方法に関する。
【０００２】
発明の背景技術
映像伝送及び記録の一般的な分野では、複数のビューポイントあるいは位置から同時に映像をキャプチャーする（取り込む）ことが普通である。一般的な一例は、スポーツの放送である。例えば、野球では、複数の視野角からその動きをキャプチャーするために、５台以上のカメラを用いている。一人以上の技術者がカメラを切り替えて、うまくいったのならば、そのゲームのその瞬間に何が起きているかを示す最高の視点から構成するテレビ信号を供給する。もう一つの例は映画である。しかしながら、映画編集は、選択された合成シーケンスにおける種々のカメラショットを用いてほとんどのシーンでイベントが記録されたずっと後になされる。
【０００３】
おそらくスポーツコンテンツや映画よりも興奮しないであろうが、マルチカメラ映像データの他の多くの応用法が存在する。例えば、カメラアングルの選択は、ほとんどあらゆるテープに記録された又は放送イベントのずっと豊かな記録を提供することができる。いくつかの例を示せば、そのイベントは、ミーティング、プレゼンテーション、テレビ会議、あるいは電子教室である。
【０００４】
一組のリサーチャーは、話し手の行動パターンに基づいて、テレビ会議に適用する自動カメラ切替方法を提案した。１９８４年１１月２６〜２９日に開催されたＩＥＥＥ世界遠距離通信会議（Proc. IEEE Global Telecommunications Conf.）におけるF. Canavesio及びG. Castagneriの「テレビ会議における行動パターンに対する自動カメラ切替のストラテジー」を参照されたい。このペーパーに記述されたシステムは、６人のビデオ会議参加者のそれぞれのために１つのマイクロホン及び１つのカメラを有する。２つの追加のカメラがすべての参加者を示す分割スクリーンオーバービュー用の入力を提供する。マイクロプロセッサは、参加者全員のうち誰が話しているかを決定し、６つの「話している（talk）／話していない（no talk）」値からなる二進数活動パターンを生成する「活動話し手識別処理」を周期的に実行する。
【０００５】
多くの時間ベースの閾値がそのシステムに入力される。マイクロプロセッサは、７つのカメラビュー（６つの個人用＋１つのオーバービュー用）のいずれが各二進数活動パターンに用いられるかを決定する音声切替アルゴリズムを実行する。本質的に、そのアルゴリズムは、誰が話しているか、いずれのカメラが現在選択されているか、及び、現在選択されているカメラビューが最小時間保持されていたかに基づいて、新しい評価インターバルでいずれのカメラビューを用いるかを決定する。一人以上の同時に話す話し手が検出されるか、誰も話していないならば、システムは、プリセット時間後会議オーバービューに切り替える。一般的に、一人の話し手が検出されるとき、そのシステムは、彼らが話し続け、又は小休止を取る限りは、その話し手のクローズアップビューを連続的に選択する。
【０００６】
好ましい実施の形態の詳細な記述
本開示は、いくつかの同時発生の映像入力の一つを映像出力として自動選択（オートセレクト）するシステム及びその方法を含む。一般に、カメラ位置についての特殊な知識や映像ストリームから情報へのアクセスは、切替を決定するために要求されない。その代わりに、記述の実施形態は、音声入力及び映像出力選択ヒストリを用いて、映像出力を選択し得る。このアプローチは、表面上自然な種々の映像入力選択を提供するので、システム較正及び処理能力の要求を著しく緩和することができる。
【０００７】
多くの映像シナリオ（特に、会話のシナリオ）では、いくつかの利用可能なカメラアングルのうち「最良（best）」のものが活動的話し手（又は他の音源）の位置に最も直接的に相関するアングルであることがここでは述べられる。記述の実施形態は、音声活動の位置に基づいて映像源（video source）を選択し、この観察を利用することができる。また、記述の実施形態は、多数の音声入力のそれぞれを少なくとも一つの映像入力に関連付ける結合マトリクス（結合行列）を用いる。特定の音声入力として、音声活動の増加は、その音声入力に関連付けられた映像入力が現在の映像出力として選択されることがより有望になることを示している。
【０００８】
開示の実施形態が映像出力選択を音声活動に一部基づかせているが、好ましくは、他の要素は、選択処理に入力される。これらの他の要素における顕著な例としては、音声源選択のタイムヒストリがある。例えば、一人の人が、延長された期間、合成映像でキャプチャーされたダイアログ（対話又は会話）を支配してもよい。この延長されたインターバルに渡って一つのカメラアングルが大体「最良」であり得るけれども、「最良」の合成映像ストリームは、例えば、より広いアングルビュー、最適よりもわずかに劣る見地からの話し手、あるいは静かな参加者の光景を時々見せてもよい。タイムヒストリを用いることにより、開示の実施形態は、たとえ一つの「最良」の音声チャンネルが優位に立つことを可能にしても、カメラアングルの混合を選択することができる。あるいは、もう一つの例として、タイムヒストリは、例えば、各時間に新しいカメラアングルが選択されることを提供することによって、円滑基準（smoothness criteria）を実行するために用いられ得る。そのアングルは、いくつかの初期期間に選択された残りの増加確率を受け入れる。
【０００９】
記述の実施形態は、Canavesio及びCastagneriのシステムにはないいくつかの特徴を提供する。例えば、本システムでは、音声スコアリングは、二進数処理に限定されず、複数のマイクロホンが一つのカメラに関連付けられてもよく、あるいはその逆でもよいので、カメラ／マイクロホン結合には柔軟性がある。このことは、映像切替のタイミングにランダムな一面を導入し、先行技術には欠如している（所定の音声活動パターンに基づいて）種々の可能な切替条件を導入する。また、少なくとも一つの実施形態では、各位置が他の位置よりも映像セッションの異なるビューを潜在的に受信する状態で、その映像供給は、異なる遠隔地において発生させることができる。
【００１０】
おそらくさらにいっそう重要なことには、記述の実施形態は、カメラがくどい（長たらしい）話し手のクローズアップビューを示すとしても、長い間１つのカメラが連続して選択されることに強い阻害要因を供給することができる。これは、一人が会話を独占しているときでさえ、他の参加者の短いビュー及び／又はオーバービューを散在させることによって、映像出力に視覚的おもしろさを加える。
【００１１】
これらの原理をさらに示すために、図１の会議室配置２０を参照して第１実施形態を記述する。この配置２０では、３つのマイクロホンＡ１、Ａ２、Ａ３が会議テーブルの周りに置かれている。同様に、３つのビデオカメラ（以下、単に「カメラ」ともいう）Ｃ１、Ｃ２、Ｃ３が会議テーブルの周りに配置されている。カメラＣ１の視野は、マイクロホンＡ１を含み、カメラＣ２の視野は、マイクロホンＡ２を含み、カメラＣ３の視野は、マイクロホンＡ３を含む。
【００１２】
図２は、図１の配置２０のようなマイクロホン／カメラ配置で用いられる映像切替システム３０の構成を示す。映像オートセレクタ（映像切替装置）４０は、各マイクロホンＡ１、Ａ２及びＡ３から音声入力を受信する。映像スイッチ５０は、各カメラＣ１、Ｃ２及びＣ３から映像入力を受信する。映像オートセレクタ４０は、音声出力及び切替コマンドを生成する。映像スイッチ５０は、切替コマンドを用いて、映像源（カメラ）Ｃ１、Ｃ２、Ｃ３の一つからの映像を映像出力に切り替える。
【００１３】
図３は、映像オートセレクタ４０のより詳細なブロック図を示す。図３の各ブロックを順次記述する。
【００１４】
パラメータインターフェース４２は、切替ロジック４４に操作パラメータを供給する。好ましくは、これらのパラメータの少なくともいくつかは、個別的に又はプリセットモードのグループとして、ユーザによって調整され得る。各パラメータの意味は、その用い方の説明と関連して以下において論じられる。
【００１５】
音声スコアラー４５は、音声入力Ａ１、Ａ２及びＡ３を受け取る。（パラメータインターフェース４２からの）イグザミネーションインターバル（examination interval）長入力パラメータは、音声スコアが計算されている時間長を決定する。切替ロジック４４は、新しいイグザミネーションインターバルが始められるとき、音声スコアラー４５にリセット信号を供給する。音声スコアラー４５は、各音声入力Ａ１、Ａ２、Ａ３用の音声スコアを形成する。それは、イグザミネーションインターバルのその音声入力における音声活動存在のレベルを表現する。そのインターバルの終わりに、音声スコアは、切替ロジック４４に伝送される。
【００１６】
切替ロジック４４は、所定のイグザミネーションインターバルの現在の映像源としていずれの映像源が選択されるかを実際に決定する。この決定は、そのイグザミネーションインターバルの音声スコアに部分的に基づいている。また、その決定は、パラメータインターフェース４２によって供給されるパラメータを用いて解釈されるように、状態メモリ４６に格納された変数に基づいている。
【００１７】
状態メモリ４６は、少なくとも映像源選択の部分的なタイムヒストリを格納する。１つの簡単なケースでは、このヒストリは、最後に選択された映像源と、関連する映像セグメント長（最後に選択された映像源が選択されたままの時間長を表す）とから構成される。また、このヒストリは、タイプにより映像セグメントを分類してもよい。さらに、選択されていない各映像源が最後に選択されてからの時間長や最後のｎ映像セグメントのヒストリなどの他の項目は、そのヒストリに有用であろう。
【００１８】
任意に、映像オートセレクタ４０は、音声ミキサー４８を含むことができる。切替ロジック４４は、現在の映像選択と一致するために、音声制御を音声ミキサー４８に供給することができる。あるいは、音声ミキサー４８は、例えば、音声出力を形成するのと同時にすべての音声入力をミックスするために設置され得る。
【００１９】
映像オートセレクタ４０の一操作方法は以下のようである。システムは、映像チャンネル／音声センサ結合パラメータで指定された映像チャンネルと音声センサとを考慮する。この結合は、手動で（ユーザによって設定）されてもよく、（例えば、指向性マイクロホンが各ビデオカメラに取り付けられて）固定されてもよく、あるいは、物理的配置情報（例えば、基地のマイクロホン位置及びカメラ視野）に基づいて自動的に設定されてもよい。その結合は、１：１、すなわち、各映像入力のために１つの音声入力であってもよい。他の実施形態では、１つの音声入力が多くの映像入力に位置してもよく、その逆でもよい。図１、２及び３の第１の例では、Ａ１はＣ１に位置し（マッピングし）、Ａ２はＣ２に位置し、そして、Ａ３はＣ３に位置する。このマッピングは、Ｎ×Ｍ行列として表現され得る。ここで、Ｎは音声入力数であり、Ｍは映像入力数である。マッピングが１：１（すなわち、Ｎ＝Ｍ）のとき、２つの長さＮ数列が用いられ得る。ここで、Ａ［ｉ］は音声入力を表し、Ｖ［ｉ］は対応する映像入力を表す。
【００２０】
図５は、１つの映像源選択処理の反復ステップを含むフローチャート６０である。そのシステムは、いくつかの方法で映像源選択のタイムヒストリを用いている。これらの一番目（一回目）は、決定ブロック６２において各映像源選択の繰り返し（反復）の始めに発生し得る。システムが異なる映像源に切り替えるときはいつでも、そのシステムは、少なくとも最小映像セグメント長（例えば、図示の例では４秒）の間その映像源にとどまることを強要され得る。最初のインターバルの間、システムは、ブロック６２及び６４を繰り返しループして、最小映像セグメント長に到達するまでのカウント時間以上何もしなくてもよい。
【００２１】
セグメント長が最終的に最小セグメント長に到達すると、ブロック６２からブロック６６に移行する。ブロック６６では、音声イグザミネーションインターバルが開始する。イグザミネーションインターバルは、システムモードに依存して、いくつかの方法の１つにおける映像切替ポイントに関連することができる。リアルタイム（実時間）配置モード及び後方（例えば、記録保管（archival））配置モードの少なくとも２つのモードが可能である。リアルタイム配置モードでは、映像切替は、前の音声サンプルからなる音声イグザミネーションインターバルを用いる。例えば、ｔ_ｓが潜在的切替ポイントであり、イグザミネーションインターバルの長さがＴ_Ｅであるならば、切替ポイントｔ_ｓのイグザミネーションインターバルはｔ_ｓ−Ｔ_Ｅに始まる。リアルタイムの制約がないので、後方配置モードは、近い将来誰が話しているかを判断するために、音声サンプルにおいて「先を見越す」ことができ、もしかすると、新しい話し手が話し始めるときにその視野にいるように、映像源を切り替えることができる。例えば、後方配置モードでは、映像切替ポイントｔ_ｓのイグザミネーションインターバルは、ｔ_ｓ−Ｔ_Ｅ／５において始め、ｔ_ｓ＋４Ｔ_Ｅ／５まで続けることができる。従って、切替ポイントの直前に話している誰かにいくらかの重み付けをし、切替ポイント直後に話すであろう誰かにその重みの大部分を与えることができる。
【００２２】
音声スコアラー４５は、イグザミネーションインターバルの始めに各音声入力の音声スコアをリセットする。各音声入力がパルスコード変調サンプルストリームであるデジタルでの実行を考慮すると、サンプルはグループで考慮される。例えば、８ｋＨｚでサンプリングされた音声ストリームでは、サンプルは、５０の連続的なサンプル（例えば、６．２５ｍ秒の時間サブウィンドウ）のグループで考慮され得る。
【００２３】
各時間サブウィンドウと音声入力のために、最大及び最小サンプル値が決定される。これら２つのサンプル値の差が計算され、それは、（ほぼ）そのサブウィンドウの音声入力の最大ピーク間振幅を表す。
【００２４】
サブウィンドウの終わりに、音声入力用に計算された差がそのサブウィンドウ用に各他の音声入力のために計算された差と比較される。最高計算差を持つ入力は、サブウィンドウを勝ち取り、１だけインクリメントされた音声スコアを持つ。１つの選択肢は、最高計算差を持つそのスコアによってすべての計算差が標準化され、その標準化差だけ各スコアをインクリメントすることである。
【００２５】
その処理は、イグザミネーションインターバルにおける各サブウィンドウのために継続する。イグザミネーションインターバルの終わりに、各音声スコアは、対応する音声入力が最高の最大計算差を有するサブウィンドウ数を表す。
【００２６】
この実施形態では、現在の映像セグメントが２つのタイプ、すなわち、規則的な（regular）映像セグメント及び一時的な（temporary）映像セグメントの１つとして分類され得る。規則的映像セグメントは、音声スコアの重み付けされた比較の結果として選択されるものである（以下で論じる）。一時的映像セグメントは、前の規則的セグメントが、スイッチ（切替）が起こる可能性を増加するために追加の計測が取られる長さに到達したので選択されるものである。
【００２７】
ブロック６８では、現在のセグメントタイプに基づいて切り替えている。セグメントタイプが一時的であると、スコアリングは、重み関数をバイパスして、ブロック７２に移行する。しかし、ブロック７２は、一時的セグメントのセグメントタイプを規則的に設定する。なぜならば、そのセグメントがこの反復を過ぎて継続するならば、このことは、そのセグメントがスコアの直接重み付けしていない比較において選択されることを意味するからである。
【００２８】
現在の映像セグメントが既に規則的セグメントであると、そのセグメントの音声スコアは、ブロック７０において重み付けされる。音声スコアに割り当てられた重みは、そのセグメントの長さの関数である。
【００２９】
図４は、１つの可能な重み関数を示す。新しいセグメントの始めに、その映像源は、すべての他の映像源と同じく重み付けされる。しかしながら、セグメント長が増加し続けるにつれて、現在の映像源の重みは、段階的に減少する。それにより、いくつかの他の映像源が代わりに選択される可能性を増加する。
【００３０】
なめらかな重み関数を用いることができるけれども、図４の階段状（ステップ状）の関数は、その重みがセグメント長に基づくルックアップ演算から決定されることを可能にする。整数ｎが計算される。ここで、Ｔ_Ｌは現在のセグメント長であり、ＴＰは好ましい映像セグメント長であり、Ｃは図４のｘ軸のスケールに調整する定数である：
ｎ＝ｍｉｎ（［Ｃ＊Ｔ_Ｌ／Ｔ_Ｐ］，８）
整数ｎは、０〜８で示される数列Ｗから重みを選択するために用いられる。ここで、
Ｗ＝｛1.0，1.0，0.9，0.85，0.8，0.5，0.375，0.2，0.1｝
である。
【００３１】
上記Ｗ値を含む一構成例では、Ｔ_Ｐ＝９及びＣ＝５である。現在のセグメントに割り当てられた重みは、好ましいセグメント長（９秒）に到達するまでゆっくりと低下し、数列要素０〜４にステップする。セグメントが９秒の長さに到達すると、その関連する音声スコアは、重みＷ［５］＝０．５を受け取る。これは、最初の９秒間に選択されないときもう一つの映像源が選択されるであろう可能性を極めて増加する。
【００３２】
さらに、ブロック７４は、現在の映像源が延長された期間継続したときもう一つの映像源が選択される可能性を増加することができる。ブロック７４では、現在のセグメント長は、好ましいセグメント長の複数倍（ここでは、３倍に設定）と比較される。この例では、セグメント長が好ましいセグメント長の３倍を越えると、ブロック７６に移行する。ブロック７６では、現在の映像源のスコアは、０．５の追加の重みを課される。また、「would-beタイプ（ＷＢＴ）」は一時的に設定される。would-beタイプは、この反復中に一つが選択されるならば新しいセグメントに割り当てられるセグメントタイプである。従って、ＷＢＴ＝一時的は、現在のセグメントが、いくつかの他の映像源が介入するインセンティブ（誘因）を引き起こす延長されたセグメント長に到達した後、新しい映像源が選択されることを示す。なお、ブロック７６への枝が取られないならば、ブロック７８への枝は、あらゆる新しい映像源がブロック７６のペナルティの助けなく選択されたことを示すために、ＷＢＴ＝規則的に設定する。
【００３３】
ブロック８０は、現在のイグザミネーションインターバルのために重み付けされた音声スコアを比較する。例えば、示された数列ｖ［ｉ］に格納された重み付けされたスコアで、ブロック８０は、最大スコアの指数ｉを決定する。そして、ブロック８２は、最大スコアの指数を現在の映像スコアの指数と比較する。その指数が等しいならば、最後に選択された映像源が再び選択され、現在のセグメントが継続する。この場合、ブロック８４は、現在のセグメント長をインクリメントする。
【００３４】
最大スコアの指数が現在の映像源の指数と一致しないと、新しい映像源で新しいセグメントが始まる。ブロック８６は、現在の指数を最大スコアの指数に設定し、セグメント長を０にリセットし、ＷＢＴと同じセグメントタイプに設定する。ブロック８４及び８６はともに、次の反復を始めるためにブロック６２にループバックする（最初に戻る）。
【００３５】
音声及び映像源の多くの他の構成が本発明の実施形態で処理され得る。例えば、図６は、３つの主要カメラ（Ｃ１、Ｃ２及びＣ３）と４つのマイクロホンを用いる配置９０を示す。カメラＣ１は２つのマイクＡ１−Ｌ及びＡ１−Ｒと結び付けられる。すなわち、両方のマイクはカメラＣ１の視野内にある。この結合はいくつかの方法で処理され得る。
【００３６】
複数の音声入力を１つの映像源と結合する１つの方法は、各音声源を別々に考慮し、対応する映像源の生スコアとしてその映像源の最高値を取ることである。これは、映像源に対応する音声源のベクトルの無限大ノルム（infinity-norm）を取ることに対応する。また、１−ノルム（２つのスコアの平均）や２−ノルム（２つのスコアの二乗平均平方根）などの他のノルムが用いられてもよい。
【００３７】
複数のカメラを複数の音声入力と結合するもう一つの方法は、結合行列を指定するというものである。このことは、多数の音声センサが１つの映像源に関連付けられるのを可能にするのみならず、多数の映像源が１つの音声源に関連付けられるのを可能にする。例えば、図６では、第４のカメラＣ４も示している。カメラＣ４は、会議テーブル全体のワイドアングルビューを示す。１つの可能な結合行列としては以下のものがある：
【表１】

【００３８】
この行列で、カメラＣ４のワイドアングルビューは、各音声入力のスコアの一部を受け取り、一人が延長された期間話しているときシステムが時折ワイドアングルビューを選択するのが見込まれる。また、音声センサＡ３及びカメラＣ２のための小さい重み付けも示される。カメラＣ２は、音声センサＡ３の周りの領域の近い側面ビューを示し、このことは、音声センサＡ３近くの話し手が延長された期間話すとき時折選択されるために、代わりのビューになることを可能にする。
【００３９】
前述の実施形態は１つの会議室における多数のカメラ配置を示したが、本発明の実施形態における映像自動選択（オートセレクション）は、この適用に限定されない。例えば、図７は、通信ネットワーク９６（例えば、回路切替ネットワーク、パケット切替ネットワーク、あるいはその２つの組み合わせ）を介して処理される実施形態９２を示す。
【００４０】
図７は、３つの「会議ポイント」１００、２００及び３００を示す。これらのポイントは、３方向ビデオ会議を示すことができるが、セキュリティー、賭博、電子教室などの他の適用にも適している。各会議ポイントは、少なくとも一台のカメラ（例えば、Ｃ１）と、音声センサ（例えば、Ａ１）と、ディスプレイ（例えば、Ｄ１）とを含む。これらすべては、コーダー（例えば、１０２）によって接続されている。各コーダー１０２、２０２、３０２は、ネットワーク９６を介して映像オートセレクタ９４と通信する。
【００４１】
一処理方法では、コーダー１０２は、カメラＣ１からの映像及び音声センサＡ１からの音声をエンコード（符号化）し、符号化された映像及び音声ストリームを映像オートセレクタ９４に送信する。コーダー２０２及び３０２は、それらの映像及び音声ストリームを同様に処理する。各コーダーは、公知の映像及び／又は音声符号化／圧縮／パケット化アルゴリズムに応じて処理することができる。そして、映像オートセレクタ９４は、いずれの映像ストリームを各会議ポイントに供給するかを選択するために、音声ストリーム（及び選択タイムヒストリ）を用いることができる。この関数は、各会議ポイントが他の会議ポイントが受けるよりも異なる映像源を随時受信してもよい点を除き、上述の一部屋の例のように処理可能である。映像オートセレクタ９４内部では、切替ロジックの別の例が、各端点で一致させることができ、各例は、その端点の選択タイムヒストリを保持する。切り替えられた映像ストリームは、目的の端点に到達する。そこでは、各コーダーがそれらを復号し、据え付けのディスプレイにそれらを表示する。音声は、映像オートセレクタ９４により混合され、又は切り替えられ得る。あるいは、各端点は、各他の端点からの音声ストリームを受信することができる。
【００４２】
演算（処理）はいくつかの方法に拡張され得る。オートセレクタが映像ストリームの実際の処理を行わないと、映像ストリームがオートセレクタを通過する必要がなくてもよい。その代わりに、映像オートセレクタ９４は、出力映像ストリームを供給するとき（及びいずれの他の端点に供給するか）について端点に信号を送り、その映像ストリームは、ネットワーク９６を介して端点から端点に直接送ることができる。選択されていない映像源用の帯域幅を減少することは、この拡張の１つの利点である。また、映像オートセレクタ９４は、必要に応じて架橋又は変換機能を提供してもよく、会議の共通の接続ポイントとしての役割を果たすことができる。
【００４３】
図７の一般的な図は、いろいろな方法で変更され得る。オートセレクタは、端点の一つに物理的に配置されてもよい。いくつかの端点が音声のみ又は受信のみでもよい。また、１つの端点が多数の音声及び／又は映像センサを有していてもよい。この場合、端点のコーダーは、多数のストリームを符号化できるか、（上述の一部屋の例のような）追加のオートセレクタがその端点の１つの出力ストリームを選択するために用いられ得る。
【００４４】
記述の実施形態は、特に、プログラム可能なデジタル処理システム、例えば、オートセレクションタスク専用の専門的なデジタル信号プロセッサ、又はオートセレクションタスクを実行するようにプログラムされた汎用コンピュータで実行するのに適している。例えば、汎用コンピュータでは、音声入力は、そのコンピュータに接続された１枚以上のサウンドカードに供給され得る。サウンドカードは、音声信号をデジタル化し、デジタル音声信号をコンピュータのＣＰＵ（Central Processing Unit）及び付属のメモリに供給する。そのコンピュータは、デジタル音声信号を検索し、音声スコアを計算し、前述に従って周期的な映像切替決定をするソフトウェア処理を実行するよう構成される（その代わりに、音声スコアリング又はその一部がサウンドカード上で実行され得る）。そのソフトウェア処理は、例えば、映像切替を実行する別の処理又は装置、ビデオカード、あるいはもう一つのコンピュータへのネットワーク信号として、映像切替信号を生成する。
【００４５】
プログラムされたコンピュータ実施形態に応じて、一面では、本発明は、実行されると、１つ以上のプロセッサに映像源をオートセレクト（自動選択）する方法に従って処理させるコンピュータ命令（計算機命令）を含むコンピュータに読み取り可能な媒体を備える装置を含む。例えば、上述のコンピュータの例では、ソフトウェア処理は、磁気又は光メディア上に、半導体メモリに、あるいはネットワークを介してアクセス可能な遠隔地に格納され得る。
【００４６】
特定の計算方法が音声スコアリング及び映像源選択のために含まれたけれども、これらは単に例示しただけである。当業者は、この開示内容を読むことで、多くの代替物が開示の実施形態と同様の機能を発揮するために工夫され得ることを認識するであろう。例えば、現在の映像源を下方に重み付けする代わりに、選択されていない映像源がそのまま（選択されないまま）にならないように上方に重み付けされ得る。最小セグメント長は、一時的なセグメントのために規則的なセグメントと異なってもよく、及び／又は異なる重み関数が用いられ得る。また、ある映像源がＴ秒毎に少なくとも一度選択されなければならないというルールのような他のルールが組み合わせられ得る。さらに、各話し手を短く、多数の主要な話し手を含むやりとりより、１人の主要な話し手を含むやりとりの異なる重み関数又はイグザミネーションインターバルのような異なるルールが、より複雑なシナリオのために考案され得る。
【００４７】
また、音声スコアリングは、システムからシステムへ顕著に変更することができる。スコアリングの開示された方法は、落下物や咳のような大きな瞬間的な騒音を除くことにおいてうまく働く傾向があるが、音声認識及び話し手認識を含むより精巧なスコアリング方法が同様に使用され得る。また、音声スコアリングへの入力も単純化され得る。すなわち、アナログ又はパルスコード変調音声ストリームを受信するオートセレクタの代わりに、他の何かを受信することができる。その他の何かは、自らの音声活動検出を実行する端点からの周期的な音声活動検出（ＶＡＤ）信号であり得る。また、その他の何かは、例えば、サブバンドコード化音声信号であり得る。後者の場合には、音声スコアラーは、音声を評点するためにＰＣＭストリームを再生することなく、スコアリングを実行するサブバンドにおけるエネルギー分配を検査（調査）してもよい。
【００４８】
当業者は、ここに教示される概念が多くの他の有利な方法で特定の適用に調整され得ることを認識するであろう。特に、当業者は、例示の実施形態がこの開示内容を読むことにおいて明らかになる多くの代替的実行の単なる１つであることを認識するであろう。また、音声ストリームは、映像ストリームに埋め込まれ得る。一実施形態の他の構成要素と同様に、音声スコアラーは、デジタルである必要はない。映像ストリームは、従来のアナログビデオカメラと結び付けられる必要はない。例えば、映像ストリームは、ビデオカメラのデジタル出力信号、デジタル圧縮映像信号、記録された映像信号、コンピュータによって生成された映像信号などであり得る。そのような比較的重要でない改良（変更）は、本発明に包含され、添付の特許請求の範囲内に属するように意図される。
【００４９】
前述の実施形態は例示的である。この明細書では、いくつかの位置における「ある」、「一つの」、「もう一つの」。又は「いくつかの」実施形態を参照しているけれども、このことは、それぞれのそのような参照が同一の実施形態に対するものであること、あるいはその特徴が一つの実施形態だけに適用することを必ずしも意味しない。
【図面の簡単な説明】
本発明は、添付図面を参照してその開示を読むことにより最も理解されるであろう。
【図１】 本発明の一実施形態における典型的なカメラ／マイクロホン配置を示す。
【図２】 本発明の一実施形態における自動マルチカメラ映像合成システムのためのハイレベルなブロック図を示す。
【図３】 本発明の一実施形態における映像オートセレクタのブロック図を示す。
【図４】 本発明の一実施形態で有用な音声スコア重み付けステップのためのプロットを示す。
【図５】 本発明の一実施形態における映像源自動選択のためのフローチャートである。
【図６】 本発明の一実施形態のカメラ／マイクロホン配置を示す。
【図７】 本発明の一実施形態における映像オートセレクタを用いたネットワーク型のビデオ会議構成を示す。

Claims (22)

1. 自動映像切替システムであって、
   それぞれが少なくとも１つの対応する映像源に関連付けられた複数の音声入力と、
   前記複数の音声入力の各音声入力の音声スコアを計算することができるようになっており、所定の音声入力に対する音声スコアがイグザミネーションインターバルに当該所定の音声入力で受信された音声信号に対応するようになっている音声スコアラーと、
   映像源選択の少なくとも部分的なタイムヒストリを格納する状態メモリと、
   所定のイグザミネーションインターバルに対して現在の映像源を選択する切替ロジックと、を有し
   前記切換ロジックによる選択は、前記所定のイグザミネーションインターバルにおける複数の映像源のそれぞれと関連付けられた複数の音声スコアに対する重み付けされた比較に基づいて行われ、この重み付けは前記映像源選択の部分的なタイムヒストリに基づいてなされることを特徴とする自動映像切替システム。
2. 前記システムは、前記切替ロジックが前記所定のイグザミネーションインターバルの終わりに概ね対応する映像ストリームにおけるあるポイントで現在の映像源を選択するリアルタイムモードで作動する能力を有する請求項１に記載のシステム。
3. 前記システムは、前記切替ロジックが映像ストリームにおける所定の一時的映像切替ポイントで現在の映像源を選択する後方配置モードで作動する能力を有しており、当該後方配置モードでは、前記選択は、前記一時的映像切替ポイント後の前記映像ストリームにおけるあるポイントに対応する音声入力を含むイグザミネーションインターバルに基づいて行われるようになっている請求項１に記載のシステム。
4. 前記音声入力に対応する映像源からの映像信号を受け入れるとともに、前記切替ロジックの現在の映像源選択に応じてそれらの映像源の一つを映像出力に切り替える映像切替装置を更に備える請求項１に記載のシステム。
5. 前記各映像源は、アナログビデオカメラ出力信号と、ビデオカメラデジタル出力信号と、デジタル圧縮映像信号と、記録された映像信号と、コンピュータにより生成された映像信号とを含む映像源のグループから選択される請求項１に記載のシステム。
6. 前記システムは、遠隔地から前記音声入力の一つを受信するための少なくとも一つのネットワーク接続を備える請求項１に記載のシステム。
7. 前記切替ロジックは、いくつかの遠隔地のそれぞれの異なる現在の映像源を選択する能力を有する請求項１に記載のシステム。
8. 多数の利用可能な映像源から１つの映像源を自動的に選択する方法であって、
   少なくとも一つの音声源を前記多数の映像源のそれぞれに関連付けるステップと、
   イグザミネーションインターバルに渡って、各音声源から受信される音声信号を評価し、それによって前記イグザミネーションインターバルにおける各音声源に対する音声スコアを形成するステップであって、該音声スコアは前記イグザミネーションインターバルにおける各音声源の音声活動のレベルを表現ようにうなっているステップと、
   映像源選択の少なくとも部分的なタイムヒストリを保存するステップと、
   前記イグザミネーションインターバルにおける前記各映像源に関連付けられた複数の音声スコアに対して重み付けされた比較を実行するステップであって、該重み付けは、前記映像源選択の部分的なタイムヒストリに基づいているステップと、
   前記重み付けされた比較に基づいて現在の映像源を選択するステップと、
   を有することを特徴とする前記方法。
9. 複数の音声スコアが所定の一つの映像源に関連付けられている場合には、当該映像源に関連付けられた複数の音声スコアのうち最大のものを前記イグザミネーションインターバルにおける重み付けされた比較用のスコアとして選択する請求項８に記載の方法。
10. 複数の音声スコアが所定の一つの映像源に関連付けられている場合には、それらの音声スコアのノルムを用いて当該映像源に関連付けられた前記複数の音声スコアを結合させる請求項８に記載の方法。
11. 前記少なくとも一つの音声源を前記多数の映像源のそれぞれに関連付けるステップは、音声源と映像源の各組み合わせの重みを示す行列としてそれらの関連付けを表現するステップを含み、前記重み付けされた比較を実行するステップは、各映像源に対し、前記行列において対応する重みにより前記音声スコアを重み付けすることによって結合スコアを生成するステップを含む請求項８に記載の方法。
12. 前記重み付けされた比較を実行するステップは、重み関数に従って最後に選択された現在の映像源に関連付けられた音声スコアを重み付けするステップを含み、前記重み関数は、前記最後に選択された現在の映像源が選択されていた時間の長さに応じて変化するようになっている請求項８に記載の方法。
13. 前記最後に選択された現在の映像源は、延長された期間選択されたままであり、前記映像源が選択されたままでいる可能性を減少するために、該映像源に関連付けられた音声スコアをわずかな重みだけ更に重み付けする請求項８に記載の方法。
14. 前記音声スコアを形成するステップは、前記イグザミネーションインターバルを多数の一時的なサブウィンドウに分割するステップを含むとともに、各サブウィンドウに対し、
    そのサブウィンドウ中の各音声信号における変数を決定するステップと、
    そのサブウィンドウの最大変数を有する音声源の音声スコアをインクリメントするステップとを含む請求項８に記載の方法。
15. 前記方法は、前記音声源の一つ及び対応する映像源が前記現在の映像源が選択された位置から離れた遠隔位置にあるとき、通信ネットワークを介して前記音声信号を受信するステップと、その映像源が現在の映像源として選択されたとき前記遠隔位置に映像を送信する旨を通知するステップと、を更に有する請求項８に記載の方法。
16. 前記現在の映像源の選択は、イグザミネーションインターバルの概ね終わりにリアルタイムで発生する請求項８に記載の方法。
17. 前記現在の映像源の選択を前記イグザミネーションインターバルの終わりより前の時点に対応する前記映像ストリームのあるポイントに関連させる請求項８に記載の方法。
18. コンピュータ上で実行されるとき、多数の利用可能な映像源から一つの映像源を自動的に選択する方法を当該コンピュータに実行させるコンピュータ命令を含むコンピュータプログラムであって、前記方法は、
    少なくとも一つの音声源を前記多数の映像源のそれぞれに関連付けるステップと、
    イグザミネーションインターバルに渡って、各音声源から受信される音声信号を評価し、それによって、前記イグザミネーションインターバルにおける当該音声源の音声活動のレベルを表現する各音声源に対する音声スコアを形成するステップと、
    映像源選択の少なくとも部分的なタイムヒストリを保存するステップと、
    前記イグザミネーションインターバルにおける前記多数の映像源のそれぞれに関連付けられた複数の音声スコアに対して重み付けされた比較を実行するステップであって、該重み付けは、前記映像源選択の部分的なタイムヒストリに基づく、実行ステップと、
    前記重み付けされた比較に基づいて現在の映像源を選択するステップと、
    を有することを特徴とする前記コンピュータプログラム。
19. 前記少なくとも一つの音声源を前記多数の映像源のそれぞれに関連付けるステップは、音声源と映像源の各組み合わせの重みを示す行列としてそれらの関連付けを表現するステップを含み、前記重み付けされた比較を実行するステップは、各映像源に対し、前記行列における対応する重みにより前記音声スコアを重み付けすることによって結合スコアを生成するステップを含む請求項１８に記載のコンピュータプログラム。
20. 前記重み付けされた比較を実行するステップは、重み関数に従って最後に選択された現在の映像源に関連付けられた音声スコアを重み付けするステップを含み、前記重み関数は、前記最後に選択された現在の映像源が選択されていた時間の長さに応じて変化するようになっている請求項１８に記載のコンピュータプログラム。
21. 前記音声スコアを形成するステップは、前記イグザミネーションインターバルを多数の一時的なサブウィンドウに分割するステップを含むとともに、各サブウィンドウのために、
    そのサブウィンドウ中の各音声信号における変数を決定するステップと、
    そのサブウィンドウの最大変数を有する音声源の音声スコアをインクリメントするステップとを含む請求項１８に記載のコンピュータプログラム。
22. 前記方法は、前記音声源の一つ及び対応する映像源が前記現在の映像源が選択された位置から離れた遠隔位置にあるとき、通信ネットワークを介して前記音声信号を受信するステップと、その映像源が現在の映像源として選択されたとき前記遠隔位置に映像を送信する旨を通知するステップと、を更に有する請求項１８に記載のコンピュータプログラム。

Images