JP6983837B2 - 複数のカメラからのビューを組み合わせる方法及びカメラシステム - Google Patents

Description

本発明は、複数のカメラからのビデオをつなぎ合わせる方法及びカメラシステムに関する。

いくつかのモニタリングシステムは、エリアの単に狭い部位だけでなく、広大なエリア全体を監視することに向けられている。これは、魚眼レンズなどの広角レンズを使用して達成され得る。しかし、この種のセットアップが提供するビデオは、そのエリアを監視したい人々が求める解像度よりも低い解像度である場合があり、また、高価となりすぎる場合がある。この魚眼レンズ構成の代替構成では、監視するエリアの部位のビデオストリームをそれぞれが取得する２つ以上のカメラが配置され、これらのビデオを単一のビデオストリームに共につなぎ合わせる。図１は、個々に監視できるエリアより広いエリア１０５を共に監視する２つのカメラ１０２及び１０４の一例を示す。

各カメラは個々に、方向１０６及び１０８にそれぞれ向けられており、監視するエリアの全体シーン１０５の部位であるビューを取得する。図２は、カメラ１０２からのカメラビューを示す。図３は、カメラ１０４からのカメラビューを示す。カメラは、図のように平行に向けられてよい。カメラはまた、それらが共に広いエリア１０５を表す限り、異なる方向に向けられてよい。カメラが固定して載置されている場合は、カメラ１０２が取得するビデオが、カメラ１０４が取得するビデオに完全につながることが好ましい。

しかし、２つのカメラと、それらがそれぞれ取得するシーンとの間の、シーンの組み合わせが完全にシームレスとなるような整列は、達成及び維持が本質的に不可能である。したがって、あるエリアをカバーするカメラ１０２及び１０４は、そのシーンの取得にあたって重なり合うように配置される。本発明では、重なり合っているシーンは、複数のデジタルビデオカメラ１０２及び１０４の１つのデジタルビデオカメラ１０２が取得するシーンが、別のデジタルビデオカメラ１０４が取得するシーンの部位を含むという意味であると解釈されるべきである。この重なり１１０を図４に示す。この重なり１１０は、図２及び図３の共につなぎ合わせたイメージを示す。これら２つのイメージに共通１１０である。重なり合うエリア１１０であるこのシーンのエリアを、破線により示す。ビューイングエリアを拡大するために、このようにして２つのビデオをつなぎ合わせることは一般に行われており、これを達成する多くの方法が既知である。

しかし、つなぎ合わせたビデオを表す、図４のつなぎ合わせたイメージには問題がある。２つのイメージが、前景内の道路に対して整列されると、背景内の住宅が、異なる位置に溶け込む。カメラ１０２が取得する住宅は、１１２として示す住宅であり、カメラ１０４が取得する住宅は、１１４として示す住宅である。住宅が異なる位置にある理由は、２つのカメラ１０２及び１０４が、互いに距離ｄだけ離れて配置されているからである。２つのカメラの間の距離ｄにより、２つのカメラは、同じポイントからのシーンを取得せず、これによる結果として、イメージに視差が生じる。重ねたイメージにおける視差により、２つの異なるビューイングポイントから見るように、１つのオブジェクトが明白に転移することとなる。

これを解消する１つの方法は、カメラをセットアップし、システムに、重なり合うエリア内の特徴を識別させることである。これらの特徴から、調整マトリクスを続いて計算する。調整マトリクスは、重なり合っているイメージデータに適用すると、ビデオのフレーム内のそれぞれのピクセルを個々に調整することにより、ビデオ内のすべての視差問題を補償し、これを実質的に取り除く。しかし、そのようなアプローチには欠点がある。調整マトリクスの生成に必要な計算により、演算が過度に集中し、したがって、ネットワークカメラ、ネットワーク化されたビデオエンコーディングデバイス、又は、複数のカメラに接続され、これらのカメラからのビデオを処理する、ネットワーク化されたビデオ処理デバイスなど、処理パワーが限られたシステム上での実行は現実的でない。さらに、カメラは厳しい天候条件にさらされており、また、カメラ周囲のエリアでのアクティビティからの影響により、カメラのその通常の日々の運用中に、方向が微妙にずれる場合がある。カメラにおいてその方向が微妙にずれると、調整マトリクスを新たに計算する必要がある。

本発明の目的は、要求処理パワーが低いながらも、許容可能な、重なり合うエリアのビデオを供給することができる、つなぎ合わせの方法を達成することである。

この目的は、請求項１に記載の、２つのイメージセンサからのビデオデータをつなぎ合わせる方法と、請求項１２に記載のカメラシステムと、により達成される。本発明のさらなる実施形態を、従属請求項に提示する。

特に、本発明の実施形態によると、重なり合っているカメラビューのビデオデータをそれぞれが取得するよう配置された２つのイメージセンサからのビデオデータをつなぎ合わせる方法は、重なり合っているカメラビューに対応する、カメラビュー内のエリア内のモーションを検出することと、２つのイメージセンサの場所での位置から、検出したモーションを含むアクティビティまでの距離であるアクティビティ距離を判定することと、三次元座標系内にて、判定したアクティビティ距離に対応する、イメージセンサの場所での位置と、予め画定された投影面上への、アクティビティの投影の位置との間の距離を有する位置に、その予め画定された投影面を位置決めすることと、アクティビティ距離に位置している、予め画定された投影面上に、イメージセンサのそれぞれからのビデオデータを投影することと、投影に対応する二次元ビデオを投影面上に出力することと、を含む。

２つのセンサからのビデオデータを、三次元座標系内にて、検出したアクティビティまでの距離に対応する、カメラからの距離に位置する投影面上に投影することの１つの利点は、限られた処理リソースを使用しながらも、つなぎ合わせたビデオの良好な閲覧体験が可能となり得ることである。処理パワーは、投影面の使用により、低レベルに維持でき、続いて、オペレータ又はビデオの閲覧者が注視する領域である、モーションの領域内の視差効果を選択的に防ぐことによっての、ビデオ体験における調整により、ビデオの体験品質が向上する。

他の実施形態では、重なり合っているカメラビューに対応する、カメラビュー内のエリア内のモーションを検出することは、取得したビデオの重なり合っている部位内にて動くピクセルを検出することを含む。この特徴の１つの利点は、モーションの検出が、ビデオ処理デバイス内にて達成され得、ビデオ内で動く特徴の位置決めを促進できることである。

さらなる実施形態では、この方法は、重なり合っているカメラビューにおけるピクセルデータから、検出したモーションのアクティビティ位置を判定し、このアクティビティ位置を、アクティビティ距離を判定することに使用することをさらに含んでよい。

他のさらなる実施形態では、アクティビティ位置を判定することは、重なり合っているイメージデータにおける検出したモーションの瞬間のインスタンスに基づいており、モーションの位置を、アクティビティ位置として設定する。この利点は、モーションを含むシーンの対象のエリアが、カメラからの異なる距離に生じ、そのシーンに対する閲覧体験が改善され得ることである。特に、シーン内の移動する特徴又はオブジェクトまでの距離のばらつきが、高頻度でばらつく傾向にある場合、が挙げられる。

他のさらなる実施形態では、アクティビティ位置を判定することは、モーションデータを重なり合っているイメージデータ内に所定の期間中に蓄積することと、続いて、この期間中に最も多くのモーションを蓄積した位置をアクティビティ位置として選択することと、を含む。このようにして、移動する特徴又はオブジェクトまでの距離が、非常に安定したベース距離からばらつく傾向にあるシーンに対する閲覧体験が、改善され得る。

さらに、アクティビティ距離を判定することを含むいくつか実施形態は、取得したビデオデータにおけるアクティビティ位置の位置を、イメージセンサのそれぞれの座標系における位置までの距離を含む所定の表において対応する位置と比較することを含む。これは、改善された閲覧体験を提供するために必要な処理パワーをさらにもっと減らし得る。

他のさらなる実施形態では、アクティビティ距離を判定することは、重なり合っているシーンをカバーするレーダー信号を受信することと、レーダー応答を、アクティビティ位置に関連付けることと、アクティビティ位置までの距離をレーダー信号から取得することと、を含む。

さらに、いくつか実施形態では、アクティビティ距離を判定することは、２つのセンサからの取得したイメージ内のアクティビティ位置の位置における差異、すなわちｘ_１-ｘ_２、を計算することを含む。

いくつか実施形態では、投影面は平面であってよい。他の実施形態では、投影面は円筒面であってよい。さらに他の実施形態では、投影面は球面であってよい。

本発明の別の態様によると、カメラシステムは、イメージセンサをそれぞれが含む２つのカメラと、少なくとも１つの画像処理デバイスと、三次元座標系内に画定される所定の投影面と、２つのカメラの重なり合っているカメラビュー内のモーションを識別するよう構成されているモーションデテクタと、２つのイメージセンサの場所での位置から、これらのカメラの重なり合っているカメラビュー内の、２つのカメラからのビデオデータ内にて検出したモーションであるアクティビティまでの距離であるアクティビティ距離を判定するよう構成されているアクティビティ距離判定モジュールと、カメラを使用して取得したビデオデータを、三次元座標系内にて、判定したアクティビティ距離に対応する、イメージセンサの場所での位置と、投影面上への、アクティビティの投影の位置との間の距離を有する位置に位置する投影面上に投影するよう構成されているイメージプロジェクタと、イメージプロジェクタにより作られたビデオデータを、２つのカメラからのつなぎ合わせたビデオとして供給するよう構成されている出力と、を含む。

２つのセンサからのビデオデータを、三次元座標系内にて、検出したアクティビティまでの距離に対応する、カメラからの距離に位置する投影面上に投影するイメージプロジェクタを有することの１つの利点は、限られた処理リソースを使用しながらも、つなぎ合わせたビデオの良好な閲覧体験が可能となり得ることである。さらに、処理パワーは、投影面の使用により、低レベルに維持でき、続いて、オペレータ又はビデオの閲覧者が注視する領域である、モーションの領域内の視差効果を選択的に防ぐことによっての、ビデオ体験における調整により、ビデオの体験品質が向上する。

他の実施形態では、モーションデテクタは、カメラからのビデオデータの重なり合っている部位内にて動くピクセルを検出するよう構成されている。この特徴の１つの利点は、モーションの検出が、ビデオ処理デバイス内にて達成され得、ビデオ内で動く特徴の位置決めを促進できることである。

他のさらなる実施形態では、カメラは、検出したモーションを所定の期間中に蓄積するために、モーションデテクタに接続されたモーションアキュムレータをさらに含んでよく、アクティビティ距離判定モジュールは、蓄積した、検出したモーションからのアクティビティ距離を判定するよう構成されている。モーションアキュムレータにより、移動する特徴又はオブジェクトまでの距離が、非常に安定したベース距離からばらつく傾向にあるシーンに対する閲覧体験が、改善され得る。

さらに、イメージプロジェクタは、ビデオデータを平らな投影面上に投影するよう構成されてよい。

本発明の適用性のさらなる範囲が、以下の詳細説明より明らかとなるであろう。しかし、本発明の好適な実施形態を示す一方で、詳細説明及び具体例は、説明のみの目的に提供されていることが理解されるべきである。なぜなら、本発明の範囲内での種々の変更及び改修が、本詳細説明から当業者に明らかとなるからである。したがって、本発明は、記載するデバイスの特定の構成部品、又は、記載する方法の特定のステップに限定されず、そのようなデバイス及び方法は異なる場合があることが理解されよう。ここに使用する用語は、特定の実施形態を説明することのみを目的としており、限定を意図していないこともまた理解されよう。なお、本明細書及び添付の特許請求の範囲に使用されるように、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」は、他の例が文脈により明確に決定づけられない限り、要素が１つ又はそれ以上あることを意味するよう意図していることに注意されたい。したがって、例えば、「１つのセンサ（ａ ｓｅｎｓｏｒ）」又は「当該センサ（ｔｈｅ ｓｅｎｓｏｒ）」という引用は、いくつかのセンサなどを含む場合がある。さらに、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素又はステップを排除しない。

本発明の他の特徴及び利点は、以下の添付の図面を参照する、現在の好適な実施形態の以下の詳細説明から明らかとなるであろう。

図１は、カメラシステムがカバーするシーンの幅を広げる、２つのカメラを使用するセットアップの概略図である。 図２は、図１のカメラ１０２が取得するシーンの概略図である。 図３は、図１のカメラ１０４が取得するシーンの概略図である。 図４は、共につなぎ合わせた図２〜図３の２つのシーンの、その領域内に、オブジェクトに対する視差がないように、シーンの道路／自動車を整列させている概略図である。 図５は、図１のセットアップと同じシーンを取得する、本発明の実施形態に係るカメラシステムの概略外観図である。 図６は、２つのカメラビューと、オブジェクトのイメージ投影と、の概略図である。 図７は、投影までの距離が変更された、図６の２つのカメラビューの概略図である。 図８は、特徴位置の視差に基づく三角測量法にて使用される特徴の概略図である。 図９は、本発明の実施形態に係る、つなぎ合わせたイメージを生成するプロセスのフローチャートである。

さらに、図面中の類似の参照記号は、いくつかの図面を通して、同様の部品又は対応する部品を示す。

本発明は、所定の固定位置に位置するカメラが取得するイメージをつなぎ合わせることに関する。

図５をここで参照する。図５は、イメージを取得してつなぎ合わせるシステム５００を示す。本発明の実施形態を実装するシステム５００は、重なり合っているシーンのデジタルイメージデータを取得するよう載置された、２つのデジタルビデオカメラ５０２及び５０４を含んでよい。重なり合っているシーンとは、デジタルビデオカメラ５０２及び５０４の１つである５０２が取得するシーンが、他のデジタルビデオカメラ１０４が取得するシーンの部位を含むことを意味することを意図する。取得したシーンのこの共通する部位は以下、ビデオの重なり１１０と称する。２つのカメラは、組み合わせることで合計シーン１０５を表すイメージを取得する。デジタルビデオカメラ５０２及び５０４は、具体的な距離ｄを互いに離れて載置されている。カメラのそれぞれの光軸の方向１０６及び１０８もまた、既知であってよい。図５では、カメラ５０２及び５０４の光軸は平行である。これはしかし、必須ではない。本発明の実施形態は、ビデオの重なりが生成される限り、カメラは、それらのそれぞれの光軸との間の広がり角にて向けられている配置に対しても機能する。デジタルビデオカメラ５０２及び５０４のそれぞれは、時間的に同期されてよい。また、少なくとも、カメラ間のタイミングにおけるいずれの差異の情報が、画像処理デバイス５０６に利用可能である。カメラ５０２及び５０４が取得するイメージは、画像処理デバイス５０６に送信される。画像処理デバイス５０６では、イメージは合計シーン１０５に共につなぎ合わせられ、ビデオシーケンス内に収集される。ビデオ又はビデオシーケンスは、カメラビュー内にて取得したアクティビティの記録及び再生を可能にするために、時間的に連続するイメージのシーケンスから形成される。ビデオ又はビデオシーケンスは、Ｉフレーム及びＰフレームなどの、空間的及び時間的エンコーディングスキームの組み合わせを使用してエンコードされてよい。そのようなエンコーディングスキームの例として、Ｍｐｅｇ−２、Ｍｐｅｇ−４、Ｈ．２６４、Ｈ．２６５などが挙げられる。続いて、つなぎ合わせたビデオシーケンスは、内部メモリカード又はハードドライブ、外部ネットワーク取り付けストレージ、ビデオサーバ、クライアントコンピュータ、及びビデオマネジメントシステムなどのストレージデバイスに送信され、及び／又は、ストリーム化されてよい。画像処理デバイス外部のストレージデバイスへの送信は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、セルラーネットワーク、及び公衆交換電話ネットワークなどのネットワーク５０８を介して行われてよい。デジタルビデオカメラ５０２及び５０４はそれぞれ、シーンからの光を記録し、記録した光を、取得したシーンを表すイメージデータに変換するよう配置されたイメージセンサ５１０を含む。

図６をここで参照する。いくつか実施形態によると、各センサ５１０からのイメージデータは、カメラ５０２及び５０４のそれぞれのローカルの二次元座標系内に取得されて記録される。例えば、この二次元座標系は、イメージセンサ５１０の表面に関連する。この表面は、二次元平面である。システムは、三次元座標系内に表される三次元空間内の平面などの、イメージセンサ面のピクセルが、投影面５１６上に数学的に投影される三次元座標系内にて実施され、作動する。ビデオ取得システム５００の座標系は、座標系のすべての軸が交差する原点Ｏにてすべて始まるｘ軸、ｙ軸、及びｚ軸を有するデカルト座標系であってよい。カメラ５０２及び５０２のイメージセンサのそれぞれのイメージデータは、カメラシステムから、すなわちこの例では原点Ｏから、距離ｚ_１にある投影面５１６上に投影することにより、この三次元座標系に変換されてよい。それぞれのカメラは代替的に、それぞれのカメラのイメージデータが投影される個別の投影面までの個別の距離を有してよい。投影面５１６は、図６に示すように平面であってもよいし、円筒の一部、球体の一部、又は、当業者が想到するいずれの他の形状であってもよい。いくつか実施形態では、距離ｚ_１はまず、図６に示す、カメラ５０２及び５０４の双方からの、イメージデータの投影面５１６に対するものと同じである、所定の距離である。デジタルビデオカメラ５０２及び５０４のそれぞれの位置は、それぞれＣ_１及びＣ_２と称する。これらは、三次元座標系の原点Ｏのエリア内にある。この例では、カメラ５０２及び５０４のそれぞれは、ｘ軸及びｚ軸の平面内にその光軸を有する。カメラ５０２及び５０４間の距離ｄは既知であり、これにより、三次元座標系内の位置Ｃ_１及びＣ_２も既知である。

図６においてオブジェクト５１２は、シーン内の、三次元座標系内の位置Ｐにある。このオブジェクトは、カメラが取得するシーンの重なり内に位置するため、イメージセンサのそれぞれは、このオブジェクトを記録する。それぞれのセンサからのイメージは、投影面５１６上に投影される。カメラ５０２が取得するままの状態で、オブジェクト５１２の投影は、参照番号５２２を有するシンボルＸにより視覚化される。カメラ５０４が取得するままの状態で、オブジェクト５１２の投影は、参照番号５２４を有するシンボルＸにより視覚化される。１つのカメラからのデータは、投影面上のある位置にオブジェクトを配置し、他のカメラからのデータは、投影面上の異なる位置にオブジェクトを配置するため、オブジェクト５１２の投影には視差問題が生じることが、図より明らかである。この視差問題は、投影面５１６をオブジェクト５１２の位置Ｐに移動させることにより、すなわち、投影面５１６がオブジェクト５１２の位置Ｐと交差するように投影面５１６を位置決めすることにより防ぐことができる。この結果を示す図を図７に示す。カメラ５０２及び５０４の双方が、投影面５１６上の同じ位置にオブジェクト５１２を投影しても、オブジェクト５１２の投影は、いずれの視差的副作用を示さない。図からわかるように、投影面５１６は、原点から距離ｚ_２まで移動している。この距離は、カメラシステム５００の三次元座標系におけるｚ軸に沿う、オブジェクト５１２の位置Ｐに対応する。

オブジェクト５１２に対する視差的副作用を防ぐために、投影面５１６を動かして、オブジェクトの位置に交差させなければならない。しかし、原点から別々の距離に位置する、２つのカメラビューの重なり合う領域内の他のオブジェクトは、視差効果を示す。オブジェクト５１２が対象オブジェクトである場合は、対象オブジェクトに視差が生じない、重なり合うエリアを十分に良好に表し得る。この構成は、オペレータ又は閲覧者に良好な閲覧体験を提示し得る。これは、先に提案するように、投影面５１６までの距離を単に変更することにより達成され得、しかもそのような好適な操作は、比較的少ない処理パワーを使用して達成され得る。なぜなら、投影操作は、同程度に簡易な操作であるためである。この効果を、図１及び図４にも示す。ここでは、投影面は、道路までのカメラシステムからの距離に設定されており、背景内の住宅が、視差的副作用を示す。

オブジェクト５１２までの距離、すなわち、原点Ｏからの位置Ｐは、システムの既知の特性及び取得したイメージデータの分析に基づく幾何学的三角測量法や、レーダー、ライダー、飛行時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ又はＴＯＦ）技術などのアクティブ測距などの既知の方法を使用して取得されてよい。幾何学的三角測量法の一具体例では、イメージのそれぞれに内における特徴間の視差に基づいて、深度が計算される。図８を参照されたい。原点Ｏからオブジェクトまでの距離ｚは、視差、すなわちｘ_１-ｘ_２、及び式１を使用して計算されてよい。

式１における変数ｄは、カメラ間の距離である。この距離は、既知である。変数ｘ_１及びｘ_２は、イメージの縁から、それぞれのイメージ内にある特定の特徴までの、焦面でのそれぞれのイメージにおける距離である。この距離は、取得したイメージ内にて測定されてよい。カメラの焦点距離ｆもまた既知である。したがって、原点Ｏから特定の特徴までの距離ｚは、式１を再配列したものを使用して計算されてよい。式２を参照されたい。

さらに、本発明のいくつか実施形態では、カメラ５０２及び５０４はそれぞれ、モーションデテクタ５２０を含む。モーションデテクタ５２０は、取得したシーン内のモーションを検出し、検出したモーションの特性を画像処理デバイス５０６に送信するよう構成されている。代替的に、モーションデテクタ５２０は、カメラ５０２及び５０４それぞれからのイメージストリーム内のモーションを検出するために、画像処理デバイス５０６内に配置されてよい。モーションデテクタ５２０は、ビデオ分析に基づくモーション検出プロセスなどの、当業者に既知のいずれのモーションデテクタ又はオブジェクトトラッカであってよい。ビデオ分析に基づくモーション検出プロセスの例として、密オプティカルフローアルゴリズム（Ｄｅｎｓｅ Ｏｐｔｉｃａｌ ｆｌｏｗ ａｌｇｏｒｉｔｈｍｓ）、疎オプティカルフローアルゴリズム（Ｓｐａｒｓｅ ｏｐｔｉｃａｌ ｆｌｏｗ ａｌｇｏｒｉｔｈｍｓ）、カルマンフィルタリング（Ｋａｌｍａｎ ｆｉｌｔｅｒｉｎｇ）、ミーンシフトアルゴリズム（Ｍｅａｎｓｈｉｆｔ ａｌｇｏｒｉｔｈｍｓ）、カムシフトアルゴリズム（Ｃａｍｓｈｉｆｔ ａｌｇｏｒｉｔｈｍｓ）、シングルオブジェクトトラッカ（Ｓｉｎｇｌｅ ｏｂｊｅｃｔ ｔｒａｃｋｅｒｓ）、又は、マルチプルオブジェクト追跡検索アルゴリズム（Ｍｕｌｔｉｐｌｅ ｏｂｊｅｃｔ ｔｒａｃｋ ｆｉｎｄｉｎｇ ａｌｇｏｒｉｔｈｍｓ）を実施するオブジェクトトラッキングが挙げられる。これらのトラッカのいくつかの実装は、ＯｐｅｎＣＶと呼ばれる、オープンソースコンピュータビジョン及び機械学習ソフトウェアライブラリにて利用可能である。ｈｔｔｐｓ：／／ｏｐｅｎｃｖ．ｏｒｇ／を参照されたい。検出したモーションの特性は、モーションの位置を含んでよい。モーションの位置は、検出したオブジェクトの重心に位置する単一のポイントとして、エリアの位置と組み合わせた、検出したオブジェクトを表すピクセルのエリアとして、又は、検出したモーションの一部である際立った特徴の位置として画定されてよい。

本発明のいくつかの実施形態によると、投影面５１６から原点Ｏまでの距離は、検出したモーションのこの位置まで計算される。この距離は、アクティビティ距離と称される。検出したモーションの位置は、カメラ５０２及び５０４のそれぞれからのイメージデータ内にて識別されてよい。この距離は、継続して更新されてよい。すなわち、投影面は、重なり合う領域内で動いているオブジェクトに継続して適用されてもよいし、この距離は、定期的に更新されてもよい。すなわち、この距離は、１時間毎などに更新されてよい。

他の実施形態によると、所定の期間中に検出したモーションの位置は保存され、ヒートマップを形成するために使用される。ヒートマップ内に表される最も頻繁なモーションを含む位置までの平均距離が、投影面５１６までの距離を計算するために使用されてよい。また、最も多くのモーションが記録された位置までの平均距離が、投影面５１６までの距離を計算するために使用されてよい。このようにして、イメージをつなぎ合わせることを目的とする対象オブジェクトは、シーン内で動く特徴又はオブジェクトとなる。

さらに他の実施形態によると、カメラビューの重なり合う領域内のモーションは、カメラシステム付近に配置したレーダーを使用して検出されてよい。モーションの検出がレーダーを使用して行われる場合、動いているオブジェクトまでの距離は、画像処理デバイス５０６に送信され、投影面５１６に対する、カメラシステム５００の三次元座標系内の原点Ｏまでの距離を設定するために使用されてよい。

代替的に、カメラビューの重なり合う領域１１０内のモーションが検出され、カメラ５０２及び５０４のそれぞれからのイメージストリーム内のイメージエリアが識別される。続いて、検出したモーションに属する共通のイメージの特徴が、検出したモーションのイメージエリア内にて識別される。モーションまでの距離が続いて、カメラ５０２及び５０４のそれぞれからのイメージデータの共通基準ポイントとして、この特徴を使用して計算されてよい。

図９をここで参照する。本発明のいくつかの実施形態に係る、ビデオをつなぎ合わせる１つの方法は、少なくとも２つのカメラ５０２及び５０４に、ステップ８０２にて、このシーンのビデオデータを重なり合っている様式にて取得させることで開始する。先述するように、重なり合っているビデオデータを取得することは、第１のビデオカメラの取得したビデオデータの部位が、第２のビデオカメラにより取得された部位として、取得した合計シーンの、対応する部位１１０を表すようにすることを含む。

モーション検出操作は、ステップ８０４にて、重なり合っているカメラビュー１１０を表すイメージデータ上にて行われる。モーション検出操作はまず、重なり合っているカメラビュー１１０を表すイメージデータを取得する１つのカメラ５０２からのビデオデータ上にて行われてよい。続いて、検出したモーションは、重なり合っているカメラビュー１１０を表すイメージデータを取得する他のカメラ５０４からのビデオデータにて確定されてよい。代替的に、モーション検出操作は、１つのカメラ５０２からのイメージデータ内のみにて行われ、モーションの共通の特徴が、イメージデータの両セット内にて識別される。代替的に、モーション検出操作は、カメラ５０２及び５０４の双方からのイメージデータ内にて行われ、続いて、イメージデータの両セット内での対応するモーションの検出が、１つの、同じモーションとして識別される。続いて、モーションが検出されたイメージデータは、アクティビティとして直接ラベル付けされてもよいし、又は、追加的条件が満たされてから、アクティビティとしてラベル付けされてもよい。１つのそのような条件は、所定の期間が経過したという条件であってよい。

アクティビティは続いて、ヒートマップなどの、期間中に蓄積されたモーションとなってよい。そのような期間は、２か月間程度や、２時間程度であってよい。別の条件は、行われた、所定の、モーションの検出数であってよい。有益な結果を得るために十分なモーションの検出数は、モーションイベントの区分や、様々なモーションの検出間の、距離のばらつきなどにより、異なってよい。先述するように、蓄積したモーションから、位置が判定されてよい。アクティビティまでの距離が続いて、ステップ８０６にて判定される。距離は、上述するように計算されてよい。

続いて、所定の投影面５１６が、上述するように、ステップ８０８にて、判定したアクティビティ距離にある位置に配置又は再配置される。イメージセンサ５１０から取得したイメージデータが続いて、ステップ８１０にて、投影面５１６上に投影される。１つ又は複数のカメラから、投影面５１６上にイメージデータを投影する様々なプロセスが、当業者に既知である。そのようなプロセスの１つの記述を、「コンピュータビジョンにおけるマルチプルビュージオメトリ（Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）」、第２版、２００３年、Ｒｉｃｈａｒｄ Ｈａｒｔｌｅｙ及びＡｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ著、に見ることができる。重なり合うエリア１１０全体における視差を防ぐために、重なり合うエリア１１０全体が再計算される場合に比べて、イメージセンサ５１０からのイメージデータを、判定したアクティビティ距離ｚに位置する投影面５１６上に投影することにより、アクティビティの位置での視差を低コストにて防ぐことができる。つなぎ合わせたビデオがこれで、投影面５１６上に表され、ステップ８１２にて、データが、投影ビデオから、エンコードされる及び／又は表示される二次元ビデオデータとして、出力され得る。投影面５１６上に投影されたビデオデータは、共につなぎ合わせた２つのビデオストリームを表すため、上記プロセスからの出力は、つなぎ合わせたビデオストリームとなる。

プロセスが、距離を更新すべきであるといういずれの指示を受けていない限りは、投影面５１６までの距離が判定されると、２つのイメージセンサ５１０からのビデオをつなぎ合わせることが、イメージセンサのそれぞれからのイメージデータを、判定したアクティビティ距離ｚにて投影面５１６上に投影することを含んでよいように、プロセスは実施されてよい。そのような指示の一例は、プロセスが、アクティビティ距離を継続して評価し、計算したアクティビティ距離が、投影面５１６に対して現在使用しているアクティビティ距離から、所定の距離の閾値よりも大きい値だけ異なる場合に、投影面５１６に対して使用しているアクティビティ距離を更新することであってよい。

２つのビデオを重なり合うエリア１１０内に組み合わせる、簡易でありながらも効果的な方法は、イメージ情報をそのエリア内に溶け込ませるよう、プロセスを構成することである。例えば、投影面５１６上の重なりのそれぞれの位置には、イメージセンサ５１０の１つからの位置での、他のイメージセンサからの位置での明度の半分へのアルファブレンディングなど、明度の半分を加えることでもたらされる明度が、色チャネルのそれぞれにおいて与えられてよい。重なり合う領域にてイメージデータを組み合わせるさらなる方法が、当業者に既知であり、それらのいくつかは、ＦｅａｔｈｅｒＢｌｅｎｄｅｒ及びＭｕｌｔｉＢａｎｄＢｌｅｎｄｅｒなどのＯｐｅｎＣＶにて利用可能である。

投影面５１６までの距離を判定するために使用される、アクティビティの位置の識別は、先の記述にて示されるように、いくつかの異なる方法にて計算されてよい。１つの実施形態によると、アクティビティ距離ｚの判定は、２つのカメラ５０２及び５０４の１つのカメラ５０２からのビデオ内のモーションを検出することと、カメラ５０２のカメラビュー内のそのモーションの位置を判定することと、を含む。他のカメラ５０４からのビデオ内のモーションを検出することと、カメラ５０４のカメラビュー内のそのモーションの位置を判定することと、をさらに含む。カメラ５０２のカメラビュー内にて検出したモーションを、カメラ５０４のカメラビュー内にて検出したモーションと関連付けることと、カメラ５０２のカメラビューのビデオ内にて検出したモーションが、カメラ５０４のカメラビューのビデオ内にて検出したモーションと同じであるか判定することと、をさらに含む。２つの検出したモーションの関連付けは、モーションの位置、すなわち、２つのカメラビューの重なり合うエリア１１０内の位置、それぞれのモーションの時間、すなわち、モーションがほぼ同時に検出された、検出したモーションの速度、すなわち、検出したモーションの速度が同じ、又は、検出したモーションの方向、すなわち、モーションの方向が同じ、を含むグループ内の特徴のいずれの１つ又はいずれの組み合わせに基づいてよい。カメラ５０２及び５０４からのビデオストリームのそれぞれ内にて検出したモーションが、同じアクティビティに属するものであることが判定されると、モーションの位置までのアクティビティ距離ｚが続いて、先述するように計算されてよい。そして、投影面５１６が、計算されたアクティビティ距離に配置されてよい。モーション及びモーションに関与するオブジェクトは追跡されてよい。また、アクティビティ距離はその動作中に、定期的に更新されてよい。代替的に、アクティビティ距離の計算は、モーションが検出される限り定期的に行われる。さらに別の代替例では、アクティビティ距離が定期的に計算される。その計算されたアクティビティ距離は、蓄積される。そして、アクティビティ距離の平均値が計算されてよい。若干異なるアプローチでは、アクティビティ距離の蓄積は、最新の１０、１００、又は１０００のアクティビティ距離のみを含む。

別の代替的なアプローチでは、モーションが最も頻繁に検出された、カメラビューの重なり合うエリア内の位置を示すヒートマップが生成される。また、位置はヒートマップに継続して加えられてよい。カメラからのビデオストリームのそれぞれに対して、１つのヒートマップが生成される。続いて、ビデオストリームのそれぞれ内の、モーションの最大検出数のある位置が判定され、同じアクティビティに関連付けられる。したがって、カメラストリームのそれぞれ内の位置が、先述するように、アクティビティ距離の計算に使用される。

本発明は、技術的に詳細な、統合が可能ないずれのレベルでの、カメラシステム、方法、及び／又はコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに、本発明の態様を実施させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（又は、複数の媒体）を含んでよい。

コンピュータ可読記憶媒体は、命令実行デバイスが使用する命令の保持と保存が可能な実体的なデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又は、それらのいずれの適した組み合わせであってよいが、これに制限しない。コンピュータ可読記憶媒体の非包括的なさらなる具体例として、次が挙げられる：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ又はＲＡＭ）、読み取り専用メモリ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ又はＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ又はＥＰＲＯＭ、若しくはフラッシュメモリ）、スタティックランダムアクセスメモリメモリ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ又はＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ｐｏｒｔａｂｌｅ ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ又はＣＤ−ＲＯＭ）、デジタルバーサタイルディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ又はＤＶＤ）、メモリスティック、及び、それらのいずれの適した組み合わせ。コンピュータ可読記憶媒体は、ここに使用されるように、電波、他の自由に伝播する電磁波、導波管若しくは他の送信媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通る光パルス）、又は電線を通って送信される電気信号など、一時的な信号それ自体として解釈されない。

ここに説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、演算／処理デバイスのそれぞれに、又は、外部コンピュータ若しくは外部ストレージデバイスに、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又は、無線ネットワークなどのネットワークを介して、ダウンロードできる。ネットワークは、銅製送信ケーブル、光送信ファイバ、無線送信、ルータ、ファイヤウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含んでよい。演算／処理デバイスのそれぞれ内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、演算／処理デバイスのそれぞれ内のコンピュータ可読記憶媒体内での保存のために転送する。

本発明の作動を実施するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ｉｎｓｔｒｕｃｔｉｏｎ−ｓｅｔ−ａｒｃｈｉｔｅｃｔｕｒｅ又はＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、又は、ＳｍａｌｌｔａｌｋやＣ^＋＋などのオブジェクト志向プログラミング言語や、「Ｃ」プログラミング言語や同様のプログラミング言語などの手続き型プログラミング言語などを含む、１つ又はそれ以上のプログラミング言語のいずれの組み合わせにて記述されたソースコード若しくはオブジェクトコードのいずれであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアローンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的に及びリモートコンピュータ上で部分的に、又は、リモートコンピュータ若しくはサーバ上で完全に、実行されてよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ又はＬＡＮ）若しくはワイドエリアネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ又はＷＡＮ）を含むいずれの種類のネットワークを通して、ユーザのコンピュータに接続されてよいし、又は、（例えば、インターネットサービスプロバイダを使用してのインターネットを通しての）外部コンピュータへの接続が行われてよい。いくつか実施形態では、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ又はＦＰＧＡ）、又は、プログラマブルロジックアレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙｓ又はＰＬＡ）などを含む電子回路が、本発明の態様を行うために、電子回路を個人向けに設定するための、コンピュータ可読プログラム命令の状態情報を利用することにより、コンピュータ可読プログラム命令を実行してよい。

本発明の態様を、本発明の実施形態に係る方法、装置（システム）、及びコンピュータプログラム製品のフローチャートの図示及び／又はブロック図を参照して説明した。フローチャートの図示及び／又はブロック図のそれぞれのブロック、及び、フローチャートの図示及び／又はブロック図におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されるであろう。

コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャート及び／又はブロック図の１つのブロック又は複数のブロックに規定される機能／作用を実施する手段を作成するよう、これらのコンピュータ可読プログラム命令は、マシンを作製するための汎用コンピュータ、専用コンピュータ、又は、他のプログラマブルデータ処理装置のプロセッサに提供されてよい。命令が保存されたコンピュータ可読記憶媒体が、フローチャート及び／又はブロック図の１つのブロック又は複数のブロックに規定される機能／作用の態様を実施する命令を含む製品を含むよう、これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、及び／又は他のデバイスに、特定の様式にて機能するよう命令できるコンピュータ可読記憶媒体内に保存できてよい。

コンピュータ、他のプログラマブル装置、又は、他のデバイス上で実行される命令が、フローチャート及び／又はブロック図の１つのブロック又は複数のブロックに規定される機能／作用を実施するよう、これらのコンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードされ、一連の作動ステップが、コンピュータ、他のプログラマブル装置、又は、他のデバイス上で行われ、コンピュータにより実施されるプロセスを生成してよい。

図中のフローチャート及びブロック図は、本発明の様々な実施形態に係る、システム、方法、及び、コンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び、作動を示す。これに関して、フローチャート又はブロック図内のそれぞれのブロックは、規定される論理的機能（単一又は複数）を実施する、１つ又はそれ以上の実行可能命令を含むモジュール、セグメント、又は、命令の部位を表してよい。いくつかの代替的実装では、ブロック内に記される機能は、図に記す順序を外れて実施されてよい。例えば、連続して示す２つのブロックは実際に、実質的に同時に実行されるか、又は、関連する機能によっては、これらのブロックが時に反対の順序にて実行されてよい。なお、ブロック図及び／又はフローチャートの図示のそれぞれのブロック、及び、ブロック図及び／又はフローチャートの図示内のブロックの組み合わせは、規定の機能又は作用を行う、又は、専用ハードウェア及びコンピュータ命令の組み合わせを実現する、専用のハードウェアに基づくシステムによっても実装できる。

本発明の様々な実施形態の説明を、例示を目的として提示した。これらはしかし、開示する実施形態に対して包括的又は限定的となることを意図しない。説明する実施形態の範囲及び精神から逸脱することなく、多くの変形例及び変更例が、当業者に明らかとなるであろう。ここに使用する用語は、実施形態の原理、市場にみられる技術の実際の応用又は技術的改善点を最良に説明するよう、又は、ここに開示する実施形態を他の当業者が理解できるよう選択された。

Claims (13)

1. あるシーンの重なり合っているカメラビュー（１１０）のビデオデータをそれぞれが取得するよう配置された２つのイメージセンサ（５１０）からのビデオデータをつなぎ合わせる方法であって、
   ２つのイメージセンサ（５１０）を使用して前記シーンの重なり合っているカメラビュー（１１０）のビデオデータを取得すること（８０２）であって、それぞれのイメージセンサ（５１０）は、三次元座標系内の、該三次元座標系の原点に対する相対位置を有する、ビデオデータを取得すること（８０２）と、
   前記重なり合っているカメラビュー（１１０）に対応する、カメラビュー内のエリア内のモーションを検出すること（８０４）と、
   前記三次元座標系の前記原点に対応する位置から、検出した前記モーションを含むアクティビティ位置までの距離である、アクティビティ距離（ｚ）を判定すること（８０６）であって、所定の期間中又は所定のモーションの検出数に対して、重なり合っているイメージデータ内のモーションデータを蓄積することと、続いて、最も多くのモーションを蓄積した位置を前記アクティビティ位置として選択することと、を含む前記アクティビティ距離（ｚ）を判定すること（８０６）と、
   前記三次元座標系内にて、判定した前記アクティビティ距離（ｚ）に対応する、前記三次元座標系の前記原点からの距離を有する位置に、所定の形状の投影面（５１６）を位置決めすること（８０８）であって、前記投影面（５１６）が、前記アクティビティ位置に対応する前記三次元座標系内の位置と交差するように位置決めすること（８０８）と、
   前記投影面（５１６）上に、前記イメージセンサ（５１０）のそれぞれからの前記ビデオデータを投影すること（８１０）と、
   投影した前記ビデオデータに対応する二次元ビデオを出力すること（８１２）と、を含む、方法。
2. 前記重なり合っているカメラビュー（１１０）に対応する、カメラビュー内のエリア内のモーションを検出すること（８０４）は、取得した前記ビデオデータの重なり合っている部位内にて動くピクセルを検出することを含む、請求項１に記載の方法。
3. 前記重なり合っているカメラビュー（１１０）におけるピクセルデータから、検出した前記モーションの前記アクティビティ位置を判定し、前記アクティビティ位置を、前記アクティビティ距離（ｚ）の判定に使用することをさらに含む、請求項１又は２に記載の方法。
4. 前記アクティビティ距離（ｚ）を判定すること（８０６）は、重なり合っているイメージデータにおける検出した前記モーションの瞬間のインスタンスに基づいており、前記モーションの位置を、前記アクティビティ位置として設定する、請求項１〜３のいずれか一項に記載の方法。
5. 前記アクティビティ距離（ｚ）を判定すること（８０６）は、前記アクティビティ位置の、取得した前記ビデオデータにおける位置を、前記イメージセンサ（５１０）のそれぞれの座標系における位置までの距離を含む所定の表において対応する位置と比較することを含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記アクティビティ距離（ｚ）を判定すること（８０６）は、重なり合っているシーンをカバーするレーダー信号を受信することと、レーダー応答を、前記アクティビティ位置に関連付けることと、前記アクティビティ位置までの前記距離を前記レーダー信号から取得することと、を含む、請求項１〜４のいずれか一項に記載の方法。
7. 前記アクティビティ距離（ｚ）を判定すること（８０６）は、前記アクティビティ位置の、前記２つのイメージセンサからの取得したイメージにおける位置の差、すなわちｘ１-ｘ２、を計算することを含む、請求項１〜４のいずれか一項に記載の方法。
8. 前記投影面（５１６）は平面である、請求項１〜７のいずれか一項に記載の方法。
9. 前記投影面（５１６）は円筒面である、請求項１〜７のいずれか一項に記載の方法。
10. 前記投影面（５１６）は球面である、請求項１〜７のいずれか一項に記載の方法。
11. イメージセンサ（５１０）をそれぞれが含む２つのカメラ（５０２、５０４）であって、前記イメージセンサ（５１０）は、三次元座標系内の、該三次元座標系の原点に対する相対位置を有し、あるシーンの重なり合っているカメラビュー（１１０）のビデオデータを取得するよう構成されている、２つのカメラと、
    少なくとも１つの画像処理デバイス（５０６）と、
    前記三次元座標系内に画定される所定の投影面（５１６）と、
    前記２つのカメラ（５０２、５０４）の前記重なり合っているカメラビュー（１１０）に対応する、カメラビュー内のエリア内のモーションを検出するよう構成されているモーションデテクタ（５２０）と、
    所定の期間中、又は所定のモーションの検出数に対して、検出したモーションを蓄積するために、前記モーションデテクタ（５２０）に接続されたモーションアキュムレータと、
    前記三次元座標系の前記原点に対応する位置から、検出した前記モーションを含むアクティビティ位置までの距離であるアクティビティ距離（ｚ）を、蓄積した検出したモーションから判定するよう構成されているプロセッサと、
    前記カメラ（５０２、５０４）のそれぞれからの前記ビデオデータを前記投影面（５１６）上に投影するよう構成されているイメージプロジェクタであって、前記投影面（５１６）は、前記三次元座標系内にて、判定した前記アクティビティ距離（ｚ）に対応する、前記三次元座標系の前記原点からの距離を有する位置に位置決めされ、且つ前記アクティビティ位置に対応する前記三次元座標系内の位置と交差するように位置決めされる、イメージプロジェクタと、
    投影した前記ビデオデータに対応する二次元ビデオを出力するよう構成されている出力と、を含む、カメラシステム（５００）。
12. 前記モーションデテクタ（５２０）は、前記カメラ（５０２、５０４）からの前記ビデオデータの重なり合っている部位内にて動くピクセルを検出するよう構成されている、請求項１１に記載のカメラシステム（５００）。
13. 前記イメージプロジェクタは、ビデオデータを平らな投影面上に投影するよう構成されている、請求項１１又は１２に記載のカメラシステム（５００）。

Images