JP6946401B2 - パノラマ撮像のためのシステム - Google Patents

Description

本発明は、パノラマ撮像のための傾斜可能システムに関係する。

パノラマ撮像は、拡大された水平視野を有する画像を生成するためのよく知られている技法である。パノラマ撮像の典型的な実装態様は、異なる方向からシーンの複数の画像を取り込むために使用されるカメラからなる。通常、カメラは、連続する画像の間でパンし、それぞれの個々の画像は、整列され、組み合わされて、パノラマになる。

しかしながら、シーンのパノラマモニタリングのためにカメラをパンするときの問題は、カメラの移動中にシーンが変化し、特に、オーバーラップエリア内でまたはその近くでアーチファクトの発生をもたらす可能性があることである。これは、通常、フィーチャ、例えば車両または人が複数の場所で目に見えるパノラマをもたらす。シーン内の移動は、ゴースティング歪を同様にもたらす場合がある。パノラマ撮像における別の問題は、シーン内の直線が、シーンを描写するパノラマにおいて曲がる場合があり、それが、平坦画像内で湾曲ビューを示す結果であることである。通常、パノラマの中心における水平線に沿って、パノラマ内のこれらの画像歪は最小であり、中心水平線までの距離が増加するにつれて歪が増加する。例えば、水平線において、シーン内の直線はパノラマ内でまっすぐに見え、一方、シーン内の直線は、水平線から遠くなればなるほど、例えば上部または下部の近くで、パノラマ内でより曲がって見える。これらの問題は、カメラが傾斜することを許容される場合に、パノラマ撮像についてさらに一層問題になる。傾斜中に、上述した画像歪は、パノラマ内で非常に複雑な画像フローをもたらす。これは、次に、シーンをモニタリングすることを担当する人または画像レビューアルゴリズムがパノラマを解釈することを難しくする。したがって、パノラマ撮像のための改良型システムについての必要性が存在する。

上記を考慮して、パノラマ撮像のための傾斜可能システムを提供することが本発明の目的である。

当技術分野の上記で特定した欠点および不利益の１つまたは複数を単独でまたは任意の組み合わせで減らし、軽減し、またはなくし、少なくとも上記で述べた問題を解決することが目的である。

第１の態様によれば、シーンのパノラマ撮像のための傾斜可能システムが提供される。傾斜可能システムは、回転軸に対して異なる方向にシーンを撮像するために配置される、中央カメラ、第１の側方カメラ、および第２の側方カメラを備え、第１および第２の側方カメラは中央カメラの対向する側方側に配置され、中央カメラ、第１の側方カメラ、および第２の側方カメラはそれぞれ、レンズ組み立て体および画像センサを備える撮像システムを有し；パノラマ撮像のための傾斜可能システムが回転軸の周りに傾斜することを可能にする傾斜機構；および、シーンのパノラマ画像であって、仮想水平線を有する、パノラマ画像を形成するために、中央カメラ、第１の側方カメラ、および第２の側方カメラによって取り込まれる画像を共にスティッチングするように構成されるスティッチング機能を備え、パノラマ撮像のための傾斜可能システムが傾斜すると、シーン内でパノラマ画像の仮想水平線の位置を維持するように構成される画像処理ユニット；を備え、第１および第２の側方カメラの撮像システムは中央カメラの撮像システムより、回転軸に垂直な方向に大きい視野を有する。

文言「レンズ組み立て体（ｌｅｎｓ ａｓｓｅｍｂｌｙ）」は、本出願のコンテキスト内で、カメラの画像センサ上にシーンを結像するように構成される光学部品と解釈されるべきである。

文言「仮想水平線」は、本出願のコンテキスト内で、パノラマ画像内の歪がそこで最も小さいパノラマ画像内の線と解釈されるべきである。換言すれば、仮想水平線は、パノラマ画像内の最小歪の線であることができる。パノラマ画像内の歪は、個々の画像のスティッチングの結果であることができる。

シーン内でパノラマ画像の仮想水平線の位置を維持することは、傾斜可能システムを傾斜させると、カメラによって取り込まれる各画像内で仮想水平線の所定の部分が上下に移動することに対応することができる。仮想水平線は、パノラマの側方延長部にわたって異なるようにシフトすることができ、なぜならば、各画像が、互いに対して異なる側方方向に取り込むことができるからである。仮想水平線は、傾斜可能システムが傾斜すると、中央の場合よりより大きい側方角度について少なくシフトすることができる。パノラマ画像のための従来技術システムにおいて、仮想水平線がまっすぐにされるとき、画像内に十分なデータが存在しないことになり、それにより、パノラマは見栄えが悪い方法でクロッピングされることになる。

本発明の概念によって、パノラマ画像内で仮想水平線の位置を維持することが可能であり、なぜならば、第１および第２の側方カメラの撮像システムの視野が、中央カメラの撮像システムより、回転軸に垂直な方向に大きいからである。それにより、本傾斜可能システムは、シーン内でパノラマ画像の仮想水平線の位置を維持することによって、パノラマ撮像のための傾斜可能システムを傾斜させると、パノラマ画像内の画像フローの複雑さを低減する。それにより、パノラマ撮像のための本傾斜可能システムは、シーンのパノラマモニタリングにより適するシステムをもたらす。

第１および第２の側方カメラのレンズ組み立て体は、中央カメラのレンズ組み立て体より大きい視野を提供するように構成することができる。

第１および第２の側方カメラのレンズ組み立て体が中央カメラのレンズ組み立て体より大きい視野を提供する利点は、同じタイプの画像センサを、側方カメラおよび中央カメラ内で使用することができることである。側方カメラおよび中央カメラについて同じタイプの画像センサを使用することは、パノラマ画像を形成するための画像スティッチングの複雑さを低減することができる。画像スティッチングの複雑さを低減することは、パノラマ画像を形成するために必要とされる計算パワーおよび関連するコストを低減することができる。

第１および第２の側方カメラのレンズ組み立て体のズーム設定は、中央カメラのレンズ組み立て体のズーム設定より大きい視野を提供するように構成することができる。

中央カメラのレンズ組み立て体のズーム設定より大きい視野を提供するように第１および第２の側方カメラのレンズ組み立て体のズーム設定を構成する利点は、同じタイプのカメラおよびレンズ組み立て体を、側方カメラおよび中央カメラについて使用することができることである。側方カメラおよび中央カメラについて同じタイプのカメラおよびレンズ組み立て体を使用することは、パノラマ画像を形成するための画像スティッチングの複雑さを低減することができる。画像スティッチングの複雑さを低減することは、パノラマ画像を形成するために必要とされる計算パワーおよび関連するコストを低減することができる。

パノラマ撮像のための傾斜可能システムは、第１および第２の側方カメラのレンズ組み立て体のズーム設定を制御するように構成されるコントローラをさらに備えることができ、第１および第２の側方カメラのレンズ組み立て体のズーム設定は、パノラマ撮像のための傾斜可能システムの傾斜に基づくことができる。

第１および第２の側方カメラのレンズ組み立て体のズーム設定を、パノラマ撮像のための傾斜可能システムの傾斜に基づかせる利点は、第１および第２の側方カメラの視野が、傾斜可能システムの傾斜に基づいて設定することができることである。換言すれば、第１および第２の側方カメラは、仮想水平線の位置を維持するために必要とされる視野でシーンを取り込むように構成することができる。それにより、第１および第２の側方カメラの画像センサは、より効率的に使用することができる。さらに、第１および第２の側方カメラによって取り込まれる画像データに関連する帯域幅必要性を低減することができる。

パノラマ撮像のための傾斜可能システムは、パノラマ撮像のための傾斜可能システムの傾斜を決定するように構成されるジャイロスコープをさらに備えることができる。

ジャイロスコープをさらに備える傾斜可能システムの利点は、傾斜可能システムの傾斜を直接決定することができることである。傾斜可能システムの傾斜を直接決定するためにジャイロスコープを使用するさらなる利点は、傾斜が、パノラマ画像から決定される必要がなく、それにより、傾斜可能システムによって必要とされる処理パワーを低減することであることができる。

ジャイロスコープをさらに備える傾斜可能システムのさらなる利点は、パノラマ画像内で仮想水平線の位置を維持するときに傾斜可能システムの傾斜を使用することができることである。

第１の側方カメラおよび第２の側方カメラの画像センサは、中央カメラの画像センサよりより、回転軸に垂直な方向に大きい延長部(extension)を有して、回転軸に垂直な方向により大きい視野を提供することができる。

中央カメラ、第１の側方カメラ、および第２の側方カメラの画像センサは、回転軸に垂直な方向により大きい視野を提供するために長方形であることができ、第１および第２の側方カメラの画像センサは、画像センサの長辺が回転軸に対して或る角度にある状態で配向し、中央カメラの画像センサは、画像センサの長辺が回転軸に平行である状態で配向する。

第１および第２の側方カメラの画像センサを、画像センサの長辺が回転軸に対して或る角度にある状態で配向させる利点は、同じタイプの画像センサを側方カメラおよび中央カメラについて使用することができることである。側方カメラおよび中央カメラについて同じタイプの画像センサを使用することは、パノラマ画像を形成するための画像スティッチングの複雑さを低減することができる。画像スティッチングの複雑さを低減することは、パノラマ画像を形成するために必要とされる計算パワーおよび関連するコストを低減することができる。

傾斜機構は傾斜モーターを備えることができる。

傾斜モーターを備える傾斜機構の利点は、傾斜システムの傾斜をオペレータが遠隔で制御することができることである。

文言「オペレータ（ｏｐｅｒａｔｏｒ）」は、本出願のコンテキスト内で、パノラマ撮像のための傾斜可能システムを操作することを担当する人と解釈されるべきである。

第１の側方カメラによって描写されるシーンの一部分は、中央カメラによって描写されるシーンの第１の部分に部分的にオーバーラップすることができ、第２の側方カメラによって描写されるシーンの一部分は、中央カメラによって描写されるシーンの第２の部分に部分的にオーバーラップすることができる。

第１の側方カメラおよび中央カメラによって描写されるシーンの所定の部分を部分的にオーバーラップさせる利点は、シーン内の１つまたは複数のフィーチャを、第１の側方画像と中央画像の両方において同時に描写することができるため、第１の側方画像および中央画像のよりよい整列を実現することができることである。

第２の側方カメラおよび中央カメラによって描写されるシーンの所定の部分を部分的にオーバーラップさせる利点は、シーン内の１つまたは複数のフィーチャを、第２の側方画像と中央画像の両方において同時に描写することができるため、第２の側方画像および中央画像のよりよい整列を実現することができることである。

画像処理ユニットは、中央画像、第１の側方画像、および第２の側方画像内の仮想水平線に関係するフィーチャを認識するように構成されるフィーチャ認識機能と；第１および第２の側方画像の画像データを空間的に変形するように構成される画像データ変形機能であって、空間的変形は仮想水平線の位置に基づく、画像データ変形機能と；中央画像内の仮想水平線に関係するフィーチャを第１および第２の側方画像内の仮想水平線に関係するフィーチャに整列させるように構成される整列機能とをさらに備えることができる。

空間的変形をパノラマ画像内の仮想水平線の位置に基づかせる利点は、パノラマ撮像のための傾斜可能システムを傾斜させるときに、それが、画像フローの複雑さを低減することができることである。

フィーチャ認識機能は、中央画像、第１の側方画像、および／または第２の側方画像内の認識されたフィーチャに基づいて傾斜可能システムの傾斜の変化を決定するようにさらに構成することができる。

フィーチャ認識機能が、画像内の認識されたフィーチャに基づいて傾斜可能システムの傾斜の変化を決定するようにさらに構成される利点は、ジャイロスコープなどのさらなるセンサを、傾斜可能システムの傾斜を追跡するために必要としなくてもよいことである。

画像データ変形機能における空間的変形は、傾斜可能システムの傾斜にさらに基づくことができる。

空間的変形を傾斜可能システムの傾斜に基づかせる利点は、それが、パノラマ画像内で仮想水平線を維持するために必要とされる処理パワーを低減することができることである。

画像データ変形機能における空間的変形は、パノラマ撮像のための傾斜可能システムのモデルにさらに基づくことができる。

画像データ変形機能をパノラマ撮像のための傾斜可能システムのモデルに基づかせる利点は、それが、パノラマ撮像内の画像歪を低減することを可能にすることができることである。

画像処理ユニットは、パノラマ画像を長方形形状になるようにクロッピングするように構成されるクロッピング機能をさらに備えることができる。

パノラマ撮像のための傾斜可能システムは、回転軸に対して異なる方向にシーンを撮像するために配置される第３の側方カメラおよび第４の側方カメラをさらに備えることができ、第３の側方カメラおよび第４の側方カメラは第１の側方カメラおよび第２の側方カメラの対向する側方側に配置され、第３の側方カメラおよび第４の側方カメラはそれぞれ、レンズ組み立て体および画像センサを備える撮像システムを有し；スティッチング機能は、シーンのパノラマ画像を形成するために、中央カメラ、第１の側方カメラ、第２の側方カメラ、第３の側方カメラ、および第４の側方カメラによって取り込まれる画像を共にスティッチングするようにさらに構成され；第３および第４の側方カメラの撮像システムは第１および第２の側方カメラの撮像システムより、回転軸に垂直な方向に大きい視野を有する。

第３および第４の側方カメラをさらに備えるパノラマ撮像のための傾斜可能システムの利点は、パノラマ撮像のための傾斜可能システムの側方視野の増加であることができる。

パノラマ撮像のための傾斜可能システムは、回転軸に対して或る方向にシーンを撮像するために配置されるさらなる中央カメラを更に備えることができ、さらなる中央カメラは中央カメラの側方側に配置され、第１の側方カメラおよび第２の側方カメラは中央カメラおよびさらなる中央カメラの対向する側方側に配置され、さらなる中央カメラは、レンズ組み立て体および画像センサを備える撮像システムを有し；スティッチング機能は、シーンのパノラマ画像を形成するために、中央カメラ、さらなる中央カメラ、および側方カメラによって取り込まれる画像を共にスティッチングするようにさらに構成される。

さらなる中央カメラを更に備えるパノラマ撮像のための傾斜可能システムの利点は、パノラマ撮像のための傾斜可能システムの側方視野の増加であることができる。

本開示の適用可能性のさらなる範囲は、以下で与えられる詳細な説明から明らかになる。しかしながら、詳細な説明および特定の例が、本発明の概念の好ましい変形を示すが、本発明の概念の範囲内の種々の変更および修正がこの詳細な説明から当業者に明らかになるため、単に例証として与えられることが理解されるべきである。

したがって、本発明の概念が、述べるシステムの特定のコンポーネント部品に限定されないことが理解され、なぜならば、そのようなシステムが変動する場合があるからである。本明細書で使用する用語が、単に特定の実施形態を述べるためのものであり、制限的であることを意図されないことが同様に理解される。本明細書および添付特許請求項で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、コンテキストが別段に明示的に示さない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「或るユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する参照は、幾つかのデバイスおよび同様なものを含むことができる。さらに、語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、および同様な文言は、他の要素またはステップを排除しない。

本発明の上記のまた他の態様は、ここで、本発明の実施形態を示す添付図面を参照して、より詳細に述べられる。図は、本発明を特定の実施形態に限定するものと考えられるべきでなく；代わりに、図は、本発明を説明し理解するために使用される。

図に示すように、層および領域のサイズは、例証のために誇張され、したがって、本発明の実施形態の一般的な構造を示すために提供される。同様の参照数字は全体を通して同様の要素を指す。

パノラマ撮像のための傾斜可能システムの上面図である。 パノラマ撮像のための傾斜可能システム内の中央カメラの側面図である。 パノラマ撮像のための傾斜可能システム内の第１の側方カメラの側面図である。 パノラマ撮像のための傾斜可能システムによって取り込まれた画像を示す図である。 パノラマ撮像のための傾斜した傾斜可能システムによって取り込まれた画像を示す図である。 パノラマ撮像のための本システムによって取り込まれた空間的に変形された画像を示す図である。 パノラマ撮像のための従来のシステムによって取り込まれた空間的に変形された画像を示す図である。

本発明の概念は、ここで、本発明の概念の現在のところ好ましい変形が示される添付図面を参照して以降でより完全に述べられる。しかしながら、この本発明の概念は、多くの異なる形態で実装することができ、本明細書で述べる変形に限定されるものと解釈されるべきでなく；むしろ、これらの変形は、徹底および完全のために提供され、本発明の概念の範囲を当業者に完全に伝える。

図１は、シーンのパノラマ撮像のための傾斜可能システム１０を示す。傾斜可能システム１０は、回転軸１０２に対して異なる方向１１２、１２２、１３２にシーンを撮像するために配置された、中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０を備える。中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０は直線に沿って配置することができる。代替的に、中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０は曲線に沿って配置することができる。中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０は、回転軸１０２に垂直な方向１０４に異なる高さで配置することができる。中央カメラ１１０は、中心方向１１２にシーンを撮像することができる。第１の側方カメラ１２０は、第１の方向１２２にシーンを撮像することができる。第２の側方カメラ１３０は、第２の方向１３２にシーンを撮像することができる。中心方向１１２と第１の方向１２２との間の角度は９０°未満であることができる。中心方向１１２と第２の方向１３２との間の角度は４５°未満であることができる。

第１の側方カメラ１２０および第２の側方カメラ１３０は中央カメラ１１０の対向する側方面上に配置される。中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０はそれぞれ、レンズ組み立て体１１４、１２４、１３４および画像センサ１１６、１２６、１３６を備える撮像システムを有する。レンズ組み立て体１１４、１２４、１３４は、複数のレンズ、カメラ対物レンズ、および／またはズーム対物レンズであることができる。画像センサ１１６、１２６、１３６は、ＣＣＤおよび／またはＣＭＯＳセンサであることができる。中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０の相対的位置は固定することができる。換言すれば、中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０は、互いに対して制限された移動を有することができる。パノラマ撮像のための傾斜可能システム１０は、中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０の相対的位置に関して較正することができる。傾斜可能システム１０は、中央カメラ１１０と、第１の側方カメラ１２０と、第２の側方カメラ１３０との間の差に関して較正することができる。傾斜可能システム１０は、中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０の画像センサ１１６、１２６、１３６のパラメータに関して較正することができる。画像センサ１１６、１２６、１３６のパラメータは、量子効率、露光時間、センサ利得、ピクセル数、およびピクセル密度の１つまたは複数であることができる。傾斜可能システム１０は、中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０のレンズ組み立て体１１４、１２４、１３４のパラメータに関して較正することができる。レンズ組み立て体１１４、１２４、１３４のパラメータは、倍率および透過率の一方または両方であることができる。傾斜可能システム１０は、傾斜可能システム１０のカメラ１１０、１２０、１３０の内因性パラメータに関して較正することができる。内因性パラメータは光軸および撮像歪を含むことができる。傾斜可能システム１０は、傾斜可能システム１０の外因性パラメータに関して較正することができる。外因性パラメータは、傾斜可能システム１０のカメラ１１０、１２０、１３０の個々の姿勢を含むことができる。

傾斜可能システム１０は、パノラマ撮像のための傾斜可能システム１０が回転軸１０２の周りに傾斜することを可能にする傾斜機構１４０をさらに備える。傾斜機構１４０は、固定可能であり、それにより、パノラマ撮像のための傾斜可能システム１０の傾斜を確保することができる。

傾斜可能システム１０は、シーンのパノラマ画像を形成するために、中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０によって取り込まれる画像３１０、３２０、３３０を共にスティッチングするように構成されるスティッチング機能１５２を備える画像処理ユニット１５０をさらに備える。画像３１０、３２０、３３０は、中央画像３１０、第１の側方画像３２０、および第２の側方画像３３０を含む。中央画像３１０は中央カメラ１１０によって取り込まれる。第１の側方画像３２０は第１の側方カメラ１２０によって取り込まれる。第２の側方画像３３０は第２の側方カメラ１３０によって取り込まれる。画像のスティッチングは、図３Ａ〜３Ｂおよび図４Ａに関連して述べられる。

パノラマ撮像は仮想水平線を有し、画像処理ユニット１５０は、パノラマ撮像のための傾斜可能システム１０が傾斜すると、シーン内でパノラマ画像の仮想水平線の位置を維持するようにさらに構成される。画像処理ユニット１５０は汎用処理ユニットであることができる。画像処理ユニット１５０はシステムオンチップであることができる。

第１および第２の側方カメラ１２０、１３０の撮像システムは中央カメラ１１０の撮像システムより、回転軸１０２に垂直な方向１０４に大きい視野２０４を有する。中央カメラ１１０および側方カメラ２００の視野２１４、２０４は、図２Ａ〜２Ｂに関連して述べられる。

第１および第２の側方カメラ１２０、１３０のレンズ組み立て体１２４、１３４は、中央カメラ１１０のレンズ組み立て体１１４より大きい視野２０４を提供するように構成することができる。第１および第２の側方カメラ１２０、１３０のレンズ組み立て体１２４、１３４は、中央カメラ１１０のレンズ組み立て体１１４と比べて短い焦点距離を有する光学部品を備えることができる。第１および第２の側方カメラ１２０、１３０のレンズ組み立て体１２４、１３４は、中央カメラ１１０のレンズ組み立て体１１４と比べて小さい倍率を有する光学部品を備えることができる。

第１および第２の側方カメラ１２０、１３０のレンズ組み立て体１２４、１３４のズーム設定は、中央カメラ１１０のレンズ組み立て体１１４のズーム設定より大きい視野２０４を提供するように構成することができる。

パノラマ撮像のための傾斜可能システム１０は、第１および第２の側方カメラ１２０、１３０のレンズ組み立て体１２４、１３４のズーム設定を制御するように構成されるコントローラ１６０をさらに備えることができ、第１および第２の側方カメラ１２０、１３０のレンズ組み立て体１２４、１３４のズーム設定は、パノラマ撮像のための傾斜可能システム１０の傾斜に基づくことができる。コントローラ１６０は中央カメラ１１０のレンズ組み立て体１１４のズーム設定を制御するようにさらに構成することができる。第１および第２の側方カメラ１２０、１３０のレンズ組み立て体１２４、１３４のズーム設定は、パノラマ撮像のための傾斜可能システム１０の傾斜角度の変化と共に変動することができる。

パノラマ撮像のための傾斜可能システム１０は、パノラマ撮像のための傾斜可能システム１０の傾斜を決定するように構成されるジャイロスコープ１７０をさらに備えることができる。

ジャイロスコープ１７０は、図１および図２Ａに例示するように、中央カメラ１１０の近くに配置することができる。

第１の側方カメラ１２０および第２の側方カメラ１３０の画像センサ１２６、１３６は、中央カメラ１１０の画像センサ１２６、１３６より、回転軸１０２に垂直な方向１０４に大きい延長部を有して、回転軸１０２に垂直な方向１０４により大きい視野２０４を提供することができる。

第１および第２の側方カメラ１２０、１３０の画像センサ１２６、１３６は、中央カメラ１１０の画像センサ１２６、１３６より、回転軸１０２に平行な方向に大きい延長部を有することができる。

中央カメラ１１０、第１の側方カメラ１２０、および第２の側方カメラ１３０の画像センサ１１６、１２６、１３６は、回転軸１０２に垂直な方向１０２により大きい視野２０４を提供するために長方形であることができ、第１および第２の側方カメラ１２０、１３０の画像センサ１２６、１３６は、画像センサ１２６、１３６の長辺が回転軸１０２に対して或る角度にある状態で配向することができ、中央カメラ１１０の画像センサ１１６は、画像センサ１１６の長辺が回転軸１０２に平行である状態で配向する。

第１および第２の側方カメラ１２０、１３０の画像センサ１２６、１３６は、画像センサ１２６、１３６の長辺が回転軸１０２に対して９０°の角度である状態で配向することができる。

傾斜機構１４０は傾斜モーター１４２を備えることができる。傾斜モーター１４２はコントローラ１６０によって制御することができる。

第１の側方カメラ１２０によって描写されるシーンの一部分は、中央カメラ１１０によって描写されるシーンの第１の部分３１２に部分的にオーバーラップすることができ、第２の側方カメラ１３０によって描写されるシーンの一部分は、中央カメラ１１０によって描写されるシーンの第２の部分３１４に部分的にオーバーラップすることができる。部分的オーバーラップは図３Ａ〜３Ｂに関連して述べられる。

画像処理ユニット１５０は、中央画像３１０、第１の側方画像３２０、および第２の側方画像３３０内の仮想水平線に関係するフィーチャ３０２を認識するように構成されるフィーチャ認識機能１５４と；中央画像３１０、第１の側方画像３２０、および第２の側方画像３３０の画像データを空間的に変形するように構成される画像データ変形機能１５６であって、空間的変形は仮想水平線の位置に基づく、画像データ変形機能１５６と；中央画像３１０内の仮想水平線に関係するフィーチャ３０２を第１および第２の側方画像３２０、３３０内の仮想水平線に関係するフィーチャ３０２に整列させるように構成される整列機能１５８とをさらに備えることができる。

画像データ変形機能１５６の空間的変形は、生成されるパノラマ画像内で仮想水平線がまっすぐであるように、中央画像３１０、第１の側方画像３２０、および第２の側方画像３３０の画像データを変形することができる。画像データ変形機能１５６の空間的変形は投影を含むことができる。投影は、円筒投影または球面投影であることができる。

フィーチャ認識機能１５４は、中央画像３１０、第１の側方画像３２０、および／または第２の側方画像３３０内の認識したフィーチャに基づいて傾斜可能システム１０の傾斜の変化を決定するようにさらに構成することができる。

画像データ変形機能１５６における空間的変形は、傾斜可能システム１０の傾斜にさらに基づくことができる。

画像データ変形機能１５６における空間的変形は、パノラマ撮像のための傾斜可能システム１０のモデルにさらに基づくことができる。

パノラマ撮像のための傾斜可能システム１０のモデルは、中央カメラ１１０、第１の側方カメラ１２０、および／または第２の側方カメラ１３０の位置に関する情報を含むことができる。パノラマ撮像のための傾斜可能システム１０のモデルは、中心方向１１２、第１の側方方向、および／または第２の側方方向に関する情報を含むことができる。パノラマ撮像のための傾斜可能システム１０のモデルは、中央カメラ１１０、第１の側方カメラ１２０、および／または第２の側方カメラ１３０の撮像システムに関する情報を含むことができる。パノラマ撮像のための傾斜可能システム１０のモデルは、中央カメラ１１０、第１の側方カメラ１２０、および／または第２の側方カメラ１３０のレンズ組み立て体１１４、１２４、１３４および画像センサ１１６、１２６、１３６に関する情報を含むことができる。

画像処理ユニット１５０は、パノラマ画像をクロッピングするように構成されるクロッピング機能１５９をさらに備えることができる。

パノラマ撮像のための傾斜可能システム１０はデータバス１８０をさらに備えることができる。中央カメラ１１０、第１の側方カメラ１２０、第２の側方カメラ１３０、傾斜機構１４０、傾斜モーター１４２、画像処理ユニット１５０、コントローラ１６０、および／またはジャイロスコープ１７０はデータバス１８０を介して通信することができる。

パノラマ撮像のための傾斜可能システム１０はハウジング１００をさらに備えることができる。ハウジング１００は、画像処理ユニット１５０、コントローラ１６０、およびデータバス１８０を備えることができる。傾斜機構１４０は、ハウジング１００に結合することができる。

パノラマ撮像のための傾斜可能システム１０は、回転軸１０２に対して異なる方向にシーンを撮像するために配置される第３の側方カメラおよび第４の側方カメラをさらに備えることができ、第３の側方カメラおよび第４の側方カメラは第１の側方カメラ１２０および第２の側方カメラ１２０の対向する側方側に配置され、第３の側方カメラおよび第４の側方カメラはそれぞれ、レンズ組み立て体および画像センサを備える撮像システムを有し；スティッチング機能１５２は、シーンのパノラマ画像を形成するために、中央カメラ１１０、第１の側方カメラ１２０、第２の側方カメラ１３０、第３の側方カメラ、および第４の側方カメラによって取り込まれる画像３１０、３２０、３３０を共にスティッチングするようにさらに構成され；第３および第４の側方カメラの撮像システムは第１および第２の側方カメラ１２０、１３０の撮像システムより、回転軸１０２に垂直な方向１０４に大きい視野を有する。

第３および第４の側方カメラが、適用可能である場合、第１および第２の側方カメラ１２０、１３０として対応する機能を有することができることが理解される。不当な反復を回避するために、したがって、上記に対する参照が行われる。

パノラマ撮像のための傾斜可能システム１０は、回転軸１０２に対して或る方向にシーンを撮像するために配置されるさらなる中央カメラを更に備え、さらなる中央カメラは中央カメラ１１０の側方側に配置され、第１の側方カメラ１２０および第２の側方カメラ１３０は中央カメラ１１０およびさらなる中央カメラの対向する側方側に配置され、さらなる中央カメラは、レンズ組み立て体および画像センサを備える撮像システムを有し；スティッチング機能１５２は、シーンのパノラマ画像を形成するために、中央カメラ１１０、さらなる中央カメラ、および側方カメラによって取り込まれる画像３１０，３２０，３３０を共にスティッチングするようにさらに構成される。

さらなる中央カメラは中央カメラ１１０と同じタイプであることができる。さらなる中央カメラおよび中央カメラ１１０の撮像システムは、回転軸１０２に垂直な方向１０４に同様の視野を有することができる。さらなる中央カメラおよび中央カメラ１１０の撮像システムは、回転軸１０２に平行な方向に同様の視野を有することができる。

さらなる中央カメラが、適用可能である場合、中央カメラ１１０として対応する機能を有することができることが理解される。不当な反復を回避するために、したがって、上記に対する参照が行われる。

図２Ａは、パノラマ撮像のための傾斜可能システム１０内の中央カメラ１１０の側面図を示す。中央カメラ１１０は、回転軸１０２に垂直な方向１０４に視野２１４を有する。

図２Ｂは、パノラマ撮像のための傾斜可能システム１０内の側方カメラ２００の側面図を示す。図２Ｂに示す側方カメラ２００は、第１の側方カメラ１２０、第２の側方カメラ１３０、第３の側方カメラ、および／または第４の側方カメラに対応することができる。側方カメラ２００は回転軸１０２に垂直な方向１０４に視野２０４を有する。回転軸１０２に垂直な方向１０４への視野２０４は回転軸１０２の視野２１４より大きい。

図３Ａは、パノラマ撮像のための傾斜可能システム１０によって取り込まれた中央画像３１０、第１の側方画像３２０、および第２の側方画像３３０を示す。第１および第２の側方画像３２０、３３０は、シーン内のオブジェクトが中央画像３１０の場合と同じサイズを有するように再スケーリングすることができる。図３Ａに例示するように、第１の側方画像３２０の一部分は、中央画像３１０の第１の部分３１２にオーバーラップすることができ、第２の側方画像３３０の一部分は、中央画像３１０の第２の部分３１４にオーバーラップすることができる。第１および第２の側方画像３２０、３３０は、中央カメラ１１０より回転軸１０２に垂直な方向１０４に大きい視野を有するカメラによって取り込まれた。それにより、第１および第２の側方画像３２０、３３０は、中央カメラ１１０より回転軸１０２に垂直な方向１０４にシーンの大きい部分を含む。

図３Ａに示すように、仮想水平線に関係するフィーチャ３０２は、中央画像３１０、第１の側方画像３２０、および第２の側方画像３３０内に存在する。仮想水平線に関係するフィーチャ３０２は、整列機能１５８によって整列することができる。画像３１０、３２０、３３０を、パノラマ画像を形成するために共にスティッチングすることができる。パノラマ画像をクロッピング機能１５９によってクロッピングすることができる。クロッピングされたパノラマ画像は長方形形状を有することができる。

図３Ｂは、パノラマ撮像のための傾斜可能システム１０が、図３Ａの状況と比較してわずかに傾斜したときに取り込まれた画像３１０、３２０、３３０を示す。より具体的には、画像３１０、３２０、３３０は、パノラマ撮像のための傾斜可能システム１０が下方に傾斜したときに取り込まれており、それにより、仮想水平線に関係するフィーチャ３０２は画像３１０、３２０、３３０内で上方にシフトする。傾斜量は、図３Ｂにおいて明確に目に見える効果のために少し誇張されている。仮想水平線に関係するフィーチャ３０２は画像３１０、３２０、３３０内で上方にシフトされ、また、第１および第２の側方カメラ１２０、１３０が中央カメラ１１０と異なる方向１２２、１３２にシーンを撮像するために配置されるため、シフトは、各画像３１０、３２０、３３０の側方延長部にわたって異なることになる。シフトは、図３Ｂに例示するように、第１および第２の側方画像３２０、３３０より中央画像３１０において大きいことになる。第１および第２の側方画像３２０、３３０内のシフトは、中央画像３１０に近い画像部分についてよりも、外側方位置の画像部分について小さいことになる。中央画像３１０、第１の側方画像３２０、および第２の側方画像３３０の画像データは、中央画像３１０、第１の側方画像３２０、および第２の側方画像３３０によって形成されるパノラマ画像内で仮想水平線がまっすぐであるように空間的に変形することができる。パノラマ画像内で仮想水平線がまっすぐであるように画像データを空間的に変形すると、外側方位置の画像部分は、回転軸１０２に垂直な方向１０４に沿ってさらに移動する。これは、図４Ａに関連して述べられる。仮想水平線に関係するフィーチャ３０２の近傍の画像データが空間変形後に抜ける場合、パノラマ画像は見栄えが悪い方法でクロッピングすることができる。第１および第２の側方画像３２０、３３０が、中央画像３１０より回転軸１０２に垂直な方向１０４にシーンの多くの部分を含むため、第１および第２の側方画像３２０、３３０内の仮想水平線に関係するフィーチャ３０２は、全てのカメラが回転軸１０２に垂直な方向１０４に同様の視野を有するシステムの場合と比べて、シーンに関連する画像データを失うことなく、より上方にシフトすることができる。

図４Ａは、空間的に変形された画像４２０、４３０を示す。空間的に変形された第１の側方画像４２０は、図３Ｂの第１の側方画像３２０の空間的変形である。空間的に変形された第２の側方画像４３０は、図３Ｂの第２の側方画像３２０の空間的変形である。図４Ａに例示するように、まっすぐな仮想水平線を有するパノラマ画像を生成するために、空間的に変形された第１および第２の側方画像４２０、４３０の外側方部分は、中央画像３１０の中心に近い空間的に変形された第１および第２の側方画像４２０、４３０の部分より、回転軸１０２に垂直な方向１０４に大きくシフトされている。中央画像３１０は、空間的に変形された第１および第２の側方画像４２０、４３０と同様の方法で空間的に変形することができる。換言すれば、中央画像３１０の外側方部分は、中央画像３１０の中心に近い中央画像３１０の部分より、回転軸１０２に垂直な方向１０４に大きくシフトすることができる。

図４Ｂは、空間的に変形された画像５２０、５３０を示す。中央画像５１０は、従来技術システムにおける中央カメラによって取り込まれている。空間的に変形された第１の側方画像５２０は、従来技術システムにおける第１の側方カメラによって取り込まれている。空間的に変形された第２の側方画像５３０は、従来技術システムにおける第２の側方カメラによって取り込まれている。従来技術システムは回転軸５０２の周りに傾斜可能である。従来技術システムによって取り込まれた中央画像５１０を、従来技術システムによって取り込まれた空間的に変形された第１および第２の側方画像５２０、５３０と同様の方法で空間的に変形することができることが理解される。従来技術システムにおける中央カメラ、第１の側方カメラ、および第２の側方カメラの撮像システムは、回転軸５０２に垂直な方向５０４に同様の視野を有する。

図４Ａに示す例と同様に、まっすぐな仮想水平線を有するパノラマ画像を生成するために、図４Ｂの空間的に変形された第１および第２の側方画像５２０、５３０の外側方部分は、中央画像５１０の中心に近い空間的に変形された第１および第２の側方画像５２０、５３０の部分より、回転軸５０２に垂直な方向５０４に大きくシフトされている。

結果として得られるパノラマ画像は、見栄えが悪い方法でクロッピングされることなり、なぜならば、第１および第２の部分５２２、５３２に関連する画像データが、従来技術システムにおける第１および第２の側方カメラによって取り込まれる第１および第２の側方画像内に存在しないからである。第１および第２の部分５２２、５３２に関連する画像データは、第１および第２の側方画像内に存在せず、なぜならば、従来技術システムにおける中央カメラ、第１の側方カメラ、および第２の側方カメラの撮像システムが、回転軸５０２に垂直な方向５０４に同様な視野を有するからである。換言すれば、技術システムにおける第１および第２の側方カメラによって取り込まれる第１および第２の側方画像内に十分な画像データが存在せず、それにより、まっすぐな仮想水平線を有するパノラマ画像が、見栄えが悪い方法でパノラマ画像をクロッピングすることなしでは生成できない。より具体的には、パノラマ画像は、第１の部分５２２および第２の部分５３２に関連する画像データを持たないことになる。

図４Ｂを図４Ａと比較すると、図４Ａの空間的に変形された第１および第２の側方画像４２０、４３０が図４Ｂの第１および第２の部分５２２、５３２に対応する部分に関連する画像データを含むため、図４Ａから生成されるパノラマ画像が見栄えが悪い方法でクロッピングされる必要がないことが認識される。

図３Ａ、図３Ｂ、図４Ａ、および図４Ｂに関係する説明が、システムを下方に傾斜させるコンテキストにおいてであっても、説明および対応する指示を、システムを上方に傾斜させるために調整することができることを当業者は認識する。

本発明の概念が、上述した好ましい変形に決して限定されないことを当業者は認識する。逆に、多くの修正および変形が、添付特許請求項の範囲内で可能である。

例えば、ジャイロスコープ１７０は、図１および図２Ａに示すように中央カメラ１１０上にある代わりに、第１の側方カメラ１２０上でまたは第２の側方カメラ１３０上で傾斜機構１４０の近くに配置することができる。

さらに、開示される変形に対する変形は、図面、開示、及び添付特許請求項の調査から、特許請求される本発明を実施するときに、当業者によって、理解され、もたらされ得る。

Claims (15)

1. シーンのパノラマ撮像のための傾斜可能システム（１０）であって、
   回転軸（１０２）に対して異なる方向（１１２，１２２，１３２）に前記シーンを撮像するために配置される、中央カメラ（１１０）、第１の側方カメラ（１２０）、および第２の側方カメラ（１３０）を備え、前記第１の側方カメラ（１２０）および前記第２の側方カメラ（１３０）は前記中央カメラ（１１０）の対向する側方面上に配置され、前記中央カメラ（１１０）、前記第１の側方カメラ（１２０）、および前記第２の側方カメラ（１３０）はそれぞれ、レンズ組み立て体（１１４，１２４，１３４）および画像センサ（１１６，１２６，１３６）を備える撮像システムを有し；
   パノラマ撮像のための傾斜可能システム（１０）が前記回転軸（１０２）の周りに傾斜することを可能にする傾斜機構（１４０）；および、
   前記シーンのパノラマ画像であって、仮想水平線を有する、パノラマ画像を形成するために、前記中央カメラ（１１０）、前記第１の側方カメラ（１２０）、および前記第２の側方カメラ（１３０）によって取り込まれる画像（３１０，３２０，３３０）を共にスティッチングするように構成されるスティッチング機能（１５２）を備え、パノラマ撮像のための傾斜可能システム（１０）が傾斜すると、前記シーン内で前記パノラマ画像の前記仮想水平線の位置を維持するように構成される画像処理ユニット（１５０）；
   を備え、
   前記第１および第２の側方カメラ（１２０，１３０）の撮像システムは前記中央カメラ（１１０）の撮像システムより、前記回転軸（１０２）に垂直な方向（１０４）に大きい視野（２０４）を有する、パノラマ撮像のための傾斜可能システム（１０）。
2. 前記第１および第２の側方カメラ（１２０，１３０）の前記レンズ組み立て体（１２４，１３４）は、前記中央カメラ（１１０）の前記レンズ組み立て体（１１４）より大きい視野（２０４）を提供するように構成される、請求項１に記載のパノラマ撮像のための傾斜可能システム（１０）。
3. 前記第１および第２の側方カメラ（１２０，１３０）の前記レンズ組み立て体（１２４，１３４）のズーム設定は、前記中央カメラ（１１０）の前記レンズ組み立て体（１１４）のズーム設定より大きい視野（２０４）を提供するように構成される、請求項１または２に記載のパノラマ撮像のための傾斜可能システム（１０）。
4. 前記第１および第２の側方カメラ（１２０，１３０）の前記レンズ組み立て体（１２４，１３４）の前記ズーム設定を制御するように構成されるコントローラ（１６０）をさらに備え、前記第１および第２の側方カメラ（１２０，１３０）の前記レンズ組み立て体（１２４，１３４）の前記ズーム設定は、パノラマ撮像のための傾斜可能システム（１０）の傾斜に基づく、請求項３に記載のパノラマ撮像のための傾斜可能システム（１０）。
5. パノラマ撮像のための傾斜可能システム（１０）の前記傾斜を決定するように構成されるジャイロスコープ（１７０）をさらに備える、請求項１から４のいずれか一項に記載のパノラマ撮像のための傾斜可能システム（１０）。
6. 前記第１の側方カメラ（１２０）および前記第２の側方カメラ（１３０）の前記画像センサ（１２６，１３６）は、前記中央カメラ（１１０）の前記画像センサ（１２６，１３６）より、前記回転軸（１０２）に垂直な方向（１０４）に大きい延長部を有して、前記回転軸（１０２）に垂直な前記方向（１０４）により大きい視野（２０４）を提供する、請求項１から５のいずれか一項に記載のパノラマ撮像のための傾斜可能システム（１０）。
7. 前記中央カメラ（１１０）、前記第１の側方カメラ（１２０）、および前記第２の側方カメラ（１３０）の前記画像センサ（１１６，１２６，１３６）は長方形であり、前記第１および第２の側方カメラ（１２０，１３０）の前記画像センサ（１２６，１３６）は、前記画像センサ（１２６，１３６）の長辺が前記回転軸（１０２）に対して或る角度にある状態で配向し、前記中央カメラ（１１０）の前記画像センサ（１１６）は、前記画像センサ（１１６）の長辺が前記回転軸（１０２）に平行である状態で配向し、前記回転軸（１０２）に垂直な前記方向（１０４）により大きい視野（２０４）を提供する、請求項６に記載のパノラマ撮像のための傾斜可能システム（１０）。
8. 前記傾斜機構（１４０）は傾斜モーター（１４２）を備える、請求項１から７のいずれか一項に記載のパノラマ撮像のための傾斜可能システム（１０）。
9. 前記第１の側方カメラ（１２０）によって描写される前記シーンの一部分は、前記中央カメラ（１１０）によって描写される前記シーンの第１の部分（３１２）に部分的にオーバーラップし、前記第２の側方カメラ（１３０）によって描写される前記シーンの一部分は、前記中央カメラ（１１０）によって描写される前記シーンの第２の部分（３１４）に部分的にオーバーラップする、請求項１から８のいずれか一項に記載のパノラマ撮像のための傾斜可能システム（１０）。
10. 前記画像処理ユニット（１５０）は、
    中央画像（３１０）、第１の側方画像（３２０）、および第２の側方画像（３３０）内の仮想水平線に関係するフィーチャ（３０２）を認識するように構成されるフィーチャ認識機能（１５４）と；
    前記中央画像（３１０）、前記第１の側方画像（３２０）、および前記第２の側方画像（３３０）の画像データを空間的に変形するように構成される画像データ変形機能（１５６）であって、前記空間的に変形することは前記仮想水平線の位置に基づく、画像データ変形機能（１５６）と；
    前記中央画像（３１０）内の前記仮想水平線に関係するフィーチャ（３０２）を前記第１および第２の側方画像（３２０，３３０）内の前記仮想水平線に関係するフィーチャ（３０２）に整列させるように構成される整列機能（１５８）と
    をさらに備える、請求項１から９のいずれか一項に記載のパノラマ撮像のための傾斜可能システム（１０）。
11. 前記画像データ変形機能（１５６）において前記空間的に変形することは、前記傾斜可能システム（１０）の傾斜にさらに基づく、請求項１０に記載のパノラマ撮像のための傾斜可能システム（１０）。
12. 前記画像データ変形機能（１５６）において前記空間的に変形することは、パノラマ撮像のための傾斜可能システム（１０）のモデルにさらに基づく、請求項１０または１１に記載のパノラマ撮像のための傾斜可能システム（１０）。
13. 前記画像処理ユニット（１５０）は、前記パノラマ画像を長方形形状になるようにクロッピングするように構成されるクロッピング機能（１５９）をさらに備える、請求項１１または１２に記載のパノラマ撮像のための傾斜可能システム（１０）。
14. 前記回転軸（１０２）に対して異なる方向に前記シーンを撮像するために配置される第３の側方カメラおよび第４の側方カメラをさらに備え、前記第３の側方カメラおよび前記第４の側方カメラは前記第１の側方カメラ（１２０）および前記第２の側方カメラ（１３０）の対向する側方側に配置され、前記第３の側方カメラおよび前記第４の側方カメラはそれぞれ、レンズ組み立て体および画像センサを備える撮像システムを有し；
    前記スティッチング機能（１５２）は、前記シーンのパノラマ画像を形成するために、前記中央カメラ（１１０）、前記第１の側方カメラ（１２０）、前記第２の側方カメラ（１３０）、前記第３の側方カメラ、および前記第４の側方カメラによって取り込まれる画像（３１０，３２０，３３０）を共にスティッチングするようにさらに構成され；
    前記第３および第４の側方カメラの撮像システムは、前記第１および第２の側方カメラ（１２０，１３０）の撮像システムより、前記回転軸（１０２）に垂直な方向（１０４）に大きい視野（２０４）を有する、請求項１１から１３のいずれか一項に記載のパノラマ撮像のための傾斜可能システム（１０）。
15. 前記回転軸（１０２）に対して或る方向に前記シーンを撮像するために配置されるさらなる中央カメラを更に備え、前記さらなる中央カメラは前記中央カメラ（１１０）の側方側に配置され、前記第１の側方カメラ（１２０）および前記第２の側方カメラ（１３０）は前記中央カメラ（１１０）および前記さらなる中央カメラの対向する側方側に配置され、前記さらなる中央カメラは、レンズ組み立て体および画像センサを備える撮像システムを有し；
    前記スティッチング機能（１５２）は、前記シーンのパノラマ画像を形成するために、前記中央カメラ（１１０）、前記さらなる中央カメラ、および前記側方カメラ（１２０，１３０）によって取り込まれる画像（３１０，３２０，３３０）を共にスティッチングするようにさらに構成される、請求項１１から１４のいずれか一項に記載のパノラマ撮像のための傾斜可能システム（１０）。

Images