JP7166390B2 - デジタル画像を整列させること - Google Patents

Description

本発明は、デジタル画像を整列させるための方法に関する。本発明は、デジタル画像を整列させるように構成されるデジタルカメラにさらに関する。

パノラマ撮像は、描写されるシーンの拡大視野を有する画像を生成するためのよく知られている技法である。この技法において、カメラによって取り込まれる複数の画像は、結合されスティッチングされて、単一パノラマ画像になる。

シーンのパノラマ撮像における一般的な問題は視差（ｐａｒａｌｌａｘ）に関連する。シーンは、異なる位置および／または方向からカメラによって通常描写され、それは、異なる画像においてオブジェクトの位置の明らかなシフトとして現れる。複数の画像を結合して、パノラマ画像にするときの手法は、或る距離における、例えば、シーン内の関心エリアまでの距離における視差を最小にすることであるとすることができる。これは、複数の画像間の位置ずれが、シーン内のこのエリアについて低減されることを可能にする。しかしながら、シーンは、典型的には３次元であるため、視差がそれについて最小化されない、他の距離における特徴部を含む場合もある。これは、これらの距離について複数の画像間の位置ずれをもたらす場合があり、それは、次に、パノラマ画像が品質に疑問があることをもたらす場合がある。例えば、パノラマ画像が、この技法の目標である単一カメラの代わりに、複数のカメラを使用して取り込まれることがユーザーにとって明らかである場合がある。この効果は、パノラマ画像を生成するカメラにより近いオブジェクトについて見ることができる。例えば、カメラに近い直線は、典型的には、パノラマ画像内で位置ずれする場合があり、それにより、パノラマ画像の品質を低下させる。パノラマ画像における位置ずれは、パノラマ画像が、例えば、オブジェクト検出、画像コンテンツ分析、または他の自動画像処理アルゴリズムのために使用される場合に問題となる場合もある。

当技術分野における上記で識別された欠点および不利益の１つまたは複数を単独でまたは任意の組み合わせで軽減し、緩和し、またはなくすことが目的である。

第１の態様によれば、デジタル画像を整列させるための方法が提供される。方法は、シーンの第１の領域を描写する第１のデジタル画像およびシーンの第２の領域を描写する第２のデジタル画像を含むデジタル画像を受信することであって、第１および第２の領域は、第１の方向に沿ってオーバーラップし変位する、受信すること；変換を使用してデジタル画像を整列させることであって、第１および第２のデジタル画像はオーバーラップする、整列させること；第１および第２のデジタル画像の間のオーバーラップについての視差値を決定することであって、オーバーラップについての各視差値は、第１のデジタル画像内のピクセルのブロックと、第２のデジタル画像内のピクセルの整合ブロックとの間の、第１の方向に垂直である第２の方向に沿う相対変位を示す、決定すること；第１のデジタル画像内のピクセルのブロックであって、第２の方向に沿って同じ位置を有し、第１の所定の閾値より低い変動性を示しかつ第２の所定の閾値より大きい平均を示す視差値の分布を有する、第１のデジタル画像内のピクセルのブロックを識別することによって、デジタル画像間の位置ずれを識別すること；第１のデジタル画像内のピクセルの識別されたブロックおよび第２のデジタル画像内のピクセルのそれらの整合ブロックについて変換を調整すること；および、識別された位置ずれを補償するために、調整された変換を使用してデジタル画像を再整列させることを含む。

高い平均視差を一貫して示す行または列（シーン内の第１および第２の領域の間の変位方向に依存する）が位置ずれする場合があることが見出された。そのため、デジタル画像間の位置ずれは、視差値が、それについて（第１の所定値に対して）小さい程度に変動しかつ（第２の所定値に対して）高い平均値を有する、第１のデジタル画像内のピクセルの行／列として識別することができる。正しく整列した行／列は、デジタル画像のピクセルの整合ブロックが、デジタル画像間のオーバーラップ内で（第１および第２の方向に沿って）実質的に同じ位置を有することができることを示す低い平均視差を有することができる。さらに、（例えば、第１の所定値に対して）大きい程度に同様に変動する高い平均視差を示す行／列は、深度が変動する（カメラからの距離の変動）シーン内の特徴部に対応することができ、したがって、そのような行／列は、正しく整列することができる。それにより、デジタル画像間の位置ずれを識別し、それらを補償することによって、描写される実際のシーンとより合致するシーンの再生が許容される。さらに、デジタル画像を再整列させることは、デジタル画像の画像処理（例えば、オブジェクト検出）の向上を可能にすることができる。

表現「視差値（ｄｉｓｐａｒｉｔｙ ｖａｌｕｅ）」は、ピクセルのブロックおよびピクセルのその整合ブロックが、２つのデジタル画像間でシフトする程度および方向を示す値として解釈されるべきである。

表現「ピクセルのブロック（ｂｌｏｃｋ ｏｆ ｐｉｘｅｌｓ）」は、デジタル画像の１つまたは複数のピクセルとして解釈されるべきである。したがって、ピクセルのブロックは、デジタル画像の単一ピクセルまたは複数ピクセル（例えば、マクロブロック）であるとすることができる。ピクセルのブロックが、視差値を決定するために使用されるアルゴリズムに基づいて決定することができることが理解される。例えば、ピクセルのブロックは、視差値がピクセルレベルに関して決定される場合、単一ピクセルであるとすることができる。

方法は、再整列したデジタル画像をスティッチングすることであって、それにより、スティッチングされたデジタル画像を形成する、スティッチングすることをさらに含むことができる。

それにより、実際のシーンとより合致するシーンを描写するスティッチングされたデジタル画像を許容することができる。

第１のデジタル画像内のピクセルの識別されたブロックおよび第２のデジタル画像内のそれらのピクセルの整合ブロックについての変換は、それらのピクセルのブロックに関連する視差値に基づいて調整することができる。

そのため、変換、したがって、デジタル画像の局所的調整を、許容することができる。これは、デジタル画像の他の部分（位置ずれしているとして識別されていないピクセルのブロック）に対する、調整された変換の効果を低減することができる。それにより、再整列したデジタル画像は、描写される実際のシーンにより合致したシーンの向上した表現を提供することができる。

変換は、或る投影距離における共通投影表面上へのデジタル画像の投影を含むことができ、変換を調整するステップは、第１のデジタル画像内のピクセルの識別されたブロックおよび第２のデジタル画像内のピクセルのそれらの整合ブロックについて投影距離を局所的に調整することであって、それにより、それらのピクセルのブロックについて第２の方向に沿う相対変位が低減される、局所的に調整することを含むことができる。

そのため、変換、したがって、デジタル画像の局所的調整を、許容することができる。これは、デジタル画像の他の部分（位置ずれしているとして識別されていないピクセルのブロック）に対する、調整された変換の効果を低減することができる。それにより、再整列したデジタル画像は、描写される実際のシーンにより合致したシーンの向上した表現を提供することができる。

デジタル画像を受信するステップは、デジタル画像を取り込むことを含むことができ、第１および第２のデジタル画像を同時に取り込むことができる。

それにより、第１および第２のデジタル画像はそれぞれ、同じ時点におけるシーンを描写する。したがって、移動オブジェクト（例えば、乗り物）は、実際のシーン内の同じ位置において第１および第２のデジタル画像内で描写することができる。これは、次に、デジタル画像間の改善された整列を可能にすることができる。

デジタル画像を受信するステップは、第１の画像センサを使用して第１のデジタル画像を取り込むこと、および、第２の画像センサを使用して第２のデジタル画像を取り込むことを含むことができる。

２つの画像センサを使用して第１および第２のデジタル画像を取り込むことによって、シーンのより多くの部分を、デジタル画像によって描写することができる。

変換は、第１および第２の画像センサの間の相対距離および／または第１および第２の画像センサの相対配向に基づくとすることができる。

それにより、デジタル画像を整列させるときに必要とされる計算資源のレベルを低減することができる、デジタル画像を整列させるための良好開始ポイントを提供することができる。

変換はホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）であるとすることができる。

ホモグラフィは、デジタル画像を整列させることに関連する計算資源のレベルを低減することができる、デジタル画像の良好な整列を提供することができる。デジタル画像を整列させるときに必要とされる計算資源のレベルをさらに低減することができるホモグラフィを予め決定することができることをさらに理解することができる。

第１の方向は水平方向に平行であるとすることができ、第２の方向は垂直方向に平行であるとすることができる。したがって、水平方向（例えば、シーン内の水平線）に沿って伸長する特徴部の位置ずれを、それにより、識別し、その後、補償することができる。

デジタル画像は、シーンの第３の領域を描写する第３のデジタル画像をさらに含むことができ、第１および第３の領域は、オーバーラップすることができ、第１の方向に沿って変位することができ；デジタル画像を整列させるステップ後に、第１および第３のデジタル画像はオーバーラップすることができ；視差値は、第１および第３のデジタル画像の間のさらなるオーバーラップについてさらに決定することができ、さらなるオーバーラップについての各視差値は、第１のデジタル画像内のピクセルのブロックと、第２または第３のデジタル画像内のピクセルの整合ブロックとの間の第２の方向に沿う相対変位を示すことができ；変換は、第１のデジタル画像内の識別されたブロックおよび第３のデジタル画像内のピクセルのそれらの整合ブロックについてさらに調整することができる。デジタル画像を受信するステップは、第３の画像センサを使用して第３の画像を取り込むことを含むことができる。

デジタル画像間の位置ずれを識別するときに２つ以上のオーバーラップを使用することによって、位置ずれを不正に識別するリスクを低減することができる。例えば、１つのオーバーラップ内の行／列についての視差分布は、位置ずれとして（不正に）識別することができる平均および変動性を、単独で示すことができ、さらなるオーバーラップを含むとき、行／列についての視差分布（ここでは、オーバーラップとさらなるオーバーラップの両方についての視差値を含む）は、位置ずれでないとして（正しく）識別することができる平均および変動性を示す。換言すれば、位置ずれが識別されるために、位置ずれは、オーバーラップとさらなるオーバーラップの両方において存在する必要があるとすることができる。それにより、位置ずれの識別を、改善することができ、次に、再整列したデジタル画像によって描写されるシーンが、実際のシーンにより合致することを可能にすることができる。

第３のデジタル画像をさらに含むデジタル画像によって、シーンの多くの部分を描写することができることをさらに理解することができる。

第２の態様によれば、デジタルカメラが提供される。デジタルカメラは、シーンの第１の領域を描写する第１のデジタル画像およびシーンの第２の領域を描写する第２のデジタル画像を含むデジタル画像を取り込むように構成される少なくとも１つの画像センサであって、シーンの第１および第２の領域は、第１の方向に沿ってオーバーラップし変位する、少なくとも１つの画像センサと、回路とを備え、回路は、第１および第２のデジタル画像がオーバーラップを有するように、変換を使用してデジタル画像を整列させるように構成される整列関数、第１および第２のデジタル画像の間のオーバーラップについての視差値を決定するように構成される視差関数であって、オーバーラップについての各視差値は、第１のデジタル画像内のピクセルのブロックと、第２のデジタル画像内のピクセルの整合ブロックとの間の、第１の方向に垂直である第２の方向に沿う相対変位を示す、視差関数、第１のデジタル画像内のピクセルのブロックであって、第２の方向に沿って同じ位置を有し、第１の所定の閾値より低い変動性を示しかつ第２の所定の閾値より大きい平均を示す視差値の分布を有する、第１のデジタル画像内のピクセルのブロックを識別することによって、デジタル画像間の位置ずれを識別するように構成される位置ずれ関数、第１のデジタル画像内のピクセルの識別されたブロックおよび第２のデジタル画像内のピクセルのそれらの整合ブロックについて変換を調整するように構成される調整関数、および、識別された位置ずれを補償するために、調整された変換を使用してデジタル画像を再整列させるように構成される再整列関数を実行するように構成される。

第１の態様の上記で述べた特徴は、適用可能である場合、この第２の態様にも適用される。不当な反復を回避するために、参照が上記に対して行われる。

回路は、再整列したデジタル画像をスティッチングするように構成されるスティッチング関数であって、それにより、スティッチングされたデジタル画像を形成する、スティッチング関数を実行するようにさらに構成することができる。

整列関数は、共通投影表面上にデジタル画像を投影するようにさらに構成することができ、調整関数は、第１のデジタル画像内のピクセルの識別されたブロックおよび第２のデジタル画像内のピクセルのそれらの整合ブロックについて投影距離を局所的に調整するようにさらに構成することができる。

少なくとも１つの画像センサは、第１のデジタル画像を取り込むように構成される第１の画像センサおよび第２のデジタル画像を取り込むように構成される第２の画像センサを備えることができる。

第３の態様によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、プログラムコード部分を含み、プログラムコード部分は、処理能力を有するデバイス上で実行されると、第１の態様による方法を実施する。

第１の態様および第２の態様の上記で述べた特徴は、適用可能である場合、この第３の態様にも適用される。不当な反復を回避するために、参照が上記に対して行われる。

本開示の適用性のさらなる範囲は、以下で示す詳細な説明から明らかになるであろう。しかしながら、本発明の概念の範囲内の種々の変更および修正が、この詳細な説明から当業者に明らかになるため、詳細な説明および特定の例が、本発明の概念の好ましい変形を示しながら、例証としてのみ示されることが理解されるべきである。

したがって、本発明の概念が、述べる方法の特定のステップおよび述べるシステムの特定のコンポーネント部品に限定されず、なぜならば、そのような方法およびシステムが変動する場合があるからであることが理解される。本明細書で使用される用語が特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。本明細書および添付特許請求の範囲で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、別段に文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する参照は、幾つかのデバイスおよび同様なものを含むことができる。さらに、語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および同様な語は、他の要素またはステップを排除しない。

本発明の概念の上記のおよび他の態様は、ここで、本発明の変形を示す添付図面を参照してより詳細に述べられる。図は、本発明を特定の変形に限定すると考えられるべきでない；代わりに、図は、本発明の概念を説明し理解するために使用される。

図に示すように、層および領域のサイズは、例証のために誇張され、したがって、本発明の概念の変形の全体的な構造を示すために提供される。同様の参照符号は全体と通して同様の要素を指す。

デジタルカメラがシーンを描写する例のシナリオを示す図である。 図１のデジタルカメラによって取り込まれるシーンの第１および第２のデジタル画像を示す図である。 両方の画像が変換を使用して整列したときの、図２Ａの第１および第２のデジタル画像を示す図である。 両方の画像が、調整された変換を使用して再整列したときの、図２Ｂの第１および第２のデジタル画像を示す図である。 デジタル画像を整列させるための方法のフローチャートである。

本発明は、ここで、現在のところ好ましい本発明の概念の変形が示される添付図面を参照して以降でより完全に述べられるであろう。しかしながら、本発明の概念は、多くの異なる形態で具現化することができ、本明細書で述べる変形に限定されるものと解釈されるべきでない；むしろ、これらの変形は、徹底さおよび完全さ（ｔｈｏｒｏｕｇｈｎｅｓｓ ａｎｄ ｃｏｍｐｌｅｔｅｎｅｓｓ）のために、また、本発明の概念の範囲を当業者に完全に伝えるために提供される。

以下において、デジタル画像を整列させるための方法３０が、図１および図２Ａ～２Ｃに示す例のシナリオならびに図３に示すフローチャートを参照して述べられる。図１において、デジタルカメラ１０は、シーン２０のパノラマ画像を生成するために配置される。図１のデジタルカメラ１０は、第１の画像センサ１０４ａおよび第２の画像センサ１０４ｂを備える。本発明の概念が、単一画像センサまたは３つ以上の画像センサを備えるデジタルカメラに適用することができ、ただし、デジタルカメラが、第１の方向に沿って（例えば、水平方向に沿って）変位する少なくとも２つのデジタル画像を取り込むことができる場合に限る（ｐｒｏｖｉｄｅｄ ｔｈａｔ）ことが理解される。これは、例えば、シーンの異なる領域を描写するように構成される２つ以上の画像センサを備えるカメラを使用することによって達成することができる。代替的に、シーンの異なる領域を描写するように構成される単一画像センサを備えるカメラを使用することができる。そのようなカメラは、例えば、それ自身の軸の周りに回転する、および／または、単一画像センサ上にシーンの異なる部分を結像するように構成される結像光学部品（ｉｍａｇｉｎｇ ｏｐｔｉｃｓ）（例えば、カメラレンズ）を備えることができる。本発明の概念がデジタルカメラを参照して述べられることになる場合でも、デジタルカメラを、結像能力なしのデバイス、例えば、コンピュータにおいて実装することができることがさらに理解される。そのような場合、コンピュータは、異なるデバイス、例えば、カメラおよび／またはコンピュータ可読記憶デバイスからデジタル画像を受信するＳ３００ことができる。

ここで、デジタルカメラ１０およびデジタルカメラ１０によって描写されるシーン２０を示す図１を参照する。図１に示すシーン２０は、第１の建物２１０、第２の建物２２０、および壁２３０を含む。第１の建物２１０および第２の建物２２０は、デジタルカメラ１０から方向Ｚに沿って壁２３０より遠い距離に位置決めされる。図１に示すシーン２０は、座標系であって、カメラ１０の位置が座標系の原点に対応することができる、座標系によって示すことができる。第１および第２の画像センサ１０２ａ、１０２ｂはそれぞれ、座標系の原点に対するそれぞれの位置に対応することができるシーン２０内の位置を有する。さらに、第１の建物２１０、第２の建物２２０、および壁２３０はそれぞれ、座標系の原点に対するそれぞれの位置に対応することができるシーン２０内の位置を有する。

図１に示すように、第１のカメラレンズ１０４ａは、第１の画像センサ１０２ａ上にシーン２０の第１の領域２００ａを結像するように構成され、第２のカメラレンズ１０４ｂは、第２の画像センサ１０２ｂ上にシーン２０の第２の領域２００ｂを結像するように構成される。この例において、第１および第２の画像センサ１０２ａ、１０２ｂは、異なる方向からシーン２０を描写し、したがって、第１および第２の領域２００ａ、２００ｂは、水平方向Ｘに沿って変位する。水平方向Ｘは距離Ｚに垂直であるとすることができる。図１にさらに見ることができるように、第１の画像センサ１０２ａに関連する視野（ＦＯＶ：ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ）は、第２の画像センサ１０２ｂに関連するＦＯＶに部分的にオーバーラップし、したがって、第１の領域２００ａおよび第２の領域２００ｂは、オーバーラップ部分２０２を有する。第１の画像センサ１０２ａは、シーン２０の第１の領域２００ａを描写する第１のデジタル画像４０ａを取り込むＳ３２０ように構成され、第２の画像センサ１０２ｂは、シーン２０の第２の領域２００ｂを描写する第２のデジタル画像４０ｂを取り込むＳ３２２ように構成される。第１および第２の画像センサ１０２ａ、１０２ｂは、デジタル画像を同時に取り込むＳ３１８ように構成することができる。図１に示すように、デジタルカメラ１０は回路１１０をさらに備えることができる。回路１１０は、デジタルカメラ１０の１つまたは複数の関数を制御するように構成される。回路１１０は非一時的コンピュータ可読記憶媒体１１２を備えることができる。回路１１０は処理能力１１４（例えば、処理ユニット）を備えることができる。非一時的コンピュータ可読記憶媒体１１２は、プログラムコード部分を記憶するように構成することができ、プログラムコード部分は、回路によって実行されると、デジタルカメラ１０の１つまたは複数の関数を実施する。特に、非一時的コンピュータ可読記憶媒体１１２は、この例において後に述べることになる１つまたは複数の関数を記憶することができる。デジタルカメラ１０の関数の１つまたは複数は、ハードウェアおよび／またはソフトウェアで実装することができる。非一時的コンピュータ可読記憶媒体１１２は、デジタルカメラ１０によって取り込まれるデジタル画像および／または回路１１０によって実行される任意の関数の結果を記憶するようにさらに構成することができる。回路１１０はデータバス（図示せず）をさらに備えることができる。回路１１０は、データバスを介して内部で通信するように構成することができる。回路１１０は、データバスを介して、第１の画像センサ１０２ａ、第２の画像センサ１０２ｂ、第１のカメラレンズ１０４ａ、および第２のカメラレンズ１０４ｂの１つまたは複数と通信するようにさらに構成することができる。

カメラ１０によって取り込まれるシーン１０の第１および第２のデジタル画像４０ａ、４０ｂは図２Ａに示される。第１のデジタル画像４０ａにおいて、第１の建物２１０の部分および壁２３０が見える。第２のデジタル画像４０ｂにおいて、第１の建物２１０の部分、第２の建物２２０、および壁２３０が見える。第１および第２のデジタル画像４０ａ、４０ｂは、異なる方向からシーン２０を撮像するため、歪んで見える（例えば、水平線が傾斜して見える）。シーン２０のパノラマ画像は、第１のデジタル画像４０ａと第２のデジタル画像４０ｂをスティッチングすることによって生成することができる。実際のシーン２０により合致したパノラマ画像を生成するために、第１および第２のデジタル画像４０ａ、４０ｂは、変換を使用して整列されるＳ３０２。この例の場合のように、変換は、第１および第２の画像センサ１０２ａ、１０２ｂの間の相対距離に基づくとすることができる。変換は、第１および第２の画像センサ１０２ａ、１０２ｂの相対配向にさらに基づくとすることができる。第１および第２の画像センサ１０２ａ、１０２ｂの相対位置および相対配向を知ることによって、第１および第２のデジタル画像４０ａ、４０ｂが互いにどのように関連するかを決定することが可能であるとすることができる。例えば、第１および第２のデジタル画像４０ａ、４０ｂが、デジタルカメラ１０からの（座標系内の）或る距離においてどの程度オーバーラップするか決定することが可能であるとすることができる。整列は、回路１１０が実行するように構成される整列関数１２０によって実装される。

図２Ｂは、変換を使用して整列されるときの、第１および第２のデジタル画像４０ａ、４０ｂを示す。図２Ｂに示すように、第１および第２のデジタル画像４０ａ、４０ｂはオーバーラップし、このオーバーラップ４０２は、シーン２０の第１および第２の領域２００ａ、２００ｂの間のオーバーラップ２０２に対応する。この特定の例において、変換は、デジタル画像４０ａ、４０ｂが変換を使用して整列されるときに、第１および第２の建物２１０、２２０が無歪状態で見えるように構成される。そのような変換は、デジタル画像４０ａ、４０ｂを共通投影表面上に投影することを含むことができる。共通投影表面は、上記で述べた座標系内に位置決めされた算術的平面であるとすることができ、その平面上にデジタル画像４０ａ、４０ｂが投影される。共通投影表面は、図２Ｂの例に示される平坦表面であるとすることができる。しかしながら、共通投影表面が異なる形状を有することができ、共通投影表面が、例えば、円柱表面または球表面であるとすることができることを当業者は認識する。当技術分野で知られているように、使用することができる多数の異なる投影表面が存在し、どの投影表面が選択されるかを、画像センサ１０２ａ、１０２ｂの位置および／または方向ならびにそれらの関連するＦＯＶによって決定することができる。共通投影表面は、カメラ１０とシーン２０内の第１および第２の建物２１０、２２０との間のＺに沿う距離に対応する距離であって、Ｚに沿うこの距離において、整列したデジタル画像５００における位置ずれ（例えば、視差効果による）が、少なくとも減少するかまたは好ましくは最小になる、距離に座標系内で位置決めすることができる。座標系内の共通投影表面の位置は、例えば、デジタルカメラ１０の設置中に手動で設定する、および／または、カメラ１０の使用中に動的に設定することができる。座標系内の共通投影表面の位置を、カメラ１０のユーザーが設定する、および／または、カメラ１０内にハードコーディングすることができる。回路１１０は、解析関数を実行するようにさらに構成することができる。解析関数は、シーン２０内のオブジェクトおよびカメラ１０と検出されるオブジェクトとの間の距離を検出するように構成することができ、整列関数１２０は、座標系内の原点（すなわち、カメラ１０に対応する座標系内の位置）と座標系内の共通投影表面との間の距離が、カメラ１０とシーン２０内の検出されるオブジェクトとの間のＺに沿う距離に対応するように、座標系内の共通投影表面の位置を設定するように構成することができる。変換は、例えば、ホモグラフィであるとすることができる。ホモグラフィは、第１のデジタル画像４０ａ内のピクセルのブロックの位置と、第２のデジタル画像４０ｂ内のピクセルの整合ブロックの位置との間の関係の情報（例えば、ベクトル場）を含むことができる。しかしながら、壁２３０が、共通投影表面に比べてカメラ１０からＺに沿う短い距離になるため、壁２３０の部分２３２は、第１のデジタル画像４０ａと第２のデジタル画像４０ｂとの間のオーバーラップ４０２内で（例えば、視差によって）位置ずれする。

位置ずれを識別するＳ３０６ために、第１のデジタル画像４０ａと第２のデジタル画像４０ｂとの間のオーバーラップ４０２に対応する視差値が決定されるＳ３０４。図２Ｂに示す例において、位置ずれは、位置ずれした水平線（すなわち。壁２３０の部分２３２の水平特徴部）である。オーバーラップ４０２についての各視差値は、第１のデジタル画像４０ａ内のピクセルのブロックの位置と、第２のデジタル画像４０ｂ内のピクセルの整合ブロックの位置との間の第２の方向Ｙに沿う相対変位を示す。オーバーラップ４０２についての視差値は、当技術分野で知られている技法のうちの１つの技法を使用して決定することができる。オーバーラップ４０２についての視差値は、第１のデジタル画像４０ａ内のピクセルのブロックを第２のデジタル画像４０ｂ内のピクセルのブロックと比較することによって決定することができる。例えば、第１のデジタル画像４０ａ内のピクセルのブロックについての最良一致である、第２の方向Ｙに沿う第２のデジタル画像４０ｂ内のピクセルのブロック（すなわち、第２のデジタル画像４０ｂ内で第１の方向Ｘに沿って、第１のデジタル画像４０ａ内のピクセルのブロックと同じ位置を有する）を決定することができる。ピクセルの２つのブロックの比較は、ブロック内のピクセル値間の差分絶対値の和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）を計算することを含むことができる。ピクセルの最良一致ブロックは、最も小さいＳＡＤに関連するピクセルのブロックであるとすることができる。視差値は、その後、第１のデジタル画像４０ａに対するピクセルのブロックの第２の方向Ｙに沿う位置と、第２のデジタル画像４０ｂに対するピクセルの整合ブロックの第２の方向Ｙに沿う位置との差として決定することができる。例えば、図２Ｂに示すオーバーラップ４０２に見られるように、第１の建物２１０に関連する特徴部は、第２の方向Ｙに沿って小さい（またはさらに非存在の）変位を有する。第１の建物２１０の特定の特徴部に対応する第１のデジタル画像４０ａに対するピクセルのブロックおよび第２のデジタル画像４０ｂ内のピクセルの整合ブロック（すなわち、第１の建物２１０の同じ特定の特徴部に対応する）は、第２の方向Ｙに沿って小さい（またはさらに非存在の）程度に変位し、したがって、関連する視差値は小さい。しかしながら、図２Ｂに見られるように、壁２３０に関連する特徴部２３２は、第２の方向Ｙに沿ってより大きい変位を有する。壁２３０の特定の特徴部に対応する第１のデジタル画像４０ａ内のピクセルのブロックおよび第２のデジタル画像４０ｂ内のピクセルの整合ブロック（すなわち、壁２３０の同じ特定の特徴部に対応する）は、第２の方向Ｙに沿って大きい程度に変位し、したがって、関連する視差値は大きい。視差値は、例えば、第１のデジタル画像４０ａと第２のデジタル画像４０ｂとの間で第２の方向Ｙに沿って特徴部が変位するピクセルの数またはピクセルのブロックであるとすることができる。第１および第２のデジタル画像４０ａ、４０ｂの間のオーバーラップ４０２についての視差値は、視差行列によって示すことができる。視差行列の各要素は、視差行列内の行列要素の位置に対応する第１のデジタル画像４０ａ内の位置について決定された視差値であるとすることができる。視差値の決定は、回路１１０が実行するように構成される視差関数１２２によって実装される。

第１および第２のデジタル画像４０ａ、４０ｂの間の位置ずれは、第１のデジタル画像４０ａ内のピクセルのブロックであって、第２の方向Ｙに沿って同じ位置を有し、第１の所定の閾値より低い変動性を示しかつ第２の所定の閾値より大きい平均を示す視差値の分布を有する、第１のデジタル画像４０ａ内のピクセルのブロックを識別するＳ３０８ことによって、識別されるＳ３０６。この例において、第２の方向Ｙに沿って同じ位置を有する第１のデジタル画像４０ａ内のピクセルのブロックは、第１のデジタル画像４０ａ内のピクセルのブロックの行である。第１のデジタル画像４０ａ内の行について、関連する視差値が分配され、これらの視差値の平均および変動性（例えば、標準偏差等）を決定することができる。第１のデジタル画像４０ａ内の行は、変動性が第１の所定値より低くかつ平均が第２の所定値より大きい場合、位置ずれとして識別される。例えば、位置ずれを、平均と変動性との間の比が第３の所定値より大きい場合に識別することができる。換言すれば、第１のデジタル画像４０ａ内の行は、関連する視差値が、比較的高く、第１および第２の所定の閾値と比較して比較的低い程度に変動する場合に位置ずれとして識別される。位置ずれした線の場合、図２Ｂの例に示すように、視差値は、典型的には、大きく、低い変動性を示すことになる。こうして、第１および第２のデジタル画像４０ａ、４０ｂの間のオーバーラップ４０２内の位置ずれを識別することが可能であるとすることができる。さらに、オーバーラップ４０２内の位置ずれを、カメラ１０からの所定の最大距離より短い距離ついて識別することができるだけである。位置ずれの識別は、回路１１０が実行するように構成される位置ずれ関数１２４によって実装される。この特定の場合、壁２３０の部分２３２に対応する第１のデジタル画像４０ａの行は、位置ずれとして識別される。

変換は、識別された位置ずれに関連するピクセルのブロック（すなわち、第１のデジタル画像４０ａ内のピクセルの識別されたブロックおよび第２のデジタル画像４０ｂ内のピクセルのそれらの整合ブロック）について調整されるＳ３１０。ピクセルの識別されたブロックについての変換は、ピクセルのそれらのブロックに関連する視差値に基づいて調整することができる。例えば、変換は、第１のデジタル画像４０ａ内のピクセルの識別されたブロックおよび第２のデジタル画像内のピクセルのそれらの整合ブロックについて投影距離を局所的に調整するＳ３１６ことによって調整することができる。上記で論じたように、視差効果が、共通投影表面までの距離によって、影響を受ける、特に、減少する場合がある。こうして、ピクセルのそれらのブロックについての第２の方向に沿う相対変位が減少する（すなわち、第１および第２のデジタル画像４０ａ、４０ｂの間の位置ずれを減少させる）ことができる。変換の調整は、第１のデジタル画像４０ａ内のピクセルの識別されたブロックに関連する平均視差値に基づくとすることができ、それにより、高い平均視差値についての調整は、低い平均視差値の場合より比較的大きい。平均視差値に基づく変換の調整は、例えば、ルックアップテーブルによって予め決定することができる。ルックアップテーブは、平均視差値を変換の調整と関連付ける情報を含むことができる。例えば、ルックアップテーブルは、平均視差値を、共通投影表面が調整されるべきである距離と関連付ける情報を含むことができる。代替的にまたは付加的に、変換は反復的に調整することができ、各反復について、更新された視差値を決定することができる。変換は、更新された視差値の平均が所定の閾値範囲内に入るまで反復的に調整することができる。変換がホモグラフィである場合、変換の調整は、識別された位置ずれに関連するピクセルのブロックについて、変換を記述するベクトル場を調整することを含むことができる。ベクトル場が調整される程度は、第１のデジタル画像４０ａ内のピクセルの識別されたブロックに関連する平均視差値に基づくとすることができ、それにより、高い平均視差値についての調整は、低い平均視差値の場合より比較的大きい。平均視差値に基づくベクトル場の調整は、例えば、ルックアップテーブルによって予め決定することができる。ルックアップテーブは、平均視差値をベクトル場の調整と関連付ける情報を含むことができる。代替的にまたは付加的に、ベクトル場は反復的に調整することができ、各反復について、更新された視差値を決定することができる。ベクトル場は、更新された視差値の平均が所定の閾値範囲内に入るまで反復的に調整することができる。変換の調整は、回路１１０が実行するように構成される調整関数１２６によって実装される。第１および第２のデジタル画像４０ａ、４０ｂは、識別された位置ずれを補償するために、調整された変換を使用して再整列されるＳ３１２。再整列は、回路１１０が実行するように構成される再整列関数１２８によって実装される。

図２Ｃは、調整された変換を使用して再整列された後の、図２Ｂの第１および第２のデジタル画像４０ａ、４０ｂを示す。図２Ｃに見られるように、位置ずれは、再整列したデジタル画像６００内で補償されており、実際のシーン２０により合致する結合式デジタル画像を可能にする。特に、オーバーラップ４０２内の壁２３０の部分２３２は、図２Ｂに示す整列したデジタル画像５００と比較して、図２Ｃの再整列したデジタル画像６００の場合、第２の方向Ｙに沿って低い程度に変位する。図２Ｃに示す再整列したデジタル画像６００を、スティッチングするＳ３１４ことができ、それにより、スティッチングされた画像を形成する。スティッチングは、回路１１０が実行するように構成されるスティッチング関数１３０によって実装される。スティッチングされた画像は、非一時的コンピュータ可読記憶媒体１１２上に記憶することができる。

位置ずれの識別は、３つ以上のデジタル画像が使用される場合にさらに向上することができることを理解することができる。例えば、シーン２０の第３の領域を描写する第３のデジタル画像を（例えば、第３の画像センサを備えるカメラによって）取り込むＳ３２４ことができ、第３の領域は、第１の領域２００ａとオーバーラップすることができ、水平方向Ｘに沿って変位することができる。デジタル画像を整列させた後、第１および第３のデジタル画像がオーバーラップすることができ、視差値を、第１および第３のデジタル画像の間のさらなるオーバーラップについてさらに決定することができる。さらなるオーバーラップについての各視差値は、第１のデジタル画像内のピクセルのブロックと第２または第３のデジタル画像内のピクセルの整合ブロックとの間の第２の方向Ｙに沿う相対変位を示すことができ、第１のデジタル画像内の識別されたブロックおよび第３のデジタル画像内のピクセルのそれらの整合ブロックについて、変換をさらに調整することができる。この場合、例えば、第１のデジタル画像４０ａ内の行に沿う位置ずれに関連するより多くのデータ（すなわち、視差値）が利用可能であるとすることができ、それが、位置ずれの改善された識別を可能にすることができることが認識される。特定の例として、第１のデジタル画像内の行であって、行が位置ずれしていることを、第１および第２のデジタル画像の間のオーバーラップについての関連する視差値の分布の平均および変動性が不正に示す、第１のデジタル画像内の行を考える。第３のデジタル画像を含むことによって、第１および第２のデジタル画像の間のオーバーラップについての、ならびに、第１および第３のデジタル画像の間のさらなるオーバーラップについての関連する視差値の分布の平均および変動性は、行が実際に整列していることを正しく示すことができる。

当業者は、本発明の概念が、上述した好ましい変形に決して限定されないことを認識する。逆に、多くの修正および変形が、添付特許請求項の範囲内で可能である。

例えば、本発明の概念は、水平方向に沿って変位する２つのデジタル画像を参照して述べられた。しかしながら、当業者は、本発明の概念が、デジタルカメラの他の構成に適合することができることを認識し、また、どのように適合することができるかを理解する。例えば、デジタル画像は、垂直方向、または、垂直方向と水平方向の組み合わせの方向に沿って変位することができる。

さらに、方法のステップは、特定の順序で実施されるように述べられる。しかしながら、特定のステップが述べた順序と異なる順序で実施することができることが理解される。特定のステップの１つまたは複数は、同時にさらに実施することができる。

さらに、図面、本開示、および添付特許請求の範囲の調査によって、開示する変形に対する変形を、特許請求される本発明を実施するときに当業者が理解し実施することができる。

Claims (15)

1. デジタル画像（４０ａ、４０ｂ）を整列させるためのコンピュータ実装式方法（３０）であって、
   シーン（２０）の第１の領域（２００ａ）を描写する第１のデジタル画像（４０ａ）および前記シーン（２０）の第２の領域（２００ｂ）を描写する第２のデジタル画像（４０ｂ）を含むデジタル画像（４０ａ、４０ｂ）を受信する（Ｓ３００）ことであって、前記第１および前記第２の領域（２００ａ、２００ｂ）は、第１の方向（Ｘ）に沿ってオーバーラップし変位する、デジタル画像（４０ａ、４０ｂ）を受信する（Ｓ３００）こと、
   変換を使用して前記デジタル画像（４０ａ、４０ｂ）を整列させる（Ｓ３０２）ことであって、前記第１および前記第２のデジタル画像（４０ａ、４０ｂ）はオーバーラップする、前記デジタル画像（４０ａ、４０ｂ）を整列させる（Ｓ３０２）こと、
   前記第１および前記第２のデジタル画像（４０ａ、４０ｂ）の間のオーバーラップ（４０２）についての視差値を決定する（Ｓ３０４）ことであって、前記オーバーラップ（４０２）についての各視差値は、前記第１のデジタル画像（４０ａ）内のピクセルのブロックと、前記第２のデジタル画像（４０ｂ）内のピクセルの整合ブロックとの間の、第１の方向（Ｘ）に垂直である第２の方向（Ｙ）に沿う相対変位を示す、視差値を決定する（Ｓ３０４）こと、
   前記第１のデジタル画像（４０ａ）内のピクセルのブロックであって、前記第２の方向（Ｙ）に沿って同じ位置を有し、第１の所定の閾値より低い変動性を示しかつ第２の所定の閾値より大きい平均を示す視差値の分布を有する、前記第１のデジタル画像（４０ａ）内のピクセルのブロックを識別する（Ｓ３０８）ことによって、前記デジタル画像（４０ａ、４０ｂ）間の位置ずれを識別する（Ｓ３０６）こと、
   前記第１のデジタル画像（４０ａ）内のピクセルの識別された前記ブロックおよび前記第２のデジタル画像（４０ｂ）内のピクセルの前記整合ブロックについて前記変換を調整する（Ｓ３１０）こと、および、
   識別された前記位置ずれを補償するために、調整された前記変換を使用して前記デジタル画像（４０ａ、４０ｂ）を再整列させる（Ｓ３１２）こと
   を含む、方法（３０）。
2. 再整列した前記デジタル画像（６００）をスティッチングし（Ｓ３１４）、それにより、スティッチングされたデジタル画像を形成することをさらに含む、請求項１に記載の方法（３０）。
3. 前記第１のデジタル画像（４０ａ）内のピクセルの識別された前記ブロックおよび前記第２のデジタル画像（４０ｂ）内のピクセルの前記整合ブロックについて、前記変換は、ピクセルの前記ブロックに関連する前記視差値に基づいて調整される、請求項１または２に記載の方法（３０）。
4. 前記変換は、或る投影距離における共通投影表面上への前記デジタル画像（４０ａ、４０ｂ）の投影を含み、
   前記変換を調整する（Ｓ３１０）ステップは、前記第１のデジタル画像（４０ａ）内のピクセルの識別された前記ブロックおよび前記第２のデジタル画像（４０ｂ）内のピクセルの前記整合ブロックについて前記投影距離を局所的に調整し（Ｓ３１６）、それにより、前記デジタル画像を再整列させるステップ後に、ピクセルの前記ブロックについて前記第２の方向（Ｙ）に沿って前記相対変位を低減することを含む、請求項１から３のいずれか一項に記載の方法（３０）。
5. 前記デジタル画像（４０ａ、４０ｂ）を受信する（Ｓ３００）ステップは、前記デジタル画像（４０ａ、４０ｂ）を取り込む（Ｓ３１８）ことを含み、前記第１および第２のデジタル画像（４０ａ、４０ｂ）は同時に取り込まれる、請求項１から４のいずれか一項に記載の方法（３０）。
6. 前記デジタル画像（４０ａ、４０ｂ）を受信する（Ｓ３００）ステップは、
   第１の画像センサ（１０２ａ）を使用して前記第１のデジタル画像（４０ａ）を取り込む（Ｓ３２０）こと、および、
   第２の画像センサ（１０２ｂ）を使用して前記第２のデジタル画像（４０ｂ）を取り込む（Ｓ３２２）こと
   を含む、請求項１から５のいずれか一項に記載の方法（３０）。
7. 前記変換は、前記第１および第２の画像センサ（１０２ａ、１０２ｂ）の間の相対距離および／または前記第１および第２の画像センサ（１０２ａ、１０２ｂ）の相対配向に基づく、請求項６に記載の方法（３０）。
8. 前記変換はホモグラフィである、請求項１から７のいずれか一項に記載の方法（３０）。
9. 前記第１の方向（Ｘ）は水平方向に平行であり、前記第２の方向（Ｙ）は垂直方向に平行である、請求項１から８のいずれか一項に記載の方法（３０）。
10. 前記デジタル画像（４０ａ、４０ｂ）は、前記シーン（２０）の第３の領域を描写する第３のデジタル画像をさらに含み、前記第１および第３の領域は、オーバーラップし、前記第１の方向（Ｘ）に沿って変位し、
    前記デジタル画像（４０ａ、４０ｂ）を整列させる（Ｓ３０２）ステップ後に、前記第１および第３のデジタル画像はオーバーラップし、
    前記視差値は、前記第１および第３のデジタル画像の間のさらなるオーバーラップについてさらに決定され、前記さらなるオーバーラップについての各視差値は、前記第１のデジタル画像内のピクセルのブロックと、前記第２または第３のデジタル画像内のピクセルの整合ブロックとの間の前記第２の方向（Ｙ）に沿う相対変位を示し、
    前記変換は、前記第１のデジタル画像内の識別された前記ブロックおよび前記第３のデジタル画像内のピクセルの前記整合ブロックについてさらに調整される、請求項１から９のいずれか一項に記載の方法（３０）。
11. デジタルカメラ（１０）であって、
    シーン（２０）の第１の領域（２００ａ）を描写する第１のデジタル画像（４０ａ）および前記シーン（２０）の第２の領域（２００ｂ）を描写する第２のデジタル画像（４０ｂ）を含むデジタル画像（４０ａ、４０ｂ）を取り込むように構成される少なくとも１つの画像センサ（１０２ａ、１０２ｂ）であって、前記シーン（２０）の前記第１および前記第２の領域（２００ａ、２００ｂ）は、第１の方向（Ｘ）に沿ってオーバーラップし（２０２）変位する、少なくとも１つの画像センサ（１０２ａ、１０２ｂ）と、
    回路（１１０）と
    を備え、前記回路は、
    前記第１および前記第２のデジタル画像（４０ａ、４０ｂ）がオーバーラップ（４０２）を有するように、変換を使用して前記デジタル画像（４０ａ、４０ｂ）を整列させるように構成される整列関数（１２０）、
    前記第１および前記第２のデジタル画像（４０ａ、４０ｂ）の間のオーバーラップ（４０２）についての視差値を決定するように構成される視差関数（１２２）であって、前記オーバーラップ（４０２）についての各視差値は、前記第１のデジタル画像（４０ａ）内のピクセルのブロックと、前記第２のデジタル画像（４０ｂ）内のピクセルの整合ブロックとの間の、前記第１の方向（Ｘ）に垂直である第２の方向（Ｙ）に沿う相対変位を示す、視差関数（１２２）、
    前記第１のデジタル画像（４０ａ）内のピクセルのブロックであって、前記第２の方向（Ｙ）に沿って同じ位置を有し、第１の所定の閾値より低い変動性を示しかつ第２の所定の閾値より大きい平均を示す視差値の分布を有する、前記第１のデジタル画像（４０ａ）内のピクセルのブロックを識別することによって、前記デジタル画像（４０ａ、４０ｂ）間の位置ずれを識別するように構成される位置ずれ関数（１２４）、
    前記第１のデジタル画像（４０ａ）内のピクセルの識別された前記ブロックおよび前記第２のデジタル画像（４０ｂ）内のピクセルの前記整合ブロックについて前記変換を調整するように構成される調整関数（１２６）、および、
    識別された前記位置ずれを補償するために、調整された前記変換を使用して前記デジタル画像（４０ａ、４０ｂ）を再整列させるように構成される再整列関数（１２８）
    を実行するように構成される、デジタルカメラ（１０）。
12. 前記回路（１１０）は、
    再整列した前記デジタル画像（６００）をスティッチングするように構成される、スティッチング関数（１３０）であって、それにより、スティッチングされたデジタル画像を形成する、スティッチング関数（１３０）
    を実行するようにさらに構成される、請求項１１に記載のデジタルカメラ（１０）。
13. 前記整列関数（１２０）は、共通投影表面上に前記デジタル画像（４０ａ、４０ｂ）を投影するようにさらに構成され、
    前記調整関数（１２６）は、前記第１のデジタル画像（４０ａ）内のピクセルの識別された前記ブロックおよび前記第２のデジタル画像（４０ｂ）内のピクセルの前記整合ブロックについて投影距離を局所的に調整するようにさらに構成され、それにより、前記デジタル画像の再整列後に、ピクセルの前記ブロックについて前記第２の方向（Ｙ）に沿って前記相対変位を低減する、請求項１１または１２に記載のデジタルカメラ（１０）。
14. 前記少なくとも１つの画像センサ（１０２ａ、１０２ｂ）は、前記第１のデジタル画像（４０ａ）を取り込むように構成される第１の画像センサ（１０２ａ）および前記第２のデジタル画像（４０ｂ）を取り込むように構成される第２の画像センサ（１０２ｂ）を備える、請求項１１から１３のいずれか一項に記載のデジタルカメラ（１０）。
15. プログラムコード部分を備える非一時的コンピュータ可読媒体であって、前記プログラムコード部分は、処理能力を有するデバイス上で実行されると、請求項１から１０のいずれか一項に記載の方法（３０）を前記デバイスに実施させる、非一時的コンピュータ可読媒体。

Images