JP5969992B2 - 携帯型装置でのステレオスコピック（３ｄ）のパノラマ生成 - Google Patents

Description

優先権

この出願は、２０１０年９月９日に提出された米国特許出願第１２／８７９，００３号に対して優先権を主張する。

本発明の技術分野

本発明は、携帯用及び／又は手持ちカメラ、デジタルスチルカメラ、及び他のカメラ付き携帯電話機や他の手持ち型装置のようなカメラが使用できる装置、及び、画像取得能力を備えたプロセッサ基盤の携帯用装置でのステレオスコピック（３Ｄ）のパノラマの撮像に関する。

背景

パノラマ写真は、非常に広大な視野、誇張されたアスペクト比、またはこの両方を備えた写真である。例えば、水平のパノラマ写真は、その高さよりも遙かに広いものであり得、写界のその対頂角に対して大きい写界の水平角を有し得る。垂直のパノラマ写真は、その広さよりも遙かに高いものであり得、視界のその水平角に対して大きい視界の対頂角を有し得る。パノラマ写真又はパノラマ画像は、時には単に「パノラマ（ｐａｎｏｒａｍａ）」と呼ばれ、シーンのユニークで時には印象的な光景を提供することができる。

パノラマ撮像は、拡張された水平方向のシーンの画像のシーケンスを取得し、これらを単一の拡張された画像に合成することを含む。これは、制限のある視野の通常の光学系を備えた標準カメラで捕らえられる、典型的には野外のシーンを「パノラマ式」にすることを可能にする。

代替的なアプローチは、１７０度まで増進された視野を備えた魚眼（ｆｉｓｈ−ｅｙｅ）として知られている特殊な光学レンズでシーンを捕捉することである。そのような特殊なレンズは、レンズの要素の高価な製造及び正確な機械加工を要求する。デジタルカメラ内のパノラマ撮像方法の実装は、僅かなコストで同様の結果を可能にする。

歴史的には、パノラマ写真は、専用に造られたカメラを使用して得られた。あるタイプのパノラマカメラは、移動するフィルムがレンズの後ろの狭い露光スリットを通過する間に、広い視野に亘って湾曲運動（ｓｗｅｅｐ）するための、回転するレンズ及び本体を使用する。この種の回転するカメラは、初期の商用モデルの後に、時には「シークット（Ｃｉｒｋｕｔ）型」カメラと呼ばれ、３６０度或いはそれ以上の視野で写真を撮影することができる。回転レンズ（ｓｗｉｎｇ−ｌｅｎｓ）カメラは、同様の原理で作動するが、静止している本体及びフィルムに対して、そのレンズと露光スリットを回転させる。回転レンズカメラは、１８０度より幾分足りない視野で写真を撮影することができる。

パノラマ写真を作る別の方法は、標準的な或いは従来の写真を幾分重複させて撮影することを含み得るものであり、各々典型的にパノラマ写真において所望された約３：２或いはそれ未満のアスペクト比を有し、それらを一緒に単一のより大きな写真へと接合する。その接合は、典型的には、構成要素の写真（例えばデジタルカメラで撮影された写真）のデジタル表現で作動するコンピューターを使用して遂行されることができる。より大きな写真へデジタル画像を組み合わせる処理は、しばしば、「ステッチング（ｓｔｉｔｃｈｉｎｇ）」あるいは「モザイキング（ｍｏｓａｉｃｉｎｇ）」と称される。原理上は、構成要素の画像の幾つでもステッチングすることができ、また、生じるパノラマは、３６０度或いはそれ以上の視野をカバーすることができる。

ステッチングは、コンピュータ的に集中的になり得る。例えば、画像ステッチングを遂行するソフトウェアは、ステッチングする前に構成要素の画像中に存在し得るレンズ歪み及び遠近感（ｐｅｒｓｐｅｃｔｉｖｅ）歪み、のような歪みを修正することができる。加えて、適切な整列および色、あるいは構成要素の画像間の色調のバランスを見い出すことは、画像セグメント間の整列の「美点（ｇｏｏｄｎｅｓｓ）」を反映する相関係数の多数の計算を含み得る。角およびレンズ口径食の変化のような影響によって引き起こされる色調の変化は、修正されることができ、そうでなければ受け入れられ得る。ステッチングを遂行するのに必要な時間は、構成要素の画像の増加されるサイズまたは解像度により、劇的に増加する。

現代の幾つかのデジタルカメラは、後のパノラマ写真へのステッチングのために、カメラの使用者が１セットの構成要素の写真を撮ることを支援するモードを提供する。例えば、パノラマのモードは、使用者が、セット内の前の写真との適切な重なりで各々の構成要素の写真をフレーミングするのを支援するために、カメラ上で表示スクリーンを使用することができ、また、セット内の構成要素の写真の全てに一貫した露光量設定を保証することができる。

デジタルカメラの少なくとも１つの既存のモデルは、写真家が構成要素の画像中の不十分な重なりのような特定の問題を検知することができるように、１セットの低解像度の「スクリーンネイル」画像上でステッチングを遂行することができる。「スクリーンネイル」は、「サムネイル」画像と類似しており、デジタル画像の小さな低解像度のコピーを含むことができ、カメラの表示部上に適合するようにサイズ変更される。典型的なスクリーンネイル画像は、例えば、およそ３２０×２４０の画素を有し得る。この能力は、米国特許出願公開第２００６／０１８２４３７号明細書（ヒューレットパッカード社）に記述される。

しかしながら、従前のデジタルカメラは、比較的単純なプロセッサーがデジタルカメラ内で使用され、計算上集中的なステッチングのアルゴリズムを、満足な使用者体験を提供するほどには速く行なうことができなかったので、高い或いは最大解像度画像のステッチングを実時間で遂行していなかった。従前では、高解像度の構成要素画像をパノラマにステッチングしたかったカメラ使用者は、構成要素画像を外部コンピューターにアップロードし、ステッチングを行なうためにコンピューター上で実行するソフトウェアを使用しなければならなかった。従前のこの方法は、コンピューターを使用することを含み、当該コンピューターに追加的なソフトウェアをインストールすることをおそらく含み、使用者がパノラマを直ちに印刷する或いは共有することを妨げた。

より最近では、デジタルカメラ上で或いはカメラ付き携帯電話機やスマートフォンのような携帯型の撮像装置中で、パノラマ画像を直接作成する多くの技術が記述された。

一例として、ソレク（Ｓｏｒｅｋ）ら（ヒューレットパッカード社）の米国特許出願公開第２００９／００２２４２２号明細書は、少なくとも第１及び第２の画像フレームをフレームの内容に基づいて組み合わせ、これらのフレームを、決定された整列に基づいて変形された領域で組み合わせて、合成画像を形成する方法について記述する。この方法は、各画像での興味のある共通の特徴らを使用し、これらを用いて２つの画像間の水平及び垂直の整列を決定する。画像の結合は、残留物のシフトが行われる画像領域の中で部分的に、また、ブロックのシフトが行われ得る変形領域の中で部分的に遂行されることができる。

カメラ或いはカメラ付き携帯電話機内でのパノラマ画像を生成する別の方法は、ランデ（ｌｉｎｄｅｒ）ら（三星）の米国特許出願公開第２００９／００２１５７６号明細書に記述される（さらに米国特許出願公開第２００９／００２２４２２号明細書も参照）。この方法は、パノラマ画像を構築する根拠として、多くの先端技術のカメラで得ることができるビデオストリームを使用する。それは、最初に複数のビデオフレームを取得し、次に画像／動画シーケンスから最初のフレームの選択が続く。当該方法は、さらに、元の動画シーケンスを賞賛（ｃｏｍｐｌｉｍｅｎｔ）するための付加的な静止画像を取得することを可能とする。その付加的な動画及び静止画像は、元の画像とステッチングされることができ、また、ステッチング処理を増強するためにオーバーレイ整列及び／又は動き検出が使用され得る。その方法は、付加的な画像を取得する装置を移動させるように、カメラ或いはカメラ付き携帯電話機の使用者に命令することに依存するように思える。この米国で公開された特許出願は、関連文献の非常に詳細な説明をも含むことに留意すべきである。

別のアプローチは、米国特許出願公開第２００６／０２６８１３０号明細書で記述され、ここでは、より高い解像度の画像の対応するシーケンスを同時に処理している間、シーンの相対的に低解像度の画像のシーケンスからパノラマ画像を「リアルタイム」で生成し、そのパノラマ画像を使用者承認のために表示し、使用者が低解像度版を承認したときに高解像度のパノラマ画像を格納できるようにした方法について記述している。この技術が使用者管理の下で、画像の改良及び／又は再捕捉あるいは画像追加を可能にするという点で、米国特許出願公開第２００９／００２１５７６号に類似することに留意すべきである。どちらの出願も、使用者インタフェースの多数の詳細を示す。

最先端の撮像装置は、今や、６０ｆｐｓのフレームレートで７２０ｐ及びより高画質のＨＤ動画像及び３０００×２０００画素寸法の静止画像を捕捉することができる。そのようなより大きな画像の処理の要求、及び、パノラマ画像に現れる目障りな「継ぎ目」を防ぐために画像を整列させることに関連した増加された精度は、特に、使用者の介在無しに「リアルタイム」で満足出来る画像を生成することが望まれる場合に、パノラマ画像生成のための新たな課題を提示する。さらに、新たな課題も、携帯型の装置での立体的な（３Ｄ）パノラマ画像を生成する要求によって提示される。

特定の実施の形態に従って、最大解像度の主画像を生成し、主画像獲得及び処理連鎖からサブサンプリングされた又はサイズ変更された画像を生成するデジタル撮像装置の特徴を示す図である。 示されたプロットが実質的に重複する２つの画像フレームの各々に対する各列（ｒｏｗ）についての行（ｃｏｌｕｍ）の合計をプロットすることを含む、２つの画像フレームに対する水平の画像プロファイルのプロット例を示す図である。 同様に、示されたプロットが実質的に重複するプロファイルに従って差異を算出した後の図２のプロファイルのプロット例を示す図である。 図２及び３の２つの画像フレーム間の動き推定を示すプロットを示す図である。 動画または連続する画像フレームから測定される水平のカメラ運動についてのフレーム番号に対する画素シフトのプロットを示す図である。 動画または連続する画像フレームから測定される垂直のカメラ運動についてのフレーム番号に対する画素シフトのプロットを示す図である。 フレーム間で実質的に水平に且つわずかに垂直に移動するカメラで撮影された連続する画像から一緒にステッチングされた３つの画像を示し、３つの画像の各々が１つ或いは２つの隣接した画像にわずかに水平に且つ実質的に垂直に重複させた図である。 図７Ａの一緒にステッチングされた３つの画像の２つ以上を垂直方向でクロッピングすることにより生成されたパノラマ画像を示す図である。 特定の実施の形態に従って、参照プロファイルと変化したプロファイルの補間された値とを比較して示すプロットである。 特定の実施の形態に従って、サブピクセルの変更に関してのプロファイル間のエラーの変化を示すプロットである。 特定の実施の形態に従って、処理の一部として重複領域の全域で互いの方へ伝搬する２つの輪郭の漸進的変化を示す図である。 特定の実施の形態に従った、２つの画像から生成され処理によって融合されたパノラマ画像を示す。 図１１で示されたパノラマ画像の生成に使用されるブレンディングマスクを示す図である。 特定の実施の形態に従った画像ブレンディング処理を示す図である。 図１４Ａ及び１４Ｂは、ステレオスコピックのパノラマ画像を生成するために、３次元構成要素の画像を生成し且つさらなる３次元の構成要素画像と結合するために使用されることができる画像間の数センチメートルで置き換えられたデジタルカメラによる２つの画像の捕捉を示す図である。 パノラマの広がる順序に由来する画像フレームが図１４Ａ及び図１４Ｂのデジタルカメラの相対的な水平の空間の変位を示し、そこでペアの画像がステレオスコピックのパノラマ画像を形成するために合併されることを示す図である。 図１６Ａ及び１６Ｂは、ステレオスコピックのパノラマ画像を形成するために、パノラマの広がる半径と、合併されるべき画像対の捕捉の間のデジタルカメラ移動のはるかに短い距離と、の関係を示す図である。 個々のキーフレームから左及び右のクロッピングを用いてステレオスコピック（３Ｄ）のパノラマ画像を生成するための技術を示す図である。

（実施の形態の詳細な説明）

本方法は、ステレオスコピック（３Ｄ）のパノラマ画像を生成するために提供される。露光量レベルは、携帯用の撮像装置で画像のパノラマ湾曲運動（ｓｗｅｅｐ）シーケンスを得るために固定される。撮像装置は、シーンの全域でパンニングされる。少なくとも部分的に重複する多重の画像フレームは、携帯型撮像装置の光学系及び画像センサーを使用して、シーンの一部として取得される。画像フレームは、画像フレームの取得物の間の撮像装置の変位を判定することを含めて登録される。多重のパノラマ画像は、空間的関係に従ってシーンの画像フレームを接続すること及び多重のパノラマ画像の間のステレオスコピックの対応物関係を判定することを含めて生成される。多重のパノラマ画像は、ステレオスコピックの対応物関係に基づいて処理されて、ステレオスコピックのパノラマ画像を形成する。ステレオスコピックのパノラマ画像は、格納され、送信され、及び／又は表示される。

変位を判定することは、変位を測定することを含むことができる。変位は、深さ次元に直交する次元及び深さ次元それ自体の一つまたは両方を含む一，二，あるいは三次元での変位を含むことができる。

ステレオスコピックの対応物関係を判定することは、選択されたステレオスコピック効果を提供するように設定された第１の予め定められた範囲内の相対的な変位を有する画像フレームをペアにすること、ペアになった画像フレームを組み合わせて、ステレオスコピックの構成要素の画像を形成すること；及び、第２の予め定められた範囲内のペアになり隣接した画像フレームと重なりがある、ペアになった画像フレームを保持することを含むことができる。第１の予め定められた範囲は、５ｃｍ乃至７．５ｃｍとすることができる。

部分的に重複することは、１０％及び５０％の間で重複することができる。本方法は、さらに、次の画像フレームの取得または生成あるいはこの両方を用いて、画像フレームのペアのインターリービング接合を行うことを含むことができる。第１の予め定められた範囲は、撮像装置のパンニング半径の１５％以下とすることができる。

特定の実施の形態に従って、重複する多数の画像の単一のセットは、パノラマシーンの全域に亘るデジタル画像装置の１回のスイープで捕捉される。このスイープ中に、これらの多数の画像の各々間のフレーム毎の画素変位が判定される。これらは、予め定められた校正を通じてカメラの実際の物理的な移動に関し得る；幾つかの実施の形態では、カメラは、フレーム毎の画素変位を測定する代わりに使用され得るサブシステムを検知する動きを組み込むことができる。このスイープに由来する初期の画像は、キーフレームまたは基礎画像として使用されることができる。

スイープされたシーンの第１のパノラマ画像は、この基礎画像に追加の画像を接続することによって作成されることができる。続いて、第１のキーフレーム画像からの相対的な物理的変位を有している第２のキーフレーム画像が決定される。１つの実施の形態では、その変位は、他の距離でもステレオスコピック効果を提供するのに十分であるが、人間の目の間の距離の常態である５ｃｍから７．５ｃｍの間の範囲とすることができる。

異なる変位距離に関する実施の形態は、図１４Ａ−１７を参照して以下に説明される。

相対的な物理的な変位は、相対的なフレーム毎の画素変位から判定され、または、動きを感知するサブシステムを組込む場合にカメラの相対運動を判定することによって、或いはそれらの幾つかの組み合わせによって、判定されることができる。第１の基礎画像に関連するこの第２の基礎画像の垂直の画素変位もまた、判定され記録される。これは、携帯型の装置で第２のパノラマ画像を第１のパノラマ画像と垂直方向に整列させるために要求される。次に、同じスイープされたシーンの変位したパノラマ画像が作成されることができる。２つのパノラマ画像は、垂直に整列され、重複しない領域を除去するためにクロッピングされる。それらは、その後、標準のステレオスコピックの画像形式に変換され、また、任意に圧縮されることができる。結果として生じるステレオスコピックのパノラマ画像は、格納され、送信及び／又は表示される。

携帯用の撮像装置を使用してパノラマ画像を得るさらなる方法は、以下に提供される。１つの方法では、携帯撮像装置でパノラマ画像を得るために、露光量レベルが固定される。撮像装置は、パノラマのシーンの全域でパンニングされる。パノラマのシーンの重複する部分の少なくとも２つの相対的に低解像度の画像フレームが、取得され処理される。かかる処理は、相対的に低解像度の画像フレームのセットをソートする及び保持することを含む。相対的に低解像度の画像フレームのセットの各画像間の相対的な変位が判定される。ほぼ最適のステッチ線も、相対的に低解像度の画像フレームの各ペアの画像間で決定される。本方法はさらに、相対的に低解像度の画像フレームのセットに対応する１セットの主画像フレームを獲得して格納することを含む。主画像フレームは、相対的に低解像度の画像のセットの対応する画像の相対的な変位に基づいて、登録され又は整列し、或いはこの両方とされる。低解像度画像ペアに対して決定された１つ以上のほぼ最適のステッチ線は、主パノラマ画像を形成するために接合される、登録され及び／又は整列された主な画像フレームのペアに対応する１つ以上のものの上に写像される。

ほぼ最適のステッチ線の決定は、ほぼ最適のステッチ線の近隣にアルファブレンディングマップを決定することを含むことができる。高解像度画像上へのほぼ最適のステッチ線のマッピングは、ブレンディングマップのさらなるマッピングを含めることができ、そこでは、高解像度画像の接合は、アルファブレンディングマップのマッピングに基づいた画像をブレンディングすることを含む。当該接合は、一連の主画像フレームに一連の相対的に低解像度の画像フレームのためのアルファブレンディングマップを写像することを含む、主画像フレームのセットをブレンディングすることを含むことができる。

パノラマ画像を形成するために接合される構成要素の画像フレームの１つ以上がクロッピングされることができる。２つ、３つ或いはそれ以上低解像度の画像フレームのセットは、シーンの構成要素の部分で獲得されることができる。連続する画像間の水平の重なりが予め定められた範囲外になる場合に、使用者に通知される及び／又は画像が廃棄されることができる。

本方法は、さらに、主系列に対する相対的に低解像度画像の系列のためのアルファブレンディングマップのマッピングにおけるピクセルオフセットを防ぐために、相対的に低解像度の画像についてサブピクセル画像登録を行なうことを含む。主系列のデジタル画像のペアの接合は、相対的に低解像度の画像のサブピクセル登録する、及び／又は、対応する相対的に低解像度の画像のペアを獲得する及び／又は生成する、及び／又は接合することを交互的に行うことができる。

携帯型の撮像装置を使用してパノラマ画像を生成する更なる方法は、携帯型撮像装置を使用してパノラマ画像を獲得するために露光量レベルを固定すること、及び、パノラマのシーンの全域で撮像装置をパンニングすることを含む。前記パノラマ画像の部分を重複させる少なくとも２つの画像フレームのセットは、携帯型撮像装置の光学系及び撮像センサーを使用して、獲得され処理される。処理は、画像フレームの１以上の重複するペアを含む１セットの画像フレームをソート及び保持することを含む。各画像ペアの重複された領域を決定することを含み、重複する画像フレームのセットの各々間で相対的な変位が判定される。セットの画像は、登録され及び／又は相対的な変位に基づいて整列される。重複する画像フレームの各ペアに対して、アルファブレンディングマップ及び／又は最適のステッチ線が決定される。画像フレームの１以上のペアは、格納され、送信され、及び／又は表示するパノラマ画像を形成するために、接合される。

相対的な変位の判定は、１セットの重複する画像フレームの１ペアの画像間の相対的な水平の変位を判定することを含むことができる。画像カラムでの画素値は、各画像の水平の画像プロファイルを決定するために、第１及び第２の画像の各々の全域で合計されることができる。カラムの差分プロファイルは、各々の画像の全域で決定されることができる。相対誤差関数は、画像のカラム差分プロファイルに従ってペアの画像間で決定されることができる。相対誤差関数の最小値は、ペアの画像間の水平変位の画素カラムの相対数を示す。

相対的な変位の判定は、さらに、重複する画像フレームのセットの画像のペア間の相対的な垂直の変位を判定することを含む。画像列（ｒｏｗ）における画素値は、各画像の垂直の画像プロファイルを決定するために、第１及び第２の画像の各々の全域で合計されることができる。列差分プロファイルは、画像の各々の全域で決定されることができる。相対誤差関数は、画像列差分プロファイルに従って、ペアの画像間で決定されることができる。相対誤差関数の最小値は、垂直変位の画素列の相対数がペアの画像間にあることを示す。

平滑化関数は、ペアの画像間の相対誤差関数を計算するに先立って、各画像のカラム及び／又は列の差分プロファイルに適用されることができる。

接合は、アルファブレンディングマップまたは最適のステッチ線、或いはこれら両方を使用して遂行される。

接合は、ほぼ最適のステッチ線及びアルファブレンディングマップの両方を決定することに基づくことができる。ほぼ最適のステッチ線は、ペアの画像の重複した画素間のおよそ５０％の混紡率を含むことができ、また、マップは、ほぼ最適のステッチ線の近隣で、ペアの画像からの重複した画素に混紡率を規定することができる。

本方法は、さらに、ペアの画像フレームを接合することと、次の画像フレームを獲得及び／又は生成することと、を交互的に行うことを含むことができる。パノラマ画像は、さらに、一定の垂直の高さにクロッピングされることができる。

光学系、撮像センサー、及びプロセッサーを含む携帯用の撮像装置を使用してパノラマ画像を生成するために、超解像法（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｍｅｔｈｏｄ）が提供される。携帯型撮像装置でパノラマ画像を獲得するために、露光量レベルが固定される。撮像装置は、パノラマのシーンの全域でパンニングされる。獲得された画像の２以上のセットは、パノラマのシーンの部分の少なくとも２つの画像フレームを各々含めて処理される。本方法は、２つ以上のセットの複合的な画像をソート及び保持することを含む。相対的な変位は、画像フレームの２つ以上のセットの各々内の各ペアの近隣のフレーム間で判定される。本方法は、互いに関連のある画像セットの各々内の画像を登録することをさらに含む。前記２つ以上のセットの各々は、２つ以上の実質上重複するパノラマ画像を形成するために接合される。これらは、格納され、送信され及び／又は表示される実質上同じシーンのより高い解像度のパノラマ画像を形成するために組み合わせられる。

２つ以上の実質上重複するパノラマ画像の結合は、超解像技術を適用することを含むことができる。より高い解像度のパノラマ画像のクロッピングは、１つ以上の構成要素のパノラマ画像から１つ以上の重複しない領域を除去することを含むことができる。

本方法は、画像フレームの２つ以上のセットの各々の第１のフレーム或いはそうでなければ対応する獲得されたフレーム間の相対的な変位を判定することをさらに含むことができる。２つ以上のセットの各々の画像に由来する結合されたパノラマ画像が登録されることができる。

本方法は、ペアの画像フレームの接合と、次の画像フレームの獲得及び／又は生成とを交互的に行うことを含むことができる。

パノラマ画像を生成する別の方法が提供され、この方法では、デジタル画像を得るために設定されたプロセッサー基盤の装置をシーンの全域でパンニングすることを含む。パンニング中に、多重の主なシリーズ画像が装置で獲得される。多重の画像の各々は、パノラマシーンの異なる角度範囲を含む。さらに、パンニング中に、多重の主なシリーズ画像に対応して相対的に低解像度の画像が獲得され、及び／又は、相対的に低解像度の画像を生み出すために当該主なシリーズ画像がサブサンプリングされる。相対的に低解像度の画像は、低い解像度のパノラマを形成するために接合され、それが表示される。多重の主なシリーズ画像は、主なシリーズのパノラマ画像を形成するために、相対的に低解像度画像の接合に基づいて装置上の実時間で合成される。

接合は、ステッチング及び／又は露光量、色バランス、または輝度をマッチングすること、またはこれらを組み合わせること、画像の端領域を整列及び／又は登録すること、及びマッチングされ整列された画像をブレンディングすること、を含むことができる。ブレンディングは、パノラマ画像の隣接した構成要素画像間で生成された継ぎ目線をぼかすことを含むことができる。

露光量レベルは、携帯撮像装置でパノラマ画像を獲得するために固定されることができる。接合は、画像の端領域を整列及び／又は登録し、マッチングされ整列された画像をブレンディングすることを含むことができる。ブレンディングは、パノラマ画像の隣接した構成要素画像間で生成された継ぎ目線をぼかすことを含むことができる。

合成は、パンニングの大域的な動きを推定し、当該大域的な動きが十分か否か判定することを含むことができる。

合成は、相対的なシーン変位を推定し、当該相対的なシーン変位が十分か否か判定することを含むことができる。本方法は、相対的なシーン変位が不十分であると判定された場合に、当該画像の１つ以上を廃棄し及び／又は当該方法を中断し、使用者に通知することを含むことができる。相対的なシーン変位は、フレーム同士の重なりが１０％及び４０％、あるいは２０％及び３０％の間の範囲である場合に十分であると判定され、または、１０−４０％、２０−３０％、或いはその他の値のような予め定められた範囲を外れる場合に不十分であると判定されることができる。相対的な変位を推定することは、多重の画像ペアについての多次元の動き推定を含むことができる。

本方法は、使用者の介在またはその介在なしで、あるいは装置の動き測定ありまたはその測定なしで、遂行されることができる。パノラマ画像は、格納に先立って圧縮されることができる。

相対的に低解像度の画像の接合は、アルファブレンディングマップを生成することを含むことができ、また、当該アルファブレンディングマップは、主系列画像の接合において使用されることができる。

パノラマ画像を生成するための更なる方法が提供される。本方法は、パノラマシーンのデジタル画像の主系列を獲得すること、及び、当該主系列に対応する一連の相対的に低解像度の画像を生成する及び／又は獲得すること、の両方が設定された、プロセッサー基盤の画像取得装置を使用することを含む。本装置は、パノラマのシーンの全域でパンニングされる。パンニング中に、デジタル画像の主系列が本装置で獲得される。デジタル画像の主系列の各々は、パノラマのシーンの異なる角度の範囲を含む。主系列のデジタル画像と同じパノラマのシーンに実質上対応する相対的に低解像度の画像の系列が、獲得され及び／又は生成される。相対的に低解像度の画像の系列の画像は、相対的に低解像度のパノラマ画像を形成するために接合される。相対的に低解像度の画像の系列の接合のマップが生成される。デジタル画像の主系列は、主たるパノラマ画像を形成するために、当該マップに基づいて接合され、表示され、格納され、さらなる処理及び／又は伝送される。

本方法は、パンニング中に相対的なシーン変位を推定することをさらに含むことができる。パノラマのシーンの部分は、相対的なシーン変位の推定に少なくとも一部基づいて、パンニング中に選択的に捕捉されることができる。本方法は、相対的なシーン変位が不十分であると判定された場合、例えば、フレーム同士の重なりが１０％及び４０％、或いは２０％及び３０％の間の範囲、或いはその他の設定や選択された範囲を外れる場合に、当該画像の１つ以上を廃棄し及び／又は当該方法を中断し、使用者に通知することを含むことができる。

相対的なシーン変位を推定することは、多重の画像ペアに対する多次元の変位を推定することを含むことができる。水平（長いパノラマ画像次元）及び垂直のオフセットは、相対的なシーン変位の推定に基づいて、一連の連続する画像間で決定されることができる。一連の画像は、それが前の一連の画像からの閾値の水平オフセットに満たない場合に、廃棄されることができる。使用者は、装置のパンニングが閾値運動を超過しない場合に通知されることができる。垂直のオフセットが一連の他の画像と閾値オフセットを越える場合、用者は更に通知され、及び／又は、一連の画像が廃棄されることができる。

主系列と相対的に低解像度の画像との接合は、ステッチングを含むことができる。当該ステッチングは、画像の端領域を整列及び／又は登録し、及びマッチングされ整列された画像をブレンディングすることを含むことができる。露光量レベルは、第１に携帯型撮像装置でパノラマ画像を獲得するためのものとすることができ、及び／又は、接合は、露光量、色バランス、及び／又は輝度とマッチングすることを含むことができる。ブレンディングは、パノラマ画像の隣接した構成要素画像間で生成された継ぎ目線をぼかすことを含むことができる。

マップは、相対的に低解像度画像の接合から決定された、ほぼ最適のステッチング継ぎ目の情報を含む、アルファブレンディングマップを含むことができる。主系列の接合は、主系列への低解像度系列のためのアルファブレンディングマップのマッピングを含むことができる。本方法は、主系列への低解像度系列のためのアルファブレンディングマップのマッピング中に生じる画素オフセットを防ぐために、相対的に低解像度の画像のサブピクセル画像登録を含むことができる。相対的に低解像度の画像の系列及び／又は主系列の接合は、相対的なシーン変位の推定に一部基づくことができる。

レンズ、画像センサー、プロセッサー、及び本明細書で説明されたパノラマ画像生成方法の任意のものを遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを備えたプロセッサー読み取り可能な記憶媒体、を含むパノラマ画像のカメラ内生成の可能な携帯用カメラ機能付き装置もまた提供される。

本明細書で説明されたパノラマ画像生成方法の任意のものを遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを備えたプロセッサー読み取り可能な記憶媒体もまた提供される。

本方法は、ＨＤビデオ或いは高解像度静止画像のいずれかを捕捉することができるデジタル撮像装置内の高解像度パノラマ画像の生成が提示される。本方法は、使用者の介在なしで、及び当該撮像装置の動きの外部測定の要求なしで遂行される。
さらに、本方法は、「実時間」で、及び、通常少数の高解像度のビデオフレームや静止画像を一度に格納できるような装置上の制限されたメモリ資源に対する考慮をもって遂行される。

本方法は、使用者がパノラマ画像を捕捉するために所望されるシーンの全域について自然な速度で装置をパンニングすることを含む。本装置は、シーンの全域で使用者がパンニングする際に、正常なビデオシーケンスを捕捉する場合と同じ方法で、当該シーンを表示する。

本方法は、主たる高解像度の動画または静止画像よりも低い解像度の画像のシーケンスの捕捉または生成を含む。写真撮影可能な装置は、撮像センサーによって捕捉されたデータのリアルタイム表示を提供するために通常使用される低解像度画像のシーケンスである、「試写ストリーム」を生成するハードウェアを組込むことができる。そのような試写ストリームが利用可能でないところでは、装置は、最大解像度の画像やビデオフレームのより低い解像度版をほとんど即座に生成することができる「画像サブサンプリングユニット」をさらに備えることができる。

図１は、最大解像度の主画像を捕捉して、主画像取得及び処理連鎖からサブサンプリングされた（サイズ変更された）画像を生成するデジタル撮像装置を示す。センサー１０２は最大解像度の画像を捕捉し、また、当該画像データは、センサー処理１０４及び画像処理パイプライン１０６に適用される。画像サブサンプリング器１０８は、例えば、最大解像度の画像データでの全体の画素の１／ｎの断片だけを選択することによって、或いは、例えば、サブサンプリングされた画像の各々の画素が高い解像度のｎ画素を表わすサブサンプリング画像を提供することによって、最大解像度の画像データからサブサンプリングされた画像を生成する。当該高解像度は、１１０で、ＪＰＥＧ圧縮され得る。圧縮された最大サイズの画像１１１は、サブサンプリングされた画像１１４とともに、一時的な画像格納部１１２である記憶部１１２に格納されることができる。低解像度パノラマ画像１１６が生成され、２つ以上のサブサンプリング画像１１４を接合することにより、画像格納部１１２に一時的に格納されることができる。低解像度パノラマ画像１１６は、表示されることができ或いは表示されないこともできる。画像後処理部（ｐｏｓｔ−ｐｒｏｃｅｓｓｏｒ）１１８は、低解像度パノラマ画像１１６の生成において集められた情報に基づいて高解像度パノラマ画像１２０を生成し、それによって、計算資源を有利に倹約する。高解像度パノラマ画像１２０は、最大サイズの画像１１１とともに、ＳＤカード又はその等価物のような画像格納部１２２に格納されることができる。

低解像度画像は、別の実施の形態に従って、以下のように処理されることができる。第１に、最初の低解像度画像またはビデオフレームが取得され、第１の基準フレームとして使用されることができる。対応する高解像度画像が格納される。次に、特定の実施の形態における付加的な低解像度画像が取得され、そして、例えば米国特許出願公開第２００８／０３０９７６９号に記述された方法のような大域的な動き推定の任意的な方法が、当該基準フレームと各々の追加の画像フレームとの間で、それらの水平及び垂直のオフセットを決定するために適用されることができる。水平のオフセットが予め定められた範囲に満たない場合、低解像度フレームは、対応する高解像度画像と共に廃棄されることができる。特定の実施の形態（例えばスチルカメラ）では、対応する高解像度画像の獲得はまだ完了していないことがあり得る。そのような場合、高解像度画像の捕捉が単に中止され、且つ、新たな獲得が開始されることができる。

十分な水平の動きが特定の時間フレーム内に達成されない場合、処理が停止され、及び／又は、例えば「カメラが使用者によってパンニングされていません」のようエラーメッセージが表示されることができる。あるいは、使用者により速くパンニングするように警告音を出すことができる。垂直のオフセット量が予め定められた閾値を越える場合に、「ドリフト（ｄｒｉｆｔｉｎｇ）」であると使用者に警告するために、エラー表示が提供されることができる。特定の実施の形態では、使用者がパノラマ処理において合理的な速度でシーンの全域で装置をパンニングしている間、使用者の命令は取り込まれない。

一旦、予め定められた水平のオフセットが達成されたならば、例えば、フレーム毎の重複が一の実施形態で例えば１０乃至３０％及び２０乃至４０％の間、あるいは２０％及び３０％の間で設定された場合に、続いて、そのフレームは保持され、対応する高解像度画像が格納される。この保持されたフレームは次の参照画像になり、また、当該処理が繰り返される。

重複するフレームの十分な数が、使用者の選択、予め定められた制限、または装置のメモリの制限に起因すること、のいずれかに基づいて決定された後に、当該獲得の処理が停止される。低解像度の画像は次に、乏しい資源が埋め込まれた装置に対して特に有効である方法を用いて「接合（ｊｏｉｎ）される」。生じる低解像度画像は、続いてクロッピングされ、使用者の容認のために随意に表示されることができる。

低解像度パノラマを形成するための低解像度画像の接合処理の終わりに、パノラマ中で、隣接したペアの低解像度または基準の画像フレーム間の重複領域の接合のために、アルファブレンディングマップが作成されることができる。その後、これと同じマップは、対応する高解像度画像を接合して高解像度パノラマ画像を作成するために、有利に使用されることができる。このアルファブレンディングマップの使用は、各画像ペア間の「最適の継ぎ目」が、低解像度画像の接合から有利に既に決定されたので、さもなければ資源集中的となる高解像度画像のために接合アルゴリズムを繰り返す必要はないことを意味する。

低解像度から高解像度の画像ペアまでアルファブレンディングマップを写像する場合に、画素オフセットが生じないことを保証するために、低解像度画像上でサブピクセル画像登録を遂行する方法も、特定の実施形態で提供される。高解像度パノラマ画像は、続いてＪＰＥＧに圧縮され格納される。

特定の実施の形態では、低解像度のペアの接合は、新たな低解像度の画像フレームの取得と交互になされることができる。他の実施の形態で、画像取得連鎖内に十分なハードウェア支援が提供される場合、高解像度画像の部分の接合及びＪＰＥＧ圧縮は、低解像度画像の取得、登録及び接合と交互になされることができる。

画像ステッチング（ＩＭＡＧＥ ＳＴＩＴＣＨＩＮＧ）

画像ステッチングは、特定の実施の形態に従ったパノラマ画像の生成に適用されるように、次のステップの内の任意のものまたは全てを含み得る：
１． 遠近感（ｐｅｒｓｐｅｃｔｉｖｅ）補正、口径食補正、及び／又は色収差補正を含み、結果を改善するためにこのオプションの段階において画像が処理されることができる画像校正。
２． 移動、回転及び／又は焦点距離のための分析を含み、直接の又は特徴に基づいた画像整列方法が使用されることができる画像登録。直接の整列方法は、重複する画素間の絶対差の合計を最小化する画像配向を探索することができる。特徴に基づいた方法は、多数の画像及びそれらを重複させることで現われる特徴を識別することによって、適切な画像配向を決定する。
３． 画像ブレンディング、或いはそうでなければ区域を結合することは、以下のいずれか又は全てを含むことができる：構成要素の画像の隣接したエリアの継ぎ目の可視性を回避するための、色、コントラスト及び／又は輝度についてのマッチングを含む色補正；ダイナミックレンジの拡張；及び／又は、動き補償、ゴースト修正（ｄｅｇｈｏｓｔｉｎｇ）、及び／又は移動する物体に対する補償のためのぼけ修正（ｄｅｂｌｕｒｒｉｎｇ）。

特定の実施の形態に従う技術は、ステップ１を含んでおらず、代わりに、パノラマ画像に処理される画像シーケンスを獲得する先立ってカメラ露光量を固定しない。さらに、特定の実施の形態において、画像登録は、個々の隣接した画像の画素についてなされる計算を含み得る、局所的な画素毎の分析ではなく、画像列及びカラムの大域的な画像分析に基づいて、画像の相対的な変位を判定することを含むことができる。

ステップ３において、色補正及び／又は局所のコントラスト及び／又は輝度レベルの分析は、アルファブレンディングマップ及び／又は単一の運転での画像継ぎ目の決定に関する実施の形態で除去されることができる。

有利に、特定の実施の形態に従う技術は、特定の或いは従来の画像ステッチングアルゴリズムで用いられる標準のステップなしで遂行されることができ、及び／又は、特定のステップを単純化して、相対的に低いシステムメモリ及び／又は計算資源を有し得る埋込式計算システムでの実施に特に適した方法を提供する。そのため、特定の実施の形態に従った「ステッチング」技術は、それが従来のステッチングアルゴリズムとそのように非常に異なるので、「接合（ｊｏｉｎｉｎｇ）」と称することができる。

自動のパノラマ画像処理

使用者からの入力を殆どまたは全く必要としない自動的なパノラマ画像を作成するために、特定の実施の形態に従って以下が用いられ得る。最初に、獲得された全ての画像が重要なフレーム間の色あるいは色調調節の必要なしで組み合わせられることができることを保証するために、処理されるべき画像の主要なセットの取得に先立って、撮像装置上で露光量レベルが固定される。当該レベルは、パノラマシーケンスの最初のフレームの獲得のために適切なレベルで、単一に固定されることができる。他の実施の形態では、使用者は、露光量レベルを手動で増加させる又は減少させることを許可されることができる。代替の実施の形態では、使用者は、シーン全体に亘っての平均露光量レベルが決定されるように、パノラマシーンの前走査を行なうように促されることができる。この「前走査」は、主獲得スイープに先立って、パノラマシーンの全域でカメラ付き電話機をスイーピングすることを含むことができる。

特定の実施の形態に従ったパノラマ生成の第２段階は、パノラマ画像を捕捉することが望まれるシーンの全域で自然な速度で使用者スイーピングする或いは装置をパンニングすることを含む。かかる装置は、通常のビデオシーケンスを捕捉する場合、または静止画像を構成する場合と同じ方法で、シーンの全域を使用者のパンニングで実時間で任意に表示することができる。このスイーピングまたはパンニングの終わりに、当該取得処理は、以下のものを検知することによって、多くのものの内の任意の方法で終了することができる：（ｉ）後続の画像フレームの間での変更（或いは閾値より下の変更）はない（使用者は固定位置でカメラを保持する）；（ｉｉ）後続の画像フレームの間での類似点（或いは閾値より下の類似点）はない（使用者は非常に急速に異なる視野にカメラを移動させる）。（ｉｉｉ）（動きセンサーを装備したカメラについて）カメラの突然の動き；（ｉｖ） スイッチが押し下げられたこと或いは「死者（ｄｅａｄ−ｍａｎ）」スイッチが解除されたこと；（ｖ）時間間隔の経過；（ｖｉ）主たる画像フレームの閾値番号が獲得されたこと又は装置の記憶容量が飽和すること、或いは上記イベントの様々な組み合わせ。

カメラ付き携帯電話機がパノラマスイープ中に画像を獲得している間、実時間で完全なパノラマ画像が得られるようにするために、カメラ付き携帯電話機は、絶えずこれらの画像を処理している状態であり得る。この処理中に、最終パノラマに適切なものが保持される一方、獲得された画像の多くは、特定の実施の形態に従って選別処理で廃棄されることができる。さらに、これらの画像は、実時間で登録されることができる。ブレンディングオペレーションは、登録された画像上で遂行されることができる。

特定の実施の形態では、選別、登録、及び最初のブレンディングは、主獲得画像あるいはビデオフレームのサブサンプリングされた版上で遂行されることができる。

選別処理は、少数のフルサイズの画像がパノラマスイープ中に格納されるように、対応する主な画像フレームが保持または直ちに廃棄されることを可能とする。

登録及びブレンディング処理は、画像が獲得されながら、低解像度画像間の最適の「継ぎ目線」が決定されることを可能とする。パノラマのスイープが終了するとすぐに、保持された最大解像度画像は、対応する低解像度または試写画像からの登録及び最適な継ぎ目の情報を使用して、何らの遅延を伴うことなく共に接合されることができる。

結果として生じる高解像度パノラマ画像は、その後、ＪＰＥＧフォーマットに圧縮されて格納されることができる。特定の実施の形態では、低解像度のペアの接合は、新たな低解像度の画像フレームの獲得と交互になされる。

他の実施の形態で、画像取得連鎖内に十分なハードウェア支援が提供される場合、高解像度画像の部分の接合するセグメント及び／又はＪＰＥＧ圧縮の１つ以上のセグメントは、低解像度画像の獲得、選別、登録及び／又はブレンディングがインターリーブされることができる。

画像登録

特定の実施の形態では、ｘ及びｙ画素変位は、次に関連する１つの画像フレームで判定される。その後、この変位情報は、パノラマ画像の生成で使用される画像フレームを選択するために使用することができる。ここでは、米国特許出願公開第２００６／０１７１４６４号及び２００８／０３０９７６９号明細書に記載された実施の形態が使用されることができる。撮像技術を使用してビデオ安定化の方法が記述される。特定の実施の形態に従う技術は、画像フレームの１以上のペア（あるいはシーケンス）のフレーム間の水平及び垂直の変位を推定することを含む。

この画像フレーム変位情報は、所望の画素数で前の画像フレームを重複させる画像フレームを選択するために使用することができる。特定の実施の形態で、それは、代替的に、新たな最大解像度画像を獲得（または完全に取得）することをカメラに命令するために使用される。

以下に、フレーム間変位測定のより深い説明が述べられる。この説明では、フレーム間Ｘ，Ｙ変位を判定するために、第２の画像フレーム（画像２）が第１の画像フレーム（画像１）と比較される。

ｘ方角（水平）に変位を測定するために、画像１及び画像２でのカラムが合計され、その処理は以下に説明される。

画像１及び２のプロファイルは、典型的な実施形態において、合計され、次に、長さ１５の移動平均カーネルを使用して平滑化される。長さは、変数（例えば、プロファイルをさらに平滑化するために長さが増加させられる場合があるようなもの）とすることができる。画像画素値はカラムに従って合計され、また、カラムに由来する合計値は、この典型的な実施の形態に従って、ここにプロファイルと呼ばれることができるベクトルを形成する。単純化するために、ＲＧＢ画像の事例ではＧチャンネルだけ、ＹＵＶ画像の事例ではＹチャンネルだけが使用される。その場合、画像詳細に関する十分な情報を含む任意の色チャンネルが使用されることができる。両方の登録された画像からのプロファイルは、画像寸法及びノイズの量に適応された長さの畳み込みカーネルを使用して、平滑化され区別される。特定の実施の形態では、長さは、可変であって、増加または減少することができる。

これは、小さな特徴及び雑音を取り除く効果がある。そのような方法で、動き推定は、映画シーケンスでの強い端部に基づく。これは、Ｘ，Ｙ変位の推定が、露光量の変化により強健であることをも意味する。この推定アプローチは、露光量レベル、ノイズレベル及び解像度において変化し、広範囲の画像シーンに対して非常に上手く機能する。

水平の（Ｘ）変位推定は全てのカラムを合計し、垂直の（Ｙ）変位推定は、画像の列に沿って合計する。従って、動き推定の処理は同じであるため、水平変位についての詳細だけが以下に概説される。最初に、各列のカラムの全ては、画像１及び２に対して合計される。これは、変位推定から画像プロファイルを作成することである。
％画像の合計
水平ｌ＝合計（画像１）； ％カラムに沿って画像を合計して水平プロファイルを作成
水平２＝合計（画像２）；

ＭＡＴＬＡＢにおいて上記の処理は、以下の数式と等価であり、
水平ｌ＝ｙ＝１ｙ＝ｎ画像ｌ（ｘ，ｙ）
ここで、ｎは列の数である。これは、カラム対列番号の合計された値として水平の画像プロファイルの図２で示されるようなプロットを生成する。図２は、カラムが合計される場合、及び差異が計算された後の画像プロファイルを示す。

次のステップは、プロファイルを区別し平滑化することである。これは、画像間の強度差に対する変位推定不変式を作る効果がある。
プロファイル差分
水平ｌ＝差分（水平ｌ）； ％画像１及び画像２についてプロファイルに沿って差分を取得
水平２＝差分（水平２）；
それは以下の数式と等価である。
水平ｌｉ＝Ｘｉ−Ｘｉ＋１ forｉ＝１：ｍ−ｌ，
ここで、ｍは列の番号である。

図３は、差分が計算された後の画像プロファイルを示す。図３は、カラム対列番号の合計された値として水平の画像プロファイルのプロットを示す。

その後、プロファイルは、次のＭＡＴＬＡＢコードでノイズの影響を弱めるために平滑化される。ＭＡＴＬＡＢでは、以下に示される移動平均フィルターと等価な畳み込み関数が使用される、
Ｘｉ＝Ｘｉｉ−１５ｉＸｉ

％長さ１５のカーネルでプロファイルを平滑化（注記：この長さは、プロファイルの雑音／平滑度に依存して変化する。）

カーネル＝１５； ％移動平均カーネルの長さを設定
平均＝一つ（１，カーネル）．／カーネル； ％移動平均カーネル

水平（ｈｏｒ）ｌ＝ｃｏｎｖ（ｈｏｒｌ，ａｖｇ）； ％Ｓｍｏｏｔｈプロファイルは移動平均カーネルを使用している。
水平ｌ＝水平ｌ（カーネル／２：エンド・カーネル／２）；％カーネルによって作成されたプロファイル・エンドをクロップ
水平２＝ｃｏｎｖ（水平２、ａｖｇ）
水平２＝水平２（カーネル／２：エンド・カーネル／２）；
ｗｌ＝長さ（水平ｌ）； ％水平プロファイルの長さ
ｈｅｒｒ＝ゼロ（１，２＊半径＋ｌ）；ｈｅｒｒを初期化して水平のプロファイルの平均Ｓｑエラーを計算

その後、１つの画像プロファイルは、他方に対して１つの画素シフトで変えられる。各々のシフトで、差異を最小限にするシフトを見つけるために絶対差の合計が算出される。
ｈｅｒｒ（ｉ＋半径＋１−画像ｘ）＝合計（絶対差（水平１−水平２））／ｗ１；
これは、以下の数式と等価である。
ｈｅｒｒｉ＝ｉ−３０ｉ＋３０水平１−水平２（ｉ）ｗ１

上記の演算の結果は、我々が水平方向での画像１と画像２との間のフレーム毎の変位の量を提供する最小の位置を見つけることに由来する誤差関数のプロットである。図４中の例については、測定された変位は−１の画素である。

図４は、シフトするプロファイル対画素シフトによって見い出された絶対差の合計のプロットによる動き推定を示す。図４は、差異が計算された後の画像プロファイルを示す。図４中の最小値の位置は、プロファイル間の変位を示す。

提示されるように、垂直の変位推定のために同じ処理が行なわれる。ｘ及びｙの動き推定の両方は、大域的な値について、及び上述された４つのサブ領域について計算される。シーン内の被写体の動きによるエラーを除去するために使用される方法が、以下に説明される。この部分では、単に論理演算を記述するため、計算はない。

図５の中で示されるプロットは、水平方向に沿った画素の累積的なｘ方向のシフトを画像フレーム番号で示す。図５は、カメラの水平運動の合計を示す累積的なプロットを、画素シフト対フレーム番号として示す。

垂直の変位に対して同じ処理が繰り返される。第１の画像フレームに関する垂直の変位の例は、図６中に示される。図６は、カメラの垂直の移動の合計を示す累積的なプロットを、画素シフト対フレーム番号として示す。

米国特許出願公開第２００８／０３０９７６９号明細書に記述されたオリジナルの変位推定アルゴリズムは、フレームからフレームまでというよりむしろ、最初のフレームに対するｘｙ−シフトを追跡することを目指した。

この変位測定技術を拡張して、保持されるべき画像についてソートするメカニズムをも提供するために、我々は、全ての初期の画像フレームからの変位情報を保持し、これらを後の画像についての探索領域を調節するために使用する。したがって、フレーム１及び２からの情報は、画像１及び３についての探索エリアを調節するために使用される。

これは、画像１から画像１＋ｎまでのｘ−シフトの合計が、規定された画素数を超過するまで行われる。この点で、画像１＋ｎは、新たな基準フレームになり、かつ、後のシフトはそれに関連して登録される。全ての中間フレーム２，３．．．ｎが落とされて、フレーム１及び１＋ｎだけが保持されることができる。この処理は、あるイベントがパノラマ取得処理を終了させるまで繰り返される。

一緒に接合される画像間に十分な重複があることを保証するために、選別処理のための変位値が選択される。それは、さらに、画像フレームに関するレンズ又は光学の歪みを説明するために、変えられることができる。したがって、著しい端部の歪みがある場合、画像フレーム間でより大きな重複が必要とされ得る。

一例として、低い歪みのレンズ及び４８０ｘ６４０の低解像度ビデオフレームについては、水平方向での１４０画素の重複が適切となり得る；より高い歪みレンズについては、２５０画素の重複が必要となり得る。後の事例では、画像の後続のブレンディングは、完全な画像フレームを使用せずに、ブレンディング処理中で使用される各画像の各端部で２５％（１５０の画素）以内のものを、余りに歪んだものとして廃棄されることができる。

この処理は、一連のビデオフレーム全体に対して繰り返される。その結果は、連続する任意の画像フレームのｘ及びｙ−シフトを読み取ることができるということである。これは、続いて、パノラマ画像を作成するための画像の選択を可能にする。画像は、互いに対して例えば５００画素の画素シフトで選択される。画像２は、続いて、ｘ方向に５００画素の画素シフト及び計算されたｙシフトで、画像１に接合される。これは、多数の連続する画像を一緒に接合するために繰り返される。

図７Ａ及び７Ｂの画像は、大域的な動き推定アルゴリズムを使用して測定され、ｘ及びｙの変位で登録された３つの画像フレームの例である。このパノラマ画像については、フレームは、６２０画素の水平変位で選択されている。図７Ａは、特定の実施の形態に従って、アルゴリズムによって選択されたビデオフレームから生成され、算出されたｘ及びｙシフトで整列されたパノラマ画像を示す。図７Ｂは、図７Ａのパノラマ画像のクロッピングされた版を示す。

サブピクセル精度での画像登録

特定の実施の形態に従う画像登録方法は、少なくとも１画素の精度で水平及び垂直の変位を計算することができる。低解像度画像から最大解像度画像まで拡大縮小することが望まれる場合、そのアルゴリズムは、代替的に従来のアルゴリズムが使用された場合に見える継ぎ目線の部分を横切る目立つエラーになるものを防ぐために構成される

例えば、ＱＶＧＡ解像度での１画素の登録エラーは、７２０ｐのＨＤ解像度についての６つの画素エラーに置き換えることができる。この問題に対処するために、特定の実施の形態に従う画像登録方法は、サブピクセル精度で、つまり分数の精度で画像変位を計算するように拡張された。

プロファイルのスプラインオーバーサンプリングに基づいた推定は、高い画素精度で画像を整列させるために使用されることができる。当該アルゴリズムの基礎は、キャットムル−ロム（Ｃａｔｍｕｌｌ−Ｒｏｍ）スプライン（Ａ＝−０．５での立方体のスプライン）とすることができる。良好な性能レベルを維持するために、プロファイルは、最初に１画素精度に整列することができる。予め定められたサブピクセルステップで±１画素の範囲で変位を見つけるために、オーバーサンプリングステップが使用されることができる。

現在のインプリメンテーションは、ｌ／２５６画素の最小のステップを仮定することができる。このスプラインのおかげで、係数は事前に計算され、２５６の要素でルックアップテーブルに格納されることができる。最小のステップ値は、サブピクセル整列の間に１単位として使用されることができる。低解像度画像の最も実際的なアップスケーリングのためのいくつかの実施形態で十分になり得る１／４画素の精度を達成するために、推定のためのステップサイズが６４に設定されることができる。

第２のプロファイルは増加するステップで左及び右にシフトされ、また、サンプル間の値はスプライン補間を使用して計算される。当該シフトは全てのプロファイルサンプルに対して一定であるので、サンプルを全て処理するために係数の設定をわずかに一つ含むことができる。ステップのうちの１つは図８に示される。

図１は、典型的な実施形態において、プロファイル１をプロファイル２の補間された値と比較するプロットを示す。補間された値は正方形で示し、また、円で示された基準値は、与えられたシフトに対するエラーの合計を計算するために使用される。エラーの最小の合計を生成するシフトが、８ビットの分数値での定点フォーマットで返される。次の写真は、エラー対シフトプロットの例を示す。

図２は、特定の実施の形態に従った、エラーのメートル値対サブピクセルシフトを示す。その誤差関数は、正確な分数的なシフトを発見することを保証する局所の最小値を伴わうことなく、考慮された範囲内で円滑である。

ＨＤビデオからのパノラマ−カメラ内実装

ＨＤビデオフレームからのパノラマの作成の場合には、上述された画像登録手続は、カメラ内実装で、実時間性を可能とするのに時間とメモリを過度に消費する。この場合、特定の実施の形態に従う技術は、以下の例で示される：
１． ＨＤフレームがＱＶＧＡにダウンサンプリングされる；
２． 第１のＱＶＧＡフレームが基準フレームとみなされる；
３． ＱＶＧＡフレームは、特定の実施の形態に従って基準フレームを用いて登録される；
４． フレームの間の重複が特定の量に達する場合、現在のフレーム及び基準フレームは、特定の実施の形態に従って接合され或いはステッチングされる。接合処理の終わりに、継ぎ目線に沿ったぼかしカーネルの適用によって、アルファブレンディングマップが作成されることができる；
５． アルファブレンディングマップは、ＨＤフレーム解像度にアップサンプリングされることができる；
６． ＨＤフレームは、ステップ５で生成されたマップを共に使用してブレンディングされる；
７． 現在のフレームが基準フレームとなり、フレームが特定の数に達するまで、ステップ３−７が繰り返される。

次のセクションは、アルゴリズムの特定の有利な構成要素を示す。

画像接合アルゴリズム

このアルゴリズムの目的は、パノラマを作成するために画像を結合することができるように、２つの重複する画像間の最良の継ぎ目位置を見つけることである。継ぎ目は、視認できる切断部を生成しないように、２つの画像間の異なる部分が最小である領域を通過しなければならない。

その概念は、重複する画像間のローカルの違いに依存する速度で互いに近づく重複領域の反対側に、２つの輪郭を参入させることである。当該輪郭は、近隣の画素がより低い速度である場合には抑制されるが、特定の画素がより速く移動するように、特定の弾性で画像の全域で水平に伝搬する。そのアイデアは、画素が、重複する画像間で大きな差異がある領域を通じて速く移動し、画像間の小さい或いは無視できる差異である場合にスローダウンする、ということである。このように、互いの方向へ水平に伝搬する２つの輪郭は、２つの画像間のほぼ最適の或いは最適に近い継ぎ目で会う。

一旦画素が輪郭によって訪れられたならば、それらは、輪郭に関連した適切な画像に割り当てられる。したがって、左から右に伝搬する輪郭は、左側の画像に画素を関連させるであろう。右から左に移動する輪郭は、重複する画像ペアの右側の画像に画素を関連させるであろう。重複領域にもはや割り当てられていない画素がない場合、当該処理が停止する。

２つの重複する構成要素画像は、水平方向またはパノラマの長手方向に、或いはパンニングの方向に重複すると考えられる。それゆえ、左手側（ＬＨ）画像のみに属する領域、及び単に右手側（ＲＨ）画像のみに属する領域がある。続いて、ＬＨ画像またはＲＨ画像または幾らかの組み合わせまたは計算に基づくもの、のいずれかから画素が選ばれることができる、重複する領域がある。それぞれの輪郭は、この重複する領域のＬＨ又はＲＨ境界から開始する。ＬＨ境界は、完全にＬＨ画像に属するものであり、一方で本技術は、この境界を画像の画素列に沿って右に移動させ、同時に、ＲＨ境界を左に移動させることを含む。

各境界が移動する（相対的な）速度は、重複するＬＨ及びＲＭ画像画素の間の（相対的な）差異によって判定される。ＲＨとＬＨの画素間の差異が殆どない場合、これが、より速く移動している部分よりも画像継ぎ目を備えるのにより良い場所であることから、輪郭は、よりゆっくり移動する。大きな差異がある場合、ＲＨ及びＬＨの画像画素間の高い差異の領域で継ぎ目が生じないに違いないので、それは速く移動する。重複領域では、画素は、特定の実施形態でのＬＨ又はＲＨ画像のいずれかから選ぶことができる。さらに注目すべきは、この「速度」は、重複領域内の輪郭の部分中に関連することである。

ところで、特定の列における輪郭画素は、画素差における変化のために、上の（または下の）列においてよりも速く伝搬するだろう。特定の実施形態では、右（ＬＨ輪郭用）または左（ＲＨ輪郭用）に列が伝搬する速度も、その近隣の列によって部分的に抑制される。これらの実施の形態では、輪郭は「弾性体（ｅｌａｓｔｉｃ）」と呼ばれる。したがって、ＲＨ及びＬＨ画像間の大きな差異に基づいて非常に速く１列が移動される場合、その列の上（または下に）は顕著により遅い速さで移動しているので、それは遅くなることができ、逆もまた同じである。

ここでは、ＬＨ輪郭が右に伝搬するにつれ、この伝搬する「境界線（ｂｏｕｎｄａｒｙ ｌｉｎｅ）」（または「州境（ｓｔａｔｅ ｌｉｎｅ）」）の後ろの（あるいは左の）画素は、ＬＨ画像から１００％取得され、他方、同様に、ＲＨ輪郭の右への画素がＲＨ画像から得られる。結局、これらの２つの「州境」は、幾つかの地点で一致し始め、また、それらが「衝突する」場合に当該一致点で伝搬することを単にやめる。結局、２つの輪郭は、重複領域の全ての列の全域で一致するであろうし、また、重複領域による最終的な継ぎ目線が決定される。

代替の実施の形態は、輪郭を一方向に伝搬すること（輪郭は戻ることができない）に関する技術を使用することができ、これは、Ｓｅｔｈｉａｎらにより記述され、１９９５年１０月２０日に提出された米国科学アカデミーの紀要「Ａ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｌｅｖｅｌ Ｓｅｔ Ｍｅｔｈｏｄ ｆｏｒ Ｍｏｎｏｔｏｎｉｃａｌｌｙ Ａｄｖａｎｃｉｎｇ Ｆｒｏｎｔｓ」のものと類似する。

特定の実施の形態では、例えば、Ｅ．Ｗ．ダイクストラの「グラフでの接続における２つの問題に関する注釈（Ａ ｎｏｔｅ ｏｎ ｔｗｏ ｐｒｏｂｌｅｍｓ ｉｎ ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ ｇｒａｐｈｓ）」，Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ １：第２６９−２７１頁（１９５９年）、ｈｔｔｐ：／／ｗｗｗ−ｍ３．ｍａ．ｔｕｍ．ｄｅ／ｔｗｉｋｉ／ｐｕｂ／ＭＮ０５０６／ＷｅｂＨｏｍｅ／ｄｉｊｋｓｔｒａ．ｐｄｆ 及び／又は、Ｍ．スニードビッチ（Ｓｎｉｅｄｏｖｉｃｈ）の「ダイクストラのアルゴリズムの再考：動的プログラミング接続（Ｄｉｊｋｓｔｒａ’ｓ ａｌｇｏｒｉｔｈｍ ｒｅｖｉｓｉｔｅｄ： ｔｈｅ ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ ｃｏｎｎｅｘｉｏｎ）」（ＰＤＦ），Ｊｏｕｒｎａｌ ｏｆ Ｃｏｎｔｒｏｌ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ ３５（３）：第５９９−６２０頁（２００６年）、ｈｔｔｐ：／／ｍａｔｗｂｎ．ｉｃｍ．ｅｄｕ．ｐｌ／ｋｓｉａｚｋｉ／ｃｃ／ｃｃ３５／ｃｃ３５３６．ｐｄｆ．中で述べられるように、ダイクストラ・アルゴリズムに類似するアプローチが利用されることができる。輪郭進化は、微分方程式の解決により得られた値の選別により管理されることができる。それは、ＰＣ上の相対的に速いアルゴリズムであるが、（各輪郭が１つの画素により更新される）反復的な選別及び動的なデータ構造を含む。そのため、特に埋め込み式プラットフォームに関する特定の実施の形態は、ダイクストラアプローチを使用しない。

特定の実施の形態では、有利な技術を実装し実現するために、ＦＩＦＯキューは、メモリ再配分を伴わない場合でさえも使用される。図１０は、パノラマで使用される隣接した画像間の重複領域の全域で互いの方へ伝搬する２つの輪郭を示す。

輪郭の伝搬は、１セットの２５６の優先順位を付けられたＦＩＦＯバケットを含むキューによって制御されることができる。バケット番号２５５は最も高い優先順位であり、一方、バケット番号０は、最低の優先順位である。重複領域の新たな地点（ポイント）がキューに加えられる場合は常に、重複した画像間の加重された差異と等しいバケット番号に行く。当該差異は、０から２５５までの範囲である。特定の実施の形態で、ポイントがキューから除去されるべきである場合、それは最優先順位を有する空でないバケットから除去される。キューに加えられた各ポイントは、各々のポイントが属する輪郭を識別するフラグでタグ付けされる。

典型的な伝搬アルゴリズムは以下のように進むことができる：
１． 重複領域の左・右の垂直端でキューにポイントを加えることにより、輪郭を初期化する。右端のポイントらは、左端のそれらとは異なるラベルでタグ付けされる；
２． 上述された規則によるキューから最初のポイントを除去する；
３． もしもポイントが割り当てられていない場合、左，右，上，下方向にチェックする。そのようなポイントが存在する場合、それらにソース点が持っていたのと同じラベルを割り当てて、それらをキューに加える；そして、
４． キューが空でない場合は、２まで進む。

ノイズ及び小さな細部の存在のために、輪郭の形状は非常に複雑になることができ、それは、キューを維持するために大容量のメモリを必要とする、より大きな長さを当該輪郭が持つことを意味する。輪郭の形状を平らにし、かつ必要となるメモリの容量を減らすために、重複する画像間の差異は、次のマトリックスにより定義されたフィルターによって、平滑化されることができる：

続いて、チャンネル差は、加重平均によって１つの値へと組み合わせられることができる：
ｄＩ＝（２ｄＧ＋ｄＲ＋ｄＢ）／４
このフィルタリング演算は、３ｘ３ぼかしカーネルで継ぎ目線をぼかすことと等価であり得る。代替の実施の形態では、他のぼかし技術が使用されることができ、或いは、カーネルのサイズが５ｘ５または他の値に増加されてもよい。

２つの写真から作成された完全なパノラマの例が図１１で提供される。図１１は、特定の実施の形態に従って、２つの画像から作成されブレンディングされたパノラマを示す。

効率を改善するために、２つの画像からの重複領域のダウンスケールされた版を使用して、引き下げられた解像度で継ぎ目線が計算されることができる。重複する部分は、例えば整数減少係数を許可するために、余分な画素で当てがわれることができる。当てがわれた部分は、特定の実施の形態では考慮に入れられず、その代りに、適切な画像に各々直接割り当てられる。接合された画像がアップスケーリングされない特定の実施の形態では、継ぎ目線をぼかすことが省略されることができる。

特定の実施の形態において、接合マップサイズは、当てがわれにより拡張された画像重複領域の縮小されたサイズの通りとすることができる。当該接合線の計算の後に、マップは、縮小について使用されたのと同じ係数で拡大されることができる。

１つの実施形態において、継ぎ目線が決定された後、グレースケールでのアルファブレンディングマップは、３ｘ３のガウスのカーネルを使用して継ぎ目線をぼかすことにより作成される。その後、継ぎ目線及びアルファブレンディングマップの両方は、特定の出力解像度にアップスケーリングされる。１つの実施の形態では、アップスケーリングは、双線形補間を使用して達成される。この実施の形態は、高解像度画像を接合するためにアルファブレンディングマップを使用し、それによって、「箱形（ｂｏｘｙ）」の継ぎ目を回避する。ブレンディングマップのぼかしの遷移のおかげで、接合線は十分な解像度でそれほど目立たなくなる。接合された画像がアップスケーリングされることができない特定の実施の形態では、継ぎ目線をぼかすことが省略されることができる。図１２は、図１１中に示されたパノラマ画像を作成するために使用されるブレンディングマスクを示す。

この方法で作成された継ぎ目は、目に見えない、或いは２つの接合された画像の輝度が整合的である限り、気付くことが難しい。輝度の変化は、最終のパノラマ画像を合成するために使用される画像セットを捕捉するに先立って、撮像装置の露光量を固定することにより回避される。

特定の実施の形態では、画像セットの全域で輝度の変化を克服するために、一致した鮮明さ及びぼかされた画像ペアを使用する技術が使用されることができる。そのような実施形態は、米国特許出願公開第２００８／０２１９５８１号または米国特許出願第１２／４８５，３１６号明細書から引き出される技術が使用されることができる。例えば、試写画像のような短い露光時間（ＳＥＴ）の多重の画像は、多重のビデオフレームを作成するために、単一のぼかされた主画像獲得物内に使用されることができる。

代替の実施形態では、最適の露光量レベルが全シーンの全域で決定されるように、カメラ使用者が、パノラマシーンの前取得スイープを行なうように促されることができる。使用者はその後、元の位置にカメラを戻し、また、露光量レベルは、シーンの前取得スイープに基づいて固定される。

他の実施形態では、画像がそれぞれ得られるにつれて露光量が変えられることができ、そして、最適の継ぎ目線を決定するに先立って色調バランス及び／又は色マッチングを遂行するために、画像間の相対的な露光量の差を記録する詳細な「差分マップ（ｄｅｌｔａ−ｍａｐ）」が記録され使用される。幾つかの実施形態では、色マッチングは画像処理連鎖の中に統合されることができるし、露光量「差分マップ」から調節用データを直接取ることができる。

パノラマの２つの画像間の継ぎ目の配置は、これらの２つの画像間の重複領域の画素間で計算されたイメージ差を修正することによって、容易に制御することができる。例えば、顔追跡アルゴリズムの出力は、画像継ぎ目が望まれない領域を選択するために使用することができる。２つの画像間の重複領域の全域での輪郭の伝搬に先立って、輪郭伝搬アルゴリズムが顔領域を横切る継ぎ目を決定することの可能性を減少させるため或いは完全に防止するために、この重複領域内のどのような「顔領域」も、人為的に増加されたイメージ差を有することができる。

類似のロジックは、見る者にとって画像の詳細がより知覚しやすい画像シーンの前景部分に適用されることができる。それは、画像継ぎ目がそのような領域を横断する特定の実施の形態では、より望ましくない。したがって、別の代替の実施の形態では、パノラマアルゴリズムに、リアルタイム顔追跡器あるいは前景／背景検出器からの出力が利用可能であり、また、画像接合演算は、顔追跡器及び／又は前景／背景領域検出器の出力に適応するために修正される。特に、２つの画像間の重複領域にある前景領域、物体及び／又は検知された顔領域は、継ぎ目線がそのような領域を横断しないように、マークされることができる。この実施形態を洗練させたものにおいては、測定された領域を継ぎ目が横断することを完全には防止できないが、これを可能な限り防止するために、イメージ差が人為的に増加させられる。さらに洗練された形態では、イメージ差の人為的な増加は、画像の遠方の背景に近い物体と交差する可能性が漸進的にある継ぎ目を備えた深度マップに基づく。

特定の実施形態中で利用されることができる典型的な顔トラッキング及び前景／背景技術は、米国特許第７，６０６，４１７号、第７，４６０，６９５号、第７，４６９，０５５号、第７，４６０，６９４号、第７，４０３，６４３号及び第７，３１５，６３１号、米国特許出願公開第２００９／０２７３６８５号、第２００６／０２８５７５４号、第２００９／０２６３０２２号、第２００７／０２６９１０８号、第２００９／０００３６５２号、及び第２００９／００８０７１３号、及び２００９年６月５日提出の米国特許出願第１２／４７９，５９３号、及び２００９年１０月２日提出の第１２／５７２，９３０号明細書で説明され、これらは、代替の実施の形態を示すものとして含まれる。

顔又は前景領域、すなわち物体が、２つの画像間の重複領域全体の全域で伸びる場合、続いて、エラー状態が示されて、取得処理が異常終了し得る。あるいは、顔の領域を継ぎ目が横断することが望まれる場合、顔美化技術を組み込んだ、もっと精巧なアルゴリズムが適用されることができる（例えば代替の実施の形態を示すものとして含む米国特許出願第１２／５１２，８４３号、第１２／５１２，８１９号及び第１２／５１２，７１６号明細書を参照）。そのようなアルゴリズムは、皮膚領域の特徴知覚（ａｗａｒｅ）平滑化が後続する皮膚の組織分析を含むことができる。他の実施形態では、顔の外輪郭（例えば、顎、横顔）についての知識と顔の基本的特徴（例えば、目、鼻、口、及びヘアーライン）が組み合わせられた知識が使用されることができる。

代替の実施の形態では、これらは、面内顔配向及び顔姿勢についての知識によって、さらに洗練されることができる。そのような知識は、能動的外観モデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅ）あるいは米国特許第７，５６５，０３０号及び第７，４４０，５９３号、ならびに、米国特許出願公開第２００９／０１７９９９８号、第２００７／０２６９１０８号、第２００８／０２１９５１７号及び第２００８／０２９２１９３号明細書のいずれかに記述されるような回転分類機を使用して得ることができる。

前景及び背景領域

前景物体が背景シーンよりも撮像装置に実質上接近しているところでは、重複領域内に視差効果が生じ得る。そのような場合、エラー状態が示されることができる。あるいは、前景物体（ら）及び背景シーンは個別に接合されることができ、また、前景は背景シーンの上に再合成される。そのような実施形態で、前景物体の正確な接合を促進し、接合された背景シーン内の物体の最適の位置決めを決定するために、同じ重複領域と重複させる追加の画像からの情報が使用されることができる。追加の画像からの情報も、撮像された背景を拡張し、視差により前景物体によって隠された詳細を提供するために使用されてもよい。これらは、画像の背景に対して継ぎ目を接合する方法を有利に決定するのに役立つことができる。

そのような状況で、撮像装置に由来して利用できる場合には、前景物体の正確な範囲／距離に関する追加情報が使用されることができる。

一例の実施形態では、１つ以上の前景物体（ら）は、１つ以上の人間の顔、そして多分、関連する身体のプロファイルの部分（例えば、頭及び肩部、或いはもしかすると胴及び腕部のより多くの箇所、そして脚さえも）を含む。この例において、少なくとも１つの顔は、２つの画像フレームの間の重複領域のパノラマ内に配置されることが決定される。視差により、この前景シルエットは、２つの画像間で置き換えられるように見えるであろう。正常な接合及び／又はステッチングが適用されれば、当該シルエットは、「太り顔」効果を生む水平方向に延ばされるであろう。人が撮像装置にさらに接近しているより極端な例において、最終的に接合されたパノラマ画像中で、人の「鏡像」が作成され得る。これらの不適当な結果を回避するために、例えば、米国特許第７，４６９，０７１号及び第７，６０６，４１７号、ならびに米国特許出願公開第２００９／０２７３６８５号、第２００６／０２８５７５４号、第２００７／０１４７８２０号、第２００９／００４０３４２号、及び第２００７／０２６９１０８号明細書の内のいずれかに従った前景／背景分離法が、構成要素画像の各々に適用される。前景領域（ら）は、接合され及び／又はステッチングされるべき各々の任意の隣接した２つの画像からカットされることができる。１つの実施形態では、これらの「切り取り（ｃｕｔ−ｏｕｔ）」領域は、同じシルエット領域を重複させる他の画像フレームからのデータを用いて充填され、異なる視差により背景の異なる部分をさらに露出する。十分なデータが利用可能でないところでは、追加の充填及び外挿技術が使用されることができる。背景画像は、その後、通常のアルゴリズムを用いて接合されることができる。

前景領域は、（例えば、その位置、及び任意に、目、口、ヘアーライン及び／又は顎のような顔の特徴の形状をマッチングすることにより顔領域に対して、さらに別々に提携されることができる。その後、整列に続いて、これらは通常のアルゴリズムを使用して接合されることができる。任意に、各画像から完全なシルエットが利用可能なところでは、前景領域を別々に接合する代わりに、前景領域のうちの１つは、既に接合された背景画像上に合成するために選択されることができる。前景物体が背景上に合成される位置は、中間地点、或いは２つの元の位置の間で選択されることができる。使用者は、当該前景画像を、パノラマの最も風景的な部分であると判定されるもののようなパノラマ内の異なる位置に置くことさえも選択することができる。あるいは、前景位置は、背景領域のための接合継ぎ目に沿ったより高いコントラストの地点をカバーするために選択されることができる。

広範囲の顔分析技術及び方法は、米国特許第７，５６５，０３０号または米国特許出願公開第２００９／０１７９９９８号、第２００８／００１３７９８号、第２００８／０２９２１９３号、第２００８／０１７５４８１号、第２００８／０２６６４１９号、第２００９／０１９６４６６号、第２００９／０２４４２９６号、第２００９／０１９０８０３号、第２００８／０２０５７１２号、第２００８／０２１９５１７号及び第２００９／０１８５７５３号、及びＰＣＴ国際公開公報ＷＯ２００７／１４２６２１号明細書に記載されているように、そのような前景シルエットの外観をさらに増強するために、有利に使用されることができる。前景の顔の領域を分離した後、これらは、背景のパノラマシーン上に再合成されるに先立って、様々な画像処理技術を適用することによって、増強されることができる。前景／背景分離及び個々の分析、及びこれらの実施の形態に従った前景と背景画像の構成要素の処理は、増強されたパノラマ画像を有利に提供するために使用されることができる。

カメラ内画像ブレンディング処理

図１３は、さらに、パノラマ画像生成処理を含む特定の実施の形態に従った画像ブレンディング処理を示す。図１２では、構成要素の画像の任意のものの５倍未満の広さでパノラマ画像を形成するために接合される、５つの画像が示される。パノラマ画像が形成される場合、継ぎ目が形成されるところの下に画像ブレンディング矩形が示される。形成されたパノラマ画像の部分は、図１３の画像ブレンディング矩形及び画像構成要素の下に示される。

典型的な実施の形態では、投影アルゴリズムが適用されるパノラマのユーザインタフェースに表示するために、表面の選択が使用されることができる。例えば、リチャードＳｚｅｌｉｓｋｉによる「画像整列及びステッチング：指導書」（予備ドラフト、２００４年９月２７日、技術報告書、ＭＳＲ−ＴＲ−２００４−９２、第８乃至１０頁）及び／又は米国特許出願公開第２００６／００６２４８７号、第２００６／００１８５４７号、第２００５／０２００７０６号、第２００５／０００８２５４号及び２００４／０１３０６２６号明細書に従って、３Ｄ投影アルゴリズムが使用されることができる。

超解像：合成画像の結合

別の実施の形態は、さらに低解像度（相対的に低解像度）画像だけを使用して、高解像度（高解像度）パノラマを作成する方法を提供する。用語「低解像度」は、ここでは、用語「高解像度」への比較の意味で使用され、低解像度の画像は高解像度画像よりも低い解像度を持っているが、特定の解像度は意味しない。そのような実施の形態は、低解像度（及び低価格）の装置に適している。それは、優れた光学系及びＣＰＵ能力を持つＨＤ装置と競争する、チップ上カメラの解決策と結合することができるアプローチである。

この実施の形態では、パノラマシーンの低解像度パンニングされたビデオシーケンスが獲得される。高い解像度の画像は得られず。そのため、継ぎ目線は、他の実施の形態でのような高い解像度の画像に転送されない。さらに、選別処理中に、より少数の画像フレームが廃棄される。画像フレームの大部分の代わりに、幾つかの異なるパノラマ画像セットのうちの１つへソートされることができる。

このため、端部の登録を行ない画像を重複させて接合することにより、２つ以上の合成パノラマ画像が作成されることができる。１つの典型的な実施の形態では、画像フレームは以下のように接合される：１つのパノラマ画像セットを形成するのにフレーム１＋４＋７＋１０が使用され、続いてフレーム２＋５＋８＋１１で第２のものを、同３＋６＋９＋１２で第３のものを生成する；これら３つの別個の画像セットは、完全に重複することが必ずではないがほぼ必要となる、３つの別個のパノラマ画像Ｐ１，Ｐ２，Ｐ３を作成するために使用される。注意すべきは、全ての画像を保持することは必須でないことである；例えば、フレーム３と４の間で獲得された追加の画像（謂わば画像３−２、３−３及び３−４）がある場合でも、それらの間に十分な変位がなかったために、或いはＰ１，Ｐ２及びＰ３が十分であると見なされたために、或いは他の理由により、それらが廃棄されることができる。

超解像技術は、続いて、単一の高解像度パノラマ画像を作成するために適用される。各パノラマフレームセットの端部登録は、他のフレームセットからの重複する画像を使用して支援されることができる。

携帯型装置用のパノラマ観賞モード

パノラマ画像が作成された後、その画像を携帯型の装置上で続いて見ることは厄介であり得る。しかしながら、特定の実施の形態に従って、獲得中に使用された元の（水平）運動に関する情報が当該画像とともに保存される場合、有利な観賞モードを提供することが可能である。

そのような観賞モードの例によれば、カメラ付き携帯電話機のスクリーンは、パノラマ画像の中央の部分についての十分な高さの視野（下記図中の鉤括弧中の部分）で開くことができる：
−−−−−−［−−−］−−−−−−
ここからカメラが左にパンニングされると、この動きが測定され、それに応じて表示される画像の部分が調節される（前図と比較した次の図において、鉤括弧中の部分が左側に移動した）：
−−［−−−］−−−−−−−−−−
あるいは、使用者が右回りに完全に回る場合（鉤括弧中の部分は、前の２つのいずれかと比較した次の図において、右に移動した）：
−−−−−−−−−−−−［−−−］

したがって、元の広いパノラマのシーンの性質を捕捉する方法で表示部にパノラマ画像全体を供給することは可能である。さらに使用者は、垂直方向での最大解像度でパノラマシーンの異なる部分、セグメント或いは構成要素を見る利益を得ることができる。

本システムが、元のパノラマ画像を捕捉するために使用された動きに関するデータを格納する場合には、「キーホール」または「のぞき穴」観賞の改良が提供される。この動きデータは、転得ユーザが画像を見ることを制御するために使用されることができる。例えば、携帯装置の動きはマウス入力を使用してデスクトップコンピュータ上でシミュレートされることができるが、特に、携帯型の装置に関しては、その動きは、捕捉の間に及び再生の間に測定されることができる。

代替の実施の形態は、元のビデオクリップを再生するが、使用者が視認中に携帯型の装置を移動させる方法により、再生の方向及び／又は速度を制御することを含む。

携帯型装置上のステレオスコピックパノラマ生成

２つの合成ステレオスコピック（３Ｄ）のパノラマの画像は、端部登録を行なって、重複させる画像を接合することによって作成されることができる。当該２つのパノラマ画像は、１対の人間の目の距離（例えば５〜７或いは８ｃｍ）とほぼ等しい特定の実施形態にある距離のために、空間でのオフセットを有する。選択されたズーム効果を生むために、より大きな変位が実際に選択されることができる。どのような場合も、前景物体は、背景とは異なる視点から現われる。この差異は、物体がカメラに近くなるほど増強される。

図１４Ａ−１４Ｂは、ステレオスコピックのパノラマ画像を生成するために、３次元の構成要素画像を生成し、かつさらなる３次元の構成要素画像と結合するために使用され得る画像捕捉の間で数センチメートル移動させられたデジタルカメラによる２つの画像の捕捉を示す。図１５は、ペアの画像がステレオスコピックのパノラマ画像を形成するために合併される場合、図１４Ａ−１４Ｂのデジタルカメラの相対的な水平の空間変位を示すパノラマスイープシーケンスからの画像フレームを示す。ここで留意すべきは、あたかも水平の変位と同様に垂直の変位もあるかのように、図１５中で画像が長方形で表わされることである。しかしながら、図１５中に示された明白な垂直の変位は、図１５の個々の画像／フレームを区別することを意図しているのであって、必ずしもパノラマのスイープで捕捉された画像フレーム間の任意の垂直の変位を示すものではない。垂直及び水平の変位は、上述された登録及びステッチング処理で扱われる。

図１４Ａ及び１４Ｂから見ることができるように、ステレオスコピックの画像ペアは、設定可能な３Ｄ効果を提供するために選択されることができる十分な相対的変位で捕捉される２つの画像を含むことができる。例えば、５乃至７ｃｍの変位は、３Ｄ画像化を提供するための、生来位置する人の両目間の距離の状態であろう。さらに、より大きい或いは幾分小さな距離、例えば、２ｃｍから１０ｃｍの間、あるいは１２ｃｍ（以下の例を参照）、あるいは３ｃｍから９ｃｍの間、あるいは４ｃｍから８ｃｍの間が可能である。当該ステレオ基盤は、固定化されることができるし、あるいは特定の実施の形態では、有利に設定可能とされることができる。例えば、この変位の距離は、３Ｄ効果を選択的に増強するために、使用者（またはＯＥＭ／ＯＤＭ）がアクセスされるパラメーターであることができる。

上述したように、特定の実施の形態での５〜７或いは８ｃｍの変位は、母なる自然に由来する。それらの数は、観察者の点（例えば両目）の物理的な位置を参照する。これらは、ステレオスコピックのパノラマ画像を捕捉するために使用され、デジタルカメラあるいはカメラ機能付き装置、カメラ付き携帯電話機、カメラ付き音楽プレーヤーなどの光学系の既知の特性に基づいて、画素距離に変換または転換されることができる。図１７の実施の形態の中で、詳細に下に記述した、例えば２つのクロップ（ｃｒｏｐｓ）クロップの間の距離は、設定可能とすることができる。テストにおいて、それらのクロップが重複している（したがって、それらの中心の間の距離は非常に小さい）場合でさえ、依然として顕著に良好な３Ｄ効果が観察された。要するに、獲得条件及び所望の３Ｄ効果に依存して、変位の距離は、非常に小さいものから非常に大きなものまで変わることができる。

カメラ装置の光軸の相対的位置の点では、ステレオスコピック効果を生成するために２つの画像を５ｃｍ（２インチ）未満でとる場合、距離がより小さくなるにつれて、縮小されたステレオスコピック効果になるであろう。より大きな距離は、シーンへ移動する「観察者」と等価な、増強されたステレオスコピック効果を生成する。要するに、焦点面は、観察者に接近して移動するように見える。これは、例えば、７ｃｍの分離でステレオ画像が作成されて視認され、続いて８ｃｍで、その後に９，１０，１２，１４ｃｍで分離することを意味し、そのようにすることで、あたかも観察者がシーンへ移動するように見えるであろう。背景が「背景で」残るのに対して、前景物体は益々３Ｄになって観察者に近づくように見えるであろう。したがって、距離は、所望の３Ｄ見聞に依存して、変化、設定、及び／又は選択されることができる。ステレオスコピック効果に対する変位の距離に対するどのような外部の制限も、捕捉されているシーンに多少依存するであろう。例えば、接近している前景物体があれば、非常に大きな（例えば２０ｃｍを越える）ステレオ分離は、前景物体を変形させるであろう。接近している前景物体がない場合、より高い変位値（例えば２０−３０ｃｍあるいはそれ以上）を使用することができる。すなわち、特定の実施の形態では、ステレオの距離は、シーンの前景物体の接近度の測定に基づく。最も近い前景物体が接近しているほど、開始するステレオ分離距離の最低限界（例えば約５ｃｍ）は小さくなる。

特定の実施の形態では、同様の相対的な変位で開始し、後の画像の結合によってこの変位を維持する２つのパノラマシーケンスが、ステレオスコピックのパノラマペアを提供することができ、３Ｄ表示部システムあるいは装置でそのようなものとして見ることができる。当該２つのパノラマシーケンスは、単一のスイープから、或いは代替的に、同じまたは類似のパノラマのシーンの２つ以上のスイープに由来することができ、例えば、使用者が左から右までスイープし、他の可能な代案中、右から左に戻ることで元の出発点から元の方向にカメラを位置するように直ちに戻ることができる。

図１４Ａ、１４Ｂ及び１５で示される典型的な実施形態では、画像フレームは以下のように接合される：１つのパノラマ画像セットを形成するためにフレーム１＋３＋５＋７が使用され、続いてフレーム２＋４＋６＋８が第２セットを形成する。これらの２つの別個の画像セットは、２つの別個のパノラマ画像Ｐ１，Ｐ２を作成するために使用され、それは必ずではないが殆ど完全に重複し、図１５に示されるように互いから左右にオフセットされた構成要素の画像を含む。

全ての画像を保持することは必須ではない；例えば、フレーム１と２の間で獲得された追加の画像（すなわち画像１−２，１−３及び１−４）があっても、これらは廃棄されることができる。図１５は、フレーム１とフレーム２の間で捕捉された１つのフレーム、及びフレーム２とフレーム３の間で捕捉された２つのフレーム、そしてフレーム３とフレーム４の間の２つのフレーム、などをさらに示し、それは、ステレオスコピックのパノラマでのこの例中で使用されない、捕捉されたフレームである。当該第２の画像は、閾値（例えば５ｃｍ、４ｃｍ、３ｃｍなど）未満のカメラ移動の後に捕捉されたものとして拒絶されたことができる。４番目と５番目の画像は、他のカメラ移動及び／又はフレーム１中で捕捉されるシーンの範囲の閾値（例えば、５０％，６０％，７０％，８０％，９０％，など）未満でのシーン変位の後に捕捉されたもの、或いは画像が不明瞭であったか瞬きしている目を有する、あるいは他の不十分なもの（例えば、米国特許出願公開第２００７／０２０１７２４号、第２００７／０２０１７２５号、第２００７／０２０１７２６号、第２００９／０１９０８０３号、第２００８／０６１３２８号明細書を参照）として、拒絶されることができる。

この実施の形態では、携帯型の装置は、カメラの外部移動を測定する構成要素を組込むことができる。これは、加速度計、ジャイロスコープ、または他の物理センサーの使用を通じて達成されることができる。さらにそれは、画像の連続のフレーム間または動画捕捉シーケンスの画素動作を測定することができ、相対的なこの画素動作を画像取得装置の外部の物理的な動作に調整される、フレーム毎の登録コンポーネントを使用することにより達成される。

この実施の形態では、パノラマ画像を構築するために、スイープの異なるフレームが使用される。２つのパノラマは、単一のスイープ運動に由来することができる。第２のスイープでのフレームの各々は、第１のパノラマ中の対応するフレームから、予め定められた許容域、例えば、５乃至７．５ｃｍ或いは上に論じた値以内に置き換えられる。いつカメラが５乃至７．５ｃｍの間を或いは他の選択または設定された変位の距離を移動したかを判定するために、動きセンサー或いはフレーム毎の置換術を可能とする他の較正が使用される。

カメラは、使用者によって或いは回転するスタンドアクセサリーで機械的に、環状に或いは円のスイープ運動より幾分満たないように動かされる。単一のスイープは、２つの空間に置き換えられたパノラマを作成し、一方、使用者は移動する必要がない或いは第１のパノラマを捕捉する必要はない。

図１６Ａ及び図１６Ｂは、ステレオスコピックのパノラマ画像を形成するために、パノラマスイープ半径と、合併される画像ペアの捕捉間のデジタルカメラ変位のはるかに短い距離と、の関係を示す。フレームの各ペア間の動きがシーンとほぼ平行であるように、フレームの間の距離（遅れ）（例えば５乃至７．５ｃｍ）は、スイープの半径（例えば１．２ｍまたは他の人間の腕の長さ）に幾分満たないであろう。例えば、０．０７５ｍは、１．２ｍよりはるかに短いものであり（約６％）、また、実験では、１５％が良好なステレオスコピックのパノラマ画像を提供することを示した。

図１７は、個々のキーフレームからの左及び右クロップを使用する特定のさらなる実施形態に従った、ステレオスコピック（３Ｄ）のパノラマ画像の生成のための技術を示す。これらの実施形態では、２つのステレオスコピックのパノラマのための異なるキーフレームを選択する代わりに、キーフレームの各々に関して「左」及び「右」クロップが選択されることができる。すなわち、第１のパノラマがキーの左手側（ＬＨ）部分から開始され、第２の、変位されるパノラマはキーフレームの右手側（ＲＨ）部分から開始される一方、同じキーフレームが、両方のパノラマ画像に使用される。ＬＨ部分の最左端部と、キー画像のＲＨ部分の最左端部との間の距離は、人間の目の距離に対応する５乃至８ｃｍの物理的な変位と（画素において）等価であるべきであって、或いはそうでなければ、上に議論されたように、所望の３Ｄ効果に依存して、設定され、変化し、または選択されたものである。他の記述された実施形態であっても、クロップは使用され得る。

図１７で示されたアプローチは、少なくとも次の長所を有する：ステレオの基盤は固定されることができ、また、それを固定しておくために追加の手段は必要でない。他のアプローチでは、ステレオ基盤は、使用者によって遂行された、変化するパンニング速度のために、制御することが難しくなり得る。

同じキーフレームが左及び右のパノラマに使用されるとともに、その登録は、左及び右に対して１回だけで終了する。この特徴は、登録処理を半分に削減し、ステレオの基盤を維持する際に特定の不安定さを防止する。

さらに実施の形態は、十分に狭いクロップを選択することにより、遠近法の歪みに良好に対処する。

２つを越えるクロップは、例えば、幾つかのステレオの基盤を有する実施形態中で使用されることができる。代替の実施の形態では、３つ以上のパノラマ画像が捕捉されることができる。そのような実施の形態では、第１及び第２パノラマ画像が固定された変位、例えば７ｃｍを有し、第２及び第３は他の変位、例えば５ｃｍを有することができる。ステレオスコピックの１つの画像は、第１及び第２番目のパノラマ画像から作成することができる；他方、第２番目のステレオスコピック画像は、第１番目及び第３番目のステレオスコピック画像から作成することができる。これは、シーン間の変位が１２ｃｍに近づくにつれて、増強されたステレオスコピック効果を有することができる。

この第２のステレオスコピックのパノラマ画像は、利用者の視点を主なシーンへ移動させる明白な効果があることができる。言い換えると、より広いステレオスコピックの変位（１２ｃｍ）は、前景物体をより接近しているように見せる。追加的な多重のパノラマが作成される場合、シーンへより深く移動する（または画像が逆の状態で表示される場合に、シーンから戻って移動する）使用者の幻覚を作成するステレオスコピック効果を生成することが可能になる。この技術は、３Ｄパンニング効果として組込む全く精巧なスライドショー効果の生成を可能にする。これは、前景物体の３Ｄ視界が変化し、当該変化の程度がカメラからのこれらの物体の距離に直接関連するので、単に画像シーンへズーミングすることとは異なる。さらに代替の実施の形態では、そのようなステレオスコピックのパン／ズーム効果のシーケンスは、カメラでの単一のパノラマスイープに由来した３Ｄのビデオシーケンスを作成するために捕捉されることができる。

本発明の典型的な図面及び特定の実施の形態が説明及び図示されたが、本発明の範囲は、議論された特定の実施の形態に制限されものではないことが理解されるべきである。したがって、実施の形態は、限定的なものというよりむしろ例示的なものとみなされるべきであり、また、当業者によって、続く請求項及びそれらの構造及び機能的な等価物で規定されるような本発明の範囲を逸脱することなく、それらの実施の形態での変形例が作られ得ることが理解されるべきである。

加えて、好ましい代替の実施の形態及び請求項に従ってここに実施され得る方法において、動作は、選択された活版印刷の順序で記述された。しかしながら、当該順序は選択されたもので、かつ活版印刷の便宜のために順序付けられたものであり、特定の順序が表明され得る場合、あるいは当業者が特定の順序を必要であると理解する場合を除いて、動作を遂行するためにいかなる特定の順序も意味するようには意図されない。

Claims (12)

1. ステレオスコピックのパノラマ画像を生成する方法であって、
   携帯撮像装置が、シーンの全域でパンニングされている間に、前記シーンの一部の多重の画像フレームを自動的に取得し、
   前記多重の画像フレームは、少なくとも部分的に重複し、
   前記多重の画像フレームは、前記携帯撮像装置の光学系及び撮像センサーを使用して自動的に取得され、
   前記多重の画像フレームの第１のサブセットから、画像断片の第１のセットを抽出し、
   前記画像断片の第１のセットから第１のパノラマ画像を構成し、
   前記画像断片の第１のセット内の各断片は、前記画像断片の第１のセット内の互いの画像断片とは異なるフレームからのものであり、
   前記多重の画像フレームの第２のサブセットから、画像断片の第２のセットを抽出し、
   前記画像断片の第２のセットから第２のパノラマ画像を構成し、
   前記画像断片の第２のセット内の各断片は、前記画像断片の第２のセット内の互いの画像断片とは異なるフレームからのものであり、
   前記第１のサブセット及び前記第２のサブセットは、別個のものであり、共通の画像フレームを有さず、
   前記画像断片の第１のセット内の各画像断片は、前記画像断片の第２のセット内の対応する変位画像断片を有し、
   前記画像断片の第１のセット内の各画像断片と、前記画像断片の第２のセット内の対応する変位画像断片との間の変位は、一定であり、
   前記第１のパノラマ画像及び前記第２のパノラマ画像を使用して、ステレオスコピックのパノラマ画像を形成し、
   前記ステレオスコピックのパノラマ画像を格納し、送信し、または表示し、あるいはこれらを組み合わせること
   を特徴とする方法。
2. さらに、前記変位を測定することを含む請求項１記載の方法。
3. 前記変位は、少なくとも二次元での変位を含む請求項１記載の方法。
4. 前記少なくとも二次元は、深さ次元に直交する二次元からなる請求項３記載の方法。
5. 前記変位は、前記深さ次元を含めた三次元での変位を含む請求項４記載の方法。
6. 前記画像断片の第１のセット内の各画像断片と、前記画像断片の第２のセット内の対応する変位画像断片との間の変位が、一定であることは、
   選択されたステレオスコピック効果を提供するように設定された第１の予め定められた範囲内の相対的な変位を有する画像フレームをペアにすること；
   ペアになった画像フレームを組み合わせて、ステレオスコピックの構成要素の画像を形成すること；及び、
   第２の予め定められた範囲内のペアになり隣接した画像フレームと重なりがある、ペアになった画像フレームを保持すること
   からなることを特徴とする請求項１記載の方法。
7. 前記第１の予め定められた範囲は、５乃至７．５ｃｍであることを特徴とする請求項６記載の方法。
8. 前記部分的に重複することは、１０％及び５０％の間で重複することを特徴とする請求項１記載の方法。
9. さらに、次の画像フレームの取得または生成あるいはこの両方を用いて、画像フレームのペアのインターリービング接合を行うことを含む請求項１記載の方法。
10. 前記第１の予め定められた範囲は、前記撮像装置のパンニング半径の１５％以下であることを特徴とする請求項６記載の方法。
11. レンズ、画像センサー、プロセッサー、及び請求項１乃至１０のいずれかに記載のパノラマ画像生成方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを備えたプロセッサー読み取り可能な記憶媒体、を含むパノラマ画像のカメラ内生成の可能な携帯用カメラ機能付き装置。
12. 請求項１乃至１０のいずれかに記載のパノラマ画像生成方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを備えたコンピューター読み取り可能な１つ以上の記憶媒体。