JP4327856B2 - 小型システム用のパノラマメーカーエンジン - Google Patents

Description

本発明は、小型システムでパノラマ画像を作るためのソフトウェアに関する。

デジタル写真術は、今日、デジタルカメラとスキャナーが広く利用されるようになるにつれ、益々普及している。デジタル画像は、デジタルカメラを使って場面を捕捉するか、又はスキャナーを使って在来のフィルムベースの写真をデジタル化することによって作られる。在来のフィルムベースの写真術を超えるデジタル写真術の１つの具体的な利点は、デジタル画像は、より良く表示するために容易に操作又は編集できることである。

写真家がカメラを使って場面を捕捉するとき、所望の視野が、カメラの通常の視野より大きいこともある。デジタル写真術を使えば、パノラマカメラ又は魚眼レンズのような特殊な装備を購入する必要無しに、パノラマ画像を生成することができる。例えば、写真家は、デジタルカメラを使って、カメラを回転させ、順次異なる方向で写真を撮ることによって、一連の場面のデジタル写真を捕捉する。次に、捕捉した各画像を円筒上に投影し、一体に縫合して、場面のパノラマ写真を作成する。同様に、フィルムベースの写真をデジタル化して、デジタル化された画像を投影し、一体に縫合することによって、パノラマ写真を構成することもできる。現在、多数のデジタル画像を一体に縫合してパノラマ写真を形成するためのデジタル画像プログラムを入手することができる。代表的なプログラムとしては、Ｕｌｅａｄ Ｃｏｏｌ３６０^TM、Ｌｉｖｅ Ｐｉｃｔｕｒｅ、ＰｈｏｔｏＶｉｓｔａ^TM、及びＭＧＩｐｈｏｔｏＳｕｉｔｅＩＩＩ^TMがある。

典型的なデジタル画像プログラムは、一連の写真をバッファに入れ、操作してパノラマ写真に縫合することができるだけのプロセッサー能力とメモリを有するパーソナルコンピューターによって実行される。通常、出来上がったパノラマ写真は、ＪＰＥＧ画像として保存される。ＪＰＥＧ画像は、走査線毎に水平に保存され、一連の写真全体の幅に拡がることになる。この様に、パーソナルコンピューターは、一連の写真全体をバッファに入れ、それらをどのように縫合するかを決め、出来上がったパノラマ写真を走査線毎に水平に書き込まなければならない。

ビルトインカメラ付きの携帯電話及び携帯式コンピューター（例えばパーム装置）が益々普及するにつれて、これらの装置は、プロセッサーが低速でメモリが限られているにもかかわらず、パノラマ写真を作成するように期待されている。同様に、デジタルカメラは、パノラマ機能を実行するように期待されている。この様に、限られたリソースを効率的に利用する携帯装置用のパノラマソフトウェアが必要とされている。

米国特許出願第０９／６６５，９１７号

本発明の或る実施形態では、パノラマ画像を生成するための方法は、第１画像を受け取る段階と、第１画像を第１部分と第２部分に分割する段階と、第１画像の第１部分を回転させる段階と、第１画像の回転した第１部分を不揮発性メモリに保存する段階と、第２画像を受け取る段階と、第２画像を第３部分と第４部分に分割する段階と、第１画像の第２部分と第２画像の第３部分の間の重複領域を突き合わせる段階と、第１画像の第２部分と第２画像の第３部分を縫合して第１縫合画像を形成する段階と、第１縫合画像を回転させる段階と、第１縫合画像を不揮発性メモリに保存する段階と、を含んでいる。

異なる図面で同じ参照番号を使用しているのは、同様又は同一の要素であることを示している。

パノラマ画像を作成する方法
図１は、本発明の或る実施形態において、パノラマ写真を作るための方法１０のフローチャートである。方法１０は、カメラ電話、携帯式装置又はデジタルカメラのような携帯装置のハードウェアによって実行されるソフトウェアで実施することができる。

ステップ１２で、装置は、パノラマ画像を形成する一連の画像（例えば図２のパノラマ画像８）の中の１つの画像（例えば図２の画像１）を受け取るか、又は捕捉する。

ステップ１４で、装置は、現在の画像（例えば画像１）を円筒上に投影して、曲面画像を生成する。曲面画像は、ユーザーを、一連の画像が円筒の壁の上に投影された円筒の中心に配置することによって、ユーザーに写実的なパノラマ風景を呈示する。

ステップ１６で、装置は、現在の画像（例えば画像１）を左部分（例えば図２の左部分１Ａ）と右部分（例えば図２の右部分１Ｂ）に分割する。装置は、次に、現在の画像の左部分（例えば画像１の左部分１Ａ）を第１方向（例えば時計回り）に直角に回転させ、回転した左部分をパノラマ画像（例えばパノラマ画像８）の最初の部分として不揮発性メモリに保存する。或る実施形態では、パノラマ画像はＪＰＥＧフォーマットで保存されるので、回転した左部分は走査線毎に水平方向に処理され、保存される。現在の右部分（例えば図１の右部分１Ｂ）は、現在の画像と次の画像の間の重複を判定するのに用いられるので、まだ回転させない。

ステップ１８で、装置は、パノラマ画像（例えばパノラマ画像８）を構成する一連の画像の中の次の画像（例えば図２の画像２）を受け取るか、又は捕捉する。或る実施形態では、場面のどの部分がパノラマ画像を形成するために次の画像（例えば画像２）に含まれているのかをユーザーが知ることができるように、装置のビューファインダーが、前の画像の右部分（例えば画像１の右部分１Ｂ）を表示する。

ステップ２０で、装置は、現在の画像（例えば画像２）を円筒に投影して、別の曲面画像を生成する。

ステップ２２で、装置は、現在の画像（例えば画像２）を左部分（例えば図２の左部分２Ａ）と右部分（例えば図２の右部分２Ｂ）に分割する。装置は、次に、前の画像の右部分（例えば画像１の右部分１Ｂ）を現在の画像の左部分（例えば画像２の左部分２Ａ）と突き合わせて、前の画像と現在の画像の間の重複を判定する。或る実施形態では、装置は、前の画像の右部分（例えば画像１の右部分１Ｂ）と突き合わせるために、現在の画像の左部分の副部分（例えば図２の画像２の副部分２Ａ−１）の検索だけを行う。整合が確認されると、装置は、前の画像の右部分と現在の画像の左部分を整列させ、一体に縫合して縫合画像（例えば図２の縫合画像４）を形成する。

ステップ２４で、装置は、前の画像の右部分（例えば画像１の右部分１Ｂ）からの色と現在の画像の左部分（例えば画像２の左部分２Ａ）からの色を混合して、前の画像から現在の画像への移行を滑らかにする。

ステップ２６で、装置は、縫合画像を第１方向に直角に回転させ、回転した縫合画像をパノラマ画像（例えばパノラマ画像８）の一部分として不揮発性メモリに保存する。先に述べたように、或る実施形態では、パノラマ画像は、回転した縫合画像が走査線毎に水平方向に処理され、保存されるように、ＪＰＥＧフォーマットで保存される。現在の画像の右部分（例えば画像２の右部分２Ｂ）は、現在の画像（例えば画像２）と次の画像（例えば図２の画像３）の間の重複領域を判定するのに用いられるので、まだ回転させない。

ステップ２８で、装置は、パノラマ画像を構成する一連の画像の中に別の画像が在るか否かを判定する。在る場合、ステップ２８の後にステップ１８が続き、一連の画像の中の全ての画像がパノラマ画像を形成するために処理されるまで、方法１０が繰り返される。一連の画像の中に別の画像が無くなると、方法１０はステップ３０に続く。

ステップ３０で、装置は、パノラマ画像（例えばパノラマ画像８）を第２方向（反時計回り）に直角に回転させ、パノラマ画像をユーザーが見るのに正しい方向に向ける。装置は、最終画像を長方形にするため、パノラマ画像の曲率を取り除くこともできる。次に装置は、最終パノラマ画像を不揮発性メモリ内に保存する。

画像を円筒上に投影する段階
先にステップ１４と２０で述べたように（図２）、装置は、パノラマ画像を構成する画像を、図３の画像Ｉ₁及びＩ₂で例示するように円筒上に投影する。これは、ユーザーが、円筒の壁の上に投影された一連の画像を実際に見たとき、あたかもその場面の中心に立って周囲を見渡しているような写実的なパノラマの景色を作り出す。

画像を円筒上に投影するために、幾つか仮定を設けている。第一に、カメラの焦点距離は、一定で既知であると仮定している。例えば、カメラの焦点距離は、装置の製造元で設定することができる。第二に、カメラは、一連の画像を撮影する間、回転以外の動作は行わないと仮定している。第三に、回転軸は、画像のｙ軸に平行であると仮定している。図３に示す投影モデルを単純化するために、カメラの焦点距離はｆ、円筒の半径はｆ、回転軸から画像面までの距離もｆと仮定している。

図４に示すように、平面Ｉは画像面であり、円筒Ｃ_yは画像を投影する円筒である。起点Ｏ_Iは画像面Ｉの中心に位置しており、起点Ｏは円筒Ｃ_yの中心に位置している。点Ｃ_Iは画像面Ｉのｘ軸上に在り、点Ｃは線ＯＣ_Iと円筒Ｃ_yの交点に位置している。三角法から、以下の相関関係が導かれる。

点Ｂ_Iは、画像面Ｉ上の任意の点である。点Ｃ_Iは、点Ｂ_Iの、画像面Ｉのｘ軸上への投影である。線Ｂ’Ｃは線Ｂ_IＣ_Iの、円筒Ｃ_y上への投影であり、点Ｂは点Ｂ_Iの、円筒Ｃ_y上への投影である。ここでΔＯＢＣは、ΔＯＢ_IＣ_Iと相似である。三角法から、以下の相関関係が導かれる。

点Ｂ_Iの画像座標が（ｘ、ｙ）で、Ｂの円筒座標が（ｘ’、ｙ’）とすれば、式２は以下のように書き直すことができる。

この様に、式３及び４は、パノラマ画像を構成する画像を円筒Ｃ_y上に投影するのに用いられる。式３及び４から、ｘ’又はｘが固定されていれば、ｙとｙ’の関係は線形であり、ｘ’の式はｙとは無関係である。従って、ｘ’とｙ’の計算は、投影演算の複雑さを低減するために分離されている。

例えば、画像面で値ｘを有する１つの垂直線は、円筒上で値ｘ’を有する１つの投影された垂直線に対応する。従って値ｘ’を求めるには、画像面で値ｘ’を有する１つの垂直線を一度投影するだけでよい。ｘ’は一定なので、円筒上の各垂直線のｙ’値は、式４で

が定数であることから、ｙの関数として簡単に計算することができる。

と

の値は、投影演算を加速するため、リアルタイムで計算するのではなくルックアップテーブルに記憶することができる。

現在の画像と前の画像を突き合わせる段階
先にステップ２２（図１）で述べたように、装置は、現在の画像と前の画像を整列させ縫合してパノラマ画像を形成するために、現在の画像と前の画像を突き合わせなければならない。これは、一方の画像を他方の画像の上に載せ、２つの画像がどれほど密に一致しているかを判定することによって行われる。先に説明したように、突き合わせて検索する重複領域は、突き合わせ処理を加速し、演算コストを低減するために、画像１の左部分１Ｂ（図２）と画像２の副部分２Ａ−１（図２）のような画像エリア全体の一部分に限定することができる。或る実施形態では、装置は、２つの画像の間の共通の特徴を検索し、これらの共通の特徴を使用して、画像を整列させる。突き合わせに使用される代表的な特徴には、点、線、及び領域の位相幾何学がある。或る実施形態では、装置は、従来式のＲＡＮＳＡＣ（ランダムサンプルコンセンサス）アルゴリズムを使用し、２つの画像の間で共通の特徴を突き合わせる。

突き合わせ処理を更に加速し、演算コストを低減するために、本発明の或る実施形態では、装置は、解像ピラミッドを利用する。解像ピラミッドの使用については、２００１年９月２０日出願の一般所有の米国特許出願第０９／６６５，９１７号「形状的な制約を伴う解像ピラミッドを使った画像の突き合わせ」に記載されており、その全体を参考文献としてここに援用する。解像ピラミッドの使用について、図５を参照して簡単に述べる。

解像ピラミッド５０は、突き合わせる各画像毎に構築することができる。解像ピラミッド５０は、レベルＬｏの元々の解像度からレベルＬｔの最も粗い解像度まで、異なる解像度でｎレベルの画像を含んでいる。或る実施形態では、上方のレベルは、それぞれ下方のレベルから、２画素当たり１画素をサンプル採取して導き出される。

一番上のレベルでは、画像は、２つの画像を比較的容易に突き合わせることができるほどに小さい。例えば、装置は、２つの画像又は２つの画像の幾つかの部分の特徴を一番上のレベルで検出し、突き合わせて、カメラの動きを判定する。装置は、次に、カメラの動きを使って、検索を次に低いレベルで案内する。例えば、装置は、先ず、前の画像（又は前の画像の一部分）の特徴を次に低いレベルで検出する。現在の画像（又は現在の画像の一部分）で共通の特徴を探して徹底的な検索を実施する代わりに、装置は、カメラの動きが、共通の特徴が在るに違いないと示唆している現在の画像の領域（即ち現在の画像の一部分）を検索する。共通の特徴を検索して突き合わせた後、装置は、２つの画像を更に突き合わせるのに再度使用できる精緻なカメラの動きを判定する。

重複領域を混合する段階
先にステップ２４（図１）で述べたように、２つの縫合画像の間の重複領域は、両画像間の移行が滑らかになるように混合される。実際には、捕捉されている場面は、装置が２つの画像を受け取るか、又は捕捉する時間の間に変わることも多い。これによって、２つの画像の間で重複領域の内容が完全には一致しなくなる。例えば、場面の中で人が歩いていれば、この人の位置は、混合する２つの画像内で異なる。従来式の混合方法では、人の色値が画像に混合されるので、結局、ぼけたパノラマ画像になる。

図６は、本発明の或る実施形態において、装置が如何にしてぼけを防いでいるかを示している。装置は、前の画像の右部分８１Ｂと現在の画像の左部分８２Ａ−１の間の重複領域８４を突き合わせる。ぼけを防ぐために、装置は、先ず、前の画像と現在の画像の間の重複領域８４の色差マップを求める。装置は、次に、重複領域８４内の色差が最小となる経路８６を求める。或る実施形態では、画素の重み付け色差は以下のように計算され、
Ｄ_ij＝ｄ_ij＋ｄ_i-2、j-1＋ｄ_i-l、j-1＋ｄ_i、j-1＋ｄ_i+l、j-1＋ｄ_i+2、j-1 （５）
ここに、Ｄ_ijは画素（ｉ、ｊ）の重み付け色差、ｄ_ij＋は色差マップからの画素（ｉ、ｊ）の色差、ｄ_i-2、j-1、ｄ_i-l、j-1、ｄ_i、j-1、ｄ_i+l、j-1、及びｄ_i+2、j-1は、色差マップからの画素（ｉ、ｊ）の低い方の５つの近傍の色差である。最小の色差経路８６は、重複領域８４を通る全ての可能な経路の中で、経路を構成する全画素の色差合計が最小となる経路である。

装置は、最小の色差経路８６の左側を前の画像で占有させ、最小の色差経路８６の右側を現在の画像で占有させることによって、前の画像と現在の画像を縫合する。経路８６の両側の走査線の色が同様であれば、装置は、経路８６を中心にした混合幅Ｗに沿う２つの画像の色値を混合する。経路８６の両側の走査線の色は、その走査線内の経路８６上の画素の色差が閾値未満の場合は、同様である。経路８６の両側の走査線の色が余りにも違っている場合、装置は、その２つの画像の色値を混合しない。従って、装置は、場面の中の起こり得る変化を検出することによってぼけを防ぎ、２つの画像の混合を停止する。

図７は、本発明の或る実施形態において、装置が、走査線上の２つの画像の色をどの様に混合するかを示している。図７に示す例では、或る特定の走査線で、前（例えば左側）の画像の経路８６上の色値は、現在（例えば右側）の画像の経路８６の上よりも大きい。その場合、色値は、混合幅Ｗの半分（即ちＷ／２）に沿って前の画像から減じられ、混合幅Ｗ／２に沿って現在の画像に加えられ、経路８６に沿う２つの画像の間で円滑な移行が図られる。逆に、特定の走査線で、前の画像の経路８６上の色値が現在の画像の経路８６上の色値よりも小さい場合、色値は、混合幅Ｗ／２に沿って前の画像に加えられ、混合幅Ｗ／２に沿って現在の画像から減じられる。

先ず、装置は、混合幅Ｗに沿って前の画像及び現在の画像の色値に加えられるか、又はそれから減じられる色値を求める。加えられるか、又は減じられる色値は、曲線１０２と、経路８６上の画素の色差ｄ_ijの積である。具体的には、装置は以下の式を使用し、

ここに、Ｃ（ｘ）は、経路８６上の画素（ｉ、ｊ）からｘだけ離れた位置にある画素に加えられるか、又はそれから減じる色値であり、ｄ_ijは、画素（ｉ、ｊ）の色差であり、

は曲線１０２を表し、Ｗは混合幅である。

或る実施形態では、混合操作を加速するために、装置は、混合幅Ｗを、部分８１Ｂ及び８２Ａ−１（図６）の幅Ｗ_maxより小さい２ⁿの最大整数と定義している。混合幅Ｗをそのように定義することによって、装置は、２つの画像の色を混合するのに、積分除算ではなく式６の桁送り演算を使用することができる。

開示している実施形態の特徴の、様々な他の適用法及び組み合わせは、本発明の範囲に含まれる。数多くの実施形態が、特許請求項の範囲に包含されている。

本発明の或る実施形態における、パノラマ画像を作るための方法のフローチャートである。 本発明の或る実施形態における、図１の方法を使用したパノラマ画像の作成を示している。 本発明の或る実施形態における、パノラマ画像を作成するための、円筒上への画像の投影を示している。 本発明の或る実施形態における、パノラマ画像を作成するための、円筒上への画像の投影を示している。 本発明の或る実施形態における、２つの画像を突き合せるために用いられる解像ピラミッドを示している。 本発明の或る実施形態における、２つの画像の間の重複領域内の最小色差経路を示している。 本発明の或る実施形態における、パノラマ画像内の２つの画像の間の移行を平滑化する混合操作を示している。

Claims (15)

1. パノラマ画像を生成するための方法において、
   第１の方向に第１画像を受け取る段階と、
   前記第１画像を第１部分と第２部分に分割する段階と、
   前記第１画像の前記第１部分を第２の方向に回転させる段階と、
   前記第１画像の回転した前記第１部分を不揮発性メモリにラスター順にパノラマ画像の一部として保存し、各走査線が小さな寸法のパノラマ画像に及ぶ段階と、
   前記第１の方向に第２画像を受け取る段階と、
   前記第２画像を第３部分と第４部分に分割する段階と、
   前記第１画像の前記第２部分と前記第２画像の前記第３部分の間の重複領域を突き合わせる段階と、
   前記第１画像の前記第２部分と前記第２画像の前記第３部分を縫合して第１縫合画像を形成する段階と、
   前記第１縫合画像を前記第２の方向に回転させる段階と、
   回転させた前記第１縫合画像を前記不揮発性メモリにラスター順にパノラマ画像の一部として保存し、各走査線が小さな寸法のパノラマ画像に及ぶ段階と、
   前記パノラマ画像を前記第１の方向に逆に回転させ、前記パノラマ画像を前記不揮発性メモリにラスター順に保存し、各走査線が大きな前記パノラマ画像に及ぶ段階とから成ることを特徴とする方法。
2. 前記第１画像を受け取る段階の後で、且つ前記第１画像を分割する段階の前に、前記第１画像を円筒上に投影し、前記第１画像を湾曲させる段階と、
   前記第２画像を受け取る段階の後で、且つ前記第２画像を分割する段階の前に、前記第２画像を前記円筒上に投影し、前記第２画像を湾曲させる段階と、を更に含んでいることを特徴とする、請求項１に記載の方法。
3. 前記第１画像を円筒上に投影する段階と、前記第２画像を前記円筒上に投影する段階は、前記円筒上の点の座標を以下のように計算する段階を含んでおり、
   

   

   及び
   

   

   ここに、ｘ’とｙ’は前記円筒上の各点の座標であり、ｘとｙは前記第１画像と前記第２画像上の各点の座標であり、ｆはカメラの焦点距離であることを特徴とする、請求項２に記載の方法。
4. 前記第１画像の前記第２部分と前記第２画像の前記第３部分を突き合わせる段階は、前記第１画像の前記第２部分と前記第２画像の前記第３部分の副部分との間の共通の特徴を突き合わせる段階を含んでいることを特徴とする、請求項１に記載の方法。
5. 前記第１画像の前記第２部分と前記第２画像の前記第３部分の副部分との間の共通の特徴を突き合わせる前記段階は、
   第１レベルの前記第１画像の前記第２部分を第１解像度で生成する段階と、
   第２レベルの前記第２画像の前記第３部分を前記第１解像度で生成する段階と、
   前記第１レベルの前記第１画像上の少なくとも第１特徴を選択する段階と、
   前記第１特徴を求めて、前記第２レベルの前記第２画像を検索する段階と、
   前記第１画像の第１層と前記第２画像の第２層との間で前記第１特徴を突き合わせて、前記第１画像と前記第２画像の間の第１相対運動を求める段階と、を含んでいることを特徴とする、請求項４に記載の方法。
6. 前記第１画像の前記第２部分と前記第２画像の前記第３部分の一部分との間の共通の特徴を突き合わせる前記段階は、
   前記第１画像と前記第２画像の間の前記第１相対運動に基づいて、前記第１画像の前記第２部分と前記第２画像の前記第３部分の画素同士を突き合わせる段階を更に含んでいることを特徴とする、請求項５に記載の方法。
7. 前記第１画像の前記第２部分と前記第２画像の前記第３部分の一部分との間の共通の特徴を突き合わせる前記段階は、
   第３レベルの前記第１画像の前記第２部分を、前記第１解像度を上回る第２解像度で生成する段階と、
   第４レベルの前記第２画像の前記第３部分を、前記第２解像度で生成する段階と、
   第３レベルの前記第１画像上の前記少なくとも１つの第２特徴を選択する段階と、
   前記第２特徴を求めて、前記第４レベルの前記第２画像上の或る区域を検索する段階であって、前記区域は、前記第１画像と前記第２画像の間の相対運動に基づいて選択される、検索する段階と、
   前記第３レベルと前記第４レベルの間で前記第２特徴を突き合わせて、前記第１画像と前記第２画像の間の第２相対運動を求める段階と、
   前記第１画像と前記第２画像の間の前記第２相対運動に基づいて、前記第１画像の前記第２部分と前記第２画像の前記第３部分の画素同士を突き合わせる段階と、を更に含んでいることを特徴とする、請求項５に記載の方法。
8. 前記第１画像の前記第２部分と前記第２画像の前記第３部分を縫合する前記段階は、
   前記重複領域内で色差が最小である経路を求める段階と、
   色差が最小である前記経路の第１側を、前記第１画像からの色値で占有させる段階と、
   色差が最小である前記経路の第２側を、前記第２画像からの色値で占有させる段階と、を含んでいることを特徴とする、請求項１に記載の方法。
9. 走査線の前記第１側と前記第２側の間の色差が閾値未満の場合は、前記重複領域を混合する段階であって、前記段階は、
   色差が最小である前記経路の混合幅に沿って前記第１画像と前記第２画像の色値を混合する段階を含んでいる、前記重複領域を混合する段階を更に含んでいることを特徴とする、請求項８に記載の方法。
10. 前記第１画像と前記第２画像の色値を混合する前記段階は、以下の式で定義される値Ｃ（ｘ）を使って、前記混合幅に沿って前記第１画像と前記第２画像の色値を調整する段階を含んでおり、
    

    

    ここに、Ｃ（ｘ）は、色差が最小である前記経路上の画素（ｉ、ｊ）からｘだけ離れて位置している画素に加えられるか、又はそれから減じられる色値であり、ｄ_ijは、画素（ｉ、ｊ）の色差であり、Ｗは混合幅であることを特徴とする、請求項９に記載の方法。
11. 前記値Ｃ（ｘ）は、（１）前記第１画像の色値に加えられ、前記第２画像からは減じられるか、又は（２）前記第１画像の色値から減じられ、前記第２画像には加えられることを特徴とする、請求項１０に記載の方法。
12. 前記幅は、前記第１画像の前記第２部分未満の最大整数２ⁿであり、パラメーター値Ｃ（ｘ）を計算する際の除算演算は、桁送り演算を含んでいることを特徴とする、請求項１０に記載の方法。
13. 前記パノラマ画像を前記第１の方向に逆に回転させる前に、
    前記第１の方向に第３画像を受け取る段階と、
    前記第３画像を第５部分と第６部分に分割する段階と、
    前記第２画像の前記第４部分と前記第３画像の前記第５部分を突き合わせる段階と、
    前記第２画像の前記第４部分と前記第３画像の前記第５部分を縫合して、第２縫合画像を形成する段階と、
    前記第２縫合画像を前記第２の方向に回転させる段階と、
    回転させた前記第２縫合画像を前記不揮発性メモリにラスター順に前記パノラマ画像の一部として保存し、各走査線が小さな寸法の前記パノラマ画像に及ぶ段階と、を更に含んでいることを特徴とする、請求項１に記載の方法。
14. 回転させた前記第１の画像の前記第１の部分を保存する段階と、前記第１縫合画像を保存する段階と、前記パノラマ画像を保存する段階とは、前記不揮発性メモリにＪＰＥＧフォーマットで保存することを含んでいる請求項１に記載の方法。
15. 前記重複領域内で色差が最小である経路を求める段階は、
    前記重複領域の色差マップを求める段階と、
    前記色差マップにおいて各画素に対して重み付けされた色差を用いることによって前記色差マップから画素の色差の合計が最小となる経路を求める段階とを備え、各画素に対する前記重み付けされた色差は、前記画素と前記色差マップからのその低い方の５つの近傍画素との画素値の合計として定義される請求項８に記載の方法。

Images