JP5602985B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像処理に係り、特に、色々な方向に撮影された複数の画像を正確に連結してパノラマ画像を生成する技法に関する。

パノラマ画像とは、色々な方向に撮影された一連の画像を適切に連結することによって生成された画像を意味する。このようなパノラマ画像は、単一方向に撮影された一つの画像に比べて、撮影者周囲のシーンに対するさらに広い視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）を提供することによって、さらに事実的な画像となる。

パノラマ画像の生成のために使われる複数の撮影された画像は、一部分が相互重複される。具体的に、直前に撮影された画像の一側と現在撮影された画像の他側とは、相互重複される。重複された画像とは、現れた形状が同じ画像、すなわち、撮影対象が同じ画像を意味し、このように重複された（Identical）画像が正確に相互重畳された（すなわち、オーバーラップされた）状態で画像が連結されるほど、さらに現実感のあるパノラマ画像を期待できる。

従来のパノラマ画像生成装置は、相互連結しようとする画像を、重畳された画像の色相が最大限相互一致できるように位置させた後に連結することにより、パノラマ画像を生成する。

一方、重複された画像の色相は、相互同じであることが望ましいが、撮影対象が同一であっても、カメラの設定事項（例えば、しぼりの開閉程度）によって照度が変わってその撮影対象の色相は多様に撮影される。

このように、重複された画像が異なる色相を有する場合、従来のパノラマラ画像生成装置は、重複された画像を互いに正確に重畳できないので、現実感のあるパノラマ画像の生成に限界があるという問題点を有する。

本発明が解決しようとする技術的課題は、異なる色相を有する重複された画像であっても、正確に重畳させることによってさらに現実感のあるパノラマ画像を生成できるようにする画像処理装置を提供することである。

本発明が解決しようとする他の技術的課題は、異なる色相を有する重複された画像であっても、正確に重畳させることによってさらに現実感のあるパノラマ画像を生成できるようにする画像処理方法を提供することである。

本発明が解決しようとするさらに他の技術的課題は、異なる色相を有する重複された画像であっても、正確に重畳させるコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体を提供することである。

前記課題を達成するために、本発明による画像処理装置は、相互連結しようとする画像のうち少なくとも一つを、前記画像間に重畳された画像間の色相が最大限相互一致するように移動させ、再整列信号に応答して再度動作する画像整列部と、前記移動された結果として重畳された画像のうち少なくとも一部の色相を、前記移動された結果として重畳された画像の色相を考慮して校正した後、前記再整列信号を生成する画像校正部と、を備えることが望ましい。

前記他の課題を達成するために、本発明による画像処理方法は、相互連結しようとする画像のうち少なくとも一つを、前記画像間に重畳された画像間の色相が最大限相互一致するように移動させる（ａ）ステップと、前記移動された結果として重畳された画像のうち少なくとも一部の色相を、前記移動された結果として重畳された画像の色相を考慮して校正し、前記（ａ）ステップに進むステップと、を含むことが望ましい。

前記さらに他の課題を達成するために、本発明によるコンピュータで読み取り可能な記録媒体は、相互連結しようとする画像のうち少なくとも一つを、前記画像間に重畳された画像間の色相が最大限相互一致するように移動させる（ａ）ステップと、前記移動された結果として重畳された画像のうち少なくとも一部の色相を、前記移動された結果として重畳された画像の色相を考慮して校正し、前記（ａ）ステップに進むステップと、を行うコンピュータプログラムを保存することが望ましい。

本発明によれば、相互連結しようとする画像のうち少なくとも一つを、その画像間に重畳された画像の色相が最大限相互一致するように移動させ、移動結果重畳された画像のうち少なくとも一部の色相を、その移動結果重畳された画像の色相を考慮して校正した後、移動を再度行うことにより、パノラマ画像を生成するために相互連結しようとする画像の間に存在する重複された画像が異なる色相を有しても、その重複された画像を正確に重畳させてさらに現実感のあるパノラマ画像を生成しうる。

本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施例を例示する添付図面及びその添付図面を説明する内容を参照せねばならない。

但し、本発明による画像処理技法は、さらに現実感のあるパノラマ画像の生成のために創作されたところ、図２ないし図８を通じた本発明の説明に先立ち、図１Ａないし図１Ｅを参照してパノラマ画像を概括的に説明する。

図１Ａは、撮影装備１００を表す。撮影装備１００とは、デジタルカメラ、撮影機能を有する携帯電話のように、撮影機能を有する装備を意味する。パノラマ画像は、撮影装備１００の撮影した複数の画像（すなわち、写真）を利用して生成される。

図１Ａに示したように、ｘ軸、ｙ軸、ｚ軸は、相互直交することが望ましい。このようなｘ軸、ｙ軸、ｚ軸は、図１Ａと異なって設定されることもあるが、説明の便宜上、図１Ａに示したように設定されると仮定する。このような仮定下で、ｚ軸は、撮影しようとする方向を意味する。ここで、撮影しようとする方向は、シャッタ１０２が指す方向となりうる。識別記号Ｏは、ｘ軸、ｙ軸、ｚ軸の交差点を意味する。

本明細書で、ピッチ方向１０４、パニング方向１０６、ローリング方向１０８のそれぞれは、ｘ軸を中心に回転する方向、ｙ軸を中心に回転する方向、ｚ軸を中心に回転する方向をそれぞれ意味する。さらに、本明細書で、ピッチ角度、パニング角度、ローリング角度のそれぞれは、ピッチ方向１０４に移動した移動量、パニング方向１０６に移動した移動量、ローリング方向１０８に移動した移動量をそれぞれ意味する。以下、ピッチ方向１０４、パニング方向１０６、ローリング方向１０８のそれぞれの正の方向は、図１Ａに示された方向の逆方向でもあるが、説明の便宜上、図１Ａに示された方向であると仮定する。

図１Ｂ及び図１Ｃは、水平パノラマ画像を説明するための図であり、図１Ｄ及び図１Ｅは、広域パノラマ画像を説明するための図である。

水平パノラマ画像とは、‘撮影装備１００を手にしている撮影者’、‘撮影者の身体一部（例えば、撮影装備１００を手にしている腕）’、または‘撮影装備１００’が固定された位置（Ｃ）を中心に回転することによって、撮影方向を直線軌跡に沿って変更させ、数回撮影した一連の画像１１０,１１２,１１４,１１６を利用して生成されたパノラマ画像を意味する。

図１Ｂに示したように、上記符号１１０,１１２,１１４,１１６は、それぞれ第ｍ（但し、ｍは、自然数）撮影画像、第ｍ＋１撮影画像、第ｍ＋２撮影画像、第ｍ＋３撮影画像を意味し、第ｍ＋３撮影画像、第ｍ＋２撮影画像、第ｍ＋１撮影画像、第ｍ撮影画像を意味することもある。また、本明細書で、撮影画像とは、撮影された画像、すなわち、写真を意味し、第ｍ撮影画像は、ｍ番目に撮影された画像を意味する。

図１Ｃの（ａ）に示したように、符号Ｃは、色々な方向に撮影された一連の画像を獲得するために要求される回転移動経路の中心を意味する。例えば、撮影装備１００が回転運動する三角台に固定されたまま数回撮影すれば、符号Ｃは、三角台を意味し、不動の撮影者が撮影装備１００を手にしたまま腕をある経路に沿って動かし、色々な方向に数回撮影すれば、符号Ｃは、撮影者（厳密には、動く腕側の肩）を意味する。

図１Ｃの（ｂ）に示したように、符号１１１,１１３,１１５,１１７は、第ｍマッピング画像、第ｍ＋１マッピング画像、第ｍ＋２マッピング画像、第ｍ＋３マッピング画像を意味し、第ｍ＋３マッピング画像、第ｍ＋２マッピング画像、第ｍ＋１マッピング画像、第ｍマッピング画像を意味することもある。また、本明細書で、マッピング画像とは、撮影画像が所定の曲面に投影された結果を意味し、第ｍマッピング画像とは、第ｍ撮影画像がその曲面に投影されて生成されたマッピング画像を意味する。

水平パノラマ画像は、撮影画像１１０,１１２,１１４,１１６を所定の曲面に投影してマッピング画像１１１,１１３,１１５,１１７を生成し、生成されたマッピング画像１１１,１１３,１１５,１１７を相互連結（Stitch）することによって生成される。ここで、所定の曲面は、‘円筒の側面’（以下、‘円筒面’）の少なくとも一部である。

図１Ｃの（ｂ）に示された円は、円筒面の断面を表す。図１Ｃの（ｂ）に示したように、撮影画像１１０,１１２,１１４,１１６は、中心が円筒面上に存在し、マッピング画像１１１,１１３,１１５,１１７は、全ての領域が円筒面上に存在する。

広域パノラマ画像とは、‘撮影装備１００を手にしている撮影者’、‘撮影者の身体一部（例えば、撮影装備１００を手にしている腕）’、または‘撮影装備１００’が固定された位置（Ｃ）を中心に回転することにより、撮影方向を曲線軌跡に沿って変更させ、数回撮影した一連の画像１５０,１５２,１５４,１５６を利用して生成されたパノラマ画像を意味する。

図１Ｄ及び図１Ｅに示したように、符号１５０ないし１５７は、それぞれ第ｍ撮影画像、第ｍマッピング画像、第ｍ＋１撮影画像、第ｍ＋１マッピング画像、第ｍ＋２撮影画像、第ｍ＋２マッピング画像、第ｍ＋３撮影画像、第ｍ＋３マッピング画像を意味し、第ｍ＋１撮影画像、第ｍ＋１マッピング画像、第ｍ＋２撮影画像、第ｍ＋２マッピング画像、第ｍ＋３撮影画像、第ｍ＋３マッピング画像、第ｍ撮影画像、第ｍマッピング画像を意味し、第ｍ＋２撮影画像、第ｍ＋２マッピング画像、第ｍ＋３撮影画像、第ｍ＋３マッピング画像、第ｍ撮影画像、第ｍマッピング画像、第ｍ＋１撮影画像、第ｍ＋１マッピング画像を意味し、第ｍ＋３撮影画像、第ｍ＋３マッピング画像、第ｍ撮影画像、第ｍマッピング画像、第ｍ＋１撮影画像、第ｍ＋１マッピング画像、第ｍ＋２撮影画像、第ｍ＋２マッピング画像を意味することもある。

図１Ｅに示したように、符号Ｃは、図１Ｃに示したＣと同一であり、Ｐ、Ｑ、Ｅ、Ｖ１、Ｖ２、Ｐ１、Ｐ２、Ｐ３、Ｐ４、α、θは、それぞれ球の北極、球の南極、球の赤道、球の何れか一経度、球の他の一経度、符号１５０が表す画像の中心、符号１５２が表す画像の中心、符号１５４が表す画像の中心、符号１５６が表す画像の中心、符号１５２が表す画像の位置と符号１５４が表す画像の位置との間に存在するパニング角度、符号１５０（または、符号１５４）が表す画像の位置と符号１５２（または、符号１５６）が表す画像の位置との間に存在するピッチ角度を意味する。図１Ｅに示したように、Ｐ２、Ｐ３は、赤道（Ｅ）上に位置し、Ｐ１、Ｐ４は、赤道（Ｅ）に平行な線に位置しうる。

広域パノラマ画像は、撮影画像１５０,１５２,１５４,１５６を所定の曲面に投影してマッピング画像１５１,１５３,１５５,１５７を生成し、生成されたマッピング画像１５１,１５３,１５５,１５７を連結することによって生成される。ここで、所定の曲面は、‘球の表面’（以下、‘球面’）の少なくとも一部である。図１Ｅに示したように、撮影画像１５０,１５２,１５４,１５６は、中心が球面上に存在し、マッピング画像１５１,１５３,１５５,１５７は、全ての領域が球面上に存在する。

図２は、本発明による画像処理装置を説明するためのブロック図であって、撮影部２１０、画像保存部２１２、読み取り部２１４、マッピング部２１６、適正移動量演算部２１８、画像整列部２２０、校正因子演算部２２２、画像校正部２２４、及び比較部２２６を備えうる。

撮影部２１０ないし比較部２２６は、撮影装備１００に備えられる。このような撮影装備１００は、液晶パネル（ＬＣＤ：Ｌｉｑｕｉｄ ＣｒｙｓｔａｌＤｉｓｐｌａｙｅｒ）（図示せず）のような表示部材（図示せず）を備えうる。この場合、表示部材（図示せず）は、撮影装備１００の外部の画像のうち、撮影装備１００に備えられたレンズ（図示せず）を通じて見える画像を表示する。

撮影者は、表示される画像を観察する途中に撮影しようとする画像を発見することがあり、この場合、撮影装備１００に備えられた撮影ボタン１０１を操作する。このとき、操作は、加圧でもあり、接触でもある。

このように撮影ボタン１０１が操作されれば、撮影部２１０は、撮影ボタン１０１が操作される当時に表示部材（図示せず）に表示されていた画像を撮影し、画像保存部２１２は、撮影された画像を保存する。

読み取り部２１４は、画像保存部２１２に保存された画像を読み取り、マッピング部２１６は、読み取られた画像を所定の曲面に投影してマッピング画像を生成する。または、マッピング部２１６は、撮影部２１０から入力された撮影画像を所定の曲面に投影してマッピング画像を生成する。前述したように、所定の曲面は、円筒面を意味することもあり、球面を意味することもある。

適正移動量演算部２１８は、‘相互連結しようとする画像間に重畳された画像間の色類似度を最大にする移動量’（以下、‘適正移動量’）を所定の各方向別に演算する。

ピッチ方向１０４、パニング方向１０６、ローリング方向１０８は、それぞれその方向の一例である。本明細書で、相互連結しようとする画像は、パノラマ画像を生成するために使われる複数のマッピング画像を意味しうる。例えば、相互連結しようとする画像は、第ｎ（但し、ｎは、自然数）マッピング画像と第ｎ＋１マッピング画像とを意味しうる。

また、移動量は、撮影画像の移動量であることもあり、マッピング画像の移動量であることもある。すなわち、移動量は、第ｎ撮影画像及び第ｎ＋１撮影画像のうち少なくとも一つの移動量であることもあり、第ｎマッピング画像及び第ｎ＋１マッピング画像のうち少なくとも一つの移動量であることもある。移動量が撮影画像の移動量であるか、あるいはマッピング画像の移動量であるかは、どの方向の移動量であるかによって変わる。

一方、撮影方向を異ならせて撮影された画像間には、重畳されたピクセルが存在できないので（図１Ｃ、図１Ｅを参照）、撮影画像の適正移動量を演算しようとする適正移動量演算部２１８は、第ｎ撮影画像及び第ｎ＋１撮影画像のうち一方を他方の属する平面に投影した後、適正移動量を演算することが望ましい。このとき、適正移動量演算部２１８によって行われる投影は、撮影装備１００の焦点距離と関係なく行われ、投影によって画像の形状及び面積が変わらない。

本明細書で、撮影画像（または、マッピング画像）は、複数のピクセルで形成され、それぞれのピクセルは、ある色相を表す。すなわち、それぞれのピクセルは、ある色相数値を表す色相情報を有する。説明の便宜上、このような色相情報は、赤色（Ｒ：Ｒｅｄ）成分、緑色（Ｇ：Ｇｒｅｅｎ）成分、青色（Ｂ：Ｂｌｕｅ）成分の組合わせで形成され、赤色成分の色相情報、緑色成分の色相情報、青色成分の色相情報は、それぞれ８ビットで表現されると仮定する。この場合、赤色成分の色相情報、緑色成分の色相情報、青色成分の色相情報のそれぞれの可能な色相情報の総数は２５６個である。言い換えれば、赤色、緑色、青色は、それぞれ総２５６個の色相数値（例えば、０〜２５５）のうち一つで表現される。例えば、緑色の色相数値が０というのは、表現可能な緑色のうち最も濃い緑色を意味し、緑色の色相数値が２５５というのは、表現可能な緑色のうち最も薄い緑色を意味する。

適正移動量の候補は、各方向ごとに事前に設定されていることが望ましい。この場合、適正移動量演算部２１８は、各方向ごとに一つの候補を選択し、第ｎ撮影画像及び第ｎ＋１撮影画像のうち少なくとも一つ（または、第ｎマッピング画像及び第ｎ＋１マッピング画像のうち少なくとも一つ）を、その選択された候補ほど移動させたと仮定し、第ｎ撮影画像と第ｎ＋１撮影画像（または、第ｎマッピング画像と第ｎ＋１マッピング画像）との重畳された画像間の色類似度を演算し、演算された色類似度が最大となる候補を適正移動量と決定する。

本明細書で、重畳された画像間の色類似度が最大というのは、重畳された画像のうち一画像を形成するピクセルのそれぞれに、そのピクセルの色相と、そのピクセルと重畳されたピクセルの色相との類似度を演算した場合、その一画像を形成するピクセルの数ほど演算された類似度が最大であるということを意味する。ここで、演算された類似度が最大というのは、ある一定類似度、例えば、９０％以上の類似度が演算されたピクセルが、その一画像を形成するピクセルのうちで占める比率が最大であるということを意味することもあり、演算された類似度の平均値が最大であるということを意味することもある。

例えば、第ｎマッピング画像の右側を構成する１００個のピクセルと、第ｎ＋１マッピング画像の左側を構成する１００個のピクセルとが相互重畳されれば、適正移動量演算部２１８は、所定の各方向ごとに適正移動量として一つの候補を選択し、第ｎマッピング画像と第ｎ＋１マッピング画像とをそれぞれその選択された候補ほど移動させたと仮定し、１００個のピクセルのそれぞれに重畳されたピクセルの色相間の類似度を演算し、演算された１００個の類似度の平均値が最大となる候補を見つけ、見つけられた候補を適正移動量と決定する。

適正移動量演算部２１８は、第ｎ撮影画像と第ｎ＋１撮影画像とのそれぞれの適正移動量を演算することもあり、第ｎマッピング画像と第ｎ＋１マッピング画像とのそれぞれの適正移動量を演算することもある。ここで、撮影画像別に適正移動量を演算するというのは、第ｎ撮影画像の適正移動量と第ｎ＋１撮影画像の適正移動量とが異なりうるということを意味する。同様に、マッピング画像別に適正移動量を演算するというのは、第ｎマッピング画像の適正移動量と第ｎ＋１マッピング画像の適正移動量とが異なりうるということを意味する。

すなわち、撮影部２１０が第１撮影画像１１０または１５０、第２撮影画像１１２または１５２を獲得すれば、適正移動量演算部２１８は、第１撮影画像１１０または１５０と第２撮影画像１１２または１５２（または、第１マッピング画像１１１または１５１と第２マッピング画像１１３または１５３）とのそれぞれの適正移動量を演算する。次いで、撮影部２１０が第３撮影画像１１４または１５４を獲得すれば、演算部２２２は、第２撮影画像１１２または１５２と第３撮影画像１１４または１５４（または、第２マッピング画像１１３または１５３と第３マッピング画像１１５または１５５）とのそれぞれの適正移動量を演算する。このように、第２撮影画像１１２または１５２（または、第２マッピング画像１１３または１５３）の適正移動量が再度演算されれば、以前に演算された数値は、その再度演算された数値に更新される。同様に、撮影部２１０が第４撮影画像１１６または１５６を獲得すれば、演算部２２２は、第３撮影画像１１４または１５４と第４撮影画像１１６または１５６（または、第３マッピング画像１１５または１５５と第４マッピング画像１１７または１５７）とのそれぞれの適正移動量を演算する。このように、第３撮影画像１１４または１５４（または、第３マッピング画像１１５または１５５）の適正移動量が再度演算されれば、以前に演算された数値は、その再度演算された数値に更新される。

一方、第ｎ撮影画像が第１撮影画像１１０または１５０でなければ、適正移動量演算部２１８は、第ｎ撮影画像または第ｎマッピング画像の適正移動量は、演算せず、第ｎ＋１撮影画像または第ｎ＋１マッピング画像のみの適正移動量を演算することもある。すなわち、適正移動量演算部２１８は、既に適正移動量が演算された撮影画像（または、マッピング画像）の適正移動量は、再度演算しないこともある。

この場合、撮影部２１０が第１撮影画像１１０または１５０、第２撮影画像１１２または１５２を獲得すれば、適正移動量演算部２１８は、第１撮影画像１１０または１５０と第２撮影画像１１２または１５２（または、第１マッピング画像１１１または１５１と第２マッピング画像１１３または１５３）とのそれぞれの適正移動量を演算する。次いで、撮影部２１０が第３撮影画像１１４または１５４を獲得すれば、適正移動量演算部２１８は、第３撮影画像１１４または１５４（または、第３マッピング画像１１５または１５５）の適正移動量を演算する。同様に、撮影部２１０が第４撮影画像１１６または１５６を獲得すれば、適正移動量演算部２１８は、第４撮影画像１１６または１５６（または、第４マッピング画像１１７または１５７）の適正移動量を演算する。

もし、適正移動量演算部２１８で演算された適正移動量が撮影画像の適正移動量であれば、具体的に、第ｎ撮影画像及び第ｎ＋１撮影画像のうち少なくとも一つの適正移動量であれば、画像整列部２２０は、第ｎ撮影画像及び第ｎ＋１撮影画像のうち少なくとも一つをその演算された適正移動量ほど移動させ、マッピング部２１６は、その移動した第ｎ撮影画像と第ｎ＋１撮影画像とを利用して、第ｎマッピング画像と第ｎ＋１マッピング画像とを生成する。

同様に、適正移動量演算部２１８で演算された適正移動量がマッピング画像の適正移動量であれば、具体的に、第ｎマッピング画像及び第ｎ＋１マッピング画像のうち少なくとも一つの適正移動量であれば、画像整列部２２０は、第ｎマッピング画像及び第ｎ＋１マッピング画像のうち少なくとも一つをその演算された適正移動量ほど移動させる。

校正因子演算部２２２は、‘少なくとも一つが適正移動量ほど移動された第ｎ撮影画像と第ｎ＋１撮影画像の第ｎマッピング画像及び第ｎ＋１マッピング画像’または、‘少なくとも一つが適正移動量ほど移動された第ｎマッピング画像と第ｎ＋１マッピング画像’との間の重畳された画像の色相を考慮して校正因子を演算する。

画像校正部２２４は、その演算された校正因子を利用して、その重畳された画像のうち少なくとも一部の色相を校正する。‘その重畳された画像のうち第ｎマッピング画像に属する画像’（以下、第ｎ重畳画像）、‘その重畳された画像のうち第ｎ＋１マッピング画像に属する画像’（以下、第ｎ＋１重畳画像）、‘その重畳された画像の全部’、‘第ｎマッピング画像の一部’、‘第ｎ＋１マッピング画像の一部’、‘第ｎ重畳画像の一部と第ｎ＋１重畳画像の一部’は、そのような少なくとも一部の一例である。

以下では、説明の便宜上、画像校正部２２４は、第ｎ重畳画像及び第ｎ＋１重畳画像のうち、第ｎ重畳画像のみの色相を校正し、校正因子演算部２２２は、次の式（１）を利用して校正因子を演算すると仮定する。

ここで、Ｒ、Ｇ、Ｂは、それぞれ赤色、緑色、青色を意味する。ここで、ｒａｔｉｏ＿Ｒ、ｒａｔｉｏ＿Ｇ、ｒａｔｉｏ＿Ｂは、それぞれ赤色の色相数値を校正するための校正因子、緑色の色相数値を校正するための校正因子、青色の色相数値を校正するための校正因子を意味する。

また、Ｒｎ、Ｒｎ＋１、Ｇｎ、Ｇｎ＋１、Ｂｎ、Ｂｎ＋１は、それぞれ第ｎ重畳画像を構成する全てのピクセルの赤色の色相数値を合算した結果を意味し、第ｎ＋１重畳画像を構成する全てのピクセルの赤色の色相数値を合算した結果を意味し、第ｎ重畳画像を構成する全てのピクセルの緑色の色相数値を合算した結果を意味し、第ｎ＋１重畳画像を構成する全てのピクセルの緑色の色相数値を合算した結果を意味し、第ｎ重畳画像を構成する全てのピクセルの青色の色相数値を合算した結果を意味し、第ｎ＋１重畳画像を構成する全てのピクセルの青色の色相数値を合算した結果を意味する。

参考までに、もし、画像校正部２２４が第ｎ重畳画像及び第ｎ＋１重畳画像のうち第ｎ＋１重畳画像のみの色相を校正すれば、校正因子演算部２２２は、次の式（２）を利用して校正因子を演算しうる。

画像校正部２２４は、第ｎ重畳画像を構成するそれぞれのピクセルごとに、ピクセルの色相数値に式（１）で演算された校正因子を乗算し、乗算された結果をそのピクセルの‘校正された色相数値’（以下、‘校正数値’）として出力する。これは、次のような式（３）で表現可能である。

Ｒ＿ｃｏｒｒｅｃｔｅｄ＿ｉ＝Ｒ＿ｏｒｇ＿ｉ*ｒａｔｉｏ＿Ｒ
Ｇ＿ｃｏｒｒｅｃｔｅｄ＿ｉ＝Ｇ＿ｏｒｇ＿ｉ*ｒａｔｉｏ＿Ｇ （３）
Ｂ＿ｃｏｒｒｅｃｔｅｄ＿ｉ＝Ｂ＿ｏｒｇ＿ｉ*ｒａｔｉｏ＿Ｂ
このとき、ｉは、色相を校正しようとするピクセル（すなわち、第ｎ重畳画像を構成するそれぞれのピクセルごとに、ｉ値は異なる）の識別記号を意味し、Ｒ＿ｃｏｒｒｅｃｔｅｄ＿ｉ、Ｇ＿ｃｏｒｒｅｃｔｅｄ＿ｉ、Ｂ＿ｃｏｒｒｅｃｔｅｄ＿ｉは、それぞれ赤色の校正数値、緑色の校正数値、青色の色相数値を意味し、Ｒ＿ｏｒｇ＿ｉ、Ｇ＿ｏｒｇ＿ｉ、Ｂ＿ｏｒｇ＿ｉは、それぞれ赤色の校正前色相数値、緑色の校正前色相数値、青色の校正前色相数値を意味する。

但し、画像校正部２２４のかかる動作は、前記仮定によるものであって、もし、画像校正部２２４が第ｎ重畳画像及び第ｎ＋１重畳画像のうち第ｎ＋１重畳画像の色相を校正すれば、画像校正部２２４は、第ｎ＋１重畳画像を構成するそれぞれのピクセルごとに、ピクセルの色相数値に式（２）で演算された校正因子を乗算し、乗算された結果をそのピクセルの校正数値として出力する。

前述したように、画像校正部２２４は、色相を校正しようとする画像を形成する全てのピクセルそれぞれの色相数値ごとに校正因子を乗算することによって色相を校正しうる。これは、画像校正部２２４の第１実施例による動作であって、後述する図４についての説明で再度言及される。これと関連して、画像校正部２２４の第１実施例による動作は、第ｎ重畳画像（または、第ｎ＋１重畳画像）をなすピクセルの数が多いほど、第ｎ重畳画像（または、第ｎ＋１重畳画像）の色相の校正に要求される演算量と時間とを増加させるので、これを改善するために画像校正部２２４の第２実施例による動作も、画像校正部２２４の第１実施例による動作と比較して、図５についての説明で言及される。

画像校正部２２４は、第ｎ重畳画像（または、第ｎ＋１重畳画像）の色相を校正した後、再整列信号を生成する。この場合、適正移動量演算部２１８は、再整列信号に応答して再度動作する。

このように、適正移動量演算部２１８が再度動作して適正移動量を新たに演算すれば、画像整列部２２０は、第ｎ撮影画像及び第ｎ＋１撮影画像（または、第ｎマッピング画像と第ｎ＋１マッピング画像）のうち少なくとも一つをその新たに演算された適正移動量ほど移動させる。

次いで、比較部２２６は、現在移動された結果として重畳された画像間の色類似度と、直前に移動された結果として重畳された画像間の色類似度との差を臨界値と比較する。ここで、現在移動された結果とは、画像整列部２２０によって第ｎ撮影画像及び第ｎ＋１撮影画像（または、第ｎマッピング画像と第ｎ＋１マッピング画像）のうち少なくとも一つが最も最近に移動された結果を意味する。また、臨界値は、所定のある値であることが望ましい。一方、現在移動された結果として重畳された画像間の色類似度と、直前に移動された結果として重畳された画像間の色類似度とは、既に適正移動量演算部２１８で演算された数値であり、比較部２２６は、この演算された数値の差を臨界値と比較する。

具体的に、比較部２２６は、現在移動された結果として重畳された画像間の色類似度と、直前に移動された結果として重畳された画像間の色類似度との差を演算し、演算された差が臨界値以上であるか否かを検査する。

もし、演算された差が臨界値以上であると検査されれば、比較部２２６は、校正因子演算部２２２の動作を指示する。この場合、校正因子演算部２２２は、前述したように、校正因子を演算する。一方、演算された差が臨界値未満であると検査されれば、比較部２２６は、画像整列部２２０の動作を指示する。この場合、画像整列部２２０は、第ｎマッピング画像と第ｎ＋１マッピング画像とを連結してパノラマ画像を生成する。本明細書で、連結とは、付けること、すなわち、合成することを意味する。

図３は、図２に示されたマッピング部２１６の動作を説明するための参考図である。

マッピング部２１６は、撮影画像３１０を所定の曲面（例えば、円筒面、または球面）３２０に投影してマッピング画像３３０を生成する。このとき、マッピング部２１６によって行われる投影は、撮影装備１００の焦点距離を考慮して行われるので、撮影画像３１０は、四角形状を有するが、マッピング画像３３０は、両端部が切断された楕円形状を有するのが一般的である。

図４は、図２に示された画像校正部２２４を説明するための第１実施例２２４Ａのブロック図であって、ピクセル別演算部４１０を備えうる。

ピクセル別演算部４１０は、入力端子ＩＮ１を通じて画像整列部２２０から入力された‘その重畳された画像のうち少なくとも一部’（前記仮定によって、以下、第ｎ重畳画像）を形成する各ピクセルごとに、校正因子演算部２２２で演算された校正因子を利用した演算を行って第ｎ重畳画像の色相を校正する。

具体的に、ピクセル別演算部４１０は、第ｎ重畳画像を構成する各ピクセルごとに、ピクセルの色相数値にその演算された校正因子を乗算して校正数値を演算する。これにより、ピクセル別演算部４１０は、‘校正数値を色相数値として有する’、すなわち、‘色相の校正された’第ｎ重畳画像を生成する。このように生成された‘色相の校正された’第ｎ重畳画像は、出力端子ＯＵＴ１を通じて出力される。

図５は、図２に示された画像校正部２２４を説明するための第２実施例２２４Ｂのブロック図であって、校正数値演算部５１０、校正数値保存部５２０、及び校正数値読み取り部５３０を備えうる。

校正数値演算部５１０は、可能な色相数値ごとに、校正因子演算部２２２で演算された校正因子を利用して、その可能な色相数値の校正数値を演算する。例えば、校正数値演算部５１０は、可能な色相数値ごとに、その可能な色相数値に校正因子演算部２２２で演算された校正因子を乗算して、その可能な色相数値の校正数値を演算する。ここで、０ないし２５５のうち一つは、その‘可能な色相数値’の一例である。

校正数値演算部５１０は、赤色の可能な色相数値ごとにその可能な色相数値の校正数値を演算し、緑色の可能な色相数値ごとにその可能な色相数値の校正数値を演算し、青色の可能な色相数値ごとにその可能な色相数値の校正数値を演算する。

校正数値保存部５２０は、可能な色相数値をアドレスとして‘その可能な色相数値の演算された校正数値’を保存する。これにより、校正数値保存部５２０は、色相数値別にマッチングされた校正数値を表すルックアップテール（ＬＵＴ：Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を保存する。このような原理で、校正数値保存部５２０は、赤色に対するＬＵＴ、緑色に対するＬＵＴ、及び青色に対するＬＵＴを保存する。

校正数値読み取り部５３０は、入力端子ＩＮ２を通じて画像整列部２２０から入力された‘その重畳された画像のうち少なくとも一部’（前記仮定によって、以下、第ｎ重畳画像）を形成する各ピクセルごとに、そのピクセルの色相数値をアドレスとして有する校正数値を、その保存された校正数値のうちから読み取る。これにより、校正数値読み取り部５３０は、‘校正数値を色相数値として有する’、すなわち、‘色相の校正された’第ｎ重畳画像を生成する。このように生成された‘色相の校正された’第ｎ重畳画像は、出力端子ＯＵＴ２を通じて出力される。

画像校正部２２４の第１実施例２２４Ａによる動作と第２実施例２２４Ｂによる動作とを比較すれば、次の通りである。

画像校正部２２４の第１実施例によれば、画像校正部２２４は、第ｎ重畳画像を構成する各ピクセルごとに演算を行わねばならないので、第ｎ重畳画像を構成するピクセルの数が多いほど、第ｎ重畳画像の色相校正の完了に多量の演算量及び長時間が要求される。

一方、画像校正部２２４の第２実施例によれば、画像校正部２２４は、第ｎ重畳画像を構成する各ピクセルごとに、演算ではない読み取りを行うので、第ｎ重畳画像を構成するピクセルの数が多いとしても、第ｎ重畳画像の色相校正を第１実施例による画像校正部２２４より迅速に完了しうる。このような比較優位は、演算過程が、前述したように乗算過程である時に、さらに著しい。但し、このような比較優位は、第ｎ重畳画像を構成するピクセルの数が‘可能な色相数値の数’（前記仮定によって、以下、２５６個）より少ない時には現れず、第ｎ重畳画像を構成するピクセルの数が２５６個より多いほど著しく現れる。それは、読み取りのためには、校正数値保存部５２０に前記ＬＵＴが保存されねばならず、校正数値演算部５１０は、そのようなＬＵＴを生成するために２５６回の演算（特に、乗算）を行わねばならないためである。

図６は、本発明による画像処理方法を説明するためのフローチャートであって、異なる色相を有する重畳された画像であっても、正確に重畳させることにより、さらに現実感のあるパノラマ画像を生成させうるステップ（ステップ６１０ないしステップ６２２）を含みうる。

ステップ６１０で、マッピング部２１６は、第ｎ撮影画像と第ｎ＋１撮影画像とを所定の曲面に投影して第ｎマッピング画像と第ｎ＋１マッピング画像とを生成する。

ステップ６１２で、適正移動量演算部２１８は、第ｎ撮影画像及び第ｎ＋１撮影画像のうち少なくとも一つ、または第ｎマッピング画像及び第ｎ＋１マッピング画像のうち少なくとも一つの適正移動量を求める。
ステップ６１４で、画像整列部２２０は、第ｎ撮影画像及び第ｎ＋１撮影画像のうち少なくとも一つ、または第ｎマッピング画像及び第ｎ＋１マッピング画像のうち少なくとも一つをステップ６１２で求められた適正移動量ほど移動させる。

ステップ６１６で、比較部２２６は、現在移動された結果として重畳された画像間の色類似度と、直前に移動された結果として重畳された画像間の色類似度との差が臨界値以上であるか否かを判断する。

ステップ６１６で、以上であると判断されれば、ステップ６１８で、校正因子演算部２２２は、重畳された画像（具体的には、第ｎ重畳画像と第ｎ＋１重畳画像）の色相を考慮して校正因子を求める。

ステップ６２０で、画像校正部２２４は、重畳された画像のうち少なくとも一部（前記仮定によって、以下、第ｎ重畳画像）の色相をステップ６１８で求められた校正因子を利用して校正し、ステップ６１０に進む。

一方、ステップ６１６で、未満であると判断されれば、ステップ６２２で、画像整列部２２０は、第ｎマッピング画像と第ｎ＋１マッピング画像とを連結する。具体的に、ステップ６２２で、画像整列部２２０は、第ｎ重畳画像と第ｎ＋１重畳画像とを連結する。

図７は、図６に示されたステップ６２０に対する本発明による第１実施例６２０Ａのフローチャートであって、重畳された画像のうち少なくとも一部の色相を、校正因子を利用して校正するステップ（ステップ７１０）を含みうる。

ステップ７１０で、画像校正部２２４は、第ｎ重畳画像を構成する各ピクセルごとに、ピクセルの色相数値にステップ６１８で求められた校正因子を乗算して校正数値を求める。これにより、画像校正部２２４は、色相の校正された第ｎ重畳画像を生成する。

図８は、図６に示されたステップ６２０に対する本発明による第２実施例６２０Ｂのフローチャートであって、重畳された画像のうち少なくとも一部の色相を、校正因子を利用して校正するステップ（ステップ８１０ないしステップ８３０）を含みうる。

ステップ８１０で、画像校正部２２４は、可能な色相数値（例えば、０〜２５５）ごとに、その可能な色相数値にステップ６１８で求められた校正因子を乗算して、その可能な色相数値の校正数値を求める。

ステップ８２０で、画像校正部２２４は、可能な色相数値をアドレスとして‘その可能な色相数値の求められた校正数値’を保存する。

ステップ８３０で、画像校正部２２４は、第ｎ重畳画像を構成する各ピクセルごとに、そのピクセルの色相数値をアドレスとして有する校正数値を、ステップ８２０で保存された校正数値のうちから読み取る。これにより、画像校正部２２４は、色相の校正された第ｎ重畳画像を生成する。

本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行されうる。

本発明による画像処理装置及び方法は、パノラマ画像を生成するために、相互連結しようとする画像のうち少なくとも一つを、その画像間に重畳された画像の色相が最大限相互一致するように移動させた後、その重畳された画像のうち少なくとも一部の色相を、その重畳された画像の色相を考慮して校正し（例えば、その重畳された二つの画像のうち一方の色相を、他方の色相を考慮して校正し）、画像をその重畳された画像の色相が最大限相互一致するように再度移動させてはじめて、画像を連結する（Stitch）ので、パノラマ画像を生成するために、相互連結しようとする画像間に存在する重複された画像が異なる色相を有しても、その重複された画像を正確に重畳させ、さらに現実感のあるパノラマ画像を生成できる。

このとき、‘色相校正’は、その重畳された画像の色相を考慮してなされるので、そのような‘色相校正’及び‘画像の再度移動’により、‘その重畳された画像の色相が相互一致する程度’（例えば、その重畳された画像が複数のピクセルで構成されれば、そのピクセルごとにそのピクセルの色相と、そのピクセルと重畳されたピクセルの色相との類似度を求め、求められた類似度の平均）は向上する。

したがって、異なる色相を有する重複された画像であっても、正確に重畳させるという本発明の前記効果は、‘色相校正’及び‘画像の再度移動’を反復するほどさらに上昇する。この場合、画像の連結は、そのような反復実行を完了した後に行われる。

但し、パノラマ画像生成装置（図示せず）は、パノラマ画像を一定時間の間に生成することを要求されることが現状であるということを勘案して、そのような反復実行は、所定の臨界回数を上限として行われる。これにより、本発明は、異なる色相を有する重複された画像であっても、正確に重畳させてさらに現実感のあるパノラマ画像の生成を保証しうるだけでなく、パノラマ画像の迅速な生成もある程度保証しうる。

一方、前述したように、‘色相校正’及び‘画像の再度移動’が反復的に行われる場合、‘その重畳された画像の色相が相互一致する程度’は、画像が移動する度に演算される。この場合、本発明は、現在演算された‘その重畳された画像の色相が相互一致する程度’と、直前に演算された‘その重畳された画像の色相が相互一致する程度’との差が臨界値（但し、臨界値の数値は、事前に設定される）未満である場合には、総反復回数が臨界回数に達していないとしても、そのような反復実行を中断することにより、パノラマ画像のさらに迅速な生成を可能にする。

また、本発明は、色相を校正しようとするピクセルの色相数値に校正因子を乗算してそのピクセルの校正数値を獲得することもあるが、可能な色相数値（例えば、０〜２５５）に校正因子を乗算してその可能な色相数値の校正数値を獲得し、その可能な色相数値ごとにマッチングされた校正数値を表すルックアップテーブルを生成した後、色相を校正しようとするピクセルの色相数値をアドレスとして有する校正数値を、その生成されたルックアップテーブルから読み取って、そのピクセルの校正数値を獲得することもできる。本発明は、このように読み取ることにより、色相を校正しようとする画像の色相校正をさらに迅速に完了しうる。

以上、図面及び明細書で最適の実施例が開示された。ここで、特定の用語が使われたが、これは、単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これから多様な変形及び均等な他の実施例が可能であるということが分かるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されねばならない。

本発明は、画像処理関連の技術分野に適用可能である。

撮影装備を説明するための図である。 水平パノラマ画像を説明するための図である。 水平パノラマ画像を説明するための図である。 広域パノラマ画像を説明するための図である。 広域パノラマ画像を説明するための図である。 本発明による画像処理装置を説明するためのブロック図である。 図２に示されたマッピング部の動作を説明するための参考図である。 図２に示された画像校正部を説明するための第１実施例のブロック図である。 図２に示された画像校正部を説明するための第２実施例のブロック図である。 本発明による画像処理方法を説明するためのフローチャートである。 図６に示されたステップ６２０に対する本発明による第１実施例のフローチャートである。 図６に示されたステップ６２０に対する本発明による第２実施例のフローチャートである。

符号の説明

２１０ 撮影部
２１２ 画像保存部
２１４ 読み取り部
２１６ マッピング部
２１８ 適正移動量演算部
２２０ 画像整列部
２２２ 校正因子演算部
２２４ 画像校正部
２２６ 比較部

Claims (9)

1. 相互連結しようとする各画像のうち少なくとも一つを、前記画像にそれぞれ含まれた色相が最大限一致するように移動させ、再整列信号に応答して反復的に移動させる画像整列部と、
   現在移動された結果として重畳された前記画像で重畳される領域間の色類似度と、直前に移動された結果として重畳された前記画像で重畳される領域間の色類似度との差を臨界値と比較する比較部と、
   前記比較の結果前記色類似度間の差が前記臨界値以上の場合、前記現在移動された結果として重畳された前記画像で重畳される領域の色相を考慮して校正因子を演算し、前記演算された校正因子を利用して前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域の色相を、校正し、前記再整列信号を生成する画像校正処理部と、を備え、
   前記画像整列部は、前記画像で重畳される領域間の色類似度に基づいて前記画像にそれぞれ含まれた色相が最大限一致するか否かを判断して、前記画像にそれぞれ含まれた色相が最大限一致するように前記画像のうち少なくとも一つを移動させ、
   前記画像整列部は、前記比較の結果前記色類似度間の差が前記臨界値未満の場合、前記現在移動された結果重畳された前記画像を用いてパノラマ画像を生成することを特徴とする画像処理装置。
2. 前記画像校正処理部は、
   前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに前記演算された校正因子を利用して前記少なくとも一つの色相を校正する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像校正処理部は、
   可能な色相数値ごとに、前記可能な色相数値の校正数値を前記演算された校正因子を利用して演算数値を演算する校正数値演算部と、
   前記可能な色相数値をアドレスとして前記校正数値を保存する校正数値保存部と、
   前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに、前記ピクセルの色相数値をアドレスとして有する校正数値を、前記保存された校正数値のうちから読み取る校正数値読み取り部と、
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
4. 相互連結しようとする各画像のうち少なくとも一つを、前記画像にそれぞれ含まれた色相が最大限一致するように移動させ、再整列信号に応答して反復的に移動させる画像整列ステップと、
   現在移動された結果として重畳された前記画像で重畳される領域間の色類似度と、直前に移動された結果として重畳された前記画像で重畳される領域間の色類似度との差を臨界値と比較する比較ステップと、
   前記比較の結果前記色類似度間の差が前記臨界値以上の場合、前記現在移動された結果として重畳された前記画像で重畳される領域の色相を考慮して校正因子を演算し、前記演算された校正因子を利用して前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域の色相を、校正し、前記再整列信号を生成する画像校正処理ステップと、を備え、
   前記画像整列ステップは、前記画像で重畳される領域間の色類似度に基づいて前記画像にそれぞれ含まれた色相が最大限一致するか否かを判断して、前記画像にそれぞれ含まれた色相が最大限一致するように前記画像のうち少なくとも一つを移動させ、
   前記画像整列ステップは、前記比較の結果前記色類似度間の差が前記臨界値未満の場合、前記現在移動された結果重畳された前記画像を用いてパノラマ画像を生成することを特徴とする画像処理方法。
5. 前記画像校正処理ステップは、
   前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに前記演算された校正因子を利用して前記少なくとも一つの色相を校正する、ことを特徴とする請求項４に記載の画像処理方法。
6. 前記画像校正処理ステップは、
   可能な色相数値ごとに、前記可能な色相数値の校正数値を前記演算された校正因子を利用して演算数値を演算するステップと、
   前記可能な色相数値をアドレスとして前記校正数値を保存するステップと、
   前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに、前記ピクセルの色相数値をアドレスとして有する校正数値を、前記保存された校正数値のうちから読み取るステップと、
   をさらに備えることを特徴とする請求項４に記載の画像処理方法。
7. 画像処理装置に画像処理方法を実行させるコンピュータプログラムであって、前記画像処理方法は、
   相互連結しようとする各画像のうち少なくとも一つを、前記画像にそれぞれ含まれた色相が最大限一致するように移動させ、再整列信号に応答して反復的に移動させる画像整列ステップと、
   現在移動された結果として重畳された前記画像で重畳される領域間の色類似度と、直前に移動された結果として重畳された前記画像で重畳される領域間の色類似度との差を臨界値と比較する比較ステップと、
   前記比較の結果前記色類似度間の差が前記臨界値以上の場合、前記現在移動された結果として重畳された前記画像で重畳される領域の色相を考慮して校正因子を演算し、前記演算された校正因子を利用して前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域の色相を、校正し、前記再整列信号を生成する画像校正処理ステップと、を備え、
   前記画像整列ステップは、前記画像で重畳される領域間の色類似度に基づいて前記画像にそれぞれ含まれた色相が最大限一致するか否かを判断して、前記画像にそれぞれ含まれた色相が最大限一致するように前記画像のうち少なくとも一つを移動させ、
   前記画像整列ステップは、前記比較の結果前記色類似度間の差が前記臨界値未満の場合、前記現在移動された結果重畳された前記画像を用いてパノラマ画像を生成することを特徴とする、コンピュータプログラム。
8. 前記画像校正処理ステップは、
   前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに前記演算された校正因子を利用して前記少なくとも一つの色相を校正する、ことを特徴とする請求項７に記載のコンピュータプログラム。
9. 前記画像校正処理ステップは、
   可能な色相数値ごとに、前記可能な色相数値の校正数値を前記演算された校正因子を利用して演算数値を演算するステップと、
   前記可能な色相数値をアドレスとして前記校正数値を保存するステップと、
   前記現在移動された結果として重畳された前記画像のうち少なくとも一つの画像の重畳される領域に属する各ピクセルごとに、前記ピクセルの色相数値をアドレスとして有する校正数値を、前記保存された校正数値のうちから読み取るステップと、
   をさらに備えることを特徴とする請求項７に記載のコンピュータプログラム。