JPWO2008108071A1 - 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ - Google Patents

画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ Download PDF

Info

Publication number
JPWO2008108071A1
JPWO2008108071A1 JP2008520659A JP2008520659A JPWO2008108071A1 JP WO2008108071 A1 JPWO2008108071 A1 JP WO2008108071A1 JP 2008520659 A JP2008520659 A JP 2008520659A JP 2008520659 A JP2008520659 A JP 2008520659A JP WO2008108071 A1 JPWO2008108071 A1 JP WO2008108071A1
Authority
JP
Japan
Prior art keywords
image
images
corresponding points
sets
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008520659A
Other languages
English (en)
Other versions
JP4209938B2 (ja
Inventor
登　一生
一生 登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4209938B2 publication Critical patent/JP4209938B2/ja
Publication of JPWO2008108071A1 publication Critical patent/JPWO2008108071A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

照明条件の異なる複数の画像が入力された場合でも、位置誤差が少ない対応点や動きベクトルを生成する。画像処理装置（１００、１２０）は、複数の画像にわたる対応点を複数組算出して出力する初期対応点算出部（１１３）と、光学拘束式と幾何拘束式を用いて、複数組の初期対応点の中から誤差の小さい複数組の初期対応点で構成される基準対応点を選択するとともに、その基準対応点に対応する新たな対応点である着目対応点を算出し、基準対応点と着目対応点を対応点として出力する対応点再算出部（１０４）を備えている。

Description

本発明は、複数の画像間の対応点を算出する画像処理技術に関し、特に複数の画像間で被写体と光源の相対的な位置が異なる場合にも、位置誤差の小さい対応点の算出が可能な画像処理技術に関する。
従来から、複数画像間の対応点や動画像の動きベクトルを算出する技術の研究開発が広く行われてきている。この技術は、デジタルビデオカメラやデジタルスチルカメラにおける画像の手ぶれ補正などの画質改善処理や、動画像の符号化処理、自動車の安全運転支援システムやロボットのための形状認識処理などに共通して利用される基礎技術である。
ここで言う「複数画像」とは、視点位置が異なる複数のカメラによって撮影された多視点画像と、一つのカメラによって一定の時間間隔（たとえば１／３０秒）で連続して撮影された複数枚の画像からなる動画像の両者を含んでいる。なお、多視点画像の対応点を計算する技術と、動画像の動きベクトルを計算する技術とは共通する部分が多いため、本願明細書においては両者を区別しない。
複数の画像間の対応点や動きベクトルを算出する技術のうちで代表的なものが、たとえば特許文献１、非特許文献１および２に記載されている。具体的には、画像間の矩形領域の輝度差や相関値を評価値としてこの値が最良となる位置を求めるブロックマッチング法、画像の輝度の空間的勾配と画像間の輝度差を用いて変位量を求める勾配法、フーリエ変換を用いて位相相関関数のピーク値から変位量を求める位相相関法である。ただし、これらの従来の技術には、複数の画像間において、照明条件が異なる場合（光源と被写体とカメラの相対的な位置が異なる場合や光源の強度が異なる場合など）に、算出される対応点の位置誤差が大きくなるという課題が知られている。
一方、たとえば特許文献２および３には、照明条件が異なる画像間の対応点の位置誤差を低減する技術が開示されている。
特許文献２に記載された技術は、入力画像の特定の輝度範囲の画素を抽出することによって画像中の鏡面反射領域の影響を低減し、それにより、位置誤差の少ない動きベクトルを算出する。この技術によれば、鏡面反射領域の動きベクトルの誤差を小さくすることは期待できる。しかし、非鏡面反射領域の動きベクトルの誤差を低減することはできない。
一方、特許文献３に記載された技術は、輝度の空間勾配やその変化が大きいエッジやコーナーなどの領域に着目し、この領域の動きベクトルを算出している。この技術によれば、輝度勾配が大きいエッジ領域の動きベクトルの位置誤差を小さくすることが可能である。
特許第２６７６９７８号明細書 特開２０００−３６０５１号公報 特開平７−６６９８９号公報 Bruce D. Lucas and Takeo Kanade. "An Iterative Image Registration Technique with an Application to Stereo Vision.", International Joint Conference on Artificial Intelligence, pages 674-679, 1981. Carlo Tomasi and Takeo Kanade. "Detection and Tracking of Point Features.", Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991.
しかしながら、特許文献３に記載された技術のような、エッジ領域の動きベクトルを算出する方法は、非エッジ領域の動きベクトルの位置誤差を低減するものではない。したがって、例えば被写体が立体的な形状であり、被写体の動きによるエッジ領域と非エッジ領域の動きベクトルが異なる場合には、非エッジ領域の動きベクトルの位置誤差が大きくなるという課題があった。
本発明の目的は、照明条件の異なる複数の画像が入力された場合でも、位置誤差が少ない対応点や動きベクトルを生成することである。
本発明による画像処理装置は、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出する初期対応点算出部と、前記ｎ組の初期対応点から、ｓ組（ｓ：４以上ｎ以下の整数）の初期対応点の集合を１組とした基準対応点の候補を選択して、Ｍ組（Ｍ：２以上の整数）の基準対応点の候補を生成する基準候補生成部と、前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出する係数算出部と、前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成する新規候補生成部と、前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価し、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力する第１選択部と、前記第１選択部の評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択し、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力する第２選択部とを備えている。
前記基準候補生成部は、選択したｓ組の初期対応点の前記Ｎ枚の画像の輝度値からなるＮ×ｓ輝度行列の独立性を評価し、評価結果に基づいて、前記Ｍ組の基準対応点の各候補を選択してもよい。
前記基準候補生成部は、前記Ｎ×ｓ輝度行列の第１固有値に対する第３固有値の比を評価値として、より大きい評価値が得られたＮ×ｓ輝度行列に対応するｓ個の初期対応点の集合から順に基準対応点の候補として選択してもよい。
前記基準候補生成部は、前記Ｎ×ｓ輝度行列の第１固有値に対する第３固有値の比があらかじめ定められたしきい値より小さい場合において、前記Ｎ×ｓ輝度行列に対応するｓ組の初期対応点の集合を、基準対応点の候補から除外してもよい。
前記基準候補生成部は、選択したｓ組の初期対応点について、各画像上の点近傍の輝度値の空間勾配の大きさを評価し、より大きい空間勾配が得られたｓ組の初期対応点の集合から優先的に基準対応点の候補として選択してもよい。
前記Ｎ枚の画像は色画像であり、前記基準候補生成部は、選択したｓ組の初期対応点について、各画像上の点近傍の各色画像間の相関を評価し、より低い相関が得られたｓ組の初期対応点の集合から優先的に基準対応点の候補として選択してもよい。
前記係数算出部は、各画像上の各点の点間距離および各画像における被写体の倍率の一方に応じてカットオフ周波数が定められる空間方向の低域通過フィルタを前記画像データに対して適用し、得られた輝度値を前記各画像上の互いに対応付けられた点の輝度値として使用してもよい。
前記係数算出部は、前記各基準対応点の候補の各画像上点の輝度値として、当該点の近傍に位置する少なくとも１つの点の輝度値を用いて前記光学係数を算出してもよい。
前記係数算出部は、当該点の周囲に近接し、かつ、当該点の輝度値との差が所定範囲内の少なくとも１つの点の輝度値を用いて前記光学係数を算出してもよい。
前記係数算出部は、当該点の輝度値と、当該点の周囲の近接点の輝度値との差が所定範囲よりも大きくなったとき、当該点の近傍に位置する少なくとも１つの点の輝度値を用いて前記光学係数を算出してもよい。
前記画像処理装置は、Ｎ枚の画像のうちの少なくとも１枚の画像を所定の拡大率で拡大し、拡大後の画像の画素値として、前記Ｎ枚の画像のうちの少なくともｋ枚（ｋ：３以上Ｎ以下の整数）の画像の各画素値を前記所定の拡大率に応じてマッピングした複数の座標変換画像の組を生成する座標変換部と、前記複数の座標変換画像のうちのｋ枚の座標変換画像を選択して、前記ｋ枚の座標変換画像間で互いに対応する各座標変換画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である変換係数を算出し、前記Ｎ枚の座標変換画像を変換係数によって線形結合することによって合成画像を生成する画像生成部とをさらに備えていてもよい。
前記画像生成部は、変換前の各画像に含まれる被写体の面積と、前記座標変換画像に含まれる被写体の面積とに応じて決定される被写体面積の比の大きさに応じて、前記ｋ枚の座標変換画像を選択してもよい。
本発明による画像処理方法は、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、前記ｎ組の初期対応点から、ｓ組（ｓ：４以上ｎ以下の整数）の初期対応点を選択するステップと、ｓ組の初期対応点の集合を１組とした基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップとを包含する。
本発明による記録媒体には、コンピュータプログラムが記録されている。前記コンピュータプログラムは、コンピュータに、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、前記Ｎ枚の画像にわたるｓ組（ｓ：４以上、ｎ以下の整数）の初期対応点の集合を１組とした基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップとを実行させる。
本発明によるプロセッサは、コンピュータプログラムを実行することが可能である。前記プロセッサは、画像処理プログラムを実行することにより、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、前記Ｎ枚の画像にわたるｓ組の初期対応点の集合を１組とする基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、前記Ｍ組の基準対応点の候補の各組について、画像間で互いに対応付けられた各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、前記複数組の着目対応点の候補の各組に対して、画像間で互いに対応付けられた各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップとを実行する。
本発明による画像処理装置は、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出する初期対応点算出部と、前記ｎ組の初期対応点から、幾何拘束式と光学拘束式を満たすｓ組の（ｓ：４以上ｎ以下の整数）初期対応点を選択して基準対応点として出力するとともに、前記基準対応点に基づく幾何拘束式と光学拘束式を満たす着目対応点を算出して出力する対応点再算出部とを備えている。
本発明によれば、被写体と光源の相対位置変化に依存する輝度の変化の拘束式である光学拘束式と、被写体とカメラの相対位置変化に依存する対応点の位置の拘束式である幾何拘束式とを同時に満たす点を、複数画像にわたって対応付けられた対応点として特定する。これにより、複数の画像間で被写体と光源の相対的な位置が異なる場合であっても、位置誤差が低減された対応点を算出することができる。また、動画像を高解像度化する処理に適用することにより、動きベクトルの位置誤差が低減された画質（解像度）の高い映像データを得ることができる。
実施形態１による画像処理装置１００の機能ブロックの構成を示す図である。 （ａ）は画像処理装置１００が用いられる画像の撮影環境を示す図であり、（ｂ）は撮影された画像の例を示す図である。 カメラ１０１で撮影され、画像記憶部１０２に記憶された動画像の一連の画像の例を示す図である。 基準対応点候補の例を示す図である。 （ａ）〜（ｄ）は、各画像における着目対応点候補の例を示す図である。 画像処理装置１００の動作の手順を示すフローチャートである。 実施形態２による画像処理装置１２０の機能ブロックの構成を示す図である。 実施形態２における複数枚の入力画像の例を示す図である。 図８（ｃ）の１つの入力画像Ｉ3（ｋ＝３）と構図が同じである複数の座標変換画像Ｉ3,jの例である。 実施形態２による画像処理装置１２０が生成した合成画像の例を示す図である。 （ａ）は図１０（ｃ）の合成画像の拡大図であり、（ｂ）は図８（ｃ）の入力画像の拡大図である。 （ａ）は、従来の技術による対応点算出手法で得られた対応点と、本発明による対応点算出手法で得られた対応点との比較例を示す図であり、（ｂ）は位置誤差の多い対応点から生成した合成画像の例を示す図であり、（ｃ）は位置誤差の少ない対応点から生成した合成画像の例を示す図である。 コンピュータによって構成された画像処理装置のハードウェア構成を示す図である。
符号の説明
１００、１２０ 画像処理装置
１０１ カメラ
１０２ 画像記憶部
１１３ 初期対応点算出部
１０３ 基準候補生成部
１０４ 対応点再算出部
１０５ 光学係数算出部
１０６ 新規候補生成部
１０７ 新規候補選択部
１０８ 基準候補選択部
１０９ 出力部
１１０ 画像合成部
１１１ 座標変換部
１１２ 画像生成部
以下、添付の図面を参照しながら、本発明による画像処理装置の実施形態を説明する。
本願明細書においては、実空間中に存在する被写体を撮影して得られた１枚または複数枚の画像に関連して「対応点」という用語を定義する。
「対応点」(a corresponding point)とは、実空間中の任意の１個の点に対応する１画像上の点を意味する。
「複数画像（Ｎ枚）にわたる対応点」（corresponding points across N number of images）とは、実空間中の任意の１個の点に対応する複数画像（Ｎ枚）の各々に定義される１組の対応点を意味する。これは、実空間中の同一の点に対応して各画像上に定められる対応点の集合であり、具体的には各画像上の対応点の画像座標値を複数画像（Ｎ枚）分まとめた１組の画像座標値として表現される。複数画像にわたる対応点は、特定の１画像上の１点に対する他の画像上の１点として限定して定められるものではないことに留意されたい。
「複数画像（Ｎ枚）にわたる複数組（ｎ組）の対応点」とは、実空間中のｎ個の点の各々に定義される、複数画像（Ｎ枚）にわたる対応点の集合を意味する。これは、「複数画像（Ｎ枚）にわたる対応点」を、異なるｎ組分集めたものである。このとき、各画像上には異なる組に属する対応点がｎ個存在することになる。
本願明細書では、「初期対応点」、「基準対応点」等、種々の「対応点」が規定されているが、どの種類の対応点についても上述と同様の定義が適用される。
（実施形態１）
図１は、本実施形態による画像処理装置１００の機能ブロックの構成を示す。画像処理装置１００は、カメラ１０１と、画像記憶部１０２と、初期対応点算出部１１２と、対応点再算出部１０４と、出力部１０９とを有している。
カメラ１０１は、被写体を撮影して画像データを出力する。カメラ１０１は、動画および静止画のいずれの画像データを出力することもできる。動画データの場合には、所定の周波数（たとえば３０Ｈｚ）で切り替えられる複数枚の画像で構成される画像データが出力される。静止画データの場合には、１枚の画像の画像データが出力される。
画像記憶部１０２は、カメラ１０１で撮影された画像データを記憶する記録媒体であり、たとえばフレームメモリやハードディスクドライブである。画像記憶部１０２に記録された画像データは、後述の初期対応点算出部１１３および対応点再算出部１０４に入力される。
初期対応点算出部１１３は、画像記憶部１０２に記憶された画像データを受け取り、その画像データに基づいて複数画像にわたる対応点（この対応点を以下「初期対応点」という）を複数組生成する。
対応点再算出部１０４は、初期対応点算出部１１３で生成された複数組の初期対応点と画像データとを受け取って、全ての初期対応点の組を全体集合としたときの部分集合を複数抽出する。後述の処理によって、各部分集合を構成する初期対応点の組から「基準対応点の組」が決定される。そのため、各部分集合を構成する初期対応点の組を、以下「基準対応点候補」と呼ぶ。対応点再算出部１０４は、複数の基準対応点候補の中から最良の基準対応点の組を選択する。また、選択した最良の基準対応点の組とともに、その基準対応点に対応して新たに求めた対応点（「着目対応点」とも言う）の組を出力する。
対応点再算出部１０４は、基準候補生成部１０３と、光学係数算出部１０５と、新規候補生成部１０６と、新規候補選択部１０７と、基準候補選択部１０８とを有している。
基準候補生成部１０３は、初期対応点算出部１１３で生成された、複数画像にわたる複数組の初期対応点を受け取り、全ての初期対応点の組のうちから一部の初期対応点の部分集合を選択し、これを１組とした基準対応点の候補を複数組生成する。
光学係数算出部１０５は、画像データと複数組の基準対応点候補とを受け取り、複数組の基準対応点の候補の各組について、画像間で互いに対応付けられた各画像上の点の輝度値が光学拘束式を満たすようにその光学拘束式の係数である光学係数を算出する。
新規候補生成部１０６は、複数の基準対応点候補を受け取り、各基準対応点候補に応じた幾何拘束式を満たす複数の対応点を新たに算出して着目対応点候補として出力する。
新規候補選択部１０７は、画像データ、各基準対応点候補に応じた光学係数と着目対応点候補とを受け取って、着目対応点候補から光学拘束式を満たす程度を評価し、評価結果に基づいて１組の着目対応点の候補を選択して各基準対応点候補に応じた着目対応点として出力する。
基準候補選択部１０８は、複数の基準対応点候補と基準対応点候補に対応する着目対応点を受け取り、新規候補選択部１０７の評価結果に基づいて当初作成した複数の基準対応点候補を評価し、評価結果に基づいて複数の基準対応点候補から１組の基準対応点の候補を選択する。そして、選択した基準対応点および選択した基準対応点に対応する着目対応点を、画像データの複数画像にわたる対応点として出力する。
出力部１０９は、画像記憶部１０２に記憶された複数の画像と、対応点再算出部１０４によって算出された対応点とを組にして出力する。
本実施形態においては、画像処理装置１００は、複数の画像の対応点を算出するための初期対応点算出部１１３および対応点再算出部１０４を備えるだけでなく、画像を撮影して記録するカメラ１０１、画像記憶部１０２、および、撮影された画像と対応点の組を出力する出力部１０９をも備えている。これにより、画像処理装置１００は、カメラで撮影した画像の対応点を算出して出力することが可能になる。
発明の理解を容易にするため、まず具体例に沿って画像処理装置１００の動作の概要を説明する。その後、画像処理装置１００の動作原理および詳細な動作を説明する。
（画像処理装置１００の動作の概要の説明）
図２（ａ）は、画像処理装置１００が用いられる画像の撮影環境を示し、図２（ｂ）は、撮影された画像の例を示す。図２（ａ）に示されるように、本実施形態においては、カメラ、被写体（彫像）、光源の位置は、それぞれ画像処理装置１００の動作とは無関係に任意に変化するとしている。図２（ａ）の環境で撮影された一連の複数（Ｎ枚）の画像を、入力画像として扱う。図２中の３次元座標系（Ｘ，Ｙ，Ｚ）は、被写体に固定された座標系であるとする。
いま、たとえば図４に示されるような、同じ被写体を撮影した４枚の画像（Ｎ＝４）が得られたとする。被写体上に８個の点（ｎ＝８）を仮定すると、それら８点の各々に対応する、被写体上の同じ位置を表す点を各画像上に設定することができる（たとえば図４の「○」と「×」）。これらの点の各々が対応点であり、被写体上の同じ位置を表す点の組が、複数画像にわたって存在する対応点である。さらに、複数画像にわたって存在する８組の対応点から、座標位置が正確に求められた４組を選択できたと仮定すると、これら４組（ｓ＝４）をまとめて、１組の基準対応点と呼ぶ（たとえば図４の「○」）。
同一被写体上の任意の１点の４枚の画像にわたる対応点の座標値（位置ベクトル）は、同じ４枚の画像にわたる４個の基準対応点の座標値（位置ベクトル）の線形結合によって記述される。そのとき成立する式を、幾何拘束式という。各基準対応点の座標値に乗じられる係数は、本願明細書では“Ａ”によって表される。
また、新たな画像（たとえば５枚目の画像）が得られた場合には、その画像上にも被写体上の８個の各々に対応する点（対応点）を設定することができる。そのような、新たな画像上の対応点の座標（位置ベクトル）は、直前４枚の画像にわたる各対応点の座標値（位置ベクトル）の線形結合によって記述される。そのとき成立する式もまた、幾何拘束式という。各対応点の座標値に乗じられる係数は、本願明細書では“Ｂ”によって表される。この幾何拘束式の係数“Ｂ“は、直前４枚の画像にわたる４つの基準対応点に対応する新たな画像上の点の座標から求めることができる。
ある画像上の任意の点の画素値（たとえば輝度値）は、その点の他の３枚の画像上の対応点の画素値の線形結合によって記述できる。そのとき成立する式は、光学拘束式という。各対応点の画素値に乗じられる係数は、本願明細書では“Ｃ”によって表される。
４個の基準対応点が与えられると、与えられた基準対応点に基づいて、光学拘束式の係数が得られる。
４個の基準対応点が与えられ、４枚の画像にわたる基準対応点以外の新たな対応点（着目対応点）の組を求めようとするとき、それらの新たな対応点の組は、幾何拘束式および上述の係数が適用された光学拘束式をそれぞれ満たす必要がある。
後に詳細に説明するように、最初の画像上に設定された点（着目点）に対して第２の画像上の対応点と考えられる候補が与えられると、幾何拘束式の係数Ａが算出され、また第３および第４の画像上の対応点の座標も算出される。第２の画像上の対応点が正しく与えられていた場合には、求められた新たな対応点の組は、光学拘束式を満たすはずである。
そこで、本実施形態においては、第２の画像上の対応点の与え方を所定範囲内で変化させることによって、次々に第３および第４の画像上の対応点候補を求める。そして、第１〜第３の画像上の対応点候補の画素値を光学拘束式に代入して得られた値が、第４の画像上の対応点候補の画素値と一致した場合には、正しく対応点が求められていたとする。一致しない場合には、誤差が最も小さい対応点候補を正しい対応点として出力する。
上述の処理によれば、基準対応点から光学係数を算出するとともに、与えられた着目点の対応点の候補を幾何拘束式から算出し、光学拘束式で評価する。得られた対応点は、必ず幾何拘束式を満たし、かつ同時に光学拘束式を最もよく満たしている。よって、複数の画像間で被写体と光源の相対的な位置が異なる場合であっても、位置誤差が低減された対応点を算出することができる。
なお、上述の説明では、４枚の画像にわたって規定された各基準対応点の組は、それぞれが正確に対応点として特定されていることを前提とした。しかし、画像データが初めて与えられた場合等においては、基準対応点が正しく与えられない可能性がある。そこで、本実施形態においては８組（ｎ＝８）の対応点から４組（ｓ＝４）を選択して得られる基準対応点についても複数の候補を設定する。そして、基準対応点の各候補に対して上述の処理を実行し、誤差が少ない基準対応点の候補を正しい基準対応点として特定する。これにより、各画像上において、基準対応点とともに、基準対応点以外の新たな対応点（着目対応点）をより正確に求めることが可能になる。
（画像処理装置１００の動作原理の説明）
次に、図２を参照しながら、本実施形態による画像処理装置１００が利用する３つの動作原理を詳細に説明する。具体的には、複数画像にわたる複数の対応点が全て正しく与えられた場合に、対応点の座標値が満たすべき２つの幾何拘束式と、対応点の輝度値が満たすべき光学拘束式である。拘束式を導くに当たっては、（１）撮影対象の被写体が剛体であり、（２）光が平行に被写体に入射し、（３）被写体表面において光が完全拡散反射され、（４）アフィンカメラで被写体を撮影する、という前提条件を設定した。なお、実際には複数の物体であっても、相対位置が普遍の複数の物体は、同一の剛体、すなわち、同一の被写体とみなすことができる。
はじめに、複数の画像上の対応点の拘束式である幾何拘束式を説明する。剛体である同一被写体上のｎ個の点Ｐiの３次元座標値を（Ｘi，Ｙi，Ｚi），（ｉ＝１．．ｎ）とし、これをアフィン投影カメラで観察して得たＮ枚の画像上の点をｐi,j，（ｉ＝１．．ｎ，ｊ＝１．．Ｎ）、点ｐi,jの画像座標値を（ｘi,j，ｙi,j），（ｉ＝１．．ｎ，ｊ＝１．．Ｎ）とすると、２×４の行列を用いた（数１）の関係式で表すことができる。
Figure 2008108071
 （数１）において、係数ａj，ｂjは、被写体座標系におけるカメラの位置（向きも含む）と、アフィンカメラによる投影とを積算した係数を意味する。
本実施形態では、カメラ１０１は、（数１）で示したアフィンカメラのモデルで近似的に表現できるものとする。なお、（数１）のアフィンカメラのモデルよりも、透視投影のモデルの方が一般的なカメラのより良い近似モデルとなる場合が多い。しかし、相対的に、カメラの焦点距離が長い、被写体の奥行き方向の厚みが小さい、被写体の動きが少ない等の場合においては、アフィンカメラの近似精度は良くなる。
同一被写体の上のｎ個の点を、カメラ位置を変えながらＮ枚の画像を撮影した場合の、画像上の点の座標値は（数２）のようになる。
Figure 2008108071
 ここで右辺の左側のアフィン投影行列ａj，ｂjは独立であり、かつ、右辺右側の対応点の３次元座標値Ｐiは独立であると仮定する。このとき、右辺は各々４次の空間を張ることから、左辺の行列もたかだかランク４であり、次の関係式が成り立つ。
対応点ｐi,jのうち、Ｎ枚の画像（Ｎは４以上の整数）における任意の４組（ｓ＝４）の対応点ｐi,j（ｉ＝１．．４，ｊ＝１．．Ｎ）が既知であるとする。このときＮ枚の画像（ｊ＝１．．Ｎ）におけるその他の対応点ｐi',j'（ｉ’＝５．．ｎ）は（数３）の関係式で表すことができる。
Figure 2008108071
また、５枚目以降（ｊ’＝５．．Ｎ）の画像上のｎ個の対応点の座標値は、１〜４枚目の画像のｎ組の対応点の座標値を用いて（数４）の関係式で表すことができる。
Figure 2008108071
上述の複数の対応点の座標値の間に成り立つ２つの式を、幾何拘束式と呼ぶ。これらの関係式は、A. Shashua, "Trilinear Tensor: The Fundamental Construct of Multiple-view Geometry and its Applications", APAC 1997などに開示されているため、本明細書においてはこれらの文献を援用し、詳細な説明は省略する。
次に、複数の対応点の輝度値の間に成り立つ光学拘束式を説明する。光学拘束式は、被写体は完全拡散反射物体であり、かつ、照明は並行光源である場合に、被写体と照明の相対位置が異なる複数の画像の輝度値の間に成り立つ拘束式である。
ここでは画像はグレースケール（モノクロ）画像であるものとし、Ｎ枚の画像Ｉj，（ｊ＝１．．Ｎ）において、対応点ｐi,jの画素における輝度値を、Ｉj（ｐi,j）とする。このとき、４枚目以降の画像上の対応点の輝度値Ｉj'（ｐi,j'），（ｊ’＝４．．Ｎ）は、１〜３枚目の画像の対応点の輝度値Ｉj（ｐi,j），（ｊ＝１．．３）を用いて（数５）の関係式で表すことができる。
Figure 2008108071
光学拘束式の詳細については、A.Shashua、"Geometry and Photometry in 3D Visual Recognition", Ph.D thesis, pages 79-91, Dept. Brain and Cognitive Science, MIT (1992).などに開示されているため、本明細書においてはこれらの文献を援用し、詳細な説明は省略する。
（画像処理装置１００の詳細な動作の説明）
次に、上述した動作原理を用いた画像処理装置１００の詳細な動作を説明する。
本実施形態においては、ユーザーがカメラ１０１を操作し、図２（ａ）の撮影環境において一連の動画像を撮影するとする。画像処理装置１００は、撮影された動画像のデータを画像記憶部１０２に一時的に記憶し、そのデータに対して対応点を算出し、画像処理を行う。
カメラ１０１は、ユーザーの操作によって図２の撮影環境において動画像を撮影し、画像データを画像記憶部１０２に送る。画像記憶部１０２はその画像データを記憶する。図３は、カメラ１０１で撮影され、画像記憶部１０２に記憶された動画像の一連の画像の例を示す。上段左、上段右、中段左、中段右、下段の順に、カメラと被写体が照明に対して少しずつ動く撮影状況で撮影されている。
画像処理装置１００は、たとえば図３に示すような画像記憶部１０２に記憶された４枚目以上の画像データを利用して、画像間の対応点を算出して出力する。複数の画像には共通して１つの被写体が写っており、その被写体は剛体であるとする。
初期対応点算出部１１３は、図３に示す画像データを受け取って、連続した４枚（Ｎ＝４)の画像ごとに、４枚の画像にわたる対応点である初期対応点を予め定められた数（ｎ組）算出する。
本実施形態においては、複数画像にわたる初期対応点を算出する方法として小矩形領域間の正規化相互相関を評価値として、相関が最も高くなる位置を算出するブロックマッチング法を用いるものとする。正規化相互相関を用いたブロックマッチング法による対応点探索手法は、例えば、「デジタル画像処理／奥富正敏編、２０２−２０４ページ、財団法人画像情報教育振興協会発行」などに開示されているとおり周知であるため、詳細な説明は省略する。
なお、初期対応点算出部１１３において、従来の対応点算出方法により算出した初期対応点は、上記課題欄で説明したとおり特に複数の画像間で照明条件が変動する場合に対応点の位置誤差が大きくなるという問題を有している。したがって、初期対応点算出部１１３で生成されるｎ組の初期対応点は、無視できない程度の大きな確率で、位置の誤差が大きい対応点の組を含むこととなる。
そこで対応点再算出部１０４は、初期対応点算出部１１３で生成された、位置誤差の大きな対応点の組を含むｎ組の初期対応点から、最も位置誤差の小さい４組（ｓ＝４）の初期対応点で構成される基準対応点を選択し、選択した基準対応点をもとに新たに生成した着目対応点とともに、新たな対応点として出力する。
以下、対応点再算出部１０４の動作についてさらに詳しく説明する。
基準候補生成部１０３は、初期対応点算出部１１３で算出された４枚の画像にわたる初期対応点をｎ組受け取って、４組ずつたとえばランダムに選択し、得られた４組の初期対応点の集合を１組の基準対応点候補として生成する。そして、この基準対応点候補をＭ組（Ｍ：２以上の整数）生成して出力する。
図４は、基準対応点候補の例を示す。図４中の「○」印で表される４組の初期対応点の集合から構成される基準対応点候補に関してはほぼ正しく対応点が算出されているのに対して、「×」印で表される４組の初期対応点の集合から構成される基準対応点候補に関しては、一部の対応点の組（たとえば鼻の位置の対応点の組）に大きな位置誤差を含んでいる。
光学係数算出部１０５は、４枚の入力画像と基準候補生成部１０３で生成されたＭ組の基準対応点候補を受け取り、基準対応点候補の各組について、基準対応点候補を構成する４組の対応点における輝度値の関係式（数５）から光学係数Ｃj'を算出して出力する。
より具体的には、４枚の画像のうち１〜３枚目の画像をＩ1，Ｉ2，Ｉ3とし、４枚目の画像をＩjとする。このとき各基準対応点候補を構成する４組の対応点の輝度値Ｉj（ｐi,j）は（数５）の関係式を満たすため、（数５）中の３つの係数Ｃj'1，Ｃj'2およびＣj'3を算出できる。この３つの光学係数を、Ｍ組の基準対応点候補の各組ごとに算出して出力する。
新規候補生成部１０６は、Ｍ組の基準対応点候補を受け取って、各基準対応点候補を構成する初期対応点の組ごとに、幾何拘束式を満たす複数の対応点を算出し、これらを着目対応点候補として出力する。着目対応点候補は、基準対応点候補とは異なる対応点の組である。以下、図５を参照しながら、ある１組の基準対応点候補に対応する着目対応点候補を算出する方法について説明する。
図５（ａ）〜（ｄ）は、各画像における着目対応点候補の例を示す。図５（ａ）〜（ｄ）において、「○」印はＭ組の基準対応点候補のうちの１組を示す。たとえば、図５（ａ）〜（ｄ）に示されている、被写体の像の額に位置する基準対応点候補（「○」印）は、被写体の像の額に関する対応点として、画像間で対応付けられている。以下の説明では、画像間で互いに対応付けられている基準対応点候補は、位置誤差がほとんどないと仮定して説明する。このとき新規候補生成部１０６は、１枚目の画像上の全ての画素に対して、各画素の画像座標値（ｘi,1，ｙi,1）を１個の着目点とした場合の、２〜４枚目の画像上の対応する点の候補の画像座標値を複数算出する。
以下、ある１個の着目点（ｘi,1，ｙi,1）に対応する２〜４枚目の画像上の対応点の候補（着目対応点候補）を算出する手順を説明する。
着目点（ｘi,1，ｙi,1）に対応する２枚目の画像での対応点候補の座標（ｘi,2,dx，ｙi,2,dy）を、点（ｘi,1，ｙi,1）を中心とした予め定められた矩形の探索範囲の幅±ｗｓｘ，±ｗｓｙを用いて与える（数６）。
Figure 2008108071
１枚目の着目点（ｘi,1，ｙi,1）に対する２枚目の対応点候補（ｘi,2,dx，ｙi,2,dy）が予め与えられているとすると、３、４枚目の画像での対応点候補の座標（ｘi,3,dx，ｙi,3,dy），（ｘi,4,dx，ｙi,4,dy）は、（数３）を変形して得た関数Ｆを用いた式（数７）により算出することができる。
Figure 2008108071
 すなわち、数７は１枚目の画像上の着目点と２枚目の画像上の対応点候補が決定されれば、３、４枚目の画像上での対応点候補が算出できることを意味している。
いま、図５（ａ）中の「＋」印を１枚目の画像上の着目点とすると、図５（ｂ）中での矩形の領域内の複数の点が、２枚目の画像上の対応点候補となる。３、４枚目の画像上での対応点候補の領域は、図５（ｃ）（ｄ）中の四辺形で囲まれた領域に存在する。
以上のようにして、１枚目のある１つの着目点（ｘi,1，ｙi,1）に対して、着目点に対する対応点の候補（ｘi,2,dx，ｙi,2,dy）、（ｘi,3,dx，ｙi,3,dy）、（ｘi,4,dx，ｙi,4,dy）を、Ｗ通り（Ｗ：（２＊ｗｓｘ＋１）×（２＊ｗｓｙ＋１））算出することができ、これを１組の着目対応点候補とする。
新規候補生成部１０６は、上述の処理を１枚目の画像のすべて画素（Ｓ画素）を着目点として繰り返し、基準対応点候補の１組について着目対応点候補を複数組（Ｓ組）生成する。
新規候補生成部１０６は、上述の処理をさらにＭ組の基準対応点候補の各組に対して行い、都合、Ｍ×Ｓ組の着目対応点候補の組を生成する。以上のようにして新規候補生成部１０６によって生成されたＭ×Ｓ×Ｗ通りの着目対応点候補は、対応する基準対応点候補に対して、いずれも幾何拘束式（数３）を満たした対応点の組となっている。
新規候補選択部１０７は、入力画像と、光学係数算出部１０５で算出された光学係数と、新規候補生成部１０６で生成された着目対応点候補を受け取って、光学拘束式（数５）を最も良く満たす着目対応点候補を選択して出力する。新規候補選択部１０７の動作の原理は以下のとおりである。
すなわち、ある１組の基準対応点候補に対応する複数組の着目対応点候補の各組において、ある１個の着目点に対応する複数通り（Ｗ通り）の対応点の候補のうちの正しく対応している対応点の候補（着目対応点）は、その１組の基準対応点候補が満たす光学拘束式（数５）を満たすはずである。
言い換えると、１組（Ｗ通り）の着目対応点候補うちの正しい着目対応点は、光学係数Ｃｊ’と、１枚目の着目点（ｘi,1，ｙi,1）とその対応点の候補（ｘi,2,dx，ｙi,2,dy）、（ｘi,3,dx，ｙi,3,dy）、（ｘi,4,dx，ｙi,4,dy）との関係を表す（数８）の誤差評価式ｅｒｒ（ｘi,1，ｙi,1，ｘi,2,dx，ｙi,2,dy）が理想的には０となるはずである。
Figure 2008108071
そこで、新規候補選択部１０７は、１組（Ｗ通り）の着目対応点候補から（数８）が最小となる（ｘi,2，ｙi,2），（ｘi,3，ｙi,3），（ｘi,4，ｙi,4）を計算によって特定し、選択する（数９）。
Figure 2008108071
この着目点（ｘi,1，ｙi,1）と選択された（ｘi,2，ｙi,2），（ｘi,3，ｙi,3），（ｘi,4，ｙi,4）の組を着目対応点とする。この選択された１組の着目対応点は、ある１組の基準対応点候補に対応する１組（Ｗ通り）の着目対応点候補のうちで、同じ基準対応点候補の光学拘束式（数５）を最も良く満たす対応点を意味する。
新規候補選択部１０７は、上述の処理を１組の基準対応点候補に対するＳ組の着目対応点候補について繰り返し、１組の基準対応点候補に対してＳ組の着目対応点を算出する。新規候補選択部１０７は、さらにＭ組の基準対応点候補に対して同様の処理を繰り返し、基準対応点候補の各組についてそれぞれＳ組の着目対応点を算出する。
上述の新規候補選択部１０７の説明では、理解の簡単化のために、１枚目の着目点（ｘi,1，ｙi,1）を基準にした矩形の探索範囲（±ｗｓｘ，±ｗｓｙ）内の点が２枚目の画像上の対応点候補であるとした。
しかし、基準となる着目点を設定する画像や探索範囲を設定する画像を限定するものではなく、どのような組み合わせであっても良い。例えば、１枚目の着目点（ｘi,1，ｙi,1）を基準として、２枚目のｘ座標ｘi,2,dxと３枚目のｘ座標ｘi,3,dxとに対して、それぞれ探索範囲±ｗｓｘ２，±ｗｓｘ３を設定することができる。このとき、（数３）式を変形すると、２枚目のｙ座標、３枚目のｙ座標、および、４枚目のｘ，ｙ座標（ｙi,2,dy，ｙi,3,dy，ｘi,4,dx，ｙi,4,dy）を算出することができる。このような着目対応点候補を用いても、同様に新規候補選択部１０７において光学拘束式（数５）を最も良く満たす着目対応点候補を選択することができる。
基準候補選択部１０８では、新規候補生成部１０６で生成されたＭ組の基準対応点候補と、新規候補選択部１０７で選択された基準対応点候補の各組についてＳ組の着目対応点を入力として、１組の基準対応点候補を選択し、選択された基準対応点候補（基準対応点）とそれに対応した着目対応点を、入力画像に対応する最良の対応点として出力する。
基準候補選択部１０８におけるＭ組の基準対応点候補から１組を選択する手順を説明する。ある１組の基準対応点候補に対する評価値Ｅｍを（数１０）で算出する。さらに、Ｍ組の基準対応点候補について、それぞれ評価値を算出し、この評価値が最小となる基準対応点候補の組を最良の基準対応点として選択する。
Figure 2008108071
そして、基準候補選択部１０８は、選択された１組の基準対応点とそれに対応する１組の着目対応点を、４枚の入力画像に対する新たな対応点として出力する。
上述した各処理要素の動作手順によれば、４つの画像わたる新たな対応点を複数算出することができる。動画像に含まれる画像が４枚より多い場合は、上述した手順を連続した４画像ごとに順次繰り返せばよい。これにより、全ての入力画像に対して対応点を算出することができる。
上述の（数１０）の評価値Ｅｍは、ある１組の基準対応点候補から得られるＳ組の着目対応点の光学拘束式（数５）に対する誤差の総和を示す。さらに、着目対応点の各組は幾何拘束式（数３）も同時に満たしている。このことから、（数１０）の評価値Ｅｍは、ある１組の基準対応点候補とそれに対応するＳ組の着目対応点が光学拘束式と幾何拘束式を満たす度合いを表す値となる。したがって、基準候補選択部１０８において選択された１組の基準対応点とそれに対応するＳ組の着目対応点からなる新たな対応点は、Ｍ組の基準対応点候補とそれに対応する着目対応点のうち、光学拘束式と幾何拘束式を最もよく満たす組となっている。
なお、上述の基準候補選択部１０８は、Ｍ組の基準対応点候補と対応する着目対応点のうち、光学拘束式と幾何拘束式を最もよく満たす組を選択するとしたが、必ずしも最もよく満たす組である必要はない。例えば、Ｍ組の基準対応点候補それらに対応する着目対応点のうち、光学拘束式と幾何拘束式を満たす度合いがあらかじめ定められた基準値以内である組が複数ある場合、光学拘束式と幾何拘束式を満たすどの組を選択しても構わない。
以上から、本発明の実施形態１で算出される対応点は、入力画像が照明条件の変化する画像であり、初期対応点１１３で生成された初期対応点が、ある確率で位置誤差を含む場合であったとしても、初期対応点から生成した複数の基準対応点の候補の中から、最も良く光学拘束式と幾何拘束式を満たす基準対応点を選択することができる。この光学拘束式は、照明条件の変化する画像であっても、その画像間の対応点の輝度値が満たすべき拘束式である。その結果、照明条件の変化する画像に対しても適切な基準対応点候補と位置誤差の小さい対応点を算出できる。
図６は、画像処理装置１００の動作の手順を示すフローチャートである。上述の処理は、図６に示す一般化された手順にしたがって実行される。
ステップＳ６１において、基準候補生成部１０３はＮ枚（Ｎ：４以上の整数）の画像で構成される画像データを画像記憶部１０２から読み出す。
ステップＳ６２において、初期対応点算出部１１３は、Ｎ枚の画像にわたる対応点を初期対応点としてｎ組（ｎ：４以上の整数）算出し、出力する。ステップＳ６３において、基準候補生成部１０３は、ｎ組の初期対応点のうちから、ｓ組（ｓ：４以上、ｎ以下の整数）の初期対応点の集合を１組の基準対応点の候補として選択し、合計Ｍ組の異なる基準対応点の候補を生成する。
ステップＳ６４において、光学係数算出部１０５は、Ｍ組の候補の組ごとに、各画像上の対応点の輝度値が光学拘束式を満たすように、光学係数を算出する。
次のステップＳ６５において、新規候補生成部１０６は、Ｍ組の候補の組ごとに定まる幾何拘束式を満たすように、Ｍ組の候補の各組に対応して、画像間で対応付けられた新たな対応点（着目対応点）の組の候補をＳ組生成する。
ステップＳ６６において、新規候補選択部１０７は、着目対応点の各候補に対して、各画像上の対応する着目対応点の輝度値と算出された光学係数とに基づいて光学拘束式を満たす程度（誤差）を評価する。そしてステップＳ６７において、新規候補選択部１０７は、各評価結果に基づいて１組の着目対応点の候補を選択し、着目対応点として出力する。
最後にステップＳ６８において、基準候補選択部１０８は、上記評価結果を基準対応点の候補の組ごとに評価し、評価結果に基づいて１組の基準対応点の候補を選択する。そしてその候補を基準対応点として出力する。
以上の処理によって、画像処理装置１００は、複数画像間の変化が被写体の相対的な動きと照明条件の変化によるという仮定に最も合致した対応点の組を算出することが可能になる。その結果、照明条件が異なる複数の画像が入力された場合であっても、位置誤差を低減した対応点を算出することができる。
本実施形態においては、基準候補生成部１０３は、初期対応点の複数の組からランダムに選択して基準対応点候補を生成するとした。しかし、複数の初期対応点からランダムに選択した上で、４画像分の４組の初期対応点の輝度値から４行４列の輝度行列を生成し、独立性の高い輝度行列を選択して出力するとしても良い。
この４行４列の輝度行列は、被写体が完全拡散反射物体、照明が並行光源という条件下で、４枚の画像において被写体に対する光源方向が独立であり、かつ４対応点の法線が独立である場合に、ランク３の行列となる。しかし、画像間で光源方向が近い場合や、対応点間の法線方向が近い場合に、その独立性が低下し、ランクが２以下になることがある。
この輝度行列の独立性は、輝度行列の固有値を算出し、その最も大きい固有値（第１固有値）と３番目に大きい固有値（第３固有値）の比（条件数）で評価することができ、この比が大きいとき独立性が高い。この輝度行列の独立性が高い基準対応点候補は、独立性の低い基準対応点候補に対して、（数５）の光学拘束式を算出した場合の精度が向上する。したがって、輝度行列の独立性の高い基準対応点候補を用いた場合、位置誤差の小さい対応点を算出できる可能性が高くなるという効果がある。
なお、本実施形態においては、基準候補生成部１０３は複数の初期対応点からランダムに選択して４組の初期対応点からなる基準対応点候補を生成するとした。
しかし、基準対応点候補を生成するにあたっては、複数の初期対応点からランダムに選択した上で、４フレームにわたる４個の対応点の輝度値から４行４列の輝度行列を生成し、その輝度行列の第１固有値に対する第３固有値の比が予め定められた値より小さい初期対応点の組を基準対応点の候補に入れないように除外してもよい。前述のように、輝度行列の第１固有値に対する第３固有値の比が小さい場合には（数５）の光学拘束式を算出した場合の精度が低下する。そこで、このような基準対応点の候補を除くことによって、位置誤差の小さい対応点を算出できる可能性が高くなる。予め定められた値の具体例として、例えば、第１固有値に対する第３固有値の比が０．０１より小さい場合に基準対応点の候補から除外する、としてもよい。前述したように、画像間で光源方向が近い場合や、対応点間の法線方向が近い場合に、その独立性が低下してランクが２以下になることがある。しかしながら、実際には計測された輝度値には微小な誤差を含むために、第１固有値に対する第３固有値の比が完全に０になることはまれである。そこで、予め定められた値より小さい場合に基準対応点の候補から除外することで、実質的にランクが２以下である基準対応点の候補を除くことができる。その結果、より独立性の高い基準対応点の候補を生成することが可能となり、位置誤差の小さい対応点を算出できる可能性が高くなる。
また、複数の初期対応点の候補をランダムに選択する代わりに、対応点近傍の各色画像間の相関がより低い初期対応点を、優先的に選択して基準対応点の候補を生成するとしても良い。たとえば、入力画像が赤（Ｒ）緑（Ｇ）青（Ｂ）の３原色で構成される色画像であるとする。そして、各対応点の近傍の小領域画像に対して、Ｇ画像とＲ画像、または、Ｇ画像とＢ画像の輝度値の相関値を算出する。そして色画像間の相関値が低い対応点を含む対応点を優先的に選択する。ここでいう「色画像間の相関値」とは、たとえば画像の輝度の空間勾配を利用して評価することができる。
画像の輝度の空間勾配の変化は、被写体表面のテクスチャと、被写体表面の凹凸による輝度変化の大きく２つに起因する。光源の向きが変化すると、被写体表面のテクスチャの輝度は小領域内で同じ比率で変化するのに対し、被写体表面の凹凸による輝度変化は局所的に発生する。そのため、ある画素を中心としたその近傍（たとえば５画素以内）の画素群を含む小領域中の輝度の空間勾配が同じである場合、その要因がテクスチャである場合は、被写体表面の凹凸による場合に比べて、対応点の位置誤差が小さくなることが期待できる。さらに、被写体方面の凹凸によって輝度が変化する場合、各色均等に輝度が変化するため、小領域中のＲＧＢ各色画像間で相関が高くなる。したがって、各色画像間の相関がより低い対応点は、従来の対応点算出方法で算出した場合においても、その位置誤差が小さいことが期待できる。そこで、複数の初期対応点の中から、このような初期対応点を優先的に選択して基準対応点候補を生成することで、結果として位置誤差の小さい対応点を算出できる可能性が高くなるという効果がある。
なお、小領域中の輝度値の空間勾配が大きいということは、輝度の差が大きいことを意味している。したがって、画像の変化に応じて被写体の角度が変化している場合であっても、その小領域を特定しやすいといえる。よって、空間勾配が大きい小領域中の画素を基準対応点候補として優先的に選択すると、位置誤差の小さい対応点を算出できる可能性が高くなる。
本実施形態においては、対応点再算出部１０４を構成する各処理要素は、複数の入力画像のうち４枚の画像に対して前述の処理を繰り返すとしたが、５枚目以降の処理については、新規候補生成部１０６において、（数４）の式を用いて着目対応点候補を算出するとしても良い。なお、上述した４枚分の画像における対応点が既知である場合に、５枚目以降の対応点を算出する処理は周知であるため、詳細の説明を省略する。例えば「A.Shashua、"Geometry and Photometry in 3D Visual Recognition", Ph.D thesis, pages 107-124, Dept. Brain and Cognitive Science, MIT (1992).」などに開示されている処理を用いることができる。
本実施形態においては、基準対応点候補は４個（ｓ＝４）の初期対応点の組で構成されるものとしたが、４個に限定するものではない。例えば、５個以上（ｓ>=５）の初期対応点の組であっても、最小二乗法によって（数３）（数４）の係数をそれぞれ算出することができるため、上述の処理と同様の処理を行うことができる。５個以上の初期対応点の組から最小二乗法によって係数を算出することで、ノイズの影響を受けにくくなるという効果がある。
光学係数算出部１０５は、基準対応点候補の各対応点の座標値の入力画像の輝度値を用いて光学係数を算出するものとしたが、基準対応点の各画像ごとの点間距離に応じて、入力画像に空間方向の低域通過フィルタをかけた輝度値を用いて光学係数を算出するとしても良い。上述の複数の入力画像は被写体とカメラの距離が画像によって異なるため、基準対応点候補の対応点の１画素に対応する被写体表面上での面積も画像によって異なる。そのため、本来は被写体表面の同一点の輝度値の拘束式である光学拘束式（数５）に、誤差が含まれることになる。
誤差を低減するためには、対応点の１画素に対応する被写体表面上での面積が、複数の入力画像間でなるべく一定になるようにすると良い。例えば、複数の入力画像のうち、１画素に対応する被写体表面の面積がより小さい画像に対し、カットオフ周波数のより低い低域通過フィルタを施した画素値を対応点の画素値として用いることで、光学拘束式の誤差を低減することができる。しかしながら、１画素に対応する被写体表面の面積を直接得ることはできない。一方、基準対応点の点間距離が大きいほど、１画素に対応する被写体表面での面積が小さいと言える。
そこで、入力画像ごとに基準対応点候補の対応点間距離の平均値を算出し、その比に応じたカットオフ周波数をもつ低域通過フィルターを入力画像に施すことで、等価的に１画素に対応する被写体表面上での面積が複数の入力画像間でより均一に近づくため、光学拘束式の誤差が低減し対応点の精度が向上するという効果がある。
上述の点間距離に代えて、他の方法で光学拘束式の誤差を低減することもできる。たとえばＥｘｉｆ規格などのように、被写体までの距離や焦点距離などの倍率の情報が画像データに付加される場合には、その倍率情報から１画素に対応する被写体表面の面積の情報を算出してカットオフ周波数を設定した低域通過フィルタを設定してもよい。この倍率情報を利用すると、画像上の被写体の倍率が異なっている場合であっても、１画素に対応する被写体表面上での面積を複数の入力画像間で均一に近づけることができるため、光学拘束式に発生する誤差を低減することができる。
（実施形態２）
図７は、本実施形態による画像処理装置１２０の機能ブロックの構成を示す。本実施形態による画像処理装置１２０が、実施形態１の画像処理装置１００と異なる点は、画像処理装置１００の出力部１０９に代えて、画像合成部１１０を設けたことにある。画像合成部１１０は、複数枚の画像と、複数画像にわたって特定された対応点とを受け取って、入力された画像の解像度よりも解像度が高い合成画像を出力する。ここで「解像度が高い」とは、被写体の同一領域を映した画像において、高い空間周波数成分を有することを意味する。
以下、画像合成部１１０の詳細を説明する。なお、図７に示す画像処理装置１２０の構成要素のうち、画像処理装置１００（図１）の構成要素と同じ構成要素に対しては、同じ参照符号を付し、その説明は省略する。
画像合成部１１０は、座標変換部１１１と画像生成部１１２とを有している。
座標変換部１１１は、複数画像とその対応点とを受け取り、それらの画像から、座標を変換した画像（座標変換画像）を生成する。座標変換画像とは、受け取った複数枚の画像のうち、ある画像と相対的な座標位置（構図）が同じで、かつ画像サイズを大きくした画像である。座標変換部１１１は、各画像に対応した複数の座標変換画像を生成してそれらを１組として出力する。
画像生成部１１２は、複数組の座標変換画像を受け取って、各組ごとに、複数の座標変換画像から同じ位置の画素の輝度値が満たす光学拘束式の係数である変換係数を算出し、複数の座標変換画像の変換係数による線形結合によって合成画像を生成して出力する。
次に、画像処理装置１２０の動作を説明する。以下では、対応点再算出部１０４までの処理は実施形態１と同じであるため説明は省略し、対応点再算出部１０４の出力処理から説明する。また、対応点再算出部１０４から出力されるＮ枚の入力画像をＩj，（ｊ＝１．．Ｎ）とし、入力された複数枚の画像にわたるｎ組の対応点をｐi,j，（ｉ＝１．．ｎ，ｊ＝１．．Ｎ）とし、その画像座標を（ｘi,j，ｙi,j），（ｉ＝１．．ｎ，ｊ＝１．．Ｎ）と表す。
図８は、本実施形態における複数枚の入力画像の例を示す。入力された画像は６枚（Ｎ＝６）であり、各入力画像のサイズは６４０画素×４８０画素であるとする。対応点pi,jは、被写体（彫像）の領域に存在するとして説明する。
座標変換部１１１は、複数枚画像で構成される画像データとその対応点を受け取り、各画像を座標変換することにより、入力画像と構図が同じ複数の座標変換画像を生成する。ここで、構図が同じとは、画像中の被写体の相対的な座標位置が同じことをいう。
また、ある１つの入力画像Ｉkと構図が同じ座標変換画像の座標位置は、入力画像Ｉkの座標位置を拡大率ｒで拡大することで算出する。この拡大率ｒは長さの比率であり、あらかじめユーザーの指示によって与えられるとする。
以下、座標変換部１１１の動作を詳しく説明する。以下では、複数の入力画像Ｉj，（ｊ＝１．．Ｎ）と対応点ｐi,j，（ｉ＝１．．ｎ， ｊ＝１．．Ｎ）を用いて、ある１つの入力画像Ｉkと構図が同じ複数の座標変換画像Ｉk,jを生成する動作を説明する。
座標変換部１１１は、ある１つの入力画像Ｉkの対応点ｐi,k，（ｉ＝１．．ｎ）の画像座標（ｘi,j，ｙi,j），（ｉ＝１．．ｎ）に、拡大率ｒを乗じた座標値を算出し、これを複数の座標変換画像Ｉk,j（ｊ＝１．．Ｎ）に共通の対応点ｑi,k＝（ｒ・ｘi,k，ｒ・ｙi,k），（ｉ＝１．．ｎ）とする。
さらに、座標変換部１１１は、座標変換画像の対応点ｑi,k，（ｉ＝１．．ｎ）と、各対応点ｐi,j，（ｉ＝１．．ｎ、ｊ＝１．．Ｎ）と、各入力画像Ｉj，（ｊ＝１．．Ｎ）とを用いてテクスチャマッピングすることで、複数の座標変換画像Ｉk,j（ｊ＝１．．Ｎ）を生成する。
座標変換画像Ｉk,jをテクスチャマッピングで生成する方法の例を説明する。まず、入力画像Ｉkのｎ個の対応点ｐi,k，（ｉ＝１．．ｎ）から、ドロネー三角分割法によって、複数の三角形の集まりとして構造化する。そして、座標変換画像上の三角形内の画素の座標値は、対応する入力画像上の三角形内の画素の座標値のアフィン変換により関係づけられると仮定する。すると、座標変換画像上の任意の画素の座標値と、入力画像上の画素の座標値との対応関係が得られる。これにより、座標変換画像上のある画素の画素値として、対応する入力画像の画素値を用いることで、座標変換画像を生成することができる。なお、画像と対応点を用いて、テクスチャマッピングにより合成画像を生成する上述の手法は、コンピュータグラフィックスの手法として広く知られているため、ここでは詳細な説明を省略する。
さらに、座標変換部１１１は、各入力画像Ｉj，（ｊ＝１．．Ｎ）中の被写体面積に対する、座標変換画像Ｉk,j（ｊ＝１．．Ｎ）中の被写体面積の比を、面積比ｓk,j，（ｊ＝１．．Ｎ）として算出して出力する。なお、被写体面積の比は座標変換画像中の被写体面積／入力画像中の被写体面積として求めることができる。
以上の手順によって生成される複数の座標変換画像Ｉk,j（ｊ＝１．．Ｎ）は、入力画像Ｉkに対して、被写体の相対的な２次元座標位置（構図）は同じである。しかし、座標変換画像Ｉk,j（ｊ＝１．．Ｎ）の画素値は、複数の入力画像Ｉj，（ｊ＝１．．Ｎ）の画素値を用いて生成されているため、変換前後の照明条件は異なっている。さらに、座標変換画像Ｉk,j（ｊ＝１．．Ｎ）は、入力画像Ｉkに対して、その座標値がｒ倍された画像、すなわち画像サイズの大きい画像となっているという特徴を持つ。
座標変換部１１１は、上述した動作によって、ある１つの入力画像Ｉkと構図が同じ複数の座標変換画像Ｉk,j，（ｊ＝１．．Ｎ）からなる組を生成する。さらに上述の動作を繰り返し処理することで、複数の組からなる入力画像Ｉk，（ｋ＝１．．Ｎ）と座標変換画像Ｉk,j，（ｋ＝１．．Ｎ），（ｊ＝１．．Ｎ）生成して出力する。
図８は６枚の画像Ｉjの例を示す。各画像は照明条件が異なっている。画素数は、いずれも６４０画素×４８０画素とする。
図９は、図８（ｃ）の１つの入力画像Ｉ3（ｋ＝３）と構図が同じである複数の座標変換画像Ｉ3,jの例である。本実施形態では、拡大率ｒを２としている。生成される座標変換画像の画像サイズは１２８０画素×９６０画素となる。
図９（ａ）〜（ｆ）から明らかなように、図８（ｃ）の入力画像Ｉ3に対して、図９の６枚の座標変換画像Ｉ3,jは、構図が同じで、照明条件が異なり、かつ、画像サイズが大きいことが理解される。
座標変換部１１１は、図９に示す座標変換画像Ｉj,k（ｋ＝１．．Ｎ）の組を、各入力画像Ｉk（ｋ＝１．．Ｎ）に対して複数組生成するとともに、面積比ｒk,jを算出して出力する。
画像生成部１１２は、複数の座標変換画像の組Ｉk,jと面積比ｒk,jを受け取り、各組ごとに、複数の座標変換画像から、同じ座標位置の画素の輝度値が満たす光学拘束式の係数（変換係数）を算出する。
以下、画像生成部１１２において変換係数を算出する方法を説明する。
画像生成部１１２は、座標変換画像Ｉk,jと面積比ｒk,jを受け取り、各組ｋごとに面積比ｒk,j，（ｊ＝１．．Ｎ）のうち、値が小さい方から３つの座標変換画像を選択する。ここで選択された３つの座標変換画像をＩk,a、Ｉk,b、Ｉk,cとし、その任意の点ｐｉの画素値をＩk,a（ｐi）、Ｉk,b（ｐi）、Ｉk,c（ｐi）とする。このとき、入力画像Ｉkの拡大画像に相当する座標変換画像Ｉk,kの画素値Ｉk,k（ｐi）と、画素値Ｉk,a（ｐi）、Ｉk,b（ｐi）、Ｉk,c（ｐi）には、（数１１）の光学拘束式が成り立つ。
Figure 2008108071
 （数１１）において、Ｄk,a、Ｄk,b、Ｄk,c（これらをＤkと記述する）は変換係数である。
この変換係数Ｄkは、複数の座標変換画像上の３点以上のｐiの画素値から算出することができる。（数１１）の式は、原理上は座標変換画像Ｉk,k、Ｉk,a、Ｉk,b、Ｉk,cの解像度が同一の場合に成り立つ。しかし、実際には複数の座標変換画像の解像度は同一とは限らないため、（数１１）の関係式は誤差を含み得る。そこで、本実施形態では、３点より十分に多い点ｐiにおける画素値から、最小２乗法を用いて変換係数Ｄkを生成する。
図９の例では、６つの座標変換画像Ｉ3,jにおいて、その被写体面積は同じである。また、図８の６つの入力画像において、その被写体面積は大きい方からＩ6、Ｉ5、Ｉ4、Ｉ3、Ｉ2、Ｉ1の順となる。ゆえに、面積比ｓ3,kは小さい方から順にｓ3,6、ｓ3,5、ｓ3,4、ｓ3,3、ｓ3,2、ｓ3,1となる。したがって、変換係数Ｄ3は、座標変換画像Ｉ3,3と、座標変換画像Ｉ3,4、Ｉ3,5、Ｉ3,6を用いて算出されることとなる。
次に、画像生成部１１２は、変換係数Ｄk、座標変換画像Ｉk,jを（数１２）に代入して線形画像Ｉ’kを生成する。
Figure 2008108071
 （数１２）の線形結合によって生成される線形画像Ｉ’kは、入力画像Ｉkの拡大に相当する座標変換画像Ｉk,kと比べて、構図と照明条件は同じで、解像度が高くなる場合がある。
例えば、図８の６つの入力画像における被写体の面積は、入力画像Ｉ3よりも入力画像Ｉ4、Ｉ5、Ｉ6の方が大きいので、入力画像Ｉ3よりも入力画像Ｉ4、Ｉ5、Ｉ6の方が解像度は高い。一方、図９の６つの座標変換画像Ｉ３，ｊは、被写体面積が同じである。したがって、入力画像Ｉ3，（ｋ＝３）から生成した座標変換画像Ｉ3,3（図９（ｃ））よりも、入力画像Ｉ4、Ｉ5、Ｉ6からそれぞれ生成した座標変換画像Ｉ3,4、Ｉ3,5、Ｉ3.6（図９（ｄ）（ｅ）（ｆ））の方が、解像度が高くなる。したがって、座標変換画像Ｉ3,4、Ｉ3,5、Ｉ3.6の線形結合（数１２）によって生成される線形画像Ｉ’3の解像度は、座標変換画像Ｉ3,3よりも高くなる。
逆に、図８（ｆ）に示す入力画像Ｉ6，（ｋ＝６）と構図が同じ複数の座標変換画像Ｉ6,j，（ｊ＝１．．Ｎ）から生成した線形画像Ｉ’6は、座標変換画像Ｉ6,6よりも解像度が低くなると考えられる。複数の入力画像Ｉjの中に入力画像Ｉ6よりも解像度の高い画像が存在しないためである。
そこで画像生成部１１２は、線形画像Ｉ’kと座標変換画像Ｉk,kの空間周波数成分を解析して高周波成分がより多い方を選択し、合成画像Ｉ’’kとして画像記憶部１０２に記憶する。上述の動作によって得られる合成画像Ｉ’’kは、入力画像Ｉkと構図と照明条件は同じで、解像度は高いか、または、同じになる。
図１０は、本実施形態による画像処理装置１２０が生成した合成画像の例を示す。そして図１１（ａ）は図１０（ｃ）の合成画像の拡大図であり、図１１（ｂ）は図８（ｃ）の入力画像の拡大図である。図１１（ａ）の合成画像は、図１１（ｂ）の入力画像よりも、解像度が高くなっていることが理解される。
上述したように、被写体とカメラと光源の位置関係の異なる複数の画像（図８）を入力として、解像度を高めた合成画像（図１１）を生成している。特に、被写体とカメラの距離が異なる複数の画像のうち、解像度の高い被写体の画像（例えば図８（ｆ））の情報を利用することで、解像度の解像度の高めた合成画像を生成できると言える。
上述の処理では、合成前の画像と、合成に利用される被写体の解像度が高い画像との間で被写体と光源の位置関係が異なるため、位置誤差の少ない対応点を如何に算出するかが重要である。
図１２（ａ）は、従来の技術による対応点算出手法で得られた対応点と、本発明による対応点算出手法で得られた対応点との比較例を示す。
図１２（ａ）の２つの入力画像において、従来の対応点算出手法により求めた対応点を「×」印で示す。画像間の矩形領域の輝度差や相関値を評価値として対応点を算出する従来法では、被写体表面の輝度が変化する画像間の対応点を正確に求めるのが困難である。
多くの位置誤差を含む対応点を用いて、画像合成部１１０を用いて合成画像を生成したとしても、被写体の解像度が向上しなかったり、合成画像の一部の輝度に誤差を含むという問題が発生する。
図１２（ｂ）は、位置誤差の多い対応点から生成した合成画像の例を示す。この図では、被写体の左目付近は、対応点の位置ずれによって、合成画像がぼけたような画像となる。また、右あご付近は、位置ずれによって輝度誤差が大きい（暗い）画像となっている。
本発明による対応点の算出方法では、このような問題の発生を十分低減できる。実施形態１の画像処理装置１００の説明において詳述したように、光学拘束式と幾何拘束式を満たす基準対応点を選択する手法によって、被写体と光源の相対的な位置が異なる場合、すなわち照明条件が異なる場合でも位置誤差が低減された対応点を算出することができるためである。
図１２（ａ）は、本実施形態の画像処理装置１２０が算出した対応点が「○」印で示されている。被写体表面の輝度が変化しても画像間の対応点が正確に求められていることが理解される。
画像処理装置１２０の画像合成部１１０は、合成画像の幾何的変形を行ったのち、同じ光学拘束式を用いて合成画像の生成を行う。図１２（ｃ）は、位置誤差の少ない対応点から生成した合成画像の例を示す。光学拘束式と幾何拘束式を満たすように算出された対応点を用いることによって、図１２（ｃ）のように輝度誤差や位置誤差が少なく、かつ、より高い解像度の合成画像を生成することが可能になる。
以上、本発明の実施形態１および２を説明した。上述の実施形態の説明では、幾何拘束式および光学拘束式を導くに当たって種々の前提条件（（１）撮影対象の被写体が剛体であり、（２）光が平行に被写体に入射し、（３）被写体表面において光が完全拡散反射され、（４）アフィンカメラで被写体を撮影する）を設定した。しかし、これらは各拘束式を数学的に導くための条件であり、本願発明にかかる画像処理装置および方法等を実施するに当たってはこれらの条件が厳密に満たされている必要はない。
たとえば、被写体は剛体であると仮定したが、厳密には剛体ではなくてもよい。複数の画像間で被写体が局所的に変形している場合であっても、画像間における被写体とカメラ位置の相対的な位置変動に対して、被写体の局所的な変形が十分に小さい場合は近似的に剛体として考えることができるため、上述した処理を行うことができる。または、被写体に入射する光は厳密に平行でなくてもよいし、被写体表面において光が完全拡散反射されていなくてもよい。
なお、本発明の実施形態１および２において、画像データ中には１つの被写体が存在し、複数の対応点（初期対応点、基準対応点、着目対応点を含む）は、同一の被写体に存在するものとして説明した。画像データ中に複数の物体が存在する場合であっても、物体間の相対位置が変化しない場合は、同一の剛体とみなすことができる。したがって、画像データ中に複数の被写体が存在し、かつ、被写体間の相対位置が変化しない場合は、同一の被写体とみなして同様に処理を行うことができる。
さらに、画像データ中に複数の被写体が存在し、かつ、複数の被写体間の相対位置が変化する場合、対応点再算出部１０４で算出される対応点は、いずれか１つの被写体に存在する対応点のみが出力されることとなる。なぜならば、複数の対応点が相対位置が変化する複数の剛体（被写体）に存在する場合、これら複数の対応点は幾何拘束式（数３）を満たさないためである。以上のことから、画像データ中に複数の被写体が存在し、かつ、複数の被写体間の相対位置が変化する場合、実施形態１および２で説明した一連の動作を一度行うと、複数の被写体のうちのある１つの被写体について、対応点の生成や画像の高解像度化を行うことができる。さらに、一連の動作を一度行った結果生成された対応点が存在する画像領域を除外した上で、同様の処理を繰り返すことで、複数の被写体のうちの別のある１つの被写体について、対応点の生成や画像の高解像度化を行うことができる。以上のことから、画像データ中に複数の被写体が存在する場合であっても、本発明の実施形態１および２と同様の処理を行うことができる。
上述の実施形態においては、図１および図７に示す機能ブロックを用いて画像処理装置を説明した。このような機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。
たとえば、図１３はコンピュータによって構成された画像処理装置のハードウェア構成を示す。
図１および図７に示す機能ブロックと、図１３に示すハードウェアとの対応関係は以下のとおりである。すなわち、図１および図７のカメラ１０１は、図１３に示すカメラ１００１およびＡ／Ｄ変換器１００２に対応する。また、図１および図７の画像記憶部１０２は、図１３に示すフレームメモリ１００３またはハードディスクドライブ（ＨＤＤ）１０１０に対応する。そして図１および図７の初期対応点算出部１１３および対応点再算出部１０４は、コンピュータプログラムを実行した図１３のＣＰＵ１００４によって実現される。また、図７の画像合成部１１０についてもコンピュータプログラムを実行した図１３のＣＰＵ１００４によって実現される。図１の出力部１０９は種々考えられる。たとえば出力されるデータが他のプログラム（たとえば、手ぶれ補正プログラムや符号化プログラム）へ渡される場合には、出力部１０９は図１３におけるＲＡＭ１００６となる。
図１３のコンピュータを動作させるコンピュータプログラムは、たとえばＲＯＭ１００５に保持されている。コンピュータプログラムは、プロセッサであるＣＰＵ１００４によってＲＡＭ１００６に読み出されて展開される。ＣＰＵ１００４はコンピュータプログラムの実態であるコード化された各命令を実行する。
なお、コンピュータプログラムは、たとえば図６に示すフローチャートのような手順で記述されている。コンピュータプログラムは、半導体であるＲＯＭ１００５に限られず、たとえば光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ１００６に取り込まれてもよい。
本発明にかかる画像処理装置は、カメラで撮影された画像の画質改善、動画像の符号化、ならびに画像中の被写体の形状認識を行う画像処理装置として有用である。その利用形態は、独立した画像処理装置であっても良いし、カメラやディスプレイに内蔵されるものであっても良い。
本発明は、複数の画像間の対応点を算出する画像処理技術に関し、特に複数の画像間で被写体と光源の相対的な位置が異なる場合にも、位置誤差の小さい対応点の算出が可能な画像処理技術に関する。
従来から、複数画像間の対応点や動画像の動きベクトルを算出する技術の研究開発が広く行われてきている。この技術は、デジタルビデオカメラやデジタルスチルカメラにおける画像の手ぶれ補正などの画質改善処理や、動画像の符号化処理、自動車の安全運転支援システムやロボットのための形状認識処理などに共通して利用される基礎技術である。
ここで言う「複数画像」とは、視点位置が異なる複数のカメラによって撮影された多視点画像と、一つのカメラによって一定の時間間隔（たとえば１／３０秒）で連続して撮影された複数枚の画像からなる動画像の両者を含んでいる。なお、多視点画像の対応点を計算する技術と、動画像の動きベクトルを計算する技術とは共通する部分が多いため、本願明細書においては両者を区別しない。
複数の画像間の対応点や動きベクトルを算出する技術のうちで代表的なものが、たとえば特許文献１、非特許文献１および２に記載されている。具体的には、画像間の矩形領域の輝度差や相関値を評価値としてこの値が最良となる位置を求めるブロックマッチング法、画像の輝度の空間的勾配と画像間の輝度差を用いて変位量を求める勾配法、フーリエ変換を用いて位相相関関数のピーク値から変位量を求める位相相関法である。ただし、これらの従来の技術には、複数の画像間において、照明条件が異なる場合（光源と被写体とカメラの相対的な位置が異なる場合や光源の強度が異なる場合など）に、算出される対応点の位置誤差が大きくなるという課題が知られている。
一方、たとえば特許文献２および３には、照明条件が異なる画像間の対応点の位置誤差を低減する技術が開示されている。
特許文献２に記載された技術は、入力画像の特定の輝度範囲の画素を抽出することによって画像中の鏡面反射領域の影響を低減し、それにより、位置誤差の少ない動きベクトルを算出する。この技術によれば、鏡面反射領域の動きベクトルの誤差を小さくすることは期待できる。しかし、非鏡面反射領域の動きベクトルの誤差を低減することはできない。
一方、特許文献３に記載された技術は、輝度の空間勾配やその変化が大きいエッジやコーナーなどの領域に着目し、この領域の動きベクトルを算出している。この技術によれば、輝度勾配が大きいエッジ領域の動きベクトルの位置誤差を小さくすることが可能である。
特許第２６７６９７８号明細書 特開２０００−３６０５１号公報 特開平７−６６９８９号公報 Bruce D. Lucas and Takeo Kanade. "An Iterative Image Registration Technique with an Application to Stereo Vision.", International Joint Conference on Artificial Intelligence, pages 674-679, 1981. Carlo Tomasi and Takeo Kanade. "Detection and Tracking of Point Features.", Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991.
しかしながら、特許文献３に記載された技術のような、エッジ領域の動きベクトルを算出する方法は、非エッジ領域の動きベクトルの位置誤差を低減するものではない。したがって、例えば被写体が立体的な形状であり、被写体の動きによるエッジ領域と非エッジ領域の動きベクトルが異なる場合には、非エッジ領域の動きベクトルの位置誤差が大きくなるという課題があった。
本発明の目的は、照明条件の異なる複数の画像が入力された場合でも、位置誤差が少ない対応点や動きベクトルを生成することである。
本発明による画像処理装置は、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出する初期対応点算出部と、前記ｎ組の初期対応点から、ｓ組（ｓ：４以上ｎ以下の整数）の初期対応点の集合を１組とした基準対応点の候補を選択して、Ｍ組（Ｍ：２以上の整数）の基準対応点の候補を生成する基準候補生成部と、前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出する係数算出部と、前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成する新規候補生成部と、前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価し、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力する第１選択部と、前記第１選択部の評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択し、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力する第２選択部とを備えている。
前記基準候補生成部は、選択したｓ組の初期対応点の前記Ｎ枚の画像の輝度値からなるＮ×ｓ輝度行列の独立性を評価し、評価結果に基づいて、前記Ｍ組の基準対応点の各候補を選択してもよい。
前記基準候補生成部は、前記Ｎ×ｓ輝度行列の第１固有値に対する第３固有値の比を評価値として、より大きい評価値が得られたＮ×ｓ輝度行列に対応するｓ個の初期対応点の集合から順に基準対応点の候補として選択してもよい。
前記基準候補生成部は、前記Ｎ×ｓ輝度行列の第１固有値に対する第３固有値の比があらかじめ定められたしきい値より小さい場合において、前記Ｎ×ｓ輝度行列に対応するｓ組の初期対応点の集合を、基準対応点の候補から除外してもよい。
前記基準候補生成部は、選択したｓ組の初期対応点について、各画像上の点近傍の輝度値の空間勾配の大きさを評価し、より大きい空間勾配が得られたｓ組の初期対応点の集合から優先的に基準対応点の候補として選択してもよい。
前記Ｎ枚の画像は色画像であり、前記基準候補生成部は、選択したｓ組の初期対応点について、各画像上の点近傍の各色画像間の相関を評価し、より低い相関が得られたｓ組の初期対応点の集合から優先的に基準対応点の候補として選択してもよい。
前記係数算出部は、各画像上の各点の点間距離および各画像における被写体の倍率の一方に応じてカットオフ周波数が定められる空間方向の低域通過フィルタを前記画像データに対して適用し、得られた輝度値を前記各画像上の互いに対応付けられた点の輝度値として使用してもよい。
前記係数算出部は、前記各基準対応点の候補の各画像上点の輝度値として、当該点の近傍に位置する少なくとも１つの点の輝度値を用いて前記光学係数を算出してもよい。
前記係数算出部は、当該点の周囲に近接し、かつ、当該点の輝度値との差が所定範囲内の少なくとも１つの点の輝度値を用いて前記光学係数を算出してもよい。
前記係数算出部は、当該点の輝度値と、当該点の周囲の近接点の輝度値との差が所定範囲よりも大きくなったとき、当該点の近傍に位置する少なくとも１つの点の輝度値を用いて前記光学係数を算出してもよい。
前記画像処理装置は、Ｎ枚の画像のうちの少なくとも１枚の画像を所定の拡大率で拡大し、拡大後の画像の画素値として、前記Ｎ枚の画像のうちの少なくともｋ枚（ｋ：３以上Ｎ以下の整数）の画像の各画素値を前記所定の拡大率に応じてマッピングした複数の座標変換画像の組を生成する座標変換部と、前記複数の座標変換画像のうちのｋ枚の座標変換画像を選択して、前記ｋ枚の座標変換画像間で互いに対応する各座標変換画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である変換係数を算出し、前記Ｎ枚の座標変換画像を変換係数によって線形結合することによって合成画像を生成する画像生成部とをさらに備えていてもよい。
前記画像生成部は、変換前の各画像に含まれる被写体の面積と、前記座標変換画像に含まれる被写体の面積とに応じて決定される被写体面積の比の大きさに応じて、前記ｋ枚の座標変換画像を選択してもよい。
本発明による画像処理方法は、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、前記ｎ組の初期対応点から、ｓ組（ｓ：４以上ｎ以下の整数）の初期対応点を選択するステップと、ｓ組の初期対応点の集合を１組とした基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップとを包含する。
本発明による記録媒体には、コンピュータプログラムが記録されている。前記コンピュータプログラムは、コンピュータに、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、前記Ｎ枚の画像にわたるｓ組（ｓ：４以上、ｎ以下の整数）の初期対応点の集合を１組とした基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップとを実行させる。
本発明によるプロセッサは、コンピュータプログラムを実行することが可能である。前記プロセッサは、画像処理プログラムを実行することにより、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、前記Ｎ枚の画像にわたるｓ組の初期対応点の集合を１組とする基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、前記Ｍ組の基準対応点の候補の各組について、画像間で互いに対応付けられた各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、前記複数組の着目対応点の候補の各組に対して、画像間で互いに対応付けられた各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップとを実行する。
本発明による画像処理装置は、Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出する初期対応点算出部と、前記ｎ組の初期対応点から、幾何拘束式と光学拘束式を満たすｓ組の（ｓ：４以上ｎ以下の整数）初期対応点を選択して基準対応点として出力するとともに、前記基準対応点に基づく幾何拘束式と光学拘束式を満たす着目対応点を算出して出力する対応点再算出部とを備えている。
本発明によれば、被写体と光源の相対位置変化に依存する輝度の変化の拘束式である光学拘束式と、被写体とカメラの相対位置変化に依存する対応点の位置の拘束式である幾何拘束式とを同時に満たす点を、複数画像にわたって対応付けられた対応点として特定する。これにより、複数の画像間で被写体と光源の相対的な位置が異なる場合であっても、位置誤差が低減された対応点を算出することができる。また、動画像を高解像度化する処理に適用することにより、動きベクトルの位置誤差が低減された画質（解像度）の高い映像データを得ることができる。
以下、添付の図面を参照しながら、本発明による画像処理装置の実施形態を説明する。
本願明細書においては、実空間中に存在する被写体を撮影して得られた１枚または複数枚の画像に関連して「対応点」という用語を定義する。
「対応点」(a corresponding point)とは、実空間中の任意の１個の点に対応する１画像上の点を意味する。
「複数画像（Ｎ枚）にわたる対応点」（corresponding points across N number of images）とは、実空間中の任意の１個の点に対応する複数画像（Ｎ枚）の各々に定義される１組の対応点を意味する。これは、実空間中の同一の点に対応して各画像上に定められる対応点の集合であり、具体的には各画像上の対応点の画像座標値を複数画像（Ｎ枚）分まとめた１組の画像座標値として表現される。複数画像にわたる対応点は、特定の１画像上の１点に対する他の画像上の１点として限定して定められるものではないことに留意されたい。
「複数画像（Ｎ枚）にわたる複数組（ｎ組）の対応点」とは、実空間中のｎ個の点の各々に定義される、複数画像（Ｎ枚）にわたる対応点の集合を意味する。これは、「複数画像（Ｎ枚）にわたる対応点」を、異なるｎ組分集めたものである。このとき、各画像上には異なる組に属する対応点がｎ個存在することになる。
本願明細書では、「初期対応点」、「基準対応点」等、種々の「対応点」が規定されているが、どの種類の対応点についても上述と同様の定義が適用される。
（実施形態１）
図１は、本実施形態による画像処理装置１００の機能ブロックの構成を示す。画像処理装置１００は、カメラ１０１と、画像記憶部１０２と、初期対応点算出部１１２と、対応点再算出部１０４と、出力部１０９とを有している。
カメラ１０１は、被写体を撮影して画像データを出力する。カメラ１０１は、動画および静止画のいずれの画像データを出力することもできる。動画データの場合には、所定の周波数（たとえば３０Ｈｚ）で切り替えられる複数枚の画像で構成される画像データが出力される。静止画データの場合には、１枚の画像の画像データが出力される。
画像記憶部１０２は、カメラ１０１で撮影された画像データを記憶する記録媒体であり、たとえばフレームメモリやハードディスクドライブである。画像記憶部１０２に記録された画像データは、後述の初期対応点算出部１１３および対応点再算出部１０４に入力される。
初期対応点算出部１１３は、画像記憶部１０２に記憶された画像データを受け取り、その画像データに基づいて複数画像にわたる対応点（この対応点を以下「初期対応点」という）を複数組生成する。
対応点再算出部１０４は、初期対応点算出部１１３で生成された複数組の初期対応点と画像データとを受け取って、全ての初期対応点の組を全体集合としたときの部分集合を複数抽出する。後述の処理によって、各部分集合を構成する初期対応点の組から「基準対応点の組」が決定される。そのため、各部分集合を構成する初期対応点の組を、以下「基準対応点候補」と呼ぶ。対応点再算出部１０４は、複数の基準対応点候補の中から最良の基準対応点の組を選択する。また、選択した最良の基準対応点の組とともに、その基準対応点に対応して新たに求めた対応点（「着目対応点」とも言う）の組を出力する。
対応点再算出部１０４は、基準候補生成部１０３と、光学係数算出部１０５と、新規候補生成部１０６と、新規候補選択部１０７と、基準候補選択部１０８とを有している。
基準候補生成部１０３は、初期対応点算出部１１３で生成された、複数画像にわたる複数組の初期対応点を受け取り、全ての初期対応点の組のうちから一部の初期対応点の部分集合を選択し、これを１組とした基準対応点の候補を複数組生成する。
光学係数算出部１０５は、画像データと複数組の基準対応点候補とを受け取り、複数組の基準対応点の候補の各組について、画像間で互いに対応付けられた各画像上の点の輝度値が光学拘束式を満たすようにその光学拘束式の係数である光学係数を算出する。
新規候補生成部１０６は、複数の基準対応点候補を受け取り、各基準対応点候補に応じた幾何拘束式を満たす複数の対応点を新たに算出して着目対応点候補として出力する。
新規候補選択部１０７は、画像データ、各基準対応点候補に応じた光学係数と着目対応点候補とを受け取って、着目対応点候補から光学拘束式を満たす程度を評価し、評価結果に基づいて１組の着目対応点の候補を選択して各基準対応点候補に応じた着目対応点として出力する。
基準候補選択部１０８は、複数の基準対応点候補と基準対応点候補に対応する着目対応点を受け取り、新規候補選択部１０７の評価結果に基づいて当初作成した複数の基準対応点候補を評価し、評価結果に基づいて複数の基準対応点候補から１組の基準対応点の候補を選択する。そして、選択した基準対応点および選択した基準対応点に対応する着目対応点を、画像データの複数画像にわたる対応点として出力する。
出力部１０９は、画像記憶部１０２に記憶された複数の画像と、対応点再算出部１０４によって算出された対応点とを組にして出力する。
本実施形態においては、画像処理装置１００は、複数の画像の対応点を算出するための初期対応点算出部１１３および対応点再算出部１０４を備えるだけでなく、画像を撮影して記録するカメラ１０１、画像記憶部１０２、および、撮影された画像と対応点の組を出力する出力部１０９をも備えている。これにより、画像処理装置１００は、カメラで撮影した画像の対応点を算出して出力することが可能になる。
発明の理解を容易にするため、まず具体例に沿って画像処理装置１００の動作の概要を説明する。その後、画像処理装置１００の動作原理および詳細な動作を説明する。
（画像処理装置１００の動作の概要の説明）
図２（ａ）は、画像処理装置１００が用いられる画像の撮影環境を示し、図２（ｂ）は、撮影された画像の例を示す。図２（ａ）に示されるように、本実施形態においては、カメラ、被写体（彫像）、光源の位置は、それぞれ画像処理装置１００の動作とは無関係に任意に変化するとしている。図２（ａ）の環境で撮影された一連の複数（Ｎ枚）の画像を、入力画像として扱う。図２中の３次元座標系（Ｘ，Ｙ，Ｚ）は、被写体に固定された座標系であるとする。
いま、たとえば図４に示されるような、同じ被写体を撮影した４枚の画像（Ｎ＝４）が得られたとする。被写体上に８個の点（ｎ＝８）を仮定すると、それら８点の各々に対応する、被写体上の同じ位置を表す点を各画像上に設定することができる（たとえば図４の「○」と「×」）。これらの点の各々が対応点であり、被写体上の同じ位置を表す点の組が、複数画像にわたって存在する対応点である。さらに、複数画像にわたって存在する８組の対応点から、座標位置が正確に求められた４組を選択できたと仮定すると、これら４組（ｓ＝４）をまとめて、１組の基準対応点と呼ぶ（たとえば図４の「○」）。
同一被写体上の任意の１点の４枚の画像にわたる対応点の座標値（位置ベクトル）は、同じ４枚の画像にわたる４個の基準対応点の座標値（位置ベクトル）の線形結合によって記述される。そのとき成立する式を、幾何拘束式という。各基準対応点の座標値に乗じられる係数は、本願明細書では“Ａ”によって表される。
また、新たな画像（たとえば５枚目の画像）が得られた場合には、その画像上にも被写体上の８個の各々に対応する点（対応点）を設定することができる。そのような、新たな画像上の対応点の座標（位置ベクトル）は、直前４枚の画像にわたる各対応点の座標値（位置ベクトル）の線形結合によって記述される。そのとき成立する式もまた、幾何拘束式という。各対応点の座標値に乗じられる係数は、本願明細書では“Ｂ”によって表される。この幾何拘束式の係数“Ｂ“は、直前４枚の画像にわたる４つの基準対応点に対応する新たな画像上の点の座標から求めることができる。
ある画像上の任意の点の画素値（たとえば輝度値）は、その点の他の３枚の画像上の対応点の画素値の線形結合によって記述できる。そのとき成立する式は、光学拘束式という。各対応点の画素値に乗じられる係数は、本願明細書では“Ｃ”によって表される。
４個の基準対応点が与えられると、与えられた基準対応点に基づいて、光学拘束式の係数が得られる。
４個の基準対応点が与えられ、４枚の画像にわたる基準対応点以外の新たな対応点（着目対応点）の組を求めようとするとき、それらの新たな対応点の組は、幾何拘束式および上述の係数が適用された光学拘束式をそれぞれ満たす必要がある。
後に詳細に説明するように、最初の画像上に設定された点（着目点）に対して第２の画像上の対応点と考えられる候補が与えられると、幾何拘束式の係数Ａが算出され、また第３および第４の画像上の対応点の座標も算出される。第２の画像上の対応点が正しく与えられていた場合には、求められた新たな対応点の組は、光学拘束式を満たすはずである。
そこで、本実施形態においては、第２の画像上の対応点の与え方を所定範囲内で変化させることによって、次々に第３および第４の画像上の対応点候補を求める。そして、第１〜第３の画像上の対応点候補の画素値を光学拘束式に代入して得られた値が、第４の画像上の対応点候補の画素値と一致した場合には、正しく対応点が求められていたとする。一致しない場合には、誤差が最も小さい対応点候補を正しい対応点として出力する。
上述の処理によれば、基準対応点から光学係数を算出するとともに、与えられた着目点の対応点の候補を幾何拘束式から算出し、光学拘束式で評価する。得られた対応点は、必ず幾何拘束式を満たし、かつ同時に光学拘束式を最もよく満たしている。よって、複数の画像間で被写体と光源の相対的な位置が異なる場合であっても、位置誤差が低減された対応点を算出することができる。
なお、上述の説明では、４枚の画像にわたって規定された各基準対応点の組は、それぞれが正確に対応点として特定されていることを前提とした。しかし、画像データが初めて与えられた場合等においては、基準対応点が正しく与えられない可能性がある。そこで、本実施形態においては８組（ｎ＝８）の対応点から４組（ｓ＝４）を選択して得られる基準対応点についても複数の候補を設定する。そして、基準対応点の各候補に対して上述の処理を実行し、誤差が少ない基準対応点の候補を正しい基準対応点として特定する。これにより、各画像上において、基準対応点とともに、基準対応点以外の新たな対応点（着目対応点）をより正確に求めることが可能になる。
（画像処理装置１００の動作原理の説明）
次に、図２を参照しながら、本実施形態による画像処理装置１００が利用する３つの動作原理を詳細に説明する。具体的には、複数画像にわたる複数の対応点が全て正しく与えられた場合に、対応点の座標値が満たすべき２つの幾何拘束式と、対応点の輝度値が満たすべき光学拘束式である。拘束式を導くに当たっては、（１）撮影対象の被写体が剛体であり、（２）光が平行に被写体に入射し、（３）被写体表面において光が完全拡散反射され、（４）アフィンカメラで被写体を撮影する、という前提条件を設定した。なお、実際には複数の物体であっても、相対位置が普遍の複数の物体は、同一の剛体、すなわち、同一の被写体とみなすことができる。
はじめに、複数の画像上の対応点の拘束式である幾何拘束式を説明する。剛体である同一被写体上のｎ個の点Ｐiの３次元座標値を（Ｘi，Ｙi，Ｚi），（ｉ＝１．．ｎ）とし、これをアフィン投影カメラで観察して得たＮ枚の画像上の点をｐi,j，（ｉ＝１．．ｎ，ｊ＝１．．Ｎ）、点ｐi,jの画像座標値を（ｘi,j，ｙi,j），（ｉ＝１．．ｎ，ｊ＝１．．Ｎ）とすると、２×４の行列を用いた（数１）の関係式で表すことができる。
Figure 2008108071
 （数１）において、係数ａj，ｂjは、被写体座標系におけるカメラの位置（向きも含む）と、アフィンカメラによる投影とを積算した係数を意味する。
本実施形態では、カメラ１０１は、（数１）で示したアフィンカメラのモデルで近似的に表現できるものとする。なお、（数１）のアフィンカメラのモデルよりも、透視投影のモデルの方が一般的なカメラのより良い近似モデルとなる場合が多い。しかし、相対的に、カメラの焦点距離が長い、被写体の奥行き方向の厚みが小さい、被写体の動きが少ない等の場合においては、アフィンカメラの近似精度は良くなる。
同一被写体の上のｎ個の点を、カメラ位置を変えながらＮ枚の画像を撮影した場合の、画像上の点の座標値は（数２）のようになる。
Figure 2008108071
 ここで右辺の左側のアフィン投影行列ａj，ｂjは独立であり、かつ、右辺右側の対応点の３次元座標値Ｐiは独立であると仮定する。このとき、右辺は各々４次の空間を張ることから、左辺の行列もたかだかランク４であり、次の関係式が成り立つ。
対応点ｐi,jのうち、Ｎ枚の画像（Ｎは４以上の整数）における任意の４組（ｓ＝４）の対応点ｐi,j（ｉ＝１．．４，ｊ＝１．．Ｎ）が既知であるとする。このときＮ枚の画像（ｊ＝１．．Ｎ）におけるその他の対応点ｐi',j'（ｉ’＝５．．ｎ）は（数３）の関係式で表すことができる。
Figure 2008108071
また、５枚目以降（ｊ’＝５．．Ｎ）の画像上のｎ個の対応点の座標値は、１〜４枚目の画像のｎ組の対応点の座標値を用いて（数４）の関係式で表すことができる。
Figure 2008108071
上述の複数の対応点の座標値の間に成り立つ２つの式を、幾何拘束式と呼ぶ。これらの関係式は、A. Shashua, "Trilinear Tensor: The Fundamental Construct of Multiple-view Geometry and its Applications", APAC 1997などに開示されているため、本明細書においてはこれらの文献を援用し、詳細な説明は省略する。
次に、複数の対応点の輝度値の間に成り立つ光学拘束式を説明する。光学拘束式は、被写体は完全拡散反射物体であり、かつ、照明は並行光源である場合に、被写体と照明の相対位置が異なる複数の画像の輝度値の間に成り立つ拘束式である。
ここでは画像はグレースケール（モノクロ）画像であるものとし、Ｎ枚の画像Ｉj，（ｊ＝１．．Ｎ）において、対応点ｐi,jの画素における輝度値を、Ｉj（ｐi,j）とする。このとき、４枚目以降の画像上の対応点の輝度値Ｉj'（ｐi,j'），（ｊ’＝４．．Ｎ）は、１〜３枚目の画像の対応点の輝度値Ｉj（ｐi,j），（ｊ＝１．．３）を用いて（数５）の関係式で表すことができる。
Figure 2008108071
光学拘束式の詳細については、A.Shashua、"Geometry and Photometry in 3D Visual Recognition", Ph.D thesis, pages 79-91, Dept. Brain and Cognitive Science, MIT (1992).などに開示されているため、本明細書においてはこれらの文献を援用し、詳細な説明は省略する。
（画像処理装置１００の詳細な動作の説明）
次に、上述した動作原理を用いた画像処理装置１００の詳細な動作を説明する。
本実施形態においては、ユーザーがカメラ１０１を操作し、図２（ａ）の撮影環境において一連の動画像を撮影するとする。画像処理装置１００は、撮影された動画像のデータを画像記憶部１０２に一時的に記憶し、そのデータに対して対応点を算出し、画像処理を行う。
カメラ１０１は、ユーザーの操作によって図２の撮影環境において動画像を撮影し、画像データを画像記憶部１０２に送る。画像記憶部１０２はその画像データを記憶する。図３は、カメラ１０１で撮影され、画像記憶部１０２に記憶された動画像の一連の画像の例を示す。上段左、上段右、中段左、中段右、下段の順に、カメラと被写体が照明に対して少しずつ動く撮影状況で撮影されている。
画像処理装置１００は、たとえば図３に示すような画像記憶部１０２に記憶された４枚目以上の画像データを利用して、画像間の対応点を算出して出力する。複数の画像には共通して１つの被写体が写っており、その被写体は剛体であるとする。
初期対応点算出部１１３は、図３に示す画像データを受け取って、連続した４枚（Ｎ＝４)の画像ごとに、４枚の画像にわたる対応点である初期対応点を予め定められた数（ｎ組）算出する。
本実施形態においては、複数画像にわたる初期対応点を算出する方法として小矩形領域間の正規化相互相関を評価値として、相関が最も高くなる位置を算出するブロックマッチング法を用いるものとする。正規化相互相関を用いたブロックマッチング法による対応点探索手法は、例えば、「デジタル画像処理／奥富正敏編、２０２−２０４ページ、財団法人画像情報教育振興協会発行」などに開示されているとおり周知であるため、詳細な説明は省略する。
なお、初期対応点算出部１１３において、従来の対応点算出方法により算出した初期対応点は、上記課題欄で説明したとおり特に複数の画像間で照明条件が変動する場合に対応点の位置誤差が大きくなるという問題を有している。したがって、初期対応点算出部１１３で生成されるｎ組の初期対応点は、無視できない程度の大きな確率で、位置の誤差が大きい対応点の組を含むこととなる。
そこで対応点再算出部１０４は、初期対応点算出部１１３で生成された、位置誤差の大きな対応点の組を含むｎ組の初期対応点から、最も位置誤差の小さい４組（ｓ＝４）の初期対応点で構成される基準対応点を選択し、選択した基準対応点をもとに新たに生成した着目対応点とともに、新たな対応点として出力する。
以下、対応点再算出部１０４の動作についてさらに詳しく説明する。
基準候補生成部１０３は、初期対応点算出部１１３で算出された４枚の画像にわたる初期対応点をｎ組受け取って、４組ずつたとえばランダムに選択し、得られた４組の初期対応点の集合を１組の基準対応点候補として生成する。そして、この基準対応点候補をＭ組（Ｍ：２以上の整数）生成して出力する。
図４は、基準対応点候補の例を示す。図４中の「○」印で表される４組の初期対応点の集合から構成される基準対応点候補に関してはほぼ正しく対応点が算出されているのに対して、「×」印で表される４組の初期対応点の集合から構成される基準対応点候補に関しては、一部の対応点の組（たとえば鼻の位置の対応点の組）に大きな位置誤差を含んでいる。
光学係数算出部１０５は、４枚の入力画像と基準候補生成部１０３で生成されたＭ組の基準対応点候補を受け取り、基準対応点候補の各組について、基準対応点候補を構成する４組の対応点における輝度値の関係式（数５）から光学係数Ｃj'を算出して出力する。
より具体的には、４枚の画像のうち１〜３枚目の画像をＩ1，Ｉ2，Ｉ3とし、４枚目の画像をＩjとする。このとき各基準対応点候補を構成する４組の対応点の輝度値Ｉj（ｐi,j）は（数５）の関係式を満たすため、（数５）中の３つの係数Ｃj'1，Ｃj'2およびＣj'3を算出できる。この３つの光学係数を、Ｍ組の基準対応点候補の各組ごとに算出して出力する。
新規候補生成部１０６は、Ｍ組の基準対応点候補を受け取って、各基準対応点候補を構成する初期対応点の組ごとに、幾何拘束式を満たす複数の対応点を算出し、これらを着目対応点候補として出力する。着目対応点候補は、基準対応点候補とは異なる対応点の組である。以下、図５を参照しながら、ある１組の基準対応点候補に対応する着目対応点候補を算出する方法について説明する。
図５（ａ）〜（ｄ）は、各画像における着目対応点候補の例を示す。図５（ａ）〜（ｄ）において、「○」印はＭ組の基準対応点候補のうちの１組を示す。たとえば、図５（ａ）〜（ｄ）に示されている、被写体の像の額に位置する基準対応点候補（「○」印）は、被写体の像の額に関する対応点として、画像間で対応付けられている。以下の説明では、画像間で互いに対応付けられている基準対応点候補は、位置誤差がほとんどないと仮定して説明する。このとき新規候補生成部１０６は、１枚目の画像上の全ての画素に対して、各画素の画像座標値（ｘi,1，ｙi,1）を１個の着目点とした場合の、２〜４枚目の画像上の対応する点の候補の画像座標値を複数算出する。
以下、ある１個の着目点（ｘi,1，ｙi,1）に対応する２〜４枚目の画像上の対応点の候補（着目対応点候補）を算出する手順を説明する。
着目点（ｘi,1，ｙi,1）に対応する２枚目の画像での対応点候補の座標（ｘi,2,dx，ｙi,2,dy）を、点（ｘi,1，ｙi,1）を中心とした予め定められた矩形の探索範囲の幅±ｗｓｘ，±ｗｓｙを用いて与える（数６）。
Figure 2008108071
１枚目の着目点（ｘi,1，ｙi,1）に対する２枚目の対応点候補（ｘi,2,dx，ｙi,2,dy）が予め与えられているとすると、３、４枚目の画像での対応点候補の座標（ｘi,3,dx，ｙi,3,dy），（ｘi,4,dx，ｙi,4,dy）は、（数３）を変形して得た関数Ｆを用いた式（数７）により算出することができる。
Figure 2008108071
 すなわち、数７は１枚目の画像上の着目点と２枚目の画像上の対応点候補が決定されれば、３、４枚目の画像上での対応点候補が算出できることを意味している。
いま、図５（ａ）中の「＋」印を１枚目の画像上の着目点とすると、図５（ｂ）中での矩形の領域内の複数の点が、２枚目の画像上の対応点候補となる。３、４枚目の画像上での対応点候補の領域は、図５（ｃ）（ｄ）中の四辺形で囲まれた領域に存在する。
以上のようにして、１枚目のある１つの着目点（ｘi,1，ｙi,1）に対して、着目点に対する対応点の候補（ｘi,2,dx，ｙi,2,dy）、（ｘi,3,dx，ｙi,3,dy）、（ｘi,4,dx，ｙi,4,dy）を、Ｗ通り（Ｗ：（２＊ｗｓｘ＋１）×（２＊ｗｓｙ＋１））算出することができ、これを１組の着目対応点候補とする。
新規候補生成部１０６は、上述の処理を１枚目の画像のすべて画素（Ｓ画素）を着目点として繰り返し、基準対応点候補の１組について着目対応点候補を複数組（Ｓ組）生成する。
新規候補生成部１０６は、上述の処理をさらにＭ組の基準対応点候補の各組に対して行い、都合、Ｍ×Ｓ組の着目対応点候補の組を生成する。以上のようにして新規候補生成部１０６によって生成されたＭ×Ｓ×Ｗ通りの着目対応点候補は、対応する基準対応点候補に対して、いずれも幾何拘束式（数３）を満たした対応点の組となっている。
新規候補選択部１０７は、入力画像と、光学係数算出部１０５で算出された光学係数と、新規候補生成部１０６で生成された着目対応点候補を受け取って、光学拘束式（数５）を最も良く満たす着目対応点候補を選択して出力する。新規候補選択部１０７の動作の原理は以下のとおりである。
すなわち、ある１組の基準対応点候補に対応する複数組の着目対応点候補の各組において、ある１個の着目点に対応する複数通り（Ｗ通り）の対応点の候補のうちの正しく対応している対応点の候補（着目対応点）は、その１組の基準対応点候補が満たす光学拘束式（数５）を満たすはずである。
言い換えると、１組（Ｗ通り）の着目対応点候補うちの正しい着目対応点は、光学係数Ｃｊ’と、１枚目の着目点（ｘi,1，ｙi,1）とその対応点の候補（ｘi,2,dx，ｙi,2,dy）、（ｘi,3,dx，ｙi,3,dy）、（ｘi,4,dx，ｙi,4,dy）との関係を表す（数８）の誤差評価式ｅｒｒ（ｘi,1，ｙi,1，ｘi,2,dx，ｙi,2,dy）が理想的には０となるはずである。
Figure 2008108071
そこで、新規候補選択部１０７は、１組（Ｗ通り）の着目対応点候補から（数８）が最小となる（ｘi,2，ｙi,2），（ｘi,3，ｙi,3），（ｘi,4，ｙi,4）を計算によって特定し、選択する（数９）。
Figure 2008108071
この着目点（ｘi,1，ｙi,1）と選択された（ｘi,2，ｙi,2），（ｘi,3，ｙi,3），（ｘi,4，ｙi,4）の組を着目対応点とする。この選択された１組の着目対応点は、ある１組の基準対応点候補に対応する１組（Ｗ通り）の着目対応点候補のうちで、同じ基準対応点候補の光学拘束式（数５）を最も良く満たす対応点を意味する。
新規候補選択部１０７は、上述の処理を１組の基準対応点候補に対するＳ組の着目対応点候補について繰り返し、１組の基準対応点候補に対してＳ組の着目対応点を算出する。新規候補選択部１０７は、さらにＭ組の基準対応点候補に対して同様の処理を繰り返し、基準対応点候補の各組についてそれぞれＳ組の着目対応点を算出する。
上述の新規候補選択部１０７の説明では、理解の簡単化のために、１枚目の着目点（ｘi,1，ｙi,1）を基準にした矩形の探索範囲（±ｗｓｘ，±ｗｓｙ）内の点が２枚目の画像上の対応点候補であるとした。
しかし、基準となる着目点を設定する画像や探索範囲を設定する画像を限定するものではなく、どのような組み合わせであっても良い。例えば、１枚目の着目点（ｘi,1，ｙi,1）を基準として、２枚目のｘ座標ｘi,2,dxと３枚目のｘ座標ｘi,3,dxとに対して、それぞれ探索範囲±ｗｓｘ２，±ｗｓｘ３を設定することができる。このとき、（数３）式を変形すると、２枚目のｙ座標、３枚目のｙ座標、および、４枚目のｘ，ｙ座標（ｙi,2,dy，ｙi,3,dy，ｘi,4,dx，ｙi,4,dy）を算出することができる。このような着目対応点候補を用いても、同様に新規候補選択部１０７において光学拘束式（数５）を最も良く満たす着目対応点候補を選択することができる。
基準候補選択部１０８では、新規候補生成部１０６で生成されたＭ組の基準対応点候補と、新規候補選択部１０７で選択された基準対応点候補の各組についてＳ組の着目対応点を入力として、１組の基準対応点候補を選択し、選択された基準対応点候補（基準対応点）とそれに対応した着目対応点を、入力画像に対応する最良の対応点として出力する。
基準候補選択部１０８におけるＭ組の基準対応点候補から１組を選択する手順を説明する。ある１組の基準対応点候補に対する評価値Ｅｍを（数１０）で算出する。さらに、Ｍ組の基準対応点候補について、それぞれ評価値を算出し、この評価値が最小となる基準対応点候補の組を最良の基準対応点として選択する。
Figure 2008108071
そして、基準候補選択部１０８は、選択された１組の基準対応点とそれに対応する１組の着目対応点を、４枚の入力画像に対する新たな対応点として出力する。
上述した各処理要素の動作手順によれば、４つの画像わたる新たな対応点を複数算出することができる。動画像に含まれる画像が４枚より多い場合は、上述した手順を連続した４画像ごとに順次繰り返せばよい。これにより、全ての入力画像に対して対応点を算出することができる。
上述の（数１０）の評価値Ｅｍは、ある１組の基準対応点候補から得られるＳ組の着目対応点の光学拘束式（数５）に対する誤差の総和を示す。さらに、着目対応点の各組は幾何拘束式（数３）も同時に満たしている。このことから、（数１０）の評価値Ｅｍは、ある１組の基準対応点候補とそれに対応するＳ組の着目対応点が光学拘束式と幾何拘束式を満たす度合いを表す値となる。したがって、基準候補選択部１０８において選択された１組の基準対応点とそれに対応するＳ組の着目対応点からなる新たな対応点は、Ｍ組の基準対応点候補とそれに対応する着目対応点のうち、光学拘束式と幾何拘束式を最もよく満たす組となっている。
なお、上述の基準候補選択部１０８は、Ｍ組の基準対応点候補と対応する着目対応点のうち、光学拘束式と幾何拘束式を最もよく満たす組を選択するとしたが、必ずしも最もよく満たす組である必要はない。例えば、Ｍ組の基準対応点候補それらに対応する着目対応点のうち、光学拘束式と幾何拘束式を満たす度合いがあらかじめ定められた基準値以内である組が複数ある場合、光学拘束式と幾何拘束式を満たすどの組を選択しても構わない。
以上から、本発明の実施形態１で算出される対応点は、入力画像が照明条件の変化する画像であり、初期対応点１１３で生成された初期対応点が、ある確率で位置誤差を含む場合であったとしても、初期対応点から生成した複数の基準対応点の候補の中から、最も良く光学拘束式と幾何拘束式を満たす基準対応点を選択することができる。この光学拘束式は、照明条件の変化する画像であっても、その画像間の対応点の輝度値が満たすべき拘束式である。その結果、照明条件の変化する画像に対しても適切な基準対応点候補と位置誤差の小さい対応点を算出できる。
図６は、画像処理装置１００の動作の手順を示すフローチャートである。上述の処理は、図６に示す一般化された手順にしたがって実行される。
ステップＳ６１において、基準候補生成部１０３はＮ枚（Ｎ：４以上の整数）の画像で構成される画像データを画像記憶部１０２から読み出す。
ステップＳ６２において、初期対応点算出部１１３は、Ｎ枚の画像にわたる対応点を初期対応点としてｎ組（ｎ：４以上の整数）算出し、出力する。ステップＳ６３において、基準候補生成部１０３は、ｎ組の初期対応点のうちから、ｓ組（ｓ：４以上、ｎ以下の整数）の初期対応点の集合を１組の基準対応点の候補として選択し、合計Ｍ組の異なる基準対応点の候補を生成する。
ステップＳ６４において、光学係数算出部１０５は、Ｍ組の候補の組ごとに、各画像上の対応点の輝度値が光学拘束式を満たすように、光学係数を算出する。
次のステップＳ６５において、新規候補生成部１０６は、Ｍ組の候補の組ごとに定まる幾何拘束式を満たすように、Ｍ組の候補の各組に対応して、画像間で対応付けられた新たな対応点（着目対応点）の組の候補をＳ組生成する。
ステップＳ６６において、新規候補選択部１０７は、着目対応点の各候補に対して、各画像上の対応する着目対応点の輝度値と算出された光学係数とに基づいて光学拘束式を満たす程度（誤差）を評価する。そしてステップＳ６７において、新規候補選択部１０７は、各評価結果に基づいて１組の着目対応点の候補を選択し、着目対応点として出力する。
最後にステップＳ６８において、基準候補選択部１０８は、上記評価結果を基準対応点の候補の組ごとに評価し、評価結果に基づいて１組の基準対応点の候補を選択する。そしてその候補を基準対応点として出力する。
以上の処理によって、画像処理装置１００は、複数画像間の変化が被写体の相対的な動きと照明条件の変化によるという仮定に最も合致した対応点の組を算出することが可能になる。その結果、照明条件が異なる複数の画像が入力された場合であっても、位置誤差を低減した対応点を算出することができる。
本実施形態においては、基準候補生成部１０３は、初期対応点の複数の組からランダムに選択して基準対応点候補を生成するとした。しかし、複数の初期対応点からランダムに選択した上で、４画像分の４組の初期対応点の輝度値から４行４列の輝度行列を生成し、独立性の高い輝度行列を選択して出力するとしても良い。
この４行４列の輝度行列は、被写体が完全拡散反射物体、照明が並行光源という条件下で、４枚の画像において被写体に対する光源方向が独立であり、かつ４対応点の法線が独立である場合に、ランク３の行列となる。しかし、画像間で光源方向が近い場合や、対応点間の法線方向が近い場合に、その独立性が低下し、ランクが２以下になることがある。
この輝度行列の独立性は、輝度行列の固有値を算出し、その最も大きい固有値（第１固有値）と３番目に大きい固有値（第３固有値）の比（条件数）で評価することができ、この比が大きいとき独立性が高い。この輝度行列の独立性が高い基準対応点候補は、独立性の低い基準対応点候補に対して、（数５）の光学拘束式を算出した場合の精度が向上する。したがって、輝度行列の独立性の高い基準対応点候補を用いた場合、位置誤差の小さい対応点を算出できる可能性が高くなるという効果がある。
なお、本実施形態においては、基準候補生成部１０３は複数の初期対応点からランダムに選択して４組の初期対応点からなる基準対応点候補を生成するとした。
しかし、基準対応点候補を生成するにあたっては、複数の初期対応点からランダムに選択した上で、４フレームにわたる４個の対応点の輝度値から４行４列の輝度行列を生成し、その輝度行列の第１固有値に対する第３固有値の比が予め定められた値より小さい初期対応点の組を基準対応点の候補に入れないように除外してもよい。前述のように、輝度行列の第１固有値に対する第３固有値の比が小さい場合には（数５）の光学拘束式を算出した場合の精度が低下する。そこで、このような基準対応点の候補を除くことによって、位置誤差の小さい対応点を算出できる可能性が高くなる。予め定められた値の具体例として、例えば、第１固有値に対する第３固有値の比が０．０１より小さい場合に基準対応点の候補から除外する、としてもよい。前述したように、画像間で光源方向が近い場合や、対応点間の法線方向が近い場合に、その独立性が低下してランクが２以下になることがある。しかしながら、実際には計測された輝度値には微小な誤差を含むために、第１固有値に対する第３固有値の比が完全に０になることはまれである。そこで、予め定められた値より小さい場合に基準対応点の候補から除外することで、実質的にランクが２以下である基準対応点の候補を除くことができる。その結果、より独立性の高い基準対応点の候補を生成することが可能となり、位置誤差の小さい対応点を算出できる可能性が高くなる。
また、複数の初期対応点の候補をランダムに選択する代わりに、対応点近傍の各色画像間の相関がより低い初期対応点を、優先的に選択して基準対応点の候補を生成するとしても良い。たとえば、入力画像が赤（Ｒ）緑（Ｇ）青（Ｂ）の３原色で構成される色画像であるとする。そして、各対応点の近傍の小領域画像に対して、Ｇ画像とＲ画像、または、Ｇ画像とＢ画像の輝度値の相関値を算出する。そして色画像間の相関値が低い対応点を含む対応点を優先的に選択する。ここでいう「色画像間の相関値」とは、たとえば画像の輝度の空間勾配を利用して評価することができる。
画像の輝度の空間勾配の変化は、被写体表面のテクスチャと、被写体表面の凹凸による輝度変化の大きく２つに起因する。光源の向きが変化すると、被写体表面のテクスチャの輝度は小領域内で同じ比率で変化するのに対し、被写体表面の凹凸による輝度変化は局所的に発生する。そのため、ある画素を中心としたその近傍（たとえば５画素以内）の画素群を含む小領域中の輝度の空間勾配が同じである場合、その要因がテクスチャである場合は、被写体表面の凹凸による場合に比べて、対応点の位置誤差が小さくなることが期待できる。さらに、被写体方面の凹凸によって輝度が変化する場合、各色均等に輝度が変化するため、小領域中のＲＧＢ各色画像間で相関が高くなる。したがって、各色画像間の相関がより低い対応点は、従来の対応点算出方法で算出した場合においても、その位置誤差が小さいことが期待できる。そこで、複数の初期対応点の中から、このような初期対応点を優先的に選択して基準対応点候補を生成することで、結果として位置誤差の小さい対応点を算出できる可能性が高くなるという効果がある。
なお、小領域中の輝度値の空間勾配が大きいということは、輝度の差が大きいことを意味している。したがって、画像の変化に応じて被写体の角度が変化している場合であっても、その小領域を特定しやすいといえる。よって、空間勾配が大きい小領域中の画素を基準対応点候補として優先的に選択すると、位置誤差の小さい対応点を算出できる可能性が高くなる。
本実施形態においては、対応点再算出部１０４を構成する各処理要素は、複数の入力画像のうち４枚の画像に対して前述の処理を繰り返すとしたが、５枚目以降の処理については、新規候補生成部１０６において、（数４）の式を用いて着目対応点候補を算出するとしても良い。なお、上述した４枚分の画像における対応点が既知である場合に、５枚目以降の対応点を算出する処理は周知であるため、詳細の説明を省略する。例えば「A.Shashua、"Geometry and Photometry in 3D Visual Recognition", Ph.D thesis, pages 107-124, Dept. Brain and Cognitive Science, MIT (1992).」などに開示されている処理を用いることができる。
本実施形態においては、基準対応点候補は４個（ｓ＝４）の初期対応点の組で構成されるものとしたが、４個に限定するものではない。例えば、５個以上（ｓ>=５）の初期対応点の組であっても、最小二乗法によって（数３）（数４）の係数をそれぞれ算出することができるため、上述の処理と同様の処理を行うことができる。５個以上の初期対応点の組から最小二乗法によって係数を算出することで、ノイズの影響を受けにくくなるという効果がある。
光学係数算出部１０５は、基準対応点候補の各対応点の座標値の入力画像の輝度値を用いて光学係数を算出するものとしたが、基準対応点の各画像ごとの点間距離に応じて、入力画像に空間方向の低域通過フィルタをかけた輝度値を用いて光学係数を算出するとしても良い。上述の複数の入力画像は被写体とカメラの距離が画像によって異なるため、基準対応点候補の対応点の１画素に対応する被写体表面上での面積も画像によって異なる。そのため、本来は被写体表面の同一点の輝度値の拘束式である光学拘束式（数５）に、誤差が含まれることになる。
誤差を低減するためには、対応点の１画素に対応する被写体表面上での面積が、複数の入力画像間でなるべく一定になるようにすると良い。例えば、複数の入力画像のうち、１画素に対応する被写体表面の面積がより小さい画像に対し、カットオフ周波数のより低い低域通過フィルタを施した画素値を対応点の画素値として用いることで、光学拘束式の誤差を低減することができる。しかしながら、１画素に対応する被写体表面の面積を直接得ることはできない。一方、基準対応点の点間距離が大きいほど、１画素に対応する被写体表面での面積が小さいと言える。
そこで、入力画像ごとに基準対応点候補の対応点間距離の平均値を算出し、その比に応じたカットオフ周波数をもつ低域通過フィルターを入力画像に施すことで、等価的に１画素に対応する被写体表面上での面積が複数の入力画像間でより均一に近づくため、光学拘束式の誤差が低減し対応点の精度が向上するという効果がある。
上述の点間距離に代えて、他の方法で光学拘束式の誤差を低減することもできる。たとえばＥｘｉｆ規格などのように、被写体までの距離や焦点距離などの倍率の情報が画像データに付加される場合には、その倍率情報から１画素に対応する被写体表面の面積の情報を算出してカットオフ周波数を設定した低域通過フィルタを設定してもよい。この倍率情報を利用すると、画像上の被写体の倍率が異なっている場合であっても、１画素に対応する被写体表面上での面積を複数の入力画像間で均一に近づけることができるため、光学拘束式に発生する誤差を低減することができる。
（実施形態２）
図７は、本実施形態による画像処理装置１２０の機能ブロックの構成を示す。本実施形態による画像処理装置１２０が、実施形態１の画像処理装置１００と異なる点は、画像処理装置１００の出力部１０９に代えて、画像合成部１１０を設けたことにある。画像合成部１１０は、複数枚の画像と、複数画像にわたって特定された対応点とを受け取って、入力された画像の解像度よりも解像度が高い合成画像を出力する。ここで「解像度が高い」とは、被写体の同一領域を映した画像において、高い空間周波数成分を有することを意味する。
以下、画像合成部１１０の詳細を説明する。なお、図７に示す画像処理装置１２０の構成要素のうち、画像処理装置１００（図１）の構成要素と同じ構成要素に対しては、同じ参照符号を付し、その説明は省略する。
画像合成部１１０は、座標変換部１１１と画像生成部１１２とを有している。
座標変換部１１１は、複数画像とその対応点とを受け取り、それらの画像から、座標を変換した画像（座標変換画像）を生成する。座標変換画像とは、受け取った複数枚の画像のうち、ある画像と相対的な座標位置（構図）が同じで、かつ画像サイズを大きくした画像である。座標変換部１１１は、各画像に対応した複数の座標変換画像を生成してそれらを１組として出力する。
画像生成部１１２は、複数組の座標変換画像を受け取って、各組ごとに、複数の座標変換画像から同じ位置の画素の輝度値が満たす光学拘束式の係数である変換係数を算出し、複数の座標変換画像の変換係数による線形結合によって合成画像を生成して出力する。
次に、画像処理装置１２０の動作を説明する。以下では、対応点再算出部１０４までの処理は実施形態１と同じであるため説明は省略し、対応点再算出部１０４の出力処理から説明する。また、対応点再算出部１０４から出力されるＮ枚の入力画像をＩj，（ｊ＝１．．Ｎ）とし、入力された複数枚の画像にわたるｎ組の対応点をｐi,j，（ｉ＝１．．ｎ，ｊ＝１．．Ｎ）とし、その画像座標を（ｘi,j，ｙi,j），（ｉ＝１．．ｎ，ｊ＝１．．Ｎ）と表す。
図８は、本実施形態における複数枚の入力画像の例を示す。入力された画像は６枚（Ｎ＝６）であり、各入力画像のサイズは６４０画素×４８０画素であるとする。対応点pi,jは、被写体（彫像）の領域に存在するとして説明する。
座標変換部１１１は、複数枚画像で構成される画像データとその対応点を受け取り、各画像を座標変換することにより、入力画像と構図が同じ複数の座標変換画像を生成する。ここで、構図が同じとは、画像中の被写体の相対的な座標位置が同じことをいう。
また、ある１つの入力画像Ｉkと構図が同じ座標変換画像の座標位置は、入力画像Ｉkの座標位置を拡大率ｒで拡大することで算出する。この拡大率ｒは長さの比率であり、あらかじめユーザーの指示によって与えられるとする。
以下、座標変換部１１１の動作を詳しく説明する。以下では、複数の入力画像Ｉj，（ｊ＝１．．Ｎ）と対応点ｐi,j，（ｉ＝１．．ｎ， ｊ＝１．．Ｎ）を用いて、ある１つの入力画像Ｉkと構図が同じ複数の座標変換画像Ｉk,jを生成する動作を説明する。
座標変換部１１１は、ある１つの入力画像Ｉkの対応点ｐi,k，（ｉ＝１．．ｎ）の画像座標（ｘi,j，ｙi,j），（ｉ＝１．．ｎ）に、拡大率ｒを乗じた座標値を算出し、これを複数の座標変換画像Ｉk,j（ｊ＝１．．Ｎ）に共通の対応点ｑi,k＝（ｒ・ｘi,k，ｒ・ｙi,k），（ｉ＝１．．ｎ）とする。
さらに、座標変換部１１１は、座標変換画像の対応点ｑi,k，（ｉ＝１．．ｎ）と、各対応点ｐi,j，（ｉ＝１．．ｎ、ｊ＝１．．Ｎ）と、各入力画像Ｉj，（ｊ＝１．．Ｎ）とを用いてテクスチャマッピングすることで、複数の座標変換画像Ｉk,j（ｊ＝１．．Ｎ）を生成する。
座標変換画像Ｉk,jをテクスチャマッピングで生成する方法の例を説明する。まず、入力画像Ｉkのｎ個の対応点ｐi,k，（ｉ＝１．．ｎ）から、ドロネー三角分割法によって、複数の三角形の集まりとして構造化する。そして、座標変換画像上の三角形内の画素の座標値は、対応する入力画像上の三角形内の画素の座標値のアフィン変換により関係づけられると仮定する。すると、座標変換画像上の任意の画素の座標値と、入力画像上の画素の座標値との対応関係が得られる。これにより、座標変換画像上のある画素の画素値として、対応する入力画像の画素値を用いることで、座標変換画像を生成することができる。なお、画像と対応点を用いて、テクスチャマッピングにより合成画像を生成する上述の手法は、コンピュータグラフィックスの手法として広く知られているため、ここでは詳細な説明を省略する。
さらに、座標変換部１１１は、各入力画像Ｉj，（ｊ＝１．．Ｎ）中の被写体面積に対する、座標変換画像Ｉk,j（ｊ＝１．．Ｎ）中の被写体面積の比を、面積比ｓk,j，（ｊ＝１．．Ｎ）として算出して出力する。なお、被写体面積の比は座標変換画像中の被写体面積／入力画像中の被写体面積として求めることができる。
以上の手順によって生成される複数の座標変換画像Ｉk,j（ｊ＝１．．Ｎ）は、入力画像Ｉkに対して、被写体の相対的な２次元座標位置（構図）は同じである。しかし、座標変換画像Ｉk,j（ｊ＝１．．Ｎ）の画素値は、複数の入力画像Ｉj，（ｊ＝１．．Ｎ）の画素値を用いて生成されているため、変換前後の照明条件は異なっている。さらに、座標変換画像Ｉk,j（ｊ＝１．．Ｎ）は、入力画像Ｉkに対して、その座標値がｒ倍された画像、すなわち画像サイズの大きい画像となっているという特徴を持つ。
座標変換部１１１は、上述した動作によって、ある１つの入力画像Ｉkと構図が同じ複数の座標変換画像Ｉk,j，（ｊ＝１．．Ｎ）からなる組を生成する。さらに上述の動作を繰り返し処理することで、複数の組からなる入力画像Ｉk，（ｋ＝１．．Ｎ）と座標変換画像Ｉk,j，（ｋ＝１．．Ｎ），（ｊ＝１．．Ｎ）生成して出力する。
図８は６枚の画像Ｉjの例を示す。各画像は照明条件が異なっている。画素数は、いずれも６４０画素×４８０画素とする。
図９は、図８（ｃ）の１つの入力画像Ｉ3（ｋ＝３）と構図が同じである複数の座標変換画像Ｉ3,jの例である。本実施形態では、拡大率ｒを２としている。生成される座標変換画像の画像サイズは１２８０画素×９６０画素となる。
図９（ａ）〜（ｆ）から明らかなように、図８（ｃ）の入力画像Ｉ3に対して、図９の６枚の座標変換画像Ｉ3,jは、構図が同じで、照明条件が異なり、かつ、画像サイズが大きいことが理解される。
座標変換部１１１は、図９に示す座標変換画像Ｉj,k（ｋ＝１．．Ｎ）の組を、各入力画像Ｉk（ｋ＝１．．Ｎ）に対して複数組生成するとともに、面積比ｒk,jを算出して出力する。
画像生成部１１２は、複数の座標変換画像の組Ｉk,jと面積比ｒk,jを受け取り、各組ごとに、複数の座標変換画像から、同じ座標位置の画素の輝度値が満たす光学拘束式の係数（変換係数）を算出する。
以下、画像生成部１１２において変換係数を算出する方法を説明する。
画像生成部１１２は、座標変換画像Ｉk,jと面積比ｒk,jを受け取り、各組ｋごとに面積比ｒk,j，（ｊ＝１．．Ｎ）のうち、値が小さい方から３つの座標変換画像を選択する。ここで選択された３つの座標変換画像をＩk,a、Ｉk,b、Ｉk,cとし、その任意の点ｐｉの画素値をＩk,a（ｐi）、Ｉk,b（ｐi）、Ｉk,c（ｐi）とする。このとき、入力画像Ｉkの拡大画像に相当する座標変換画像Ｉk,kの画素値Ｉk,k（ｐi）と、画素値Ｉk,a（ｐi）、Ｉk,b（ｐi）、Ｉk,c（ｐi）には、（数１１）の光学拘束式が成り立つ。
Figure 2008108071
 （数１１）において、Ｄk,a、Ｄk,b、Ｄk,c（これらをＤkと記述する）は変換係数である。
この変換係数Ｄkは、複数の座標変換画像上の３点以上のｐiの画素値から算出することができる。（数１１）の式は、原理上は座標変換画像Ｉk,k、Ｉk,a、Ｉk,b、Ｉk,cの解像度が同一の場合に成り立つ。しかし、実際には複数の座標変換画像の解像度は同一とは限らないため、（数１１）の関係式は誤差を含み得る。そこで、本実施形態では、３点より十分に多い点ｐiにおける画素値から、最小２乗法を用いて変換係数Ｄkを生成する。
図９の例では、６つの座標変換画像Ｉ3,jにおいて、その被写体面積は同じである。また、図８の６つの入力画像において、その被写体面積は大きい方からＩ6、Ｉ5、Ｉ4、Ｉ3、Ｉ2、Ｉ1の順となる。ゆえに、面積比ｓ3,kは小さい方から順にｓ3,6、ｓ3,5、ｓ3,4、ｓ3,3、ｓ3,2、ｓ3,1となる。したがって、変換係数Ｄ3は、座標変換画像Ｉ3,3と、座標変換画像Ｉ3,4、Ｉ3,5、Ｉ3,6を用いて算出されることとなる。
次に、画像生成部１１２は、変換係数Ｄk、座標変換画像Ｉk,jを（数１２）に代入して線形画像Ｉ’kを生成する。
Figure 2008108071
 （数１２）の線形結合によって生成される線形画像Ｉ’kは、入力画像Ｉkの拡大に相当する座標変換画像Ｉk,kと比べて、構図と照明条件は同じで、解像度が高くなる場合がある。
例えば、図８の６つの入力画像における被写体の面積は、入力画像Ｉ3よりも入力画像Ｉ4、Ｉ5、Ｉ6の方が大きいので、入力画像Ｉ3よりも入力画像Ｉ4、Ｉ5、Ｉ6の方が解像度は高い。一方、図９の６つの座標変換画像Ｉ３，ｊは、被写体面積が同じである。したがって、入力画像Ｉ3，（ｋ＝３）から生成した座標変換画像Ｉ3,3（図９（ｃ））よりも、入力画像Ｉ4、Ｉ5、Ｉ6からそれぞれ生成した座標変換画像Ｉ3,4、Ｉ3,5、Ｉ3.6（図９（ｄ）（ｅ）（ｆ））の方が、解像度が高くなる。したがって、座標変換画像Ｉ3,4、Ｉ3,5、Ｉ3.6の線形結合（数１２）によって生成される線形画像Ｉ’3の解像度は、座標変換画像Ｉ3,3よりも高くなる。
逆に、図８（ｆ）に示す入力画像Ｉ6，（ｋ＝６）と構図が同じ複数の座標変換画像Ｉ6,j，（ｊ＝１．．Ｎ）から生成した線形画像Ｉ’6は、座標変換画像Ｉ6,6よりも解像度が低くなると考えられる。複数の入力画像Ｉjの中に入力画像Ｉ6よりも解像度の高い画像が存在しないためである。
そこで画像生成部１１２は、線形画像Ｉ’kと座標変換画像Ｉk,kの空間周波数成分を解析して高周波成分がより多い方を選択し、合成画像Ｉ’’kとして画像記憶部１０２に記憶する。上述の動作によって得られる合成画像Ｉ’’kは、入力画像Ｉkと構図と照明条件は同じで、解像度は高いか、または、同じになる。
図１０は、本実施形態による画像処理装置１２０が生成した合成画像の例を示す。そして図１１（ａ）は図１０（ｃ）の合成画像の拡大図であり、図１１（ｂ）は図８（ｃ）の入力画像の拡大図である。図１１（ａ）の合成画像は、図１１（ｂ）の入力画像よりも、解像度が高くなっていることが理解される。
上述したように、被写体とカメラと光源の位置関係の異なる複数の画像（図８）を入力として、解像度を高めた合成画像（図１１）を生成している。特に、被写体とカメラの距離が異なる複数の画像のうち、解像度の高い被写体の画像（例えば図８（ｆ））の情報を利用することで、解像度の解像度の高めた合成画像を生成できると言える。
上述の処理では、合成前の画像と、合成に利用される被写体の解像度が高い画像との間で被写体と光源の位置関係が異なるため、位置誤差の少ない対応点を如何に算出するかが重要である。
図１２（ａ）は、従来の技術による対応点算出手法で得られた対応点と、本発明による対応点算出手法で得られた対応点との比較例を示す。
図１２（ａ）の２つの入力画像において、従来の対応点算出手法により求めた対応点を「×」印で示す。画像間の矩形領域の輝度差や相関値を評価値として対応点を算出する従来法では、被写体表面の輝度が変化する画像間の対応点を正確に求めるのが困難である。
多くの位置誤差を含む対応点を用いて、画像合成部１１０を用いて合成画像を生成したとしても、被写体の解像度が向上しなかったり、合成画像の一部の輝度に誤差を含むという問題が発生する。
図１２（ｂ）は、位置誤差の多い対応点から生成した合成画像の例を示す。この図では、被写体の左目付近は、対応点の位置ずれによって、合成画像がぼけたような画像となる。また、右あご付近は、位置ずれによって輝度誤差が大きい（暗い）画像となっている。
本発明による対応点の算出方法では、このような問題の発生を十分低減できる。実施形態１の画像処理装置１００の説明において詳述したように、光学拘束式と幾何拘束式を満たす基準対応点を選択する手法によって、被写体と光源の相対的な位置が異なる場合、すなわち照明条件が異なる場合でも位置誤差が低減された対応点を算出することができるためである。
図１２（ａ）は、本実施形態の画像処理装置１２０が算出した対応点が「○」印で示されている。被写体表面の輝度が変化しても画像間の対応点が正確に求められていることが理解される。
画像処理装置１２０の画像合成部１１０は、合成画像の幾何的変形を行ったのち、同じ光学拘束式を用いて合成画像の生成を行う。図１２（ｃ）は、位置誤差の少ない対応点から生成した合成画像の例を示す。光学拘束式と幾何拘束式を満たすように算出された対応点を用いることによって、図１２（ｃ）のように輝度誤差や位置誤差が少なく、かつ、より高い解像度の合成画像を生成することが可能になる。
以上、本発明の実施形態１および２を説明した。上述の実施形態の説明では、幾何拘束式および光学拘束式を導くに当たって種々の前提条件（（１）撮影対象の被写体が剛体であり、（２）光が平行に被写体に入射し、（３）被写体表面において光が完全拡散反射され、（４）アフィンカメラで被写体を撮影する）を設定した。しかし、これらは各拘束式を数学的に導くための条件であり、本願発明にかかる画像処理装置および方法等を実施するに当たってはこれらの条件が厳密に満たされている必要はない。
たとえば、被写体は剛体であると仮定したが、厳密には剛体ではなくてもよい。複数の画像間で被写体が局所的に変形している場合であっても、画像間における被写体とカメラ位置の相対的な位置変動に対して、被写体の局所的な変形が十分に小さい場合は近似的に剛体として考えることができるため、上述した処理を行うことができる。または、被写体に入射する光は厳密に平行でなくてもよいし、被写体表面において光が完全拡散反射されていなくてもよい。
なお、本発明の実施形態１および２において、画像データ中には１つの被写体が存在し、複数の対応点（初期対応点、基準対応点、着目対応点を含む）は、同一の被写体に存在するものとして説明した。画像データ中に複数の物体が存在する場合であっても、物体間の相対位置が変化しない場合は、同一の剛体とみなすことができる。したがって、画像データ中に複数の被写体が存在し、かつ、被写体間の相対位置が変化しない場合は、同一の被写体とみなして同様に処理を行うことができる。
さらに、画像データ中に複数の被写体が存在し、かつ、複数の被写体間の相対位置が変化する場合、対応点再算出部１０４で算出される対応点は、いずれか１つの被写体に存在する対応点のみが出力されることとなる。なぜならば、複数の対応点が相対位置が変化する複数の剛体（被写体）に存在する場合、これら複数の対応点は幾何拘束式（数３）を満たさないためである。以上のことから、画像データ中に複数の被写体が存在し、かつ、複数の被写体間の相対位置が変化する場合、実施形態１および２で説明した一連の動作を一度行うと、複数の被写体のうちのある１つの被写体について、対応点の生成や画像の高解像度化を行うことができる。さらに、一連の動作を一度行った結果生成された対応点が存在する画像領域を除外した上で、同様の処理を繰り返すことで、複数の被写体のうちの別のある１つの被写体について、対応点の生成や画像の高解像度化を行うことができる。以上のことから、画像データ中に複数の被写体が存在する場合であっても、本発明の実施形態１および２と同様の処理を行うことができる。
上述の実施形態においては、図１および図７に示す機能ブロックを用いて画像処理装置を説明した。このような機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。
たとえば、図１３はコンピュータによって構成された画像処理装置のハードウェア構成を示す。
図１および図７に示す機能ブロックと、図１３に示すハードウェアとの対応関係は以下のとおりである。すなわち、図１および図７のカメラ１０１は、図１３に示すカメラ１００１およびＡ／Ｄ変換器１００２に対応する。また、図１および図７の画像記憶部１０２は、図１３に示すフレームメモリ１００３またはハードディスクドライブ（ＨＤＤ）１０１０に対応する。そして図１および図７の初期対応点算出部１１３および対応点再算出部１０４は、コンピュータプログラムを実行した図１３のＣＰＵ１００４によって実現される。また、図７の画像合成部１１０についてもコンピュータプログラムを実行した図１３のＣＰＵ１００４によって実現される。図１の出力部１０９は種々考えられる。たとえば出力されるデータが他のプログラム（たとえば、手ぶれ補正プログラムや符号化プログラム）へ渡される場合には、出力部１０９は図１３におけるＲＡＭ１００６となる。
図１３のコンピュータを動作させるコンピュータプログラムは、たとえばＲＯＭ１００５に保持されている。コンピュータプログラムは、プロセッサであるＣＰＵ１００４によってＲＡＭ１００６に読み出されて展開される。ＣＰＵ１００４はコンピュータプログラムの実態であるコード化された各命令を実行する。
なお、コンピュータプログラムは、たとえば図６に示すフローチャートのような手順で記述されている。コンピュータプログラムは、半導体であるＲＯＭ１００５に限られず、たとえば光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ１００６に取り込まれてもよい。
本発明にかかる画像処理装置は、カメラで撮影された画像の画質改善、動画像の符号化、ならびに画像中の被写体の形状認識を行う画像処理装置として有用である。その利用形態は、独立した画像処理装置であっても良いし、カメラやディスプレイに内蔵されるものであっても良い。
実施形態１による画像処理装置１００の機能ブロックの構成を示す図である。 （ａ）は画像処理装置１００が用いられる画像の撮影環境を示す図であり、（ｂ）は撮影された画像の例を示す図である。 カメラ１０１で撮影され、画像記憶部１０２に記憶された動画像の一連の画像の例を示す図である。 基準対応点候補の例を示す図である。 （ａ）〜（ｄ）は、各画像における着目対応点候補の例を示す図である。 画像処理装置１００の動作の手順を示すフローチャートである。 実施形態２による画像処理装置１２０の機能ブロックの構成を示す図である。 実施形態２における複数枚の入力画像の例を示す図である。 図８（ｃ）の１つの入力画像Ｉ3（ｋ＝３）と構図が同じである複数の座標変換画像Ｉ3,jの例である。 実施形態２による画像処理装置１２０が生成した合成画像の例を示す図である。 （ａ）は図１０（ｃ）の合成画像の拡大図であり、（ｂ）は図８（ｃ）の入力画像の拡大図である。 （ａ）は、従来の技術による対応点算出手法で得られた対応点と、本発明による対応点算出手法で得られた対応点との比較例を示す図であり、（ｂ）は位置誤差の多い対応点から生成した合成画像の例を示す図であり、（ｃ）は位置誤差の少ない対応点から生成した合成画像の例を示す図である。 コンピュータによって構成された画像処理装置のハードウェア構成を示す図である。
符号の説明
１００、１２０ 画像処理装置
１０１ カメラ
１０２ 画像記憶部
１１３ 初期対応点算出部
１０３ 基準候補生成部
１０４ 対応点再算出部
１０５ 光学係数算出部
１０６ 新規候補生成部
１０７ 新規候補選択部
１０８ 基準候補選択部
１０９ 出力部
１１０ 画像合成部
１１１ 座標変換部
１１２ 画像生成部

Claims (16)

  1. Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出する初期対応点算出部と、
    前記ｎ組の初期対応点から、ｓ組（ｓ：４以上ｎ以下の整数）の初期対応点の集合を１組とした基準対応点の候補を選択して、Ｍ組（Ｍ：２以上の整数）の基準対応点の候補を生成する基準候補生成部と、
    前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出する係数算出部と、
    前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成する新規候補生成部と、
    前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価し、評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力する第１選択部と、
    前記第１選択部の評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択し、選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力する第２選択部と
    を備えた画像処理装置。
  2. 前記基準候補生成部は、選択したｓ組の初期対応点の前記Ｎ枚の画像の輝度値からなるＮ×ｓ輝度行列の独立性を評価し、評価結果に基づいて、前記Ｍ組の基準対応点の各候補を選択する、請求項１に記載の画像処理装置。
  3. 前記基準候補生成部は、前記Ｎ×ｓ輝度行列の第１固有値に対する第３固有値の比を評価値として、より大きい評価値が得られたＮ×ｓ輝度行列に対応するｓ個の初期対応点の集合から順に基準対応点の候補として選択する、請求項２に記載の画像処理装置。
  4. 前記基準候補生成部は、前記Ｎ×ｓ輝度行列の第１固有値に対する第３固有値の比があらかじめ定められたしきい値より小さい場合において、前記Ｎ×ｓ輝度行列に対応するｓ組の初期対応点の集合を、基準対応点の候補から除外する、請求項２に記載の画像処理装置。
  5. 前記基準候補生成部は、選択したｓ組の初期対応点について、各画像上の点近傍の輝度値の空間勾配の大きさを評価し、より大きい空間勾配が得られたｓ組の初期対応点の集合から優先的に基準対応点の候補として選択する、請求項１に記載の画像処理装置。
  6. 前記Ｎ枚の画像は色画像であり、前記基準候補生成部は、選択したｓ組の初期対応点について、各画像上の点近傍の各色画像間の相関を評価し、より低い相関が得られたｓ組の初期対応点の集合から優先的に基準対応点の候補として選択する、請求項１に記載の画像処理装置。
  7. 前記係数算出部は、各画像上の各点の点間距離および各画像における被写体の倍率の一方に応じてカットオフ周波数が定められる空間方向の低域通過フィルタを前記画像データに対して適用し、得られた輝度値を前記各画像上の互いに対応付けられた点の輝度値として使用する、請求項１に記載の画像処理装置。
  8. 前記係数算出部は、前記各基準対応点の候補の各画像上点の輝度値として、当該点の近傍に位置する少なくとも１つの点の輝度値を用いて前記光学係数を算出する、請求項１に記載の画像処理装置。
  9. 前記係数算出部は、当該点の周囲に近接し、かつ、当該点の輝度値との差が所定範囲内の少なくとも１つの点の輝度値を用いて前記光学係数を算出する、請求項８に記載の画像処理装置。
  10. 前記係数算出部は、当該点の輝度値と、当該点の周囲の近接点の輝度値との差が所定範囲よりも大きくなったとき、当該点の近傍に位置する少なくとも１つの点の輝度値を用いて前記光学係数を算出する、請求項８に記載の画像処理装置。
  11. Ｎ枚の画像のうちの少なくとも１枚の画像を所定の拡大率で拡大し、拡大後の画像の画素値として、前記Ｎ枚の画像のうちの少なくともｋ枚（ｋ：３以上Ｎ以下の整数）の画像の各画素値を前記所定の拡大率に応じてマッピングした複数の座標変換画像の組を生成する座標変換部と、
    前記複数の座標変換画像のうちのｋ枚の座標変換画像を選択して、前記ｋ枚の座標変換画像間で互いに対応する各座標変換画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である変換係数を算出し、前記Ｎ枚の座標変換画像を変換係数によって線形結合することによって合成画像を生成する画像生成部と
    をさらに備えた、請求項１に記載の画像処理装置。
  12. 前記画像生成部は、変換前の各画像に含まれる被写体の面積と、前記座標変換画像に含まれる被写体の面積とに応じて決定される被写体面積の比の大きさに応じて、前記ｋ枚の座標変換画像を選択する、請求項１１に記載の画像処理装置。
  13. Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、
    前記ｎ組の初期対応点から、ｓ組（ｓ：４以上ｎ以下の整数）の初期対応点を選択するステップと、
    ｓ組の初期対応点の集合を１組とした基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、
    前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、
    前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、
    前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、
    評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、
    前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、
    選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップと
    を包含する画像処理方法。
  14. コンピュータプログラムが記録された記録媒体であって、
    前記コンピュータプログラムは、コンピュータに
    Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、
    前記Ｎ枚の画像にわたるｓ組（ｓ：４以上、ｎ以下の整数）の初期対応点の集合を１組とした基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、
    前記Ｍ組の基準対応点の候補の各組について、各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、
    前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、
    前記複数組の着目対応点の候補の各組に対して、各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、
    評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、
    前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、
    選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップと
    を実行させる、コンピュータプログラムが記録された記録媒体。
  15. コンピュータプログラムを実行することが可能なプロセッサであって、
    画像処理プログラムを実行することにより、
    Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出するステップと、
    前記Ｎ枚の画像にわたるｓ組の初期対応点の集合を１組とする基準対応点の候補を、Ｍ組（Ｍ：２以上の整数）生成するステップと、
    前記Ｍ組の基準対応点の候補の各組について、画像間で互いに対応付けられた各画像上の点の輝度値が光学拘束式を満たすように、前記光学拘束式の係数である光学係数を算出するステップと、
    前記Ｍ組の基準対応点の候補の各組に対して、前記各組に応じて定まる画像間の幾何拘束式を満たすように、画像間で互いに対応付けられた新たな対応点の集合を１組とした着目対応点の候補を複数組生成するステップと、
    前記複数組の着目対応点の候補の各組に対して、画像間で互いに対応付けられた各画像上の点の輝度値と算出された前記光学係数とに基づいて光学拘束式を満たす程度を評価するステップと、
    評価結果に基づいて１組の着目対応点の候補を選択して着目対応点として出力するステップと、
    前記評価結果に基づいて前記Ｍ組の基準対応点の候補の各組を評価し、評価結果に基づいて前記Ｍ組の基準対応点の候補から１組の基準対応点の候補を選択するステップと、
    選択された前記１組の基準対応点の候補および選択された前記候補に対応する着目対応点を、前記Ｎ枚の画像にわたる対応点として出力するステップと
    を実行するプロセッサ。
  16. Ｎ枚（Ｎ：４以上の整数）の画像の画像データに基づいて前記Ｎ枚の画像にわたる対応点である初期対応点をｎ組（ｎ：４以上の整数）算出する初期対応点算出部と、
    前記ｎ組の初期対応点から、幾何拘束式と光学拘束式を満たすｓ組の（ｓ：４以上ｎ以下の整数）初期対応点を選択して基準対応点として出力するとともに、前記基準対応点に基づく幾何拘束式と光学拘束式を満たす着目対応点を算出して出力する対応点再算出部と
    を備えた画像処理装置。
JP2008520659A 2007-03-06 2008-02-28 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ Expired - Fee Related JP4209938B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007055533 2007-03-06
JP2007055533 2007-03-06
PCT/JP2008/000386 WO2008108071A1 (ja) 2007-03-06 2008-02-28 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ

Publications (2)

Publication Number Publication Date
JP4209938B2 JP4209938B2 (ja) 2009-01-14
JPWO2008108071A1 true JPWO2008108071A1 (ja) 2010-06-10

Family

ID=39737969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008520659A Expired - Fee Related JP4209938B2 (ja) 2007-03-06 2008-02-28 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ

Country Status (4)

Country Link
US (1) US8005295B2 (ja)
JP (1) JP4209938B2 (ja)
CN (1) CN101558427B (ja)
WO (1) WO2008108071A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
KR101129220B1 (ko) * 2009-11-03 2012-03-26 중앙대학교 산학협력단 레인지 영상의 노이즈 제거장치 및 방법
WO2011129036A1 (ja) * 2010-04-16 2011-10-20 パナソニック株式会社 撮像装置および集積回路
JP2013073598A (ja) * 2011-09-29 2013-04-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP5895569B2 (ja) * 2012-02-08 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9374532B2 (en) 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
US10375300B2 (en) 2014-04-28 2019-08-06 Lynx System Developers, Inc. Methods for processing event timing data
US9398196B2 (en) * 2014-04-28 2016-07-19 Lynx System Developers, Inc. Methods for processing event timing images
US9413926B2 (en) 2014-04-28 2016-08-09 Lynx System Developers, Inc. Systems for processing event timing images
CA3197174A1 (en) * 2014-04-28 2015-11-05 Lynx System Developers, Inc. Systems and methods for processing event timing images
JP6482934B2 (ja) 2014-06-03 2019-03-13 キヤノンメディカルシステムズ株式会社 画像処理装置、放射線検出装置および画像処理方法
JP6821303B2 (ja) * 2015-12-15 2021-01-27 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN106204593B (zh) * 2016-07-12 2018-11-09 大连理工大学 一种基于序列图像合成的特征点提取方法
US10565778B2 (en) 2017-08-22 2020-02-18 Samsung Electronics Co., Ltd. Electronic devices for and methods of implementing memory transfers for image warping in an electronic device
CN111213368B (zh) * 2019-05-23 2021-07-13 深圳市瑞立视多媒体科技有限公司 刚体识别方法、装置、系统及终端设备
CN110445985A (zh) * 2019-08-30 2019-11-12 联想(北京)有限公司 一种图像采集方法、电子设备及计算机可读存储介质
CN110807778B (zh) * 2019-10-11 2022-07-15 华中科技大学 一种迭代式的三维脑空间位置自动计算方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2676978B2 (ja) 1990-05-21 1997-11-17 松下電器産業株式会社 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法
JP3626218B2 (ja) 1993-08-23 2005-03-02 ソニー株式会社 動き量検出装置及び動き量検出方法
JP3347508B2 (ja) 1995-02-24 2002-11-20 キヤノン株式会社 撮像画像処理装置および撮像画像処理方法
JP3137084B2 (ja) * 1998-07-17 2001-02-19 日本電気株式会社 動き検出装置及び方法
JP3835658B2 (ja) * 1999-02-19 2006-10-18 株式会社リコー ３次元形状情報生成方法及び装置並びに記録媒体
US6628819B1 (en) 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
JP4456709B2 (ja) * 2000-01-12 2010-04-28 富士機械製造株式会社 基板支持状態検査方法
JP2003150936A (ja) * 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法
US7319487B2 (en) * 2002-04-10 2008-01-15 Olympus Optical Co., Ltd. Focusing apparatus, camera and focus position detecting method
JP4454428B2 (ja) * 2004-07-30 2010-04-21 富士通株式会社 部品エッジ検出方法、部品エッジ検出プログラム及び検査装置

Also Published As

Publication number Publication date
WO2008108071A1 (ja) 2008-09-12
JP4209938B2 (ja) 2009-01-14
US20100166299A1 (en) 2010-07-01
CN101558427B (zh) 2012-03-21
CN101558427A (zh) 2009-10-14
US8005295B2 (en) 2011-08-23

Similar Documents

Publication Publication Date Title
JP4209938B2 (ja) 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ
TWI709107B (zh) 影像特徵提取方法及包含其顯著物體預測方法
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
KR101036787B1 (ko) 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치
JP5830546B2 (ja) 対象物のモデル変換に基づくモデルパラメータの決定
JP5294343B2 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP3837575B2 (ja) 超解像処理の高速化方法
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
WO2015146230A1 (ja) 映像表示装置および映像表示システム
US20120176478A1 (en) Forming range maps using periodic illumination patterns
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
JP6750183B2 (ja) 画像距離算出装置、画像距離算出方法および画像距離算出用プログラム
CN1734500A (zh) 利用基于模型的稳健贝叶斯估算计算较高分辨率图像
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US10529092B2 (en) Method for reducing matching error in disparity image by information in zoom image
KR102141319B1 (ko) 다시점 360도 영상의 초해상화 방법 및 영상처리장치
WO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN114693760A (zh) 图像校正方法、装置及系统、电子设备
JP2010121945A (ja) ３次元形状生成装置
US20100040304A1 (en) Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program
JP2000348159A (ja) 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体
TWI402768B (zh) 產生高解析度影像之方法
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20220321859A1 (en) Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080930

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081023

R150 Certificate of patent or registration of utility model

Ref document number: 4209938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees