JP6807538B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、方法、及びプログラムに関する。

従来、カメラ等の画像撮影装置により、２つ以上の異なる視点から撮影された複数枚の画像（多視点画像）を用いることで、被写体の三次元形状を推定する手法が提案されている（例えば、非特許文献１）。また、この三次元形状を推定する手法としては、“Shape from Motion”や“Structure from Motion”等が知られている。

また、色情報をより詳細に記録し正確に再現する画像撮影装置として、マルチバンドカメラ（マルチスペクトルカメラ、マルチカラーカメラ、ハイパースペクトルカメラともいう）が知られている（例えば、非特許文献２）。

藤木、"点対応を用いた複数の２次元画像からの３次元形状復元 ―因子分解法の数理―"、統計数理、第49巻第1号、pp.77−107（2001）. 土田、川西、大和、伊藤、青木、"色再現を目的としたステレオ式ワンショット６バンド撮影システム"、MIRU2010, デモセッション, No.DS-1, pp.1310-1311, 2010.

ところで、画像撮影装置により撮影された画像には、レンズ等に起因する像の歪みや色ごとの像の大きさの違いが含まれている。なお、本明細書では、このレンズ等の起因する像の歪みや色ごとの像の大きさの違いを「収差」という。三次元形状の推定精度を上げるためには、収差の影響を補正する必要がある。ただし、一般的に用いられているカラーカメラ（RGBカメラ、光の三原色である赤・緑・青の３色で被写体の色を記録するカメラ）では、記録される各色（カラーバンド）の画像間における収差の影響の違いは比較的少なく目立たない。これは、通常のRGBカメラでは広帯域なカラーフィルタが用いられるため、各色の画像には様々な波長の画像が重畳されており、単波長画像と比較して鮮明度が失われていることに起因する。従って、通常のRGBカメラでは各カラーバンドの画像間（例えば、赤色に対応する画像と緑色に対応する画像との間）における収差の補正処理は行われていない。

一方で、マルチバンドカメラにおいては、各カラーバンドに記録される色情報は波長レベルで狭帯域であるため、RGBカメラにより撮影された画像と比較して、より鮮明な像が画像として記録される。そのため、各カラーバンドの画像間での収差の影響の具合が明確に現れ、三次元形状の推定結果や、その結果を用いて生成される画像の画質に影響を及ぼす。

しかしながら、従来技術では、収差のうち、歪みの補正しか行っていない。また、この歪みの補正も各カラーバンドの画像毎には行っていない。すなわち、例えば、RGB画像が入力の場合は、R・G・Bの全てのカラーバンドで共通の歪みを補正する補正パラメータを算出している。

本発明は、上記の点に鑑みてなされたものであり、複数のカラーバンドの画像の収差を精度よく補正することができる画像処理装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、画像撮影装置により１つの視点もしくは複数の異なる視点から被写体を撮影して得られた複数の異なるカラーバンドの複数の画像を取得する画像取得部と、前記複数の画像の収差を補正するための補正パラメータを、前記画像のカラーバンド毎に、１つの視点もしくは複数の異なる視点における画像を用いて算出する処理、前記補正パラメータを、前記画像の視点毎に、各カラーバンドの画像を用いて算出する処理、及び前記補正パラメータを、各視点の画像毎に基準となるカラーバンドの画像と、その他のカラーバンドの画像との比較結果を用いて算出する処理の少なくとも一つを行う補正パラメータ算出部と、を含んで構成されている。

本発明に係る画像処理方法は、画像撮影装置により１つの視点もしくは複数の異なる視点から被写体を撮影して得られた複数の異なるカラーバンドの複数の画像を取得し、前記複数の画像の収差を補正するための補正パラメータを、前記画像のカラーバンド毎に、１つの視点もしくは複数の異なる視点における画像を用いて算出する処理、前記補正パラメータを、前記画像の視点毎に、各カラーバンドの画像を用いて算出する処理、及び前記補正パラメータを、各視点の画像毎に基準となるカラーバンドの画像と、その他のカラーバンドの画像との比較結果を用いて算出する処理の少なくとも一つを行う。

また、本発明のプログラムは、コンピュータを、上記の画像処理装置の各部として機能させるためのプログラムである。

以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、複数の画像の収差を補正するための補正パラメータを、画像のカラーバンド毎に、１つの視点もしくは複数の異なる視点における画像を用いて算出する処理、補正パラメータを、画像の視点毎に、各カラーバンドの画像を用いて算出する処理、及び補正パラメータを、各視点の画像毎に基準となるカラーバンドの画像と、その他のカラーバンドの画像との比較結果を用いて算出する処理の少なくとも一つを行うことにより、複数のカラーバンドの画像の収差を精度よく補正することができる、という効果が得られる。

実施の形態に係る画像処理システムのブロック図である。 実施の形態に係る画像処理システムのブロック図である。 被写体を複数の異なる視点から撮影する手法の一例を示す図である。 被写体を複数の異なる視点から撮影する手法の一例を示す図である。 被写体を複数の異なる視点から撮影する手法の一例を示す図である。 実施の形態に係る対応点の位置及び奥行きを算出する処理を説明するための図である。 実施の形態に係るメッシュを説明するための図である。 実施の形態に係る出力画像を生成する処理を説明するための図である。 実施の形態に係る画像処理装置の補正パラメータ算出処理の処理ルーチンを示すフローチャートである。 実施の形態に係る画像処理装置の画像処理の処理ルーチンを示すフローチャートである。 光の波長と歪補正パラメータとの関係を示すグラフである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜画像処理システムの構成＞
本実施の形態に係る画像処理システムの構成について説明する。図１及び図２に示すように、本実施の形態に係る画像処理システム１０は、画像撮影装置の一例としての複数のカメラ２０１〜２０Ｎと、画像処理装置３０とを備えている。なお、図１は、画像処理装置３０が収差の補正に用いる補正パラメータを算出する場合の機能ブロック図を示し、図２は、画像処理装置３０が算出した補正パラメータを用いて収差を補正する場合の機能ブロック図を示す。

カメラ２０１〜２０Ｎは、被写体を複数の異なる視点から撮影可能なように、三次元的（例えば、水平方向）に配置される。なお、Ｎは２以上の整数である。例えば、図３に示すように、３台のカメラが水平方向に並べられて配置される。

なお、被写体を複数の異なる視点から撮影可能であれば、カメラは１台でもよい。例えば、図４に示すように、１台のカメラを固定し、被写体を一方向（図４の例では水平方向）に回転させながら、複数回被写体を撮影してもよい。また、例えば、図５に示すように、１台のカメラを一方向（図５の例では水平方向）に移動させて、異なる複数の位置で被写体を撮影してもよい。

また、カメラ２０１〜２０Ｎは、それぞれ複数のカラーバンドの画像を撮影可能とされている。なお、カメラ２０１〜２０Ｎにより撮影される画像のカラーバンド数は２以上であれば特に限定されない。また、カメラ２０１〜２０Ｎが白黒カメラであり、複数の異なるカラーバンドのカラーフィルタを切り替えながら、カラーバンドを介することで、複数のカラーバンドの画像を撮影する構成であってもよい。

本実施の形態に係る画像処理装置３０は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。画像処理装置３０は、機能的には図１に示すように、画像取得部３１、補正パラメータ算出部３４、及び歪補正処理部３６を備えている。画像取得部３１は、画像入力部３２及びカラーバンド分解部３３を含む。補正パラメータ算出部３４は、歪補正パラメータ算出部３５及び倍率補正パラメータ算出部３７を含む。また、画像処理装置３０は、機能的には図２に示すように、補正処理部３８、対応点探索処理部４０、三次元形状推定部４１、テクスチャ画像生成部４２、及びデータ統合処理部４３を更に備えている。補正処理部３８は、歪補正処理部３６及び倍率補正処理部３９を含む。

まず、図１を参照して、補正パラメータを算出する場合における画像処理装置３０の機能を説明する。

画像入力部３２は、予め立体形状、及びチェッカーパターン等のテクスチャのパターンが既知の被写体をカメラ２０１〜２０Ｎにより撮影して得られた複数の画像を入力する。なお、詳細は後述するが、この予め撮影して得られた画像は収差を補正するためのパラメータの算出に用いられるため、以下では、「補正パラメータ算出用画像」という。

カラーバンド分解部３３は、補正パラメータ算出用画像を、各カラーバンドの画像に分解する。例えば、カメラ２０１〜２０ＮがRGBカメラの場合は、カラーバンド分解部３３は、カメラ２０１〜２０Ｎにより撮影された各補正パラメータ算出用画像を、R・G・Bのそれぞれのカラーバンドの画像に分解する。また、例えば、補正パラメータ算出用画像が、単板センサ式のRGBカメラのベイヤーフィルタのような空間分割方式によるマルチバンド画像の場合、必要に応じて空間的な補間処理も行う。なお、例えば、カメラ２０１〜２０Ｎが複数の異なるカラーバンドのカラーフィルタを用いて複数のカラーバンドの画像を撮影する構成の場合は、画像入力部３２が各カラーバンドの補正パラメータ算出用画像を入力することとなるため、カラーバンド分解部３３は不要となる。

歪補正パラメータ算出部３５は、各カラーバンドに分解された補正パラメータ算出用画像を用いて、画像の収差の一例としてのカメラ２０１〜２０Ｎのレンズ等の光学系に起因する画像の歪みを補正するためのパラメータ（以下、「歪補正パラメータ」という）を算出する。例えば、補正パラメータ算出用画像がチェッカーパターンを有する被写体を撮影した画像の場合、歪補正パラメータ算出部３５は、画像中における各コーナーの位置を検出し、検出した各コーナーの位置が等間隔になるような画像変形パラメータを、歪補正パラメータとして算出する。歪補正パラメータ算出部３５は、この歪補正パラメータを算出する処理を、各カメラ２０１〜２０Ｎにより撮影され、かつ各カラーバンドに分解された補正パラメータ算出用画像の各々について独立して行う。

歪補正処理部３６は、各カメラ２０１〜２０Ｎにより撮影され、かつ各カラーバンドに分解された補正パラメータ算出用画像の各々に対し、各補正パラメータ算出用画像に対応して算出された歪補正パラメータに基づいて、画像を変形させる処理を行う。例えば、補正パラメータ算出用画像がチェッカーパターンを有する被写体を撮影した画像の場合、歪補正処理部３６は、画像中におけるチェッカーパターンの各コーナーの位置が等間隔になるように画像を変形させる処理を行う。この処理によって、歪補正処理部３６は、各カメラ２０１〜２０Ｎにより撮影され、かつ各カラーバンドに分解された各補正パラメータ算出用画像の歪みを補正する。

倍率補正パラメータ算出部３７は、歪みが補正された補正パラメータ算出用画像毎に、カラーバンドが異なり、かつ視点が対応する補正パラメータ算出用画像を用いて、画像の収差の一例としての色の違いに起因する像の大きさの違いを補正するためのパラメータ（以下、「倍率補正パラメータ」という）を算出する。例えば、倍率補正パラメータ算出部３７は、カメラ２０１により撮影され、カラーバンド分解部３３及び歪補正処理部３６の各々による処理を経た複数バンドの補正パラメータ算出用画像のペア間（すなわち、異なるカラーバンドの画像のペア間）で対応点を探索する。そして、倍率補正パラメータ算出部３７は、基準とするカラーバンドを定め、検出された各対応点の座標が全てのカラーバンドで一致するような画像変形パラメータを倍率補正パラメータとして算出する。倍率補正パラメータ算出部３７は、この倍率補正パラメータを算出する処理を、各カメラ２０１〜２０Ｎにより撮影され、かつ各カラーバンドに分解された補正パラメータ算出用画像の各々について行う。なお、本実施の形態では、倍率補正パラメータ算出部３７は、画像間での対応点を検出する際に画像中の特徴量を算出するが、この特徴量の算出において、画像の振幅情報及び位相情報の少なくとも一方を使用する。

また、倍率補正パラメータ算出部３７は、倍率補正パラメータと同様に、歪み及び倍率が補正された補正パラメータ算出用画像を用いて、異なるカラーバンドの画像のペア間で対応点を探索し、検出された各対応点の座標に基づいて、画像の収差の一例としてのカメラ２０１〜２０Ｎの設置誤差等に起因する位置ずれを補正するためのパラメータ（以下、「位置ずれ補正パラメータ」という）を算出する。例えば、倍率補正パラメータ算出部３７は、平行移動、回転、及び傾き等の位置ずれ補正パラメータ（例えば、アフィン変換行列）を算出する。この場合、複数のカラーフィルタを一方向に並べてカメラを移動させながら撮影することにより複数バンドの画像を撮影する構成でも位置ずれ補正パラメータを精度良く得ることができる。なお、倍率補正パラメータ算出部３７は、歪み及び倍率が補正された補正パラメータ算出用画像を用いて、カラーバンド毎に、カメラ２０１〜２０Ｎにより撮影され、歪みが補正された補正パラメータ算出用画像間の対応点を探索してもよい。この場合、倍率補正パラメータ算出部３７は、カラーバンド毎に、検出された各対応点の座標に基づいて、位置ずれ補正パラメータを算出する。

次に、図２を参照して、以上説明したように算出された補正パラメータを用いた補正処理を行う場合における画像処理装置３０の機能を説明する。

画像入力部３２は、立体形状の推定対象の被写体をカメラ２０１〜２０Ｎにより撮影して得られた複数の撮影画像（以下、単に「撮影画像」という）を入力する。カラーバンド分解部３３は、補正パラメータ算出用画像と同様に、各撮影画像を各カラーバンドの画像に分解する。

歪補正処理部３６は、各カメラ２０１〜２０Ｎにより撮影され、かつ各カラーバンドに分解された撮影画像の各々に対し、各撮影画像に対応して歪補正パラメータ算出部３５により算出された歪補正パラメータに基づいて、画像を変形させる処理を行う。

倍率補正処理部３９は、歪補正処理部３６による処理を経た各カラーバンドの各撮影画像に対し、各撮影画像に対応して歪補正パラメータ算出部３５により算出された倍率補正パラメータ及び位置ずれ補正パラメータに基づいて、画像を変形させる処理を行う。

対応点探索処理部４０は、カラーバンド毎に、複数の撮影画像の各ペア間で対応点を探索し、各画像における対応点の位置情報を算出する。なお、本実施の形態では、対応点探索処理部４０は、画像間での対応点を検出する際に画像中の特徴量を算出するが、この特徴量の算出において、画像の振幅情報及び位相情報の少なくとも一方を使用する。

三次元形状推定部４１は、カラーバンド毎に、図６に示すように、対応点探索処理部４０により算出された各対応点の位置情報に基づいて、三角測量の原理によって被写体表面の点に関する位置及び奥行きを算出することにより三次元点群データを生成する。図７に示すように、三次元形状推定部４１が生成した三次元点群データの中から３点を選択することで１つの面（三角形のメッシュ）を定義することができる。三次元形状推定部４１は、被写体表面が正しく表現できるように、点の削除及び統合を行い、また最適な３点の組み合せを算出することによって、生成した三次元点群データから、被写体表面をメッシュで表現した三次元メッシュデータを生成する。以下では、三次元点群データ及び三次元メッシュデータを総称して、「三次元形状データ」という。

テクスチャ画像生成部４２は、カラーバンド毎に、三次元メッシュデータの各メッシュに対応するテクスチャ画像を、倍率補正処理部３９による処理を経た当該カラーバンドの撮影画像から抽出する。また、テクスチャ画像生成部４２は、必要に応じて抽出したテクスチャ画像を変形させる。

データ統合処理部４３は、図８に示すように、ユーザ等により指定された位置の視点から見た画像であって、例えば表示装置等の画像出力装置に出力するための画像（以下、「出力画像」という）を生成する。具体的には、データ統合処理部４３は、三次元形状データ、各メッシュに対応する各カラーバンドのテクスチャ画像、観察環境データ、及び色再現パラメータを用いて、出力画像を生成する。なお、観察環境データの例としては、視点の位置、視点の方向、画角、照明光源の位置、及び照明光源の方向等のデータが挙げられる。また、色再現パラメータの例としては、カメラ２０１〜２０Ｎのカメラ感度等の光学特性、画像撮影時の照明光に関する分光情報、再現したい環境での照明光に関する分光情報、及び画像出力装置の特性データ等が挙げられる。

より具体的には、データ統合処理部４３は、出力画像の視点の位置及び方向と照明光源の位置及び方向とが指定されると、各メッシュと視点との位置関係、及び各メッシュに対する照明光の入射角を算出する。また、データ統合処理部４３は、算出結果を用いて、視点からは観察できないメッシュを除去する陰面処理を行った後に、光線追跡処理並びに陰影処理を行うことによって、指定された視点から観察された画像に相当する出力画像を生成する。

次に、データ統合処理部４３は、生成した出力画像の各画素に対応する色を、各カラーバンドの画素情報及び色再現パラメータを用いて算出する。例えば、データ統合処理部４３は、予め計測された色再現パラメータを用いて、分光反射率の推定、反射光スペクトルの算出、カラー画像（ＲＧＢ画像及びＬａｂ画像等）への変換、及び画像出力装置の特性に合わせた補正処理を順次行う。なお、データ統合処理部４３は、分光反射率の推定及び反射光スペクトルの算出を行わずに、直接、マルチバンド画像からカラー画像を算出してもよい。そして、データ統合処理部４３は、算出した出力画像の各画素に対応する色を画像出力装置へ出力する。

＜画像処理システムの作用＞
次に、本実施の形態に係る画像処理システム１０の作用について説明する。複数のカメラ２０１〜２０Ｎが立体形状、及びチェッカーパターン等のテクスチャのパターンが既知の被写体を撮影して得られた複数の補正パラメータ算出用画像が画像処理装置３０に入力されると、画像処理装置３０によって図９に示す補正パラメータ算出処理ルーチンが実行される。また、複数のカメラ２０１〜２０Ｎが立体形状の推定対象の被写体を撮影して得られた複数の撮影画像が画像処理装置３０に入力されると、画像処理装置３０によって図１０に示す画像処理ルーチンが実行される。

図９のステップＳ１０では、画像入力部３２は、カメラ２０１〜２０Ｎにより撮影して得られた複数の補正パラメータ算出用画像を入力する。次に、ステップＳ１２では、カラーバンド分解部３３は、ステップＳ１０で入力された複数の補正パラメータ算出用画像の各々を、各カラーバンドの画像に分解する。

次に、ステップＳ１４では、歪補正パラメータ算出部３５は、前述したように、ステップＳ１２で各カラーバンドに分解された補正パラメータ算出用画像を用いて、補正パラメータ算出用画像毎に、歪補正パラメータを算出する。次に、ステップＳ１６では、歪補正処理部３６は、ステップＳ１２で各カラーバンドに分解された補正パラメータ算出用画像の各々に対し、ステップＳ１４で算出された歪補正パラメータに基づいて、画像を変形させる処理を行うことにより、画像の歪みを補正する処理を行う。

次に、ステップＳ１８では、倍率補正パラメータ算出部３７は、前述したように、ステップＳ１６で歪みが補正された補正パラメータ算出用画像を用いて、補正パラメータ算出用画像毎に、倍率補正パラメータを算出する。また、倍率補正パラメータ算出部３７は、前述したように、ステップＳ１６で歪みが補正された補正パラメータ算出用画像を用いて、補正パラメータ算出用画像毎に、位置ずれ補正パラメータも算出する。ステップＳ１８の処理が終了すると、補正パラメータ算出処理ルーチンが終了する。

一方、図１０のステップＳ２０では、画像入力部３２は、立体形状の推定対象の被写体をカメラ２０１〜２０Ｎにより撮影して得られた複数の撮影画像を入力する。次に、ステップＳ２２では、カラーバンド分解部３３は、ステップＳ２０で入力された複数の撮影画像の各々を、各カラーバンドの画像に分解する。

次に、ステップＳ２４では、歪補正処理部３６は、ステップＳ２２で各カラーバンドに分解された撮影画像の各々に対し、各撮影画像に対応して上記ステップＳ１４で算出された歪補正パラメータに基づいて、画像を変形させる処理を行うことにより、画像の歪みを補正する。

次に、ステップＳ２６では、倍率補正処理部３９は、ステップＳ２４で歪みが補正された撮影画像の各々に対し、各撮影画像に対応して上記ステップＳ１８で算出された倍率補正パラメータ及び位置ずれ補正パラメータに基づいて、画像を変形させる処理を行うことにより、画像の倍率及び位置ずれを補正する。

次に、ステップＳ２８では、対応点探索処理部４０は、カラーバンド毎に、以上の処理を経た複数の撮影画像の各ペア間で対応点を探索し、各画像における対応点の位置情報を算出する。次に、ステップＳ３０では、三次元形状推定部４１は、カラーバンド毎に、ステップＳ２８で算出された各対応点の位置情報に基づいて、三角測量の原理によって被写体表面の点に関する位置及び奥行きを算出することにより三次元点群データを生成する。また、三次元形状推定部４１は、被写体表面が正しく表現できるように、点の削除及び統合を行い、また最適な３点の組み合せを算出することによって、生成した三次元点群データから、被写体表面をメッシュで表現した三次元メッシュデータを生成する。

次に、ステップＳ３２では、テクスチャ画像生成部４２は、カラーバンド毎に、ステップＳ３０で生成された三次元メッシュデータの各メッシュに対応するテクスチャ画像を、ステップＳ２４、Ｓ２６の処理を経た当該カラーバンドの撮影画像から抽出する。

次に、ステップＳ３４では、データ統合処理部４３は、前述したように、ステップＳ３０で生成された三次元形状データ、ステップＳ３２で生成された各メッシュに対応する各カラーバンドのテクスチャ画像、観察環境データ、及び色再現パラメータを用いて、出力画像を生成する。そして、データ統合処理部４３は、生成した出力画像を画像出力装置に出力する。ステップＳ３４の処理が終了すると、画像処理ルーチンが終了する。

以上説明したように、本実施の形態に係る画像処理装置によれば、複数の画像の収差を補正するための補正パラメータを、画像のカラーバンド毎に、複数の異なる視点における画像を用いて算出する処理、及び補正パラメータを、画像の視点毎に、各カラーバンドの画像を用いて算出する処理を行うことにより、複数のカラーバンドの画像の収差を精度よく補正することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、図１１に示すように、光の波長と歪補正パラメータとの間に相関関係がある場合がある。この場合、実機を用いた実験等によって光の波長と歪補正パラメータとの相関関係を近似した近似式を予め得ておく。また、この場合、歪補正パラメータ算出部３５は、複数のカラーバンドの補正パラメータ算出用画像のうちのいずれか１つのカラーバンドの補正パラメータ算出用画像について歪補正パラメータを算出する。そして、この場合、歪補正パラメータ算出部３５は、予め得ておいた近似式と算出した歪補正パラメータとに基づいて、歪補正パラメータを算出した１つのカラーバンド以外のカラーバンドの補正パラメータ算出用画像の歪補正パラメータを推定してもよい。また、この場合の近似式を、光の波長と歪補正パラメータとを対応付けたルックアップテーブルとしてもよい。

同様に、光の波長と倍率補正パラメータとの間に相関関係がある場合もある。この場合、実機を用いた実験等によって光の波長と倍率補正パラメータとの相関関係を近似した近似式を予め得ておく。また、この場合、倍率補正パラメータ算出部３７は、歪みが補正された複数のカラーバンドの補正パラメータ算出用画像のうちのいずれか１つのカラーバンドの補正パラメータ算出用画像について倍率補正パラメータを算出する。そして、この場合、倍率補正パラメータ算出部３７は、予め得ておいた近似式と算出した倍率補正パラメータとに基づいて、倍率補正パラメータを算出した１つのカラーバンド以外のカラーバンドの補正パラメータ算出用画像の倍率補正パラメータを推定してもよい。

また、上記実施の形態では、収差として、歪み、倍率、及び位置ずれの全てを補正する場合を例に説明したが、これに限定されない。これらのうちの１つ、又は２つを補正してもよい。また、例えば、これら以外に球面収差を補正してもよい。

また、上記実施の形態では、複数の視点で撮影して得られた複数の画像の収差を補正する場合を例に説明したが、これに限定されない。１つの視点で撮影されて得られた画像の収差を補正する形態としてもよい。この場合、例えば、カラーバンド毎に、１つの視点で撮影された補正パラメータ算出用画像を用いて歪補正パラメータを算出する形態が例示される。また、倍率補正パラメータ及び位置ずれ補正パラメータについても、ある１つの視点で撮影され、かつ各カラーバンドの補正パラメータ算出用画像を用いて算出してもよい。

また、上記実施の形態では、複数の視点の各々について補正パラメータを算出した場合を例に説明したが、これに限定されない。例えば、カラーバンド毎に、１つの視点で撮影された補正パラメータ算出用画像を用いて歪補正パラメータし、算出した歪補正パラメータを他の視点にも適用してもよい。また、ある１つのカラーバンドの１つの視点で撮影された補正パラメータ算出用画像を用いて歪補正パラメータを算出し、１つのカラーバンド及び１つの視点について算出した歪補正パラメータを他の視点及び他のカラーバンドにも適用する形態が例示される。

また、倍率補正パラメータについても同様に、ある１つの視点で撮影され、かつ歪みが補正された補正パラメータ算出用画像を用いて算出し、算出した歪補正パラメータを他の視点にも適用してもよい。また、位置ずれ補正パラメータについても同様に、ある１つの視点で撮影され、かつ歪み及び倍率が補正された補正パラメータ算出用画像を用いて算出し、算出した歪補正パラメータを他の視点にも適用してもよい。この形態例は、単板色カラーカメラのように、各カラーバンドがセンサ上で空間的に配置されている場合等の視点が変わってもカラーバンド間の位置ずれが変わらないと仮定可能な場合に適用することができる。

また、上記実施の形態では、画像処理装置３０の各機能部を、プログラムを実行することによって実現する場合を例に説明したが、これに限定されない。例えば、画像処理装置３０の各機能部を、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで実現してもよいし、ハードウェアとソフトウェアとの組み合わせで実現してもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１０ 画像処理システム
２０１〜２０Ｎ カメラ
３０ 画像処理装置
３１ 画像取得部
３２ 画像入力部
３３ カラーバンド分解部
３４ 補正パラメータ算出部
３５ 歪補正パラメータ算出部
３６ 歪補正処理部
３７ 倍率補正パラメータ算出部
３８ 補正処理部
３９ 倍率補正処理部
４０ 対応点探索処理部
４１ 三次元形状推定部
４２ テクスチャ画像生成部
４３ データ統合処理部

Claims (10)

1. 狭帯域スペクトルフィルタを用いるマルチバンドカメラにより１つの視点もしくは複数の異なる視点から被写体を撮影して得られた複数の異なるカラーバンドの複数の画像を取得する画像取得部と、
   前記複数の異なるカラーバンドの各々のカラーバンドについて、光の波長と前記画像の歪みを補正するための補正パラメータとの相関関係を近似した近似式に基づいて、前記カラーバンドの前記画像の前記補正パラメータを推定する補正パラメータ算出部と、
   を含む画像処理装置。
2. 前記補正パラメータ算出部は、
   前記複数の異なるカラーバンドの何れか１つのカラーバンドについて、既知の被写体が撮影された前記カラーバンドの補正パラメータ算出用画像に基づいて、
   前記補正パラメータを算出し、
   前記近似式と前記算出した補正パラメータとに基づいて、前記補正パラメータを算出した１つのカラーバンド以外のカラーバンドの各々について、前記補正パラメータを推定する請求項１に記載の画像処理装置。
3. 前記補正パラメータ算出部は、更に、前記複数の画像の収差として画像の倍率を補正する補正パラメータを、前記画像の視点毎に、各カラーバンドの画像を用いて算出する請求項１に記載の画像処理装置。
4. 狭帯域スペクトルフィルタを用いるマルチバンドカメラにより１つの視点もしくは複数の異なる視点から被写体を撮影して得られた複数の異なるカラーバンドの複数の画像を取得する画像取得部と、
   前記複数の異なるカラーバンドの各々のカラーバンドについて、光の波長と前記画像の倍率を補正するための補正パラメータとの相関関係を近似した近似式に基づいて、前記カラーバンドの前記画像の前記補正パラメータを推定する補正パラメータ算出部と、
   を含む画像処理装置。
5. 前記補正パラメータ算出部は、
   前記複数の異なるカラーバンドの何れか１つのカラーバンドについて、既知の被写体が撮影された前記カラーバンドの補正パラメータ算出用画像に基づいて、
   前記補正パラメータを算出し、
   前記近似式と前記算出した補正パラメータとに基づいて、前記補正パラメータを算出した１つのカラーバンド以外のカラーバンドの各々について、前記補正パラメータを推定する請求項４に記載の画像処理装置。
6. 前記補正パラメータ算出部は、更に、前記複数の画像の収差として画像の歪みを補正する補正パラメータを、前記画像のカラーバンド毎に、１つの視点もしくは複数の異なる視点における画像を用いて算出する請求項４に記載の画像処理装置。
7. 前記補正パラメータ算出部は、更に、前記複数の画像の収差として画像の位置ずれを補正する補正パラメータを、各視点の画像毎に基準となるカラーバンドの画像と、その他のカラーバンドの画像との比較結果を用いて算出する請求項１又は４に記載の画像処理装置。
8. 画像取得部が、狭帯域スペクトルフィルタを用いるマルチバンドカメラにより１つの視点もしくは複数の異なる視点から被写体を撮影して得られた複数の異なるカラーバンドの複数の画像を取得し、
   補正パラメータ算出部が、前記複数の異なるカラーバンドの各々のカラーバンドについて、光の波長と前記画像の歪みを補正するための補正パラメータとの相関関係を近似した近似式に基づいて、前記カラーバンドの前記画像の前記補正パラメータを推定する
   画像処理方法。
9. 画像取得部が、狭帯域スペクトルフィルタを用いるマルチバンドカメラにより１つの視点もしくは複数の異なる視点から被写体を撮影して得られた複数の異なるカラーバンドの複数の画像を取得し、
   補正パラメータ算出部が、前記複数の異なるカラーバンドの各々のカラーバンドについて、光の波長と前記画像の倍率を補正するための補正パラメータとの相関関係を近似した近似式に基づいて、前記カラーバンドの前記画像の前記補正パラメータを推定する
   画像処理方法。
10. コンピュータを、請求項１〜請求項７の何れか１項に記載の画像処理装置の各部として機能させるためのプログラム。