JP5777031B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、方法、及びプログラムに係り、特に、マルチバンド画像を生成して出力する画像処理装置、方法、及びプログラムに関する。

非特許文献１や非特許文献２に示されるような、ＲＧＢ（３バンド）デジタルカメラとデジタルカメラが持つ本来のR（赤）、G（緑）、B（青）の各色に対応するフィルタの透過波長の一部のみを透過する光学フィルタをレンズの前に取付けて、２枚以上の画像を撮影し、得られた画像から４バンド以上のマルチバンド画像を生成する技術が知られている。生成されたマルチバンド画像を用いることで、被写体の色をより正確に再現することが可能となる。

非特許文献１及び非特許文献２の場合には、例えば、図１１に示すように、ＲＧＢカメラ５０１ａ及びカラーフィルタ５０１ｂを組み合わせた画像入力部５０１により３バンド画像１を得ると共に、ＲＧＢカメラ５０２ａを有する画像入力部５０２により３バンド画像１を得ることにより、フィルタの厚み等による光学収差や、対応する被写体上の同一点が画像上で異なる位置に記録されている２種類の３バンド画像が得られ、従来の画像処理装置５０３の対応点探索部５０３ａにより、３バンド画像１及び３バンド画像２の対応点を検出し、画像変形処理部５０３ｂにより、３バンド画像１及び３バンド画像２の何れか一方を幾何的に変形させ、他方の画像に一致させる事で６バンド画像を生成している。そして、色再現処理部５０３ｃにより、上記得られた全てのバンドの画像を用いて色再現演算を行ない、その結果からＲＧＢ画像を生成している（図１２も参照）。

また、非特許文献２と同様に画像全体で画像間での対応点探索を行った後に、検出された対応点を用いた非線形的な画像変形処理を施すことにより、滑らかに奥行きが変化する被写体に対して、対応点の位置ずれがほとんど無いマルチバンド画像を生成する技術が知られている（非特許文献３）。

橋本勝、"６バンド分光画像による浮世絵のアーカイブと高精度色再現"、人文科学とシンポジウム（じんもんこん）2008, pp.305-310, Dec., 2008 土田勝、川西隆仁、大和淳司、伊藤康一、青木孝文、" 色再現を目的としたステレオ式ワンショット６バンド撮影システム"、画像の認識・理解シンポジウム（MIRU）2010, デモセッション, No. DS-1, pp. 1310-1311, July 2010 M. Tsuchida, et. al., "Evaluating Color Reproduction Accuracy of Stereo One-shot Six-band Camera System", Color and Imaging Conference (CIC) 2011, pp. 326-331

カメラの光軸中心にある被写体は、奥行き方向の距離が変わっても、フィルタへの入射角は変化しない。被写体の、奥行き方向の距離やカメラの光軸からの離れ具合により、光学フィルタへの光線の入射角が異なる。光学フィルタには厚みがあるため、入射角が異なると光学フィルタでの屈折角も異なる。そのため、奥行きがある被写体やシーンを撮影する場合、カメラ等の撮影機材が完全に固定され動かないとしても、光学フィルタを装着して撮影した画像と、光学フィルタ無しで撮影した画像を重ねた場合、対応する被写体上の同一の点が画像上での位置が一致しない現象が生じる。この状態のまま色再現演算処理を実施した場合、色再現結果画像上において、撮影画像間での位置ずれが存在する部分で多重エッジや偽色が生じてしまう、という問題がある。

上記の非特許文献２では画像全体での対応点探索を行い、得られた検出結果から、画像の射影変換による画像変形を行うことで、平面状の被写体に対しては対応点の位置ずれがほとんど無いマルチバンド画像および色再現結果画像を得ている。しかし、この手法では、奥行きがある被写体に対しては十分な成果が得られていない。例えば、手前の被写体では位置ずれが少ないが、奥側の被写体には位置ずれが生じている、または位置ずれが画像全体で平均的に残っている、などといった状態が起こってしまう、という問題がある。

また、上記の非特許文献３では、前景と背景といったような不連続かつ急激に奥行方向の距離が変わる被写体（シーン）に対しては、特にその境界部分においては対応点のずれの解消が十分ではない、という問題がある。これは画像全体で検出された対応点を用いて非線形変換のパラメータを算出している事に起因する。

本発明は、上記の問題を解決するためになされたもので、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる画像処理装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明の画像処理装置は、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出する対応点検出手段と、前記対応点検出手段によって検出された前記複数の対応点の各々における被写体までの奥行情報を計算する奥行情報計算手段と、前記奥行情報計算手段によって計算された前記複数の対応点の各々の奥行情報に基づいて、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域を、前記第１カラー画像及び前記第２カラー画像の各々から抽出する画像領域抽出手段と、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域について前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成する画像変形手段と、前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成する画像合成手段と、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する画像出力手段と、を含んで構成されている。第１カラー画像は、異なる狭帯域バンドパスフィルタを取り付けた複数台のカメラで撮影されたものであってもよい。なお本発明は６バンド画像に限定したものではない。例えば前述のカラー画像取得手段は、第２カラー画像取得手段と、複数台のカラーカメラもしくは白黒カメラに透過特性が異なるカラーフィルタをそれぞれ取り付ける画像取得手段との組み合わせであっても良い。また、白黒カメラの前にフィルタ・ターレットを取り付け時分割でマルチバンド画像を撮影する形態でも良い。フィルタの抜き差し/入れ替えは手挿しでもフィルタ・ターレットを使用しても良い。以上は、以下に記す第２〜４の発明に関しても同様である。

第２の発明の画像処理方法は、画像取得手段、対応点検出手段、奥行情報計算手段、画像領域抽出手段、画像変形手段、画像合成手段、及び画像出力手段を含む画像処理装置における画像処理方法であって、前記画像取得手段によって、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得し、前記対応点検出手段によって、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出し、前記奥行情報計算手段によって、前記対応点検出手段によって検出された前記複数の対応点の各々における被写体までの奥行情報を計算し、前記画像領域抽出手段によって、前記奥行情報計算手段によって計算された前記複数の対応点の各々の奥行情報に基づいて、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域を、前記第１カラー画像及び前記第２カラー画像の各々から抽出し、前記画像変形手段によって、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域について前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成し、前記画像合成手段によって、前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成し、前記画像出力手段によって、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する。

このように、奥行情報の段階毎に、当該段階の奥行情報を持つ画像領域を、第１カラー画像及び前記第２カラー画像の各々から抽出して、各対応点の位置が一致するように、画像領域を変形した変形画像領域を生成し、変形画像領域を合成した合成画像を生成して、第１カラー画像または第２カラー画像、及び合成画像を出力することにより、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。

第３の発明の画像処理装置は、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段と、前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出する対応点検出手段と、前記小領域画像毎に、前記対応点検出手段によって検出された前記対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像及び前記第２カラー画像の何れか一方の前記小領域画像を変形した変形小領域画像を生成する画像変形手段と、前記画像変形手段によって生成された前記変形小領域画像を貼り合わせるように合成した合成画像を生成する画像合成手段と、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する画像出力手段と、を含んで構成されている。

このように、第１カラー画像及び前記第２カラー画像の各々を小領域画像に分割し、分割した小領域画像毎に、各対応点の位置が一致するように、小領域領域を変形した変形小領域画像を生成し、変形小領域画像を合成した合成画像を生成して、第１カラー画像または第２カラー画像、及び合成画像を出力することにより、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。

上記の画像処理装置は、前記画像取得手段によって取得された前記第２カラー画像及び前記画像合成手段によって生成された前記合成画像を用いて、被写体の色再現処理を行う色再現処理手段を更に含むようにすることができる。

なお、色再現処理は、被写体の色（例えば、スペクトル、分光反射率、色、ＲＧＢ/多原色画素値等）を計算（推定）し、計算した値を画素値とする色再現結果画像(例えば、スペクトル画像、分光反射率画像、ＲＧＢ画像等々）を生成する処理をいう。

第４の発明の画像処理装置は、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、予め定められた前記カメラに関するパラメータ、及び予め定められた前記第１カラー画像及び前記第２カラー画像間の撮影位置及び姿勢に関するパラメータに基づいて、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の各々から、同一視点から平行に見たときの第１平行投影カラー画像及び第２平行投影カラー画像を生成する平行化処理手段と、前記平行化処理手段によって生成された前記第１平行投影カラー画像と前記第２平行投影カラー画像との対応点を複数検出する対応点検出手段と、前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１平行投影カラー画像及び前記第２平行投影カラー画像の何れか一方を変形した第３平行投影カラー画像を生成する画像変形手段と、前記平行化処理手段によって生成された前記第１平行投影カラー画像及び前記第２平行投影カラー画像の何れか他方、及び前記画像変形手段によって生成された前記第３平行投影カラー画像を出力する画像出力手段と、を含んで構成されている。

このように、第１カラー画像及び第２カラー画像の各々から平行化処理によって生成された第１平行投影カラー画像及び第２平行投影カラー画像の何れか一方について、各対応点の位置が一致するように変形した第３平行投影カラー画像を生成し、第１平行投影カラー画像及び第２平行投影カラー画像の何れか他方、及び第３平行投影カラー画像を出力することにより、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。

また、本発明のプログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるための画像処理プログラムである。

以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。

、という効果が得られる。

第１の実施の形態に係る画像処理装置の構成を示す概略図である。 マルチバンド画像を入力する画像入力装置の一例を示す図である。 （Ａ）カラーフィルタの透過波長の一例を示す図、及び（Ｂ）カラーフィルタにより得られるバンドの一例を示す図である。 第１の実施の形態に係る画像処理装置における対応点検出部の構成の一例を示す図である。 第１の実施の形態に係る画像処理装置における色再現処理ルーチンの内容を示すフローチャートである。 第２の実施の形態に係る画像処理装置の構成を示す概略図である。 第２の実施の形態に係る画像処理装置における色再現処理ルーチンの内容を示すフローチャートである。 第３の実施の形態に係る画像処理装置の構成を示す概略図である。 第３の実施の形態に係る画像処理装置における色再現処理ルーチンの内容を示すフローチャートである。 マルチバンド画像を入力する画像入力装置の一例を示す図である。 従来の画像処理装置の構成を示す概略図である。 分光撮影の原理イメージを示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

［第１の実施の形態］
＜システム構成＞
第１の実施の形態に係る画像処理装置について説明する。

第１の実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する色再現処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。またＧＰＵ（Graphics Processing Unit）などＣＰＵ以外の演算処理装置を備えていても良い。このコンピュータは、機能的には、図１に示すように、対応点検出部１４、奥行情報計算部１５、画像領域抽出部１６、画像変形処理部１７、画像合成部１８、画像出力部１９、及び色再現処理部２０を含んだ構成で表すことができる。

画像処理装置１０には、画像入力部１１で撮影されて得られた３バンド画像１と、画像入力部１２で撮影されて得られたＲＧＢ（３バンド）画像２とが入力される。画像入力部１１は、ＲＧＢカメラ１１ａを有しており、画像入力部１２は、ＲＧＢカメラ１２ａを有している。ＲＧＢカメラ１１ａ及びＲＧＢカメラ１２ａは、共にＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor )等のセンサ及びＲＧＢ各色のフィルタを備えたデジタルカメラである。図２に示すように、画像入力部１１は、ＲＧＢカメラ１１ａの他、該ＲＧＢカメラ１１ａが有する本来のＲ、Ｇ、Ｂの各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタ１１ｂを備えている（図３（Ａ）参照）。画像入力部１１及び画像入力部１２により、６つのバンドの各々のデジタル信号値が、６バンド画像の画素値として得られる（図３（Ｂ）参照）。以下では、マルチバンド画像の一例として６バンド画像を例に挙げて説明するが、マルチバンド画像を６バンド画像に限定するものではない。

画像処理装置１０の対応点検出部１４は、画像入力部１１から入力された３バンド画像１のデータ、及び画像入力部１２から入力された３バンド画像２のデータに基づいて、フィルタ無しで撮影した３バンド画像１を基準画像とし、２枚の３バンド画像間での対応点を複数検出する。

２枚の３バンド画像間での対応点の検出は、例えば、位相限定相関法（参考文献（青木孝文、伊藤康一、柴原琢磨、長嶋聖、「位相限定相関法に基づく高精度マシンビジョン−ピクセル分解能の壁を越える画像センシング技術をめざして−」、Fundamentals Review Vol.1 No.1）を参照）に従って行えばよい。この場合には、図４に示すように、対応点検出部１４は、白黒画像生成部１１２ａ、１１２ｂと、位相画像生成部１１３ａ、１１３ｂと、相関画像生成部１１４と、対応点検出部１１５とを含んだ構成で表すことができる。この対応点検出部１４によれば、白黒画像生成部１１２ａ、１１２ｂで、３バンド画像１及び３バンド画像２から白黒画像を各々生成し、位相画像生成部１１３ａ及び１１３ｂで、生成された白黒画像各々から位相画像を生成する。そして、相関画像生成部１１４で、生成された２つの位相画像から相関画像を生成し、対応点検出部１１５で、生成された相関画像における相関値が最大の座標に基づいて２画像間のずれ量を求めて対応点を検出する。

対応点検出部１４は、上記の対応点の検出の結果として、検出された対応点の数、及び３バンド画像１、２における対応点の座標およびズレ幅を出力する。

奥行情報計算部１５は、対応点検出部１４によって検出された対応点の座標情報に基づいて、２枚の３バンド画像間での対応点の座標のずれ（視差）により、三角測量の原理に従って、対応点における被写体の奥行方向の距離を算出する。なお、本実施の形態では、対応点検出部１４による対応点検出時のサンプリングを１画素毎に行って、入力画像の全ての点における奥行方向の距離が求まるようにする。サンプリング間隔を広げ、もしくは対応点が見つからない場合には、周辺の画素に対応した奥行き方向の距離情報から推定、補間しても良い。

画像領域抽出部１６は、３バンド画像１、３バンド画像２、検出された対応点、及び奥行方向の距離情報に基づいて、算出された奥行方向の距離を複数段階に分け、３バンド画像１及び３バンド画像２の各々から、それぞれの段階毎の画像領域（以下、奥行画像とも称する）を抽出する。

ＲＧＢカメラ１１ａのレンズ（図示省略）の前に設置したカラーフィルタ１１ｂへの入射角は奥行方向の距離により変化し、そのために手前の物と奥側の物とでは画像上での移動量が異なるため、奥行方向の距離を複数段階（例えば前景と背景の２段階、もしくは前景・中景・背景の３段階）に分割し、それぞれの段階に対応した奥行画像を抽出する（各奥行画像では、抽出された画像領域以外はデータ無しとみなす）。

画像変形処理部１７は、奥行画像毎に、得られた対応点の検出結果を用いて、カラーフィルタ１１ｂを装着して撮影した画像（３バンド画像１）から抽出された奥行画像を変形させて、新たな奥行画像を生成する。

画像変形処理部１７による変形処理では、対応点検出部１４で得られた対応点情報を元に画像変形パラメータ（射影変換の場合には水平/垂直方向のずれ量、回転角度、倍率。スプライン補完等の非線形手法に基づく場合には、そのモデルパラメータ）を算出し、算出した画像変形パラメータを仮定した変形モデル（射影変換や非線形変換）に適用して、対応する３バンド画像２の奥行画像と各対応点の位置が一致するように３バンド画像１の奥行画像に対して変形処理を施し、３バンド画像１と重ね合わせた際にずれが無い（２枚の画像で、同じ被写体上が同じ座標上に位置する）奥行画像を生成する。なお、画像変形における手法は、ここでは特に限定しないが、例えば、射影変換（線形変換）もしくは非線形的な画像変形処理を施す。

画像合成部１８は、３バンド画像１の各奥行画像に対して画像変形を施して生成した新たな各奥行画像を合成し、３バンド画像２との間で位置ずれの無い３バンド画像１’を生成する。例えば、画像変形後の３バンド画像１に対応する奥行画像を画像の重ね合わせにより合成し、１枚の３バンド画像１’を生成する。具体的には、各奥行画像においてその奥行距離範囲外の画像領域の画素値はゼロであるため、その部分に他の奥行画像をはめ込む。なお、２枚の３バンド画像を統合し、１枚の６バンド画像としても良い。

画像出力部１９は、３バンド画像１’および３バンド画像２をメモリ上に展開、モニタ上へ表示、もしくはファイルへ出力する。

色再現処理部２０は、３バンド画像１’および３バンド画像２を用いて、色再現処理を行い、色再現結果画像を生成して出力する。

色再現処理では、３バンド画像１’、３バンド画像２、色再現パラメータ（撮影時の照明光スペクトルやカメラの感度などの分光反射率推定に必要な情報、および再現したい照明環境での照明光スペクトルや表示デバイスの特性）に基づいて、３バンド画像１’及び３バンド画像２から、写っている被写体の色（スペクトル、分光反射率、色、RGB/多原色信号値）をウィナー推定法等により算出し、色再現結果画像（分光反射率画像、もしくはRGB/多原色画像）を生成して出力する。

例えば、ウィナー推定法を用いて、３バンド画像１’及び３バンド画像２から画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。そして、分光反射率画像から、例えば、ＲＧＢ画像を生成する場合には、例えば、上記生成した分光反射率画像に対して、予め定めた撮影照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成すればよい。具体的には、予め定めた撮影照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、更に各画素に対応する予め定めたカメラの分光感度を掛け合わせる。各画素について計算された波長毎の値からＲ値、Ｇ値、及びＢ値を計算し、各画素の画素値を、計算したＲＧＢ値とするＲＧＢ画像を生成する。

＜画像処理装置の作用＞
次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。まず、画像入力部１１及び画像入力部１２により、３バンド画像１及び３バンド画像２が撮影された後、画像処理装置１０によって、図５に示す色再現処理ルーチンが実行される。

ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。

ステップＳ１０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の間における対応点を複数検出する。そして、ステップＳ１０３において、上記ステップＳ１０２で検出された対応点の情報に基づいて、各対応点における被写体までの奥行方向の距離情報を計算する。

次のステップＳ１０４では、上記ステップＳ１０３で計算された奥行方向の距離情報に基づいて、距離情報の各段階毎に、３バンド画像１及び３バンド画像２の各々から、当該段階の距離情報を持つ画像領域である奥行画像を抽出する。

ステップＳ１０５では、上記ステップＳ１０４で抽出された奥行画像のうち、ある段階に対応する３バンド画像１の奥行画像を、処理対象として設定する。ステップＳ１０６では、上記ステップＳ１０２で検出された対応点の情報に基づいて、処理対象の３バンド画像１の奥行画像に対して画像変形処理を行って、新たな奥行画像を生成する。次のステップＳ１０７では、全ての段階の奥行画像について、上記ステップＳ１０５、Ｓ１０６の処理を実行したか否かを判定し、上記ステップＳ１０５、Ｓ１０６の処理を実行していない奥行画像が存在する場合には、上記ステップＳ１０５へ戻り、当該奥行画像を処理対象として設定する。一方、全ての段階の奥行画像について、上記ステップＳ１０５、Ｓ１０６の処理を実行した場合には、ステップＳ１０８へ移行する。

ステップＳ１０８では、上記ステップＳ１０６で生成された新たな奥行画像を合成し、３バンド画像１’を生成する。そして、ステップＳ１０９において、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０８で生成された３バンド画像１’を出力する。次のステップＳ１１０では、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０８で生成された３バンド画像１’を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。

以上説明したように、第１の実施の形態の画像処理装置によれば、奥行方向の距離情報の段階毎に、当該段階の距離情報を持つ画像領域を、３バンド画像１及び３バンド画像２の各々から抽出して、各対応点の位置が一致するように、３バンド画像１の当該画像領域を変形した変形画像領域を生成し、各変形画像領域を合成した合成画像を生成して、３バンド画像２、及び合成画像を出力することにより、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。

また、奥行き方向の距離を何段階かにクラス分けし、それぞれの距離の段階に応じた画像領域を抽出し、抽出した画像領域毎に対応点検出及び画像変形を行った後に、１枚のマルチバンド画像を生成することにより、平面状の被写体だけではなく奥行きのある被写体/シーンを撮影する場合でも、画像全領域において各バンド間で対応点の位置ずれが無いマルチバンド画像を得ることができる。

［第２の実施の形態］
＜システム構成＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。

第２の実施の形態の画像処理装置２１０を構成するコンピュータは、機能的には、図６に示すように、画像分割処理部２１２、小領域変形部２１４、画像貼り合わせ処理部２１６、及び画像出力部１９、及び色再現処理部２０を含んだ構成で表すことができる。

画像分割処理部２１２は、画像入力部１１で得られた３バンド画像１及び画像入力部１２で得られた３バンド画像２の各々を小領域画像に分割する。３バンド画像１は、３バンド画像２の小領域画像と同じサイズ、もしくは３バンド画像２を分割して得られた小領域よりも大きなサイズの領域に分割される。３バンド画像１、３バンド画像２を小領域画像に分割する際には、分割した小領域画像を最終的に１枚の画像に復元する際に画像の欠落を防ぐため、３バンド画像１および３バンド画像２ともに、分割した小領域の画像には重なりがあることが好ましい。

また、画像分割処理部２１２は、計算処理の高速化を考慮して、一辺の画素数を２のべき乗、64 pixel, 128 pixel, 256pixel、などとした小領域画像に分割することが好ましい。

小領域変形部２１４は、対応点検出部１４、奥行情報計算部１５、画像領域抽出部１６、画像変形処理部１７、及び画像合成部１８を含み、対応点検出部１４、奥行情報計算部１５、画像領域抽出部１６、画像変形処理部１７、及び画像合成部１８の各々が、画像分割処理部２１２によって分割された、対応する３バンド画像１の小領域画像及び３バンド画像２の小領域画像の組み合わせ毎に処理を行う。小領域変形部２１４は、小領域画像毎に、３バンド画像１の当該小領域画像に対して画像変形を施して生成した変形小領域画像を出力する。

小領域変形部２１４では、小領域内で局所的な対応点のみが画像変形パラメータに影響を与えるため、画像全体から得られた対応点すべてを使うよりも精度良く、撮影画像間の位置ずれを補正できる。

また、画像貼り合わせ処理部２１６は、小領域変形部２１４によって生成された変形小領域画像をタイリングして、元のサイズの画像となるように１枚の画像に貼り合わせて、新たな３バンド画像１’を生成し、出力する。

＜画像処理装置の作用＞
次に、図７を参照して、第２の実施の形態の画像処理装置２１０で実行される色再現処理ルーチンについて説明する。なお、第１の実施の形態における色再現処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。

ステップＳ２０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の各々を、小領域画像に分割する。ステップＳ２０３において、上記ステップＳ２０２で分割された小領域画像のうち、処理対象の小領域画像として、対応する３バンド画像１及び３バンド画像２の各々の小領域画像の組み合わせを設定する。

そして、ステップＳ２０４において、処理対象として設定された３バンド画像１及び３バンド画像２の各々の小領域画像に対して、上記第１の実施の形態で説明した図５に示す色再現処理ルーチンにおけるステップＳ１０２〜Ｓ１０８と同様の処理を実行して、３バンド画像１の当該小領域画像に対して画像変形を施した変形小領域画像を生成する。

ステップＳ２０５では、全ての小領域画像について、上記ステップＳ２０３、Ｓ２０４の処理を実行したか否かを判定し、上記ステップＳ２０３、Ｓ２０４の処理を実行していない小領域画像が存在する場合には、上記ステップＳ２０３に戻り、当該小領域画像を、処理対象として設定する。一方、全ての小領域画像について、上記ステップＳ２０３、Ｓ２０４の処理を実行したと判定された場合には、ステップＳ２０６へ移行する。

ステップＳ２０６では、上記ステップＳ２０４で得られた各変形小領域画像を貼り合わせて、３バンド画像１’を生成する。そして、ステップＳ１０９において、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ２０６で生成された３バンド画像１’を出力する。次のステップＳ１１０では、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ２０６で生成された３バンド画像１’を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。

以上説明したように、第２の実施の形態の画像処理装置によれば、３バンド画像１及び３バンド画像２の各々を小領域画像に分割し、分割した小領域画像毎に、各対応点の位置が一致するように、３バンド画像１の小領域領域を変形した変形小領域画像を生成し、変形小領域画像を合成した合成画像を生成して、３バンド画像２及び合成画像を出力する。これによって、局所的な画像領域毎に対応点検出及び画像変形処理を施して１枚のマルチバンド画像を生成するため、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。

なお、上記の第２の実施の形態では、小領域変形部２１４は、対応点検出部１４、奥行情報計算部１５、画像領域抽出部１６、画像変形処理部１７、及び画像合成部１８を含む場合を例に説明したが、これに限定されるものではない。小領域変形部２１４は、対応点検出部１４及び画像変形処理部１７を含み、対応点検出部１４及び画像変形処理部１７の各々が、画像分割処理部２１２によって分割された、対応する３バンド画像１の小領域画像及び３バンド画像２の小領域画像の組み合わせ毎に処理を行うようにしてもよい。

［第３の実施の形態］
＜システム構成＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。

第３の実施の形態の画像処理装置３１０を構成するコンピュータは、機能的には、図８に示すように、平行化処理部３１２、カメラパラメータ記憶部３１４、対応点検出部１４、画像変形処理部３１６、画像出力部１９、及び色再現処理部２０を含んだ構成で表すことができる。

カメラパラメータ記憶部３１４には、内部パラメータ（ＲＧＢカメラ１１ａ、１２ａ単体でのレンズ等の光学系パラメータ）と外部パラメータ（ＲＧＢカメラ１１ａ、１２ａ間の位置関係や姿勢を表すパラメータ）が記憶されている。

平行化処理部３１２は、カメラパラメータ記憶部３１４から呼び出した内部パラメータと外部パラメータを用いて、平行化処理を行い、３バンド画像１及び３バンド画像２を、同一視点から平行に見たときの平行投影画像に変換した３バンド画像１’及び３バンド画像２’を生成する。なお、平行化処理は、従来既知の手法を用いればよく、例えば、非特許文献４（A. Fusiello, E. Trucco, and A. Verri, "A compact algorithm for rectification of stereo pairs,", Machine Vision and Applications (2000) 12: 16−22）に記載の手法を用いればよい。また、３バンド画像１’及び３バンド画像２’が、第１平行投影カラー画像及び第２平行投影カラー画像の一例である。

対応点検出部１４は、平行化処理部３１２によって生成された３バンド画像１’のデータ及び３バンド画像２’のデータに基づいて、３バンド画像１’を基準画像とし、２枚の３バンド画像間での対応点を複数検出する。

画像変形処理部３１６は、得られた対応点の検出結果を用いて、３バンド画像１’を変形させて、新たな３バンド画像３を生成する。

画像出力部１９は、３バンド画像１’および３バンド画像３をメモリ上に展開、モニタ上へ表示、もしくはファイルへ出力する。

色再現処理部２０は、３バンド画像１’および３バンド画像３を用いて、色再現処理を行い、色再現結果画像を生成して出力する。

＜画像処理装置の作用＞
次に、図９を参照して、第３の実施の形態の画像処理装置３１０で実行される色再現処理ルーチンについて説明する。なお、第１の実施の形態における色再現処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。

ステップＳ３０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の各々に対して平行化処理を行い、３バンド画像１’及び３バンド画像２’を生成する。ステップＳ３０３において、上記ステップＳ３０２で生成した３バンド画像１’及び３バンド画像２’の間における対応点を複数検出する。

ステップＳ３０４では、上記ステップＳ３０３で検出された対応点の情報に基づいて、３バンド画像１’に対して画像変形処理を行って、新たな３バンド画像３を生成する。そして、ステップＳ１０９において、上記ステップＳ３０２で生成した３バンド画像２’及び上記ステップＳ３０４で生成された３バンド画像３を出力する。次のステップＳ１１０では、上記ステップＳ３０２で生成した３バンド画像２’及び上記ステップＳ３０４で生成された３バンド画像３を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。

以上説明したように、第３の実施の形態の画像処理装置によれば、３バンド画像１及び３バンド画像２の各々から平行化処理によって３バンド画像１’及び３バンド画像２’を生成し、３バンド画像１’について、各対応点の位置が一致するように変形した３バンド画像３を生成し、３バンド画像２’及び３バンド画像３を出力する。これによって、画像の平行化処理を施すことによりレンズの前に付けた光学フィルタによる屈折の影響を取り除き、画像変形を容易にすることができ、撮影画像間での位置ずれを抑制したマルチバンド画像を生成することができる。

なお、上記第１〜第３の実施の形態では、フィルタ無しで撮影した３バンド画像２を基準画像とし、３バンド画像１の奥行画像、３バンド画像１の小領域画像、または３バンド画像１’に対して、画像変形処理を行う場合を例に説明したが、これに限定されるものではない。カラーフィルタを用いて撮影した３バンド画像２を基準画像とし、３バンド画像１の奥行画像、３バンド画像１の小領域画像、または３バンド画像１’に対して、画像変形処理を行うようにしてもよい。

また、２つの３バンド画像（計６バンド画像）が画像処理装置に入力される例について説明したが、マルチバンド画像であれば、これに限定されないのはもちろんである。

また、上記第１〜第３の実施の形態では、マルチバンド画像を入力する画像入力装置として、ＲＧＢカメラ１１ａ及びカラーフィルタ１１ｂを有する画像入力部１１と、ＲＧＢカメラ１２ａを有する画像入力部１２とを例に挙げて説明したが、これに限定されない。例えば、図１０に示すように、ＲＧＢカメラと、単色カラーフィルタを備えた単色（白黒）カメラを複数台組み合わせた多眼式カメラシステムにも適用可能である。

また、上記第１〜第３の実施の形態では、２つの画像入力部により３バンド画像１及び３バンド画像２が同期して撮像される場合を例に説明したが、これに限定されるものではなく、１つの画像入力部(単眼式)から時系列で撮像される３バンド画像１及び３バンド画像２を用いてもよい。この場合には、カラーフィルタの装着及び非装着を切替える機構を設け、カラーフィルタを装着した状態で３バンド画像１を撮像し、カラーフィルタを外した状態で３バンド画像２を撮像するようにすればよい。また、カラーフィルタの抜き挿しの際に生じるカメラの僅かな変位を利用して、各対応点の奥行き方向の距離を計算することができる。また、３つ以上の画像入力部を有していても構わない。

また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０、２１０、３１０ 画像処理装置
１１ａ、１２ａＲＧＢカメラ
１１ｂ カラーフィルタ
１１、１２ 画像入力部
１４ 対応点検出部
１５ 奥行情報計算部
１６ 画像領域抽出部
１７ 画像変形処理部
１８ 画像合成部
１９ 画像出力部
２０ 色再現処理部
２１２ 画像分割処理部
２１４ 小領域変形部
２１６ 画像貼り合わせ処理部
３１２ 平行化処理部
３１４ カメラパラメータ記憶部
３１６ 画像変形処理部

Claims (7)

1. カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出する対応点検出手段と、
   前記対応点検出手段によって検出された前記複数の対応点の各々における被写体までの奥行情報を計算する奥行情報計算手段と、
   前記奥行情報計算手段によって計算された前記複数の対応点の各々の奥行情報に基づいて、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域を、前記第１カラー画像及び前記第２カラー画像の各々から抽出する画像領域抽出手段と、
   前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域について前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成する画像変形手段と、
   前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成する画像合成手段と、
   前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する画像出力手段と、
   を含む画像処理装置。
2. 前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段を更に含み、
   前記対応点検出手段は、前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出し、
   前記画像領域抽出手段は、前記小領域画像毎に、前記奥行情報の各段階の奥行情報を持つ画像領域を、前記第１カラー画像の前記小領域画像及び前記第２カラー画像の対応する前記小領域画像の各々から抽出し、
   前記画像変形手段は、前記小領域画像毎及び前記奥行情報の段階毎に、前記小領域画像内であって、前記段階の奥行情報を持つ画像領域について、前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成し、
   前記画像合成手段は、前記小領域画像毎に、前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成し、各小領域画像の前記合成画像を貼り合わせるように合成した画像を生成し、
   前記画像出力手段は、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記画像を出力する請求項１記載の画像処理装置。
3. カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段と、
   前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出する対応点検出手段と、
   前記小領域画像毎に、前記対応点検出手段によって検出された前記対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像及び前記第２カラー画像の何れか一方の前記小領域画像を変形した変形小領域画像を生成する画像変形手段と、
   前記画像変形手段によって生成された前記変形小領域画像を貼り合わせるように合成した合成画像を生成する画像合成手段と、
   前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する画像出力手段と、
   を含む画像処理装置。
4. 前記画像取得手段によって取得された前記第２カラー画像及び前記画像合成手段によって生成された前記合成画像を用いて、被写体の色再現処理を行う色再現処理手段を更に含む請求項１〜請求項３の何れか１項記載の画像処理装置。
5. カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、
   予め定められた前記カメラに関するパラメータ、及び予め定められた前記第１カラー画像及び前記第２カラー画像間の撮影位置及び姿勢に関するパラメータに基づいて、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の各々から、同一視点から平行に見たときの第１平行投影カラー画像及び第２平行投影カラー画像を生成する平行化処理手段と、
   前記平行化処理手段によって生成された前記第１平行投影カラー画像と前記第２平行投影カラー画像との対応点を複数検出する対応点検出手段と、
   前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１平行投影カラー画像及び前記第２平行投影カラー画像の何れか一方を変形した第３平行投影カラー画像を生成する画像変形手段と、
   前記平行化処理手段によって生成された前記第１平行投影カラー画像及び前記第２平行投影カラー画像の何れか他方、及び前記画像変形手段によって生成された前記第３平行投影カラー画像を出力する画像出力手段と、
   を含む画像処理装置。
6. 画像取得手段、対応点検出手段、奥行情報計算手段、画像領域抽出手段、画像変形手段、画像合成手段、及び画像出力手段を含む画像処理装置における画像処理方法であって、
   前記画像取得手段によって、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得し、
   前記対応点検出手段によって、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出し、
   前記奥行情報計算手段によって、前記対応点検出手段によって検出された前記複数の対応点の各々における被写体までの奥行情報を計算し、
   前記画像領域抽出手段によって、前記奥行情報計算手段によって計算された前記複数の対応点の各々の奥行情報に基づいて、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域を、前記第１カラー画像及び前記第２カラー画像の各々から抽出し、
   前記画像変形手段によって、前記奥行情報の段階毎に、前記段階の奥行情報を持つ画像領域について前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように、前記第１カラー画像及び前記第２カラー画像の何れか一方の前記画像領域を変形した変形画像領域を生成し、
   前記画像合成手段によって、前記奥行情報の各段階に対応する前記変形画像領域を合成した合成画像を生成し、
   前記画像出力手段によって、前記画像取得手段によって取得された前記第１カラー画像及び前記第２カラー画像の何れか他方、及び前記画像合成手段によって生成された前記合成画像を出力する
   画像処理方法。
7. 請求項１〜請求項５の何れか１項に記載の画像処理装置を構成する各手段として、コンピュータを機能させることを特徴とするプログラム。