JP5686376B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、方法、及びプログラムに係り、特に、画像間の対応点を検出する画像処理装置、方法、及びプログラムに関する。

従来、撮影時の照明条件等が異なる２枚の画像間の対応点を精度よく（ロバストに）検出する手法の一つとして、位相限定相関法が知られている（例えば、非特許文献１及び２参照）。位相限定相関法は、ヒストグラム法など一般的に用いられる画像の振幅情報（輝度情報）ではなく、位相情報を用いる点が特徴である。

従来の位相限定相関法により対応点を検出する画像処理装置１０１は、例えば、図４に示すように、白黒画像生成部１１２ａ、１１２ｂと、位相画像生成部１１３ａ、１１３ｂと、相関画像生成部１１４と、対応点検出部１１５とを含んだ構成で表すことができる。この従来の画像処理装置１０１によれば、白黒画像生成部１１２ａ、１１２ｂで、カラー画像である入力画像１及び２から白黒画像を生成し、位相画像生成部１１３ａ及び１１３ｂで、生成された白黒画像各々から位相画像を生成する。そして、相関画像生成部１１４で、生成された２つの位相画像から相関画像を生成し、対応点検出部１１５で、生成された相関画像における相関値が最大の座標に基づいて２画像間のずれ量を求めて対応点を検出する。

青木孝文、伊藤康一、柴原琢磨、長嶋聖、「位相限定相関法に基づく高精度マシンビジョン−ピクセル分解能の壁を越える画像センシング技術をめざして−」、Fundamentals Review Vol.1 No.1 長嶋聖、青木孝文、樋口龍雄、小林高次、「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会

上記の非特許文献１及び２記載の手法では、画像が有する色情報を用いておらず、処理対象の画像がカラー画像の場合には、カラー画像を白黒画像に変換した結果画像に対して、上記の位相限定相関法の手法を適用して、対応点を検出している。

しかし、処理対象の画像の一方がカラー画像（または白黒画像）、他方が所定の波長の光を用いて撮影された単波長画像の場合には、両画像間のテクスチャ情報が大きく異なるため、上述の位相限定相関法でも十分な精度で対応点が検出できない場合がある、という問題がある。また、位相限定相関法以外の手法を適用する場合でも同様の問題は起こりえる。

本発明は、上記の問題を解決するためになされたもので、カラー画像またはカラー画像から生成した白黒画像と単波長画像間での対応点検出精度を向上させることができる画像処理装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、所定のスペクトルの照明光で照明され、かつ所定の分光感度の撮影手段で撮影されたカラー画像を示すデータ、及び所定の波長の光を用いて撮影された単波長画像を示すデータを取得する取得手段と、前記取得手段により取得されたカラー画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記カラー画像の画素毎の分光反射率を推定する推定手段と、前記推定手段により推定された画素毎の分光反射率、前記取得手段により取得された単波長画像撮影時に用いられた光の波長、及び前記撮影手段の分光感度に基づいて、前記所定の波長の単波長画像を生成する生成手段と、前記生成手段により生成された単波長画像と、前記取得手段により取得された単波長画像との対応点を検出する検出手段と、を含んで構成されている。

本発明の画像処理装置によれば、取得手段が、所定のスペクトルの照明光で照明され、かつ所定の分光感度の撮影手段で撮影されたカラー画像を示すデータ、及び所定の波長の光を用いて撮影された単波長画像を示すデータを取得する。次に、推定手段が、取得手段により取得されたカラー画像の画素値、照明光のスペクトル、撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、カラー画像の画素毎の分光反射率を推定する。そして、生成手段が、推定手段により推定された画素毎の分光反射率、取得手段により取得された単波長画像撮影時に用いられた光の波長、及び撮影手段の分光感度に基づいて、所定の波長の単波長画像を生成する。所定の波長の単波長画像とは、生成された単波長画像の波長が、所定の波長と同一の場合をいう。ここでの同一には、生成された単波長画像の波長と所定の波長との差が予め定めた閾値以下であることにより、略同一とみなされる場合を含む。そして、検出手段が、生成手段により生成された単波長画像と、取得手段により取得された単波長画像との対応点を検出する。対応点の検出方法としては、どのような方法を用いてもよい。例えば、画像の位相情報に基づいて画像間の相関を判定する位相限定相関法や、画像の輝度情報に基づくヒストグラム法などを用いることができる。

このように、カラー画像から推定される分光反射率を用いて、単波長画像の撮影に用いた光の波長に対応した単波長画像を生成してから、画像間の対応点を検出するため、テクスチャ情報の異なりを抑制することができ、カラー画像またはカラー画像から生成した白黒画像と単波長画像間での対応点検出精度を向上させることができる。

また、前記取得手段は、異なる複数の波長の光を用いて撮影された複数の単波長画像データを取得し、前記生成手段は、前記異なる複数の波長各々に対応した複数の単波長画像を生成し、前記検出手段は、前記生成手段により生成された単波長画像と、前記取得手段により取得された単波長画像とで、波長が対応する単波長画像間の対応点を検出することができる。例えば、異なる複数の波長各々に対応した複数の単波長画像を同時に撮影するようなマルチバンドカメラで撮影された単波長画像及びカラー画像を取得した場合にも、適用することができる。

また、前記取得手段は、前記所定の波長を中心波長としたバンドパスフィルタをレンズまたは照明光源に取り付けて撮影された単波長画像データを取得し、前記生成手段は、前記推定手段により推定された画素毎の分光反射率、前記取得手段により取得された単波長画像撮影時の照明光のスペクトル、前記バンドパスフィルタの分光透過率、及び前記撮影手段の分光感度に基づいて、前記所定の波長の単波長画像を生成することができる。

また、本発明の画像処理方法は、取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、前記取得手段は、所定のスペクトルの照明光で照明され、かつ所定の分光感度の撮影手段で撮影されたカラー画像を示すデータ、及び所定の波長の光を用いて撮影された単波長画像を示すデータを取得し、前記推定手段は、前記取得手段により取得されたカラー画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記カラー画像の画素毎の分光反射率を推定し、前記生成手段は、前記推定手段により推定された画素毎の分光反射率、前記取得手段により取得された単波長画像撮影時に用いられた光の波長、及び前記撮影手段の分光感度に基づいて、前記所定の波長の単波長画像を生成し、前記検出手段は、前記生成手段により生成された単波長画像と、前記取得手段により取得された単波長画像との対応点を検出する方法である。

また、本発明の画像処理プログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるためのプログラムである。

以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、カラー画像から推定される分光反射率を用いて、単波長画像の撮影に用いた光の波長に対応した単波長画像を生成してから、画像間の対応点を検出するため、テクスチャ情報の異なりを抑制することができ、カラー画像またはカラー画像から生成した白黒画像と単波長画像間での対応点検出精度を向上させることができる、という効果が得られる。

本実施の形態に係る画像処理装置の構成を示す概略図である。 本実施の形態で用いる９眼ステレオカメラを示す概略平面図である。 本実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。 位相限定相関法により対応点を検出する従来の画像処理装置の構成を示す概略図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

本実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する画像処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、分光反射率画像生成部１１と、単波長画像生成部１２と、位相画像生成部１３ａ、１３ｂと、相関画像生成部１４と、対応点検出部１５とを含んだ構成で表すことができる。なお、分光反射率画像生成部１１が本発明の推定手段の一例であり、単波長画像生成部１２が本発明の生成手段の一例であり、位相画像生成部１３ａ、１３ｂ、相関画像生成部１４、及び対応点検出部１５が本発明の検出手段の一例である。

本実施の形態では、図２に示すような９眼ステレオカメラで撮影された画像を入力画像とする場合について説明する。この９眼ステレオカメラは、３×３のマトリクス状に複数のカメラが配置されている。このうちの１つのカメラは、カラー画像を撮影可能なＲＧＢカメラ２０である。残りのカメラは、白黒画像を撮影可能な白黒カメラ２１ａ〜２１ｈであり、各々異なる狭帯域バンドパスフィルタが取り付けられている。従って、白黒カメラ２１ａ〜２１ｈ各々で撮影される画像は、各カメラに取り付けられた狭帯域バンドバスフィルタの中心波長の単波長画像となる。また、ＲＧＢカメラ２０及び白黒２１ａ〜２１ｈは、観察照明光で照明された同一の被写体を同時に撮影することができる。

なお、入力画像の取得に関しては、９眼ステレオカメラに限定されるものではない。レンズとカメラセンサとの間にフィルタが取り付けられる顕微鏡のような画像入力装置で撮影を行うものであってもよい。

以下、白黒カメラ２１ａ〜２１ｈで撮影された単波長画像を、後述する単波長画像生成部１２で生成される単波長画像と区別するために、「撮影単波長画像」という。また、白黒カメラ２１ａ〜２１ｈ各々を区別することなく説明する場合には、白黒カメラ２１と表記する。

分光反射率画像生成部１１は、入力画像１として、上記の９眼ステレオカメラのＲＧＢカメラ２０で撮影されたカラー画像を示すデータを取得し、このカラー画像から、ウィナー推定を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。以下、カラー（マルチバンド）画像からの分光反射率の推定について説明する（非特許文献３「Masaru Tsuchida, KeijiYano, Hiromi T. Tanaka,“Development of a High-definition and Multispectral Image Capturing System for Digital Archiving of Early Modern Tapestries of Kyoto Gion Festival” 2010 International Conference on Pattern Recognition」参照）。

照明光スペクトルをＥ（λ）、及び被写体の分光反射率をｆ（λ）とすると、観察される反射光スペクトルＩ（λ）は、下記（１）式のように表される。

ここでλは波長を示す。この式を基に、Ｎ−バンド画像（ここでは、カラー画像、３−バンド画像）の画素毎に分光反射率を推定する。カメラの分光感度を、行列Ｓ＝［Ｓ_１（λ），Ｓ_２（λ），・・・Ｓ_Ｎ（λ）］^Ｔ、及び対角成分が照明光スペクトルである対角行列を行列Ｗとすると、（１）式は下記（２）式のように書き改められる。

推定する分光反射率ｆ＾は、下記（３）式で示されるＮ−バンドカメラで得られた信号値から、ウィナー推定法により、下記（４）式のように求められる。

ここで、行列Ｍはウィナー推定行列であり、行列Ｈから求められる。行列Ｒは被写体の統計的性質から求められた先見情報である。行列Ｒとしては、例えば、教師データの相関行列、共分散行列などを用いることができる。また、教師データの主成分ベクトルの相関・共分散行列を用いてもよい。さらに、汎用性を持たせるため、マルコフモデルを仮定した下記（５）式を用いてもよい。

単波長画像生成部１２は、分光反射率画像生成部１１で生成された分光反射率画像に基づいて、各撮影単波長画像と同じ中心波長の単波長画像を各々生成する。具体的には、（４）式に基づいて分光反射率画像生成部１１で生成された分光反射率画像（画素毎の分光反射率）ｆ＾、各撮影単波長画像撮影時の照明光スペクトルＷ’、及び各撮影単波長画像の波長帯域に対する狭帯域バンドパスフィルタを取り付けた白黒カメラ２１の分光感度Ｓ’’＝Ｓ’Ｔ（Ｓ’は白黒カメラ２１の分光感度、Ｔは狭帯域バンドパスフィルタの分光透過率）を（３）式に適用した撮影シミュレーションによる画素値ｃ’を算出する（下記（６）式）。そして、各画素の画素値をｃ’とする単波長画像を生成する。

ここでの撮影シミュレーションとは、推定された画素毎の分光反射率ｆ＾に観察照明光のスペクトルＷ’を掛け合わせて反射光スペクトルＷ’ｆ＾を算出し、更に撮影単波長画像各々の波長帯域に対する白黒カメラ２１のバンドパスフィルタを含めたトータルでの分光感度Ｓ’’を算出された反射光スペクトルＷ’ｆ＾に掛け合わせることで、狭帯域バンドパスフィルタが取り付けられた白黒カメラ２１で得られる単波長画像と同等の画像物がＲＧＢカメラ２０で得られた画像から、入力画像１として入力されたカラー画像と同一の被写体を撮影した際に得られたであろう画素値ｃ’を算出することである。

本実施の形態では、９眼ステレオカメラを用いて、カラー画像と単波長画像とを同時に撮影しているため、観察照明光スペクトルは、Ｗ’＝Ｗとなる。また、ＲＧＢカメラ２０に狭帯域バンドパスフィルタを取り付けて単波長画像を撮影した場合には、Ｓ’＝Ｓとなる。

このような撮影シミュレーションにより、ＲＧＢカメラ２０で撮影されたカラー画像から、他の８台の白黒カメラ２１ａ〜２１ｈ各々と同じ波長帯域の光を用いて撮影されたと擬似される単波長画像各々（ここでは、８つの単波長画像）を生成する。以下、単波長画像生成部１２で生成された単波長画像を、撮影単波長画像と区別するために、「生成単波長画像」という。

位相画像生成部１３ａは、単波長画像生成部１２で生成された生成単波長画像各々に対して、画像上のあるサンプル点を中心とした画像領域を抽出し、画像領域毎にフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする位相画像を生成する。画像間のずれが単純な平行移動の場合には、画像領域毎の処理ではなく、画像全体に対して処理を行ってもよい。

位相画像生成部１３ｂは、上記の９眼ステレオカメラの白黒カメラ２１で撮影された撮影単波長画像各々を示すデータを取得し、位相画像生成部１３ａと同様の処理により、位相画像を生成する。

相関画像生成部１４は、位相画像生成部１３ａで生成された位相画像と、位相画像生成部１３ｂで生成された位相画像とに基づいて、位相画像を生成する基となった生成単波長画像及び撮影単波長画像の波長帯域が同一である２つの位相画像間の相関を示す相関値を画素値とする相関画像を生成する。ここでの同一には、生成単波長画像の波長帯域と撮影単波長画像の波長帯域との差が予め定めた閾値以下であることにより、略同一とみなされる場合を含む。例えば、白黒カメラ２１ａで撮影された撮影単波長画像に基づいて生成された位相画像は、白黒カメラ２１ａに取り付けられた狭帯域バンドパスフィルタの分光透過率を用いて生成された生成単波長画像に基づいて生成された位相画像との間で相関画像を生成する。

対応点検出部１５は、相関画像生成部１４で生成された相関画像に基づいて、入力画像２（カラー画像）と入力画像２（撮影単波長画像）との間で、対応点を検出する。具体的には、相関画像において、画素値（相関値）が最大となる座標を求める。仮に２枚の入力画像で位置のずれが全く存在しない場合には、原点の画素値が最大値となる。２枚の画像間で位置ずれが生じている場合には、相関画像上での相関値最大の点の座標値が画像のずれ量に相当する。入力画像間のずれ量が１ピクセル以下の場合には、位相の相関画像に対しガウス関数を内挿してサブピクセル（１画素未満の精度）での位置ずれ量が検出可能である。このようにして得られた画像の位置ずれ量から、例えば、入力画像１を基準として、入力画像１のサンプル点に関する入力画像２上の対応点を検出する。複数の対応点が得られた場合には、片方の入力画像に対し射影変換を施すことにより、位置ずれと共に幾何ゆがみも補正した、対応点の画像上での座標が基準とした入力画像と一致した画像を生成するようにしてもよい。検出された対応点の情報を検出結果として出力する。

なお、位相画像生成部１３ａ、１３ｂ、相関画像生成部１４、及び対応点検出部１５の処理は、従来手法が適用可能であり、非特許文献１及び２に示す位相限定相関法を用いてもよい。

次に、本実施の形態に係る画像処理装置１０の作用について説明する。まず、９眼ステレオカメラで１つのカラー画像と８つの撮影単波長画像が撮影された後、画像処理装置１０によって、図３に示す画像処理ルーチンが実行される。

ステップ１００で、９眼ステレオカメラで撮影されたカラー画像及び８つの撮影単波長画像を取得する。

次に、ステップ１０２で、上記ステップ１００で取得したカラー画像の画素値、ＲＧＢカメラ２０の分光感度、観察照明光のスペクトル、及び被写体の統計的性質から求められた先見情報（例えば、（５）式に示す行列Ｒ）を用いて、ウィナー推定により画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。

次に、ステップ１０４で、上記ステップ１０２で生成した分光反射率画像、観察照明光のスペクトル、狭帯域バンドパスフィルタの分光透過率、及びＲＧＢカメラ２０の分光感度を用いた撮影シミュレーションにより、撮影単波長画像と同じ波長帯域の単波長画像を生成する。ここでは、８つの生成単波長画像が生成される。

次に、ステップ１０６で、上記ステップ１００で取得した８つの撮影単波長画像各々に対してフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする８つの位相画像を生成する。また、上記ステップ１０４で生成された８つの生成単波長画像各々に対してフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする８つの位相画像を生成する。

次に、ステップ１０８で、上記ステップ１０６で生成された８つずつの位相画像に基づいて、位相画像を生成する基となった生成単波長画像及び撮影単波長画像の波長帯域が同一である２つの位相画像間の相関を示す相関値を画素値とする相関画像を生成する。

次に、ステップ１１０で、上記ステップ１０８で生成した相関画像に基において、画素値（相関値）が最大となる座標を求め、この座標値が２枚の画像間のずれ量に相当することに基づいて、カラー画像及び撮影単波長画像の一方のサンプル点に関する他方の画像上の対応点を検出する。カラー画像と各撮影単波長画像との間で対応点の検出が終了した場合には、検出された対応点の情報を検出結果として出力して、処理を終了する。

以上説明したように、本実施の形態の画像処理装置によれば、カラー画像から推定される分光反射率（色情報）を用いて、撮影された単波長画像と同一の波長帯域の単波長画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、カラー画像と単波長画像間での対応点検出精度を向上させることができる。

また、カラー画像（３バンド画像）もマルチバンド画像と同様に扱うことができる。

また、本実施の形態の画像処理装置により、複数視点で異なる分光感度を持つカメラで撮影した各画像間の対応点の検出精度が向上することにより、より高品質なマルチバンド画像が生成できるようになる。この結果を利用することで、マルチバンド画像がワンショットで撮影でき、利便性が向上し、従来手法よりも安価にシステムを構築することができる。また、動画への適用のほか、マルチバンド立体画像・動画の取得にも適用可能である。超解像技術と組み合わせれば、従来よりも高精細・高精彩な画像の取得も実現できる。また、３Ｄ−ＣＧソフトウェアへ本実施の形態の画像処理装置の検出結果を利用したマルチバンド画像（または色再現結果）及び３次元形状データを読み込ませることで、従来よりもはるかにリアルなバーチャルリアリティが実現できる。

なお、上記の実施の形態では、カラー画像と撮影単波長画像とを同一の照明下で同時に撮影する場合について説明したが、異なる照明下で異なる時間に撮影された画像にも適用することができる。この場合、（６）式に基づいて生成単波長画像を生成する際に、観察照明光スペクトルＷ’として、撮影単波長画像撮影時の照明光のスペクトルを用いればよい。

また、上記実施の形態では、狭帯域バンドパスフィルタを取り付けた白黒カメラにより撮影単波長画像を撮影する場合について説明したが、撮影単波長画像の撮影時に使用する照明光源に狭帯域バンドパスフィルタを取り付けて、撮影単波長画像を撮影するようにしてもよい。

また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 画像処理装置
１１ 分光反射率画像生成部
１２ 単波長画像生成部
１３ａ、１３ｂ 位相画像生成部
１４ 相関画像生成部
１５ 対応点検出部

Claims (5)

1. 所定のスペクトルの照明光で照明され、かつ所定の分光感度の撮影手段で撮影されたカラー画像を示すデータ、及び所定の波長の光を用いて撮影された単波長画像を示すデータを取得する取得手段と、
   前記取得手段により取得されたカラー画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記カラー画像の画素毎の分光反射率を推定する推定手段と、
   前記推定手段により推定された画素毎の分光反射率、前記取得手段により取得された単波長画像撮影時に用いられた光の波長、及び前記撮影手段の分光感度に基づいて、前記所定の波長の単波長画像を生成する生成手段と、
   前記生成手段により生成された単波長画像と、前記取得手段により取得された単波長画像との対応点を検出する検出手段と、
   を含む画像処理装置。
2. 前記取得手段は、異なる複数の波長の光を用いて撮影された複数の単波長画像データを取得し、
   前記生成手段は、前記異なる複数の波長各々に対応した複数の単波長画像を生成し、
   前記検出手段は、前記生成手段により生成された単波長画像と、前記取得手段により取得された単波長画像とで、波長が対応する単波長画像間の対応点を検出する
   請求項１記載の画像処理装置。
3. 前記取得手段は、前記所定の波長を中心波長としたバンドパスフィルタをレンズまたは照明光源に取り付けて撮影された単波長画像データを取得し、
   前記生成手段は、前記推定手段により推定された画素毎の分光反射率、前記取得手段により取得された単波長画像撮影時の照明光のスペクトル、前記バンドパスフィルタの分光透過率、及び前記撮影手段の分光感度に基づいて、前記所定の波長の単波長画像を生成する
   請求項１または請求項２記載の画像処理装置。
4. 取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、
   前記取得手段は、所定のスペクトルの照明光で照明され、かつ所定の分光感度の撮影手段で撮影されたカラー画像を示すデータ、及び所定の波長の光を用いて撮影された単波長画像を示すデータを取得し、
   前記推定手段は、前記取得手段により取得されたカラー画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記カラー画像の画素毎の分光反射率を推定し、
   前記生成手段は、前記推定手段により推定された画素毎の分光反射率、前記取得手段により取得された単波長画像撮影時に用いられた光の波長、及び前記撮影手段の分光感度に基づいて、前記所定の波長の単波長画像を生成し、
   前記検出手段は、前記生成手段により生成された単波長画像と、前記取得手段により取得された単波長画像との対応点を検出する
   画像処理方法。
5. コンピュータを、請求項１〜請求項３のいずれか１項記載の画像処理装置を構成する各手段として機能させるための画像処理プログラム。

Images