JP6751155B2 - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Description

本発明は画像処理装置、撮像装置、及び画像処理方法に係り、特に複数の波長帯域で取得した画像を処理する画像処理装置、そのような画像処理装置を備える撮像装置、及びそのような画像処理装置の画像処理方法に関する。

画像処理の分野では、特性の異なる複数の画像を利用する技術が知られている。例えば、複数画像の合成や、それら画像による被写体の計測等の処理が行われる。そしてそのような処理に際しては、画像同士で位置合わせが行われる。例えば特許文献１には、複数の撮像部を用いて多チャネル画像を取得し、対応点検出等により画像の位置合わせを行う技術が記載されている。

特許文献１に記載の技術では、複数の撮像部のそれぞれが、特性の異なる複数の撮像素子を有している。具体的には、「撮像部間で特性が共通の撮像素子」と「各撮像部で特性が固有の撮像素子」である。そして「撮像部間で特性が共通の撮像素子」から得られた画像により特徴点及び対応点を検出して位置合わせ（画像の変形パラメータ算出）を行い、この位置合わせ結果に基づいて「各撮像部で特性が固有の撮像素子」から得られた複数の画像を合成する。

特開２０１２−１９９８０５号公報

上述した特許文献１では、各撮像部が特性（色特性または感度特性）の異なる複数の撮像素子を有しており、撮像素子のそれぞれの特性に対応した画像が生成される。このため各画像は単一の特性の情報しか含んでおらず、したがって被写体の波長特性等によっては画像間で対応点の検出精度が悪い場合や対応点が見つからない場合がある。また、撮像素子にはモザイク状のカラーフィルタ（輝度撮像用フィルタまたは特定波長の色情報撮像用フィルタ）が配設されているため各画像の空間分解能が低く、このため特徴点や対応点の検出精度も低い。

このように、従来の技術は特性（波長帯域）の異なる複数の画像を高精度に位置合わせできるものではなく、その結果位置合わせした画像間の演算（画像の合成や被写体の計測等）も高精度に行うことはできなかった。

本発明はこのような事情に鑑みてなされたもので、高精度に位置合わせされた、所望の波長帯域の成分のみを含む画像を取得できる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、互いに重複しない複数の波長帯域の光で撮像された画像を少なくとも１つ含む複数の画像を入力する画像入力部であって、複数の波長帯域のうち少なくとも１つの波長帯域が画像間で共通する複数の画像を入力する画像入力部と、複数の画像にそれぞれ対応する複数の画像信号のうち少なくとも１つの共通している波長帯域の成分に基づいて、複数の画像どうしの対応点を検出する対応点検出部と、検出した対応点に基づいて複数の画像の位置合わせを行う位置合わせ部と、位置合わせを行った複数の画像に対し特定波長帯域と異なる波長帯域の光の影響を除去する混信除去部と、を備え、特定波長帯域は複数の波長帯域のうちのいずれかの波長帯域であって複数の画像のそれぞれについて異なる波長帯域である。

第１の態様に係る画像処理装置では、少なくとも１つの画像が互いに重複しない複数の波長帯域の光で撮像されており（即ち、主たる波長帯域に加え意図的な混信成分を含む）、この複数の波長帯域のうち少なくとも１つの波長帯域が画像間で共通している。したがって、そのような共通する波長帯域の情報（画像信号）に基づいて複数の画像間で対応点を検出することができ、複数の画像を高精度に位置合わせすることができる。さらに、位置合わせ後に特定波長帯域以外の波長帯域の光の影響を除去するので、所望の波長帯域（特定波長帯域）の成分のみを含む複数の画像を取得することができる。

このようにして第１の態様では、高精度に位置合わせされた、所望の波長帯域の成分のみを含む画像を取得することができる。なお、第１の態様及び後述する各態様において、上述した「所望の波長帯域」を「特定波長帯域」とすることができる。

第２の態様に係る画像処理装置は第１の態様において、画像入力部は、全ての画像が複数の波長帯域の光で撮像された複数の画像を複数の画像として入力する。第２の態様によれば、全ての画像が複数の波長帯域の光で撮像されているので、位置合わせに用いる波長帯域や特定波長帯域を、それら複数の波長帯域から選択することができる。

第３の態様に係る画像処理装置は第１または第２の態様において、複数の波長帯域のうちから特定波長帯域を指定する波長帯域指定部をさらに備える。第３の態様によれば、所望の波長帯域を特定波長帯域として指定することで、特定波長帯域以外の波長帯域の光の影響（意図的な混信成分）が除去された画像を取得することができる。

第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、影響（上述した意図的な混信成分）を除去した複数の画像に基づいて被写体を計測する計測部を備える。第４の態様によれば、高精度に位置合わせされ、混信成分が除去された波長帯域の異なる複数の画像に基づいて、被写体を高精度に計測することができる。

第５の態様に係る画像処理装置は第４の態様において、計測部は、影響を除去した複数の画像のうちの一の画像に設定された第１の関心領域における特定波長帯域の信号強度と、影響を除去した複数の画像のうちの一の画像を除く他の画像において第１の関心領域に対応して設定された第２の関心領域における特定波長帯域の信号強度と、に基づいて被写体を計測する。第５の態様は計測の一態様を規定するものである。

第６の態様に係る画像処理装置は第５の態様において、第１の関心領域及び第２の関心領域を設定する関心領域設定部をさらに備える。第６の態様によれば、所望の領域について関心領域を設定して被写体を計測することができる。関心領域はユーザ操作を介して設定してもよいし、ユーザ操作を介さずに画像処理装置での処理により自動的に設定してもよい。

上述した目的を達成するため、本発明の第７の態様に係る撮像装置は、第１から第６の態様のいずれか１つに係る画像処理装置と、撮像光学系と、撮像光学系の光路に挿入される複数の光学フィルタであって、複数の波長帯域の光を透過させる光学フィルタを少なくとも１つ含み、複数の波長帯域のうち少なくとも１つの波長帯域がフィルタ間で共通している複数の光学フィルタと、撮像光学系及び複数の光学フィルタを透過した光により複数の画像が結像される撮像素子と、を備える撮像装置であって、画像入力部は、撮像素子に結像された画像を複数の画像を構成する画像として入力する。第７の態様によれば、光路に光学フィルタが挿入された撮像光学系により波長帯域が異なる複数の画像を撮像し、それら画像から高精度に位置合わせされた、所望の波長帯域の成分のみを含む画像を取得することができる。

第８の態様に係る撮像装置は第７の態様において、撮像光学系はそれぞれ独立した複数の撮像光学系であり、複数の光学フィルタのいずれかが複数の撮像光学系のいずれかの光路に挿入され、撮像素子は複数の撮像光学系にそれぞれ対応した複数の撮像素子であり、画像入力部は、複数の撮像光学系及び複数の光学フィルタを透過した光が複数の撮像素子に入射して結像された複数の画像を複数の画像として入力する。第８の態様は撮像光学系及び撮像素子の構成の一態様を示すものであり、光学フィルタを切り替えずに波長帯域が異なる複数の画像を取得して、それらの画像から高精度に位置合わせされた、所望の波長帯域の成分のみを含む画像を取得することができる。

第９の態様に係る撮像装置は第８の態様において、複数の撮像素子による複数の画像の撮像タイミングを制御して複数の画像を同時に撮像させる撮像制御部をさらに備え、画像入力部は同時に撮像した複数の画像を入力する。第９の態様によれば、撮像タイミングのズレによる位置ズレなしで複数の画像を撮像することができ、これにより画像の位置合わせを高精度に行うことができる。第９の態様は、例えば被写体が動く場合や、変形する場合に効果的である。なお、第９の態様において撮像が「同時」とは、撮像タイミングが完全な同時に限らず位置合わせや計測の目的上許容しうる範囲でずれている場合をも含むものとする。

第１０の態様に係る撮像装置は第７の態様において、撮像光学系は単一の撮像光学系であり、撮像素子は単一の撮像光学系に対応した単一の撮像素子であり、単一の撮像光学系の光路に複数の光学フィルタのいずれかを挿入するフィルタ切替部をさらに備え、画像入力部は、単一の撮像光学系及び複数の光学フィルタのいずれかを透過した光が単一の撮像素子に入射して結像された画像を複数の画像を構成する画像として入力する。第１０の態様は撮像光学系及び撮像素子の構成の他の態様を示すもので、光学フィルタを切り替えることにより波長帯域の異なる画像を取得することができ、また撮像光学系及び撮像素子が単一なので画像の位置合わせを高精度かつ容易に行うことができる。

第１１の態様に係る撮像装置は第７から第１０の態様のいずれか１つにおいて、少なくとも１つの光学フィルタは、単一の波長帯域の光を透過させる単一波長帯域光学フィルタであって互いに異なる波長帯域の光を透過させる単一波長帯域光学フィルタを複数組み合わせて構成された光学フィルタである。第１１の態様のように単一の波長帯域の光を透過させる光学フィルタを複数組み合わせることにより、単一の光学フィルタで複数の波長帯域の光を透過させる場合よりも、所望の波長帯域の光を透過させる光学フィルタを容易に構成することができる。

第１２の態様に係る撮像装置は第７から第１１の態様のいずれか１つにおいて、複数の光学フィルタは波長帯域によって透過率が異なる。第１２の態様では、計測等画像の使用目的に応じて透過率の比を設定することができる。例えば、いずれの波長帯域に対しても対応点検出が可能な程度の透過率としつつ、主たる波長帯域の透過率を混信させる波長帯域の透過率より高くすることができる。

第１３の態様に係る撮像装置は第７から第１２の態様のいずれか１つにおいて、複数の光学フィルタは撮像光学系の瞳の位置に挿入される。

第１４の態様に係る撮像装置は第７から第１３の態様のいずれか１つにおいて、複数の光学フィルタに対する撮像光学系の開口度を調節する光学部材をさらに備える。第１４の態様によれば、光学フィルタに対する開口度を調節することで、取得する画像において波長帯域の成分比を調節することができる。

第１５の態様に係る撮像装置は第７から第１４の態様のいずれか１つにおいて、撮像素子はモノクロ撮像素子（モノクロ：monochrome）である。第１５の態様によれば、モザイク状のカラーフィルタが不要なので、空間解像度が高い画像を取得し、高精度の位置合わせや計測を行うことができる。

上述した目的を達成するため、本発明の第１６の態様に係る画像処理方法は、互いに重複しない複数の波長帯域の光で撮像された画像を少なくとも１つ含む複数の画像を入力する画像入力工程であって、複数の波長帯域のうち少なくとも１つの波長帯域が画像間で共通する複数の画像を入力する画像入力工程と、複数の画像にそれぞれ対応する複数の画像信号のうち少なくとも１つの共通している波長帯域の成分に基づいて、複数の画像どうしの対応点を検出する対応点検出工程と、検出した対応点に基づいて、複数の画像の位置合わせを行う位置合わせ工程と、位置合わせを行った複数の画像に対し特定波長帯域と異なる波長帯域の光の影響を除去する混信除去工程と、を有し、特定波長帯域は複数の波長帯域のうちのいずれかの波長帯域であって複数の画像のそれぞれについて異なる波長帯域である。第１６の態様によれば、第１の態様と同様に、高精度に位置合わせされた、所望の波長帯域の成分のみを含む画像を取得することができる。なお第１６の態様において、第２〜第１５の態様と同様の構成を含めてもよい。また、それらの態様に係る方法を画像処理装置に実行させるプログラム、及びそのようなプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様としてあげることができる。

以上説明したように、本発明の画像処理装置、撮像装置、及び画像処理方法によれば、高精度に位置合わせされた、所望の波長帯域の成分のみを含む画像を取得することができる。

図１は、被写体の例を示す図である。 図２は、従来の手法で撮像した画像を示す概念図である。 図３は、本発明による画像の位置合わせについて説明するための概念図である。 図４は、本発明による画像の位置合わせについて説明するための他の概念図である。 図５は、本発明による画像の位置合わせについて説明するためのさらに他の概念図である。 図６は、本発明による画像の位置合わせについて説明するためのさらに他の概念図である。 図７は、本発明の第１の実施形態に係る画像処理システムの構成を示すブロック図である。 図８は、第１の実施形態における処理部の機能構成を示す図である。 図９は、第１の実施形態における撮像部の構成を示す図である。 図１０は、第１の実施形態における光学フィルタの例を示す図である。 図１１は、第１の実施形態における画像処理の手順を示すフローチャートである。 図１２は、光学フィルタの他の例を示す図である。 図１３は、第２の実施形態における撮像部の構成を示すブロック図である。 図１４は、第２の実施形態における光学フィルタの例を示す図である。 図１５は、第２の実施形態における光学フィルタの例を示す他の図である。 図１６は、第３の実施形態における撮像部の構成を示すブロック図である。 図１７は、第３の実施形態における処理部の機能構成を示す図である。 図１８は、第３の実施形態におけるフィルタ板の例を示す図である。 図１９は、第３の実施形態における画像処理の手順を示すフローチャートである。

以下、添付図面を参照しつつ、本発明に係る画像処理装置、撮像装置、及び画像処理方法の実施形態について、詳細に説明する。

＜画像の位置合わせ及び混信除去＞
まず、従来の手法及び本発明による画像の位置合わせ及び混信除去について原理的に説明する。

第１光学系（撮像レンズ及び撮像素子を含む）には赤色光のみを透過させる光学フィルタが挿入されており、第２光学系（撮像レンズ及び撮像素子を含む）には緑色光のみを透過させる光学フィルタ（第１光学系の光学フィルタとは透過波長帯域が重複しないものとする）が挿入されている２眼式撮像装置で、図１に示す被写体Ａ０１〜Ａ０７を撮像する状況を想定する。ここで被写体Ａ０１，Ａ０３，Ａ０７は黄色、被写体Ａ０２及び被写体Ａ０６は緑色、被写体Ａ０４及び被写体Ａ０５は赤色であるものとするが、色の違いは図示困難なので、図１では斜線及びドットの濃淡により色の違いを表している。

上述した撮像装置のような複眼式撮像装置では、同一仕様の光学系を用いても個体毎に特性がばらついている場合や設置位置が僅かにずれている場合があり、これらに起因して、図２に示すように第１光学系の画像ＩＬ０と第２光学系の画像ＩＲ０のように位置ずれや回転ずれが生じる。このような状態では被写体の位置や角度がずれているので、画像間演算（例えば、画像の合成や被写体の計測）をしても正しい結果が得られない。

そして、図２に示すような位置ずれや回転ずれを含む画像を位置合わせしようとしても、上述した２眼式撮像装置では第１光学系と第２光学系とで透過波長帯域が重複していないので、画像ＩＬ０に存在する像が画像ＩＲ０には存在しない場合や、逆に画像ＩＲ０に存在する像が画像ＩＬ０に存在しない場合がある。例えば図２の例では、画像ＩＬ０では赤色の被写体Ａ０４，Ａ０５が鮮明に映り、黄色の被写体Ａ０１，Ａ０３，Ａ０７は不鮮明であるものの写る（黄色光は赤色光の成分及び緑色光の成分を含むため）が、緑色の被写体Ａ０２，Ａ０６は写らない。一方、画像ＩＲ０では緑色の被写体Ａ０２，Ａ０６が鮮明に写り、黄色の被写体Ａ０１，Ａ０３，Ａ０７は不鮮明であるものの写るが、赤色の被写体Ａ０４，Ａ０５は写らない。なお、図２では像の鮮明さを輪郭線（エッジ）の太さで表している。

したがって、被写体Ａ０２，Ａ０４，Ａ０５，Ａ０６については両方の画像に存在しないので、これらの被写体については対応点検出を行うことができない。

このように、従来の手法では、重複しない波長帯域で複数の画像を撮像した場合、被写体の周波数特性によっては位置合わせ精度が低下する場合や位置合わせできない場合があり、その結果高精度な画像間演算を行うことができない場合がある。

そこで本発明では、画像を取得するための波長帯域（主波長帯域）の成分に加え、位置合わせのための波長帯域（副波長帯域）の成分を意図的に混信させた画像（画像信号）を取得する。例えば、第１光学系では赤色光（主波長帯域）の成分と緑色光（副波長帯域）の成分との比が１．０：０．５となるような光学フィルタを用い、逆に第２光学系では赤色光（主波長帯域）の成分と緑色光（副波長帯域）の成分との比が０．５：１．０となるような光学フィルタを用いる（なお、これらの値は一例であり、被写体の特性や計測内容に応じて設定できる）。

このような構成の光学系で図１の被写体Ａ０１〜Ａ０７を撮像した場合、図３に示す第１光学系の画像ＩＬ１、第２光学系の画像ＩＲ１のような画像が得られる。図３において、画像ＩＬ１では赤色の被写体Ａ０４，Ａ０５が鮮明に写り、緑色の被写体Ａ０２，Ａ０６も、赤色の被写体に比べて不鮮明ではあるが写っている。一方、画像ＩＲ１では緑色の被写体Ａ０２，Ａ０６が鮮明に写っており、赤色の被写体Ａ０４，Ａ０５も、緑色の被写体に比べて不鮮明ではあるが写っている。また、いずれの画像においても黄色の被写体Ａ０１，Ａ０３，Ａ０７は写っている。

したがって、いずれの画像においても全ての被写体Ａ０１〜Ａ０７が写っており、全ての被写体について対応点検出が可能である。したがって、対応点の検出結果に基づいて、図４に示すような画像ＩＬ１と画像ＩＲ１との位置ずれ及び回転ずれを高精度に補正することができる（図４は、画像ＩＬ１と画像ＩＲ１とを重ね合わせることで位置ずれ及び回転ずれが生じている様子を示すものであり、２つの画像が一致するように位置合わせを行う）。なお、対応点検出及び位置合わせの手法は様々な公知の手法（例えばエッジやコーナー部の点を基準画像の特徴点として検出し、画像間のマッチングにより他の画像における対応点を検出して、特徴点と対応点の位置が一致するように画像の移動、回転、拡大及び／または縮小を行う）を用いることができる。そして、位置合わせにより図５に示すような第１光学系の画像ＩＬ２及び第２光学系の画像ＩＲ２が得られる。画像ＩＬ２及び画像ＩＲ２は、位置合わせがされており、混信成分（副波長帯域の成分）を含む画像である。

図５に示すような位置合わせ後の画像が得られたら、それらの画像から混信成分（副波長帯域の成分）を除去する。具体的には、画像ＩＬ２から緑色光の成分を除去し、画像ＩＲ２から赤色光の成分を除去する。上述のように、本発明では副波長帯域の成分を意図的に混信させており、主波長帯域の成分との比率は事前に把握できるので、混信成分の除去は容易である。なお、混信成分除去の手法は、対応点検出及び位置合わせと同様に様々な公知の手法を用いることができる。

例えば、上述した透過比率の光学フィルタを用いた撮像装置において、ある画素における赤色光、緑色光の真の画素値（混信が無い状態）をＲ_ｉｊ、Ｇ_ｉｊとし、実際の画素値（混信がある状態）をＲＧ_ｉｊ、ＧＲ_ｉｊとすると、（Ｒ_ｉｊ，Ｇ_ｉｊ）と（ＲＧ_ｉｊ，ＧＲ_ｉｊ）の関係は以下の式（１）のように表される。

したがって、以下の式（２）のように実際の画素値に係数行列の逆行列を掛けることで、実際の画素値から真の画素値を求めることができる。

図６は、混信成分除去後の画像を示す図である。第１光学系の画像ＩＬ３では緑色光の成分を除去しているため被写体Ａ０２，Ａ０６の像が除去され、第２光学系の画像ＩＲ３では赤色光の成分を除去しているため被写体Ａ０４，Ａ０５の像が除去される。

このように、本発明では高精度に位置合わせされ所望の波長帯域（上述した主波長帯域）の成分のみを含む画像が得られるので、これら画像を用いて高精度な画像間演算を行うことが可能である。

＜第１の実施形態＞
＜画像処理システムの構成＞
以下、本発明の具体的な実施形態を説明する。図７は第１の実施形態に係る画像処理システム１０（画像処理装置、撮像装置）の概略構成を示すブロック図である。画像処理システム１０は撮像部１００（画像入力部）及び本体部２００（画像処理装置）から構成され、無線通信により画像データ等を互いに送受信する。撮像部１００は第１撮像部１１０、第２撮像部１２０、及び無線通信部１３０を備え、本体部２００からの指示に従って画像を取得し、本体部２００に送信する。一方、本体部２００は処理部２１０（画像入力部、対応点検出部、位置合わせ部、混信除去部、波長帯域指定部、計測部、関心領域設定部、撮像制御部）、記録部２２０、表示部２３０、及び操作部２４０を備え、これら各部は互いに接続されていて必要な情報を送受信する。また、処理部２１０は無線通信用アンテナ及び入出力インタフェース回路を含み、記録部２２０はＨＤＤ（Hard Disk Drive）等の非一時的記録媒体を含んで構成される。また表示部２３０は液晶ディスプレイ等の表示デバイスを含み、操作部２４０はキーボードやマウス等の入力デバイスを含む。なお第１の実施形態では撮像部１００で画像を撮像して本体部２００に入力する場合について説明するが、撮像部１００以外の手段で取得した画像を記録媒体やネットワーク経由で入力してもよい。

＜処理部の構成＞
図８は処理部２１０の機能構成を示す図である。処理部２１０は、波長帯域指定部２１０Ａ（波長帯域指定部）、通信制御部２１０Ｂ、撮像制御部２１０Ｃ（撮像制御部）、画像入力部２１０Ｄ（画像入力部）、対応点検出部２１０Ｅ（対応点検出部）、位置合わせ部２１０Ｆ（位置合わせ部）、混信除去部２１０Ｇ（混信除去部）、関心領域設定部２１０Ｈ（関心領域設定部）、計測部２１０Ｉ（計測部）、表示制御部２１０Ｊ、及び記録制御部２１０Ｋを備える。これらの機能は、ＣＰＵ（Central Processing Unit）や各種電子回路等のデバイスが記録部２２０に記憶された画像や情報、またＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory：非一時的記録媒体）等に記憶されたデータを適宜参照しつつ、ＲＯＭ等に記憶されたプログラムを実行することにより行われる。この場合、ＲＯＭ等には本発明に係る画像処理方法を画像処理システムに実行させるプログラムのコンピュータ読み取り可能なコードが記録される。処理の際には、ＲＡＭ（Random Access Memory）等が一時記憶領域や作業領域として用いられる。なお、図８ではこれらデバイスの図示は省略する。

波長帯域指定部２１０Ａは、取得した複数の画像について特定波長帯域を指定する。通信制御部２１０Ｂは、無線通信用のアンテナ２１２を介して撮像部１００との通信を行う。撮像制御部２１０Ｃは通信制御部２１０Ｂを介して撮像部１００による撮像を制御する。画像入力部２１０Ｄは撮像部１００が取得した複数の画像を入力し、また記録部２２０に記憶された画像を読み出す。対応点検出部２１０Ｅは入力した複数の画像どうしの対応点を検出し、位置合わせ部２１０Ｆは検出した対応点に基づいて複数の画像の位置合わせを行う。混信除去部２１０Ｇは、位置合わせした画像に対して特定波長帯域（所望の波長帯域）と異なる波長帯域の光の影響（意図的な混信成分）を除去し、関心領域設定部２１０Ｈが混信除去後の画像に対して計測を行うための関心領域を設定して、設定された関心領域について計測部２１０Ｉが計測を行う。表示制御部２１０Ｊは、画像や計測結果の表示部２３０への表示制御を行う。記録制御部２１０Ｋは、画像や計測結果の記録部２２０への書き込み及び／または読み出しの制御を行う。上述の各部は、操作部２４０を介したユーザの操作に適宜従って処理を行う。なお、これら各部による画像処理の手順は後述する。

＜記録部の構成＞
記録部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、画像及び各種情報を互いに関連づけて記録する。画像には第１撮像部１１０及び第２撮像部１２０による撮像画像、位置合わせ後の画像、混信除去後の画像、計測結果を示す画像が含まれ、各種情報には撮像条件、画像処理条件、計測条件、及び計測結果が含まれる。

＜表示部及び操作部の構成＞
表示部２３０は液晶ディスプレイ等の表示デバイス（不図示）を備えており、撮像部１００から入力した画像や記録部２２０に記憶された画像及び各種情報、処理部２１０により得られた画像や計測結果を表示することができる。操作部２４０はマウス等のポインティングデバイス及びキーボード等の入力デバイス（不図示）を含んでおり、ユーザは操作部２４０を介して表示部２３０に表示された画像やボタン等の操作や、撮像条件、波長帯域、関心領域の設定等の操作を行うことができる。

＜撮像部の構成＞
図９は撮像部１００の構成を示すブロック図である。撮像部１００は第１撮像部１１０、第２撮像部１２０、及び無線通信部１３０を備える。第１撮像部１１０と第２撮像部１２０とは、後述する波長帯域で画像を撮像する独立した撮像部であり、無線通信部１３０は無線通信用のアンテナ１３１を介して本体部２００との通信を行う。なお第１の実施形態では撮像部１００が２つの撮像部を備える場合について説明するが、本発明において撮像部の数は３つ以上でもよい。また第１の実施形態では撮像部１００が本体部２００と独立して移動できる場合について説明するが、撮像部と本体部とを一体にしてもよく、また撮像部と本体部とは有線接続されていてもよい。

＜第１撮像部＞
第１撮像部１１０は、撮像レンズ１１１（撮像光学系），光学フィルタ１１２（光学フィルタ）、シャッタ１１３、撮像素子１１４（撮像素子、モノクロ撮像素子）、ＡＦＥ１１５（ＡＦＥ：Analog Front End）、Ａ／Ｄ変換器１１６（Ａ／Ｄ：Analog to Digital）、制御部１１７（撮像制御部）を含む。

撮像レンズ１１１は、ズーム制御時や焦点調節時に光軸Ｌ１に沿って移動可能に設けられたレンズである。図９では撮像レンズ１１１を１つのみ図示しているが、撮像レンズ１１１は複数のレンズから構成され、ズーム制御時に駆動されるズームレンズ、焦点調節時に駆動されるフォーカスレンズ等を含んでいる。また、撮像レンズ１１１の光路において、瞳の位置に光学フィルタ１１２が挿入される。なお、光学フィルタ１１２の構成については後述する。

撮像素子１１４は、例えばＣＣＤ（Charge Coupled Device）型撮像素子やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型撮像素子であり、撮像レンズ１１１及び光学フィルタ１１２（図１０参照）を透過した光が入射して被写体の光学像が結像されるモノクロ撮像素子（撮像面にモザイク状のカラーフィルタは配設されていない）である。撮像素子１１４が出力する撮像信号はＡＦＥ１１５に入力され、相関二重サンプリングによってノイズが除去され、増幅される。ＡＦＥ１１５でノイズが除去され、増幅された撮像信号はＡ／Ｄ変換器１１６によってデジタル画像データに変換される。なお、撮像素子１１４がＣＭＯＳ型撮像素子である場合は、Ａ／Ｄ変換器１１６は撮像素子１１４内に内蔵されていることが多い。

制御部１１７は、無線通信部１３０を介した本体部２００からの指令に基づいて撮像タイミング（シャッタ１１３の開閉タイミング等）を制御し、第１撮像部１１０と第２撮像部１２０とで同時に撮像させる。この場合「同時に」とは完全な同時だけでなく、撮像タイミングが位置合わせや計測の目的上許容しうる範囲でずれている場合をも含むものとする。制御部１１７は、第１撮像部１１０及び第２撮像部１２０から出力されたデジタル画像データを、無線通信部１３０及びアンテナ１３１を介して本体部２００に送信する。

＜第２撮像部＞
第２撮像部１２０の構成は光学フィルタ１２２（光学フィルタ）を除いては第１撮像部１１０と同じであり、撮像レンズ１１１及び光学フィルタ１２２（図１０参照）を透過した光が撮像素子１１４に入射して被写体の光学像が結像される。図９において、第１撮像部１１０と同一の構成要素には同一の参照符号を付し、詳細な説明を省略する。なお第１撮像部１１０及び第２撮像部１２０は共通の光軸Ｌ１を有し、光学系の特性誤差や設置のずれに起因する画像への影響には後述する位置合わせで対応する。

＜光学フィルタ＞
第１撮像部１１０の光学フィルタ１１２は複数の波長帯域の光を透過させる光学フィルタであり、領域によって透過させる波長帯域が異なっている。具体的には、図１０に示すように全領域の３／４が第１波長帯域の光を１００％透過させる領域１１２Ａ（単一波長帯域光学フィルタ）であり、１／４が第２波長帯域の光を１００％透過させる領域１１２Ｂ（単一波長帯域光学フィルタ）である（領域１１２Ａ，１１２Ｂの形状及び大きさは固定されているものとする）。一方、第２撮像部１２０の光学フィルタ１２２は単一の波長帯域の光を透過させる光学フィルタであり、図１０に示すように全領域の１／４が第１波長帯域の光を１００％透過させる領域１２２Ａ（単一波長帯域光学フィルタ）であり、３／４が第２波長帯域の光を１００％透過させる領域１２２Ｂ（単一波長帯域光学フィルタ）である（領域１２２Ａ，１２２Ｂの形状及び大きさは固定されているものとする）。このように、光学フィルタ１１２，１２２は単一波長帯域光学フィルタを複数組み合わせて構成された光学フィルタである。なお、光学フィルタ１１２、１２２は第１撮像部１１０，第２撮像部１２０の光路において撮像レンズ１１１の瞳の位置に挿入され、被写体の位置による影響を少なくしている。

このように、光学フィルタ１１２と光学フィルタ１２２とは透過させる波長帯域（第１，第２波長帯域）が共通しており、撮像される画像はいずれも複数の波長帯域の成分を含む。また、詳細を後述するように、この共通した波長帯域の成分を用いて画像間の対応点検出及び位置合わせを行う。

なお、光学フィルタ１１２，１２２が透過させる波長帯域は、例えば第１波長帯域を波長６００ｎｍ〜６８０ｎｍ程度の赤色波長帯域、第２波長帯域を波長８００ｎｍ〜１，０００ｎｍ程度の近赤外波長帯域とすることができるが、このような例に限定されるものではない。例えば、波長４００ｎｍ〜４５０ｎｍ程度の紫色波長帯域、波長４７５ｎｍ〜５００ｎｍ程度の青色波長帯域、波長５３０ｎｍ〜５７０ｎｍ程度の緑色波長帯域、波長７１０ｎｍ〜７２０ｎｍ程度のＲｅｄ Ｅｄｇｅ波長帯域（ＲＥ）等、計測の目的や内容に応じた値を採用することができる。なお波長帯域はこれらの値と異なっていてもよいし、上述の帯域に対してさらに広い帯域や狭い帯域を設定してもよい。ただし、画像取得及び計測に用いる波長帯域は互いに重複していないものとする。

＜撮像部の移動等＞
上述した構成の撮像部１００は、車両、船舶、航空機、飛翔体（ドローン等）、ロボット、人工衛星等の移動体に搭載して移動してもよいし、ユーザが持って移動してもよい。なお撮像部１００により画像を取得するのに際して、ＧＰＳ（Global Positioning System）等の測位システムを利用して撮像部１００の位置や被写体の位置を把握し、通信制御部２１０Ｂや撮像制御部２１０Ｃを介して撮像部１００を制御して所望の被写体を撮像してもよい。

＜画像処理の手順＞
次に、上述した構成の画像処理システム１０における画像処理の手順を説明する。図１１は第１の実施形態における画像処理の手順を示すフローチャートである。

まずステップＳ１００で、操作部２４０を介した処理条件（観察位置、特定波長帯域、計測内容等の指定）の入力を受け付け、入力した条件に従ってステップＳ１１０（画像入力工程）において通信制御部２１０Ｂや撮像制御部２１０Ｃを介して撮像部１００を制御し、第１撮像部１１０及び第２撮像部１２０で同時に被写体を撮像する。ここでは図１０に示す光学フィルタ１１２，１２２を用い第１波長帯域を波長６００ｎｍ〜６８０ｎｍ程度の赤色波長帯域、第２波長帯域を波長８００ｎｍ〜１，０００ｎｍ程度の近赤外波長帯域として、赤色波長帯域の成分と近赤外波長帯域の成分とを意図的に混信させた複数の画像が得られるものとする。上述したように撮像素子１１４はモノクロ撮像素子であり、通常のカラー撮像素子のようなモザイク状のカラーフィルタは配設されていないので、空間分解能の高い画像を取得し、これにより高精度に画像の位置合わせを行うことができる。

ステップＳ１２０（画像入力工程）では、撮像部１００の無線通信部１３０及びアンテナ１３１、本体部２００の通信制御部２１０Ｂ及び画像入力部２１０ＤによりステップＳ１１０で撮像した複数の画像を入力する。ステップＳ１３０（対応点検出工程）では、それら複数の画像にそれぞれ対応する複数の画像信号のうち画像間で共通している波長帯域の成分に基づいて、対応点検出部２１０Ｅにより特徴点を検出しこれに基づいて対応点を検出する。上述したように、例えばエッジやコーナー部の点を基準画像の特徴点として検出し、画像間のマッチングにより他の画像における対応点を検出することができる。

ステップＳ１４０（位置合わせ工程）では、位置合わせ部２１０Ｆにより、対応点の検出結果に基づいて複数の画像の位置合わせを行う。位置合わせにおいては、特徴点と対応点とが一致するように画像の移動、回転、拡大及び／または縮小を行う。なお、ステップＳ１３０，Ｓ１４０の対応点検出及び位置合わせは、特開２０１０−１５２８１９号公報に記載されているように、複数の画像において基準となる基準画像を設定し、設定された基準画像から特定の被写体を検出し、検出された特定の被写体の輪郭近傍領域が他の領域よりも特徴点の平均密度が高くなるように、基準画像における複数の特徴点を抽出し、複数の画像のうち基準画像以外の他の画像における、抽出された各特徴点に対応する対応点を取得し、各特徴点の位置と、各特徴点に対応する対応点の位置が一致するように、基準画像および／または他の画像の各画素の位置を座標変換することにより行ってもよい。上述したように、本実施形態では複数の画像間で第１波長帯域、第２波長帯域が共通しているので、これら共通した波長帯域の成分に基づいて高精度に対応点検出及び位置合わせを行うことができる。

ステップＳ１５０（混信除去工程）では、混信除去部２１０Ｇにより位置合わせされた画像の混信を除去する。上述のように本発明では副波長帯域の成分を意図的に混信させており、主波長帯域の成分との比率は事前に把握できるので、例えば上述した式（１），（２）により混信成分の除去を行うことができる。上述した光学フィルタ１１２，１２２を用いる場合、光学フィルタ１１２を用いる第１撮像部１１０で得られた画像では第１波長帯域である赤色波長帯域を特定波長帯域として第２波長帯域である近赤外波長帯域の成分を除去し、光学フィルタ１２２を用いる第２撮像部１２０で得られた画像では第２波長帯域である近赤外波長帯域を特定波長帯域として第１波長帯域である赤色波長帯域の成分を除去することができる。このような混信成分の除去により、高精度に位置合わせされ、所望の波長帯域の成分のみを含む複数の画像を取得することができる。

ステップＳ１６０では、位置合わせ及び混信除去を行った画像に対し、計測を行うための関心領域を設定する。関心領域の設定は、操作部２４０を介したユーザの操作に基づいて関心領域設定部２１０Ｈが行うことができる。例えば、ユーザがマウス等のポインティングデバイスを操作して表示部２３０に表示された１つの画像において指定した領域と、他の画像においてこれに対応する領域と、を関心領域とすることができる。ステップＳ１５０までの処理により複数の画像が位置合わせされているので、ユーザが１つの画像において関心領域（第１の関心領域）を指定すれば、他の画像において関心領域設定部２１０Ｈが対応する領域（第２の関心領域）を設定することができる。なお、このようなユーザ操作を介した関心領域の設定に代えて、関心領域設定部２１０Ｈが自動的に関心領域を設定してもよい。例えば、画像のうち特定の一部または全体を関心領域としてもよいし、画像の特徴量がしきい値よりも高い領域を関心領域としてもよい。

ステップＳ１７０では、ステップＳ１６０で設定した関心領域において計測を行う。計測は、例えば特定波長帯域の信号強度に基づいて行うことができる（計測の具体例については後述する）。ステップＳ１８０で計測結果を表示部２３０に表示し、ステップＳ１９０ではステップＳ１８０までで得られた画像及び計測結果を関連づけて記録部２２０に記録する。これらの処理は、計測部２１０Ｉ、表示制御部２１０Ｊ、及び記録制御部２１０Ｋにより行うことができる。

以上説明したように、第１の実施形態に係る画像処理装置、撮像装置、及び画像処理方法によれば、高精度に位置合わせされ、所望の波長帯域の成分のみを含む複数の画像を取得することができ、これら画像に基づき高精度に計測を行うことができる。

＜光学フィルタの他の例＞
上述した第１の実施形態では光学フィルタ１１２、１２２のいずれもが第１波長帯域及び第２波長帯域を透過させる場合について説明しているが、本発明において光学フィルタの構成はこのような態様に限定されるものではない。例えば、第１撮像部１１０の光学フィルタを上述した光学フィルタ１１２（図１０参照）と同じにし、第２撮像部１２０の光学フィルタ（図９，１０に示す光学フィルタ１２２）を図１２に示す光学フィルタ１２３のように「全領域が第１波長帯域（赤色波長帯域）の光を１００％透過させる領域１２３Ａ」としてもよい。すなわち、互いに重複しない複数の波長帯域（例えば、上述した赤色波長帯域と近赤外波長帯域）の光を透過させる光学フィルタ（光学フィルタ１１２）を少なくとも１つ含み、それら複数の波長帯域のうち少なくとも１つ（この場合、第１波長帯域である赤色波長帯域）が光学フィルタ間（光学フィルタ１１２，１２３）で共通していればよい。このような光学フィルタを用いる場合でも、光学フィルタ間で共通する波長帯域の成分に基づいて対応点検出及び位置合わせを高精度に行うことができ、これにより所望の波長帯域の成分のみを含む複数の画像を取得することができる。

なお、上述した第１の実施形態及び他の例では透過波長帯域が異なる領域を２つ有する光学フィルタ（図１０の光学フィルタ１１２）について説明したが、透過波長帯域が異なる領域を３つ以上設けた光学フィルタを用いてもよい。また、上述した例のように透過波長帯域が異なる領域を扇型に配置するのに代えて、またはこれに加えて、中心部に設けた円形の領域とその周辺の環状の領域とで透過波長帯域が異なる光学フィルタを用いてもよい。

また、上述の例では各領域に異なる波長帯域が対応する単一波長帯域光学フィルタを用い、各光学フィルタの面積を変化させて光学フィルタを構成する場合について説明したが、単一波長帯域光学フィルタの面積を変化させるのに代えて／またはこれに加えて、波長帯域によって透過率が異なるフィルタを用いることで主波長帯域の成分と副波長帯域の成分（混信成分）との比率を調節してもよい（以下の実施形態及び例でも同様）。例えば、赤色波長帯域の光を７０％透過させ近赤外波長帯域の光を３０％透過させる光学フィルタと、赤色波長帯域の光を３０％透過させ近赤外波長帯域の光を７０％透過させる光学フィルタと、を用いてもよい。単一波長帯域光学フィルタを用いる場合、及び波長帯域によって透過率が異なるフィルタを用いる場合のいずれにおいても画像のノイズという観点からは混信成分が少ない方がよいが、画像のマッチングという観点からは多い（例えば、主波長帯域の成分と同程度）方がよい。混信成分を具体的にどのような比率にするかは、撮像部の特性や被写体の種類、色、明るさ、及び計測内容等に応じて設定することができる（以下に示す態様についても同様である）。

＜第２の実施形態＞
次に、本発明の画像処理装置、撮像装置、及び画像処理方法の第２の実施形態について説明する。図１３は第２の実施形態に係る撮像部１００Ａの構成を示すブロック図である。撮像部１００Ａでは、第１撮像部１１０Ａ及び第２撮像部１２０Ａにおいて開口度を調節する光学部材１１９（光学部材）が光学フィルタ１１８の前（後ろでもよい）に設けられており、制御部１１７Ａにより光学部材１１９を制御する。制御部１１７Ａは、処理部２１０の図示せぬ開口度調整部の指令により動作する。なお、図１３において図９と同一の構成要素には同一の参照符号を付し、詳細な説明を省略する。

図１４は光学フィルタ１１８及び光学部材１１９を示す図である。光学フィルタ１１８は全領域の１／２が第１波長帯域（赤色波長帯域）の光を１００％透過させる領域１１８Ａであり、１／２が第２波長帯域（近赤外波長帯域）の光を１００％透過させる領域１１８Ｂである（領域１１８Ａ，１１８Ｂの形状及び大きさは固定されているものとする）。一方、光学部材１１９は、全領域の３／４が透明な領域１１９Ａであり、全領域の１／４が第１波長帯域及び第２波長帯域の光を全く透過させない遮光領域１１９Ｂである。そして、光学部材１１９を制御部１１７Ａの制御により矢印ＡＲ１の方向に回転させる（光軸Ｌ１上の点Ｏ１を中心とする）ことで、光学フィルタ１１８に対する遮光領域１１９Ｂの位置が変わり、領域１１８Ａと領域１１８Ｂの実質的な面積比を変化させることができる。例えば遮光領域１１９Ｂが図１４の位置にある状態では図１５（ａ）のように領域１１８Ａと領域１１８Ｂの実質的な面積比が１：０．５となり、遮光領域１１９Ｂが図１４の位置から時計回りに２７０度回転した状態では図１５（ｂ）のように領域１１８Ａと領域１１８Ｂの実質的な面積比が０．５：１となる。

このように、遮光領域１１９Ｂを有する光学部材１１９を回転させることで、取得する画像における第１波長帯域の成分と第２波長帯域の成分の比率を変化させることができる。なおこのような態様において、遮光領域１１９Ｂの大きさは図１４に示すものに限らず、第１波長帯域の成分と第２波長帯域の成分の比率等に応じて設定することができる。また、光学部材１１９を機械的に回転させる代わりに、光学フィルタの前または後ろに液晶板を設け遮光領域の位置を光学的に変化させることで、取得する画像における第１波長帯域の成分と第２波長帯域の成分の比率を変化させてもよい。このような第２の実施形態において、画像処理（対応点検出、位置合わせ、混信除去等）は第１の実施形態と同様に行うことができ、これにより対応点検出及び位置合わせを高精度に行うことができ、これにより所望の波長帯域の成分のみを含む複数の画像を取得することができる。

＜第３の実施形態＞
次に、本発明の画像処理装置、撮像装置、及び画像処理方法の第３の実施形態について説明する。上述した第１，第２の実施形態では、撮像部１００，１００Ａが独立した複数の撮像光学系及びそれに対応した複数の光学素子、複数の光学フィルタを備える態様について説明したが、第３の実施形態では単一の撮像光学系とこれに対応した単一の撮像素子を備え、複数の光学フィルタを切り替えて用いる態様について説明する。

図１６は第３の実施形態に係る撮像部１００Ｂの構成を示すブロック図である。撮像部１００Ｂでは複数の光学フィルタを備えたフィルタ板１４０が第１撮像部１１０Ｂに設けられている。なお、図１６において図９，１３と同一の構成要素には同一の参照符号を付し、詳細な説明を省略する。

図１７は第３の実施形態に係る処理部２１１の機能構成を示す図である。処理部２１１は、光学フィルタ１４１，１４２，１４３の切替制御を行うフィルタ切替部２１１Ｌ（フィルタ切替部）を備える。その他の構成は図８に示す処理部２１０と同様であるので同一の参照符号を付し、詳細な説明を省略する。

図１８はフィルタ板１４０の構成を示す図である。フィルタ板１４０には光学フィルタ１４１，１４２，１４３が設けられており、点Ｏ２を中心としてフィルタ板１４０を矢印ＡＲ２の方向に回転させることでこれら光学フィルタ１４１，１４２，１４３のいずれかが撮像レンズ１１１の光路に挿入される。このような切替は、処理部２１０のフィルタ切替部２１１Ｌ（フィルタ切替部；図１７参照）からの指令により制御部１１７Ｂが図示せぬモータを駆動することにより行われる。

光学フィルタ１４１，１４２，１４３は第１波長帯域及び第２波長帯域の光を透過させる光学フィルタである（透過させる波長帯域が共通している）が、第１波長帯域及び第２波長帯域の光を透過させる領域の比率が異なっている。具体的には、光学フィルタ１４１では第１波長帯域の光を透過させる領域１４１Ａと第２波長帯域の光を透過させる領域１４１Ｂとの面積比が１：（１／３）であり、光学フィルタ１４２では第１波長帯域の光を透過させる領域１４２Ａと第２波長帯域の光を透過させる領域１４２Ｂとの面積比が（１／３）：１であり、光学フィルタ１４３では第１波長帯域の光を透過させる領域１４３Ａと第２波長帯域の光を透過させる領域１４３Ｂとの面積比が１：１である。なお、第１，第２波長帯域の光を透過させる領域の面積比は被写体の種類や計測の目的に応じて設定することができる。また、第１，第２波長帯域は上述した赤色波長帯域、近赤外波長帯域とすることができるが、これに限定されるものではなく、被写体の特性や計測の内容に応じた波長帯域を設定することができる。

このような光学フィルタ１４１，１４２，１４３の切替により、主波長帯域の成分と副波長帯域の成分（混信成分）の比率が異なる複数の画像を取得することができる。なお、光学フィルタ１４１，１４２，１４３は第１，第２波長帯域の光を１００％透過させるものでもよいし、波長帯域によって透過率を変えてもよい。

図１９は第３の実施形態における画像処理を示すフローチャートである。図１９に示すフローチャートでは、ステップＳ１０８〜ステップＳ１１２において光学フィルタ１４１，１４２，１４３を適宜切り替え全画像の撮像を終了するまで（ステップＳ１１２でＹｅｓ）撮像を繰り返す。それ以外の処理は図１１，１７に示すフローチャートと同様であるので、同一のステップ番号を付し詳細な説明を省略する。

このような第３の実施形態のような構成によれば、第１、第２の実施形態と同様に高精度に位置合わせされた、所望の波長帯域の成分のみを含む画像を取得することができる。また、光学系（撮像部）の数を減らしてシステムを簡略化することができるので、被写体の動きや変形が少ない場合に効果的である。

＜第３の実施形態の変形例＞
なお、上述した第３の実施形態のように単一の撮像光学系とこれに対応した単一の撮像素子を備える態様において、複数の光学フィルタを切り替えるのではなく図１４，１５に示すような単一の光学フィルタ及び開口度調整用の光学部材を用いることにより、取得する画像における第１波長帯域の成分と第２波長帯域の成分の比率を変化させてもよい。

＜計測の例＞
次に、本発明の画像処理装置、撮像装置、及び画像処理方法を用いた計測の例について説明する。

＜農林水産業における計測の例＞
本発明により取得した「高精度に位置合わせされ、所望の波長帯域の成分のみを含む複数の画像」を用いて、植物や作物の生育状況、河川や海域の栄養状況等を示す指標を算出することができる。例えば植生指標としてＮＤＶＩ（Normalized Difference Vegetation Index；正規化植生指標）を挙げることができる。ＮＤＶＩは、観察領域（関心領域）における可視域赤色波長帯域の反射率（信号強度）をＲとし、近赤外波長帯域の反射率をＮＩＲとしたときに、以下の式（３）で表すことができ、ＮＤＶＩが大きいほど植生の量及び活性が高いことが知られている。

ＮＤＶＩ＝（ＮＩＲ−Ｒ）／（ＮＩＲ＋Ｒ） ・・・（３）
なお、ＮＤＶＩを算出するには、上述した第１〜第３の実施形態において光学フィルタの第１，第２波長帯域を赤色波長帯域、近赤外波長帯域とすればよい。

また、植生指標の他の例としては、Ｒｅｄ Ｅｄｇｅ波長帯域の反射率をＲＥとし近赤外波長帯域の反射率をＮＩＲとしたときに以下の式（４）で表されるＮＤＲＥ（Normalized Difference Red Edge index；正規化レッドエッジ指数）を挙げることができる。

ＮＤＲＥ＝（ＮＩＲ−ＲＥ）／（ＮＩＲ＋ＲＥ） ・・・（４）
本発明の画像処理装置、撮像装置、及び画像処理方法は、光学フィルタの透過波長帯域や特定波長帯域等の条件を変更することにより、上述した例を含め各種の指標を算出することができる。また、算出した指標については、例えば撮像画像を指標の値に応じた色や明るさで表示したり地形データと重ね合わせたりすることで、植生の状況等指標の分布を把握することができる。上述のように本発明の画像処理装置、撮像装置、及び画像処理方法によれば高精度に位置合わせされた、所望の波長帯域の成分のみを含む画像を取得することができるので、それらの画像に基づいて高精度に計測を行うことができ、いわゆる「精密農業（Precision Farming）」に適用することができる。

＜医療機器における計測の例＞
本発明の画像処理装置、撮像装置、及び画像処理方法は、内視鏡を用いた狭帯域光観察に適用することもできる。例えば、粘膜表層の毛細血管観察用の紫色狭帯域光または青色狭帯域光を透過させる光学フィルタと、深部の血管を観察するための緑色狭帯域光を透過させる光学フィルタとを用い、これら狭帯域光を光源から照射して撮像した画像に基づいて、関心領域における深部の血管と毛細血管とのコントラスト及び粘膜の微細構造を強調した画像を生成することができる。同様に、波長帯域の異なる２つの赤外光（例えば、波長８００ｎｍ前後と９００ｎｍ前後）を特定波長帯域としてそれぞれ透過させる光学フィルタを用いて複数の画像を取得し、それら画像における信号強度に基づいて粘膜深部の血管や血流情報を強調した画像を生成することができる。このようにして、医療機器への適用の場合も上述した農林水産業の場合と同様に高精度に計測を行うことができる。

以上で本発明の各態様及び適用例に関して説明してきたが、本発明は上述した態様及び適用例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 画像処理システム
１００ 撮像部
１００Ａ 撮像部
１００Ｂ 撮像部
１１０ 第１撮像部
１１０Ａ 第１撮像部
１１０Ｂ 第１撮像部
１１１ 撮像レンズ
１１２ 光学フィルタ
１１２Ａ 領域
１１２Ｂ 領域
１１３ シャッタ
１１４ 撮像素子
１１５ ＡＦＥ
１１６ Ａ／Ｄ変換器
１１７ 制御部
１１７Ａ 制御部
１１７Ｂ 制御部
１１８ 光学フィルタ
１１８Ａ 領域
１１８Ｂ 領域
１１９ 光学部材
１１９Ａ 領域
１１９Ｂ 遮光領域
１２０ 第２撮像部
１２０Ａ 第２撮像部
１２２ 光学フィルタ
１２２Ａ 領域
１２２Ｂ 領域
１２３ 光学フィルタ
１２３Ａ 領域
１３０ 無線通信部
１３１ アンテナ
１４０ フィルタ板
１４１ 光学フィルタ
１４１Ａ 領域
１４１Ｂ 領域
１４２ 光学フィルタ
１４２Ａ 領域
１４２Ｂ 領域
１４３ 光学フィルタ
１４３Ａ 領域
１４３Ｂ 領域
２００ 本体部
２１０ 処理部
２１０Ａ 波長帯域指定部
２１０Ｂ 通信制御部
２１０Ｃ 撮像制御部
２１０Ｄ 画像入力部
２１０Ｅ 対応点検出部
２１０Ｆ 位置合わせ部
２１０Ｇ 混信除去部
２１０Ｈ 関心領域設定部
２１０Ｉ 計測部
２１０Ｊ 表示制御部
２１０Ｋ 記録制御部
２１１ 処理部
２１１Ｌ フィルタ切替部
２１２ アンテナ
２２０ 記録部
２３０ 表示部
２４０ 操作部
Ａ０１ 被写体
Ａ０２ 被写体
Ａ０３ 被写体
Ａ０４ 被写体
Ａ０５ 被写体
Ａ０６ 被写体
Ａ０７ 被写体
ＡＲ１ 矢印
ＡＲ２ 矢印
ＩＬ０ 画像
ＩＬ１ 画像
ＩＬ２ 画像
ＩＬ３ 画像
ＩＲ０ 画像
ＩＲ１ 画像
ＩＲ２ 画像
ＩＲ３ 画像
Ｌ１ 光軸
Ｓ１００〜Ｓ１９０ 画像処理方法の各ステップ

Claims (16)

1. 互いに重複しない複数の波長帯域の光で撮像された画像を少なくとも１つ含む複数の画像を入力する画像入力部であって、前記複数の波長帯域のうち少なくとも１つの波長帯域が画像間で共通する複数の画像を入力する画像入力部と、
   前記複数の画像にそれぞれ対応する複数の画像信号のうち前記少なくとも１つの共通している波長帯域の成分に基づいて、前記複数の画像どうしの対応点を検出する対応点検出部と、
   前記検出した対応点に基づいて前記複数の画像の位置合わせを行う位置合わせ部と、
   前記位置合わせを行った前記複数の画像に対し特定波長帯域と異なる波長帯域の光の影響を除去する混信除去部と、を備え、
   前記特定波長帯域は前記複数の波長帯域のうちのいずれかの波長帯域であって前記複数の画像のそれぞれについて異なる波長帯域である画像処理装置。
2. 前記画像入力部は、全ての画像が前記複数の波長帯域の光で撮像された複数の画像を前記複数の画像として入力する請求項１に記載の画像処理装置。
3. 前記複数の波長帯域のうちから前記特定波長帯域を指定する波長帯域指定部をさらに備える請求項１または２に記載の画像処理装置。
4. 前記影響を除去した前記複数の画像に基づいて被写体を計測する計測部を備える請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記計測部は、前記影響を除去した前記複数の画像のうちの一の画像に設定された第１の関心領域における前記特定波長帯域の信号強度と、前記影響を除去した前記複数の画像のうちの前記一の画像を除く他の画像において前記第１の関心領域に対応して設定された第２の関心領域における前記特定波長帯域の信号強度と、に基づいて前記被写体を計測する請求項４に記載の画像処理装置。
6. 前記第１の関心領域及び前記第２の関心領域を設定する関心領域設定部をさらに備える請求項５に記載の画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置と、
   撮像光学系と、
   前記撮像光学系の光路に挿入される複数の光学フィルタであって、前記複数の波長帯域の光を透過させる光学フィルタを少なくとも１つ含み、前記複数の波長帯域のうち少なくとも１つの波長帯域がフィルタ間で共通している複数の光学フィルタと、
   前記撮像光学系及び前記複数の光学フィルタを透過した光により複数の画像が結像される撮像素子と、を備える撮像装置であって、
   前記画像入力部は、前記撮像素子に結像された画像を前記複数の画像を構成する画像として入力する撮像装置。
8. 前記撮像光学系はそれぞれ独立した複数の撮像光学系であり、
   前記複数の光学フィルタのいずれかが前記複数の撮像光学系のいずれかの光路に挿入され、
   前記撮像素子は前記複数の撮像光学系にそれぞれ対応した複数の撮像素子であり、
   前記画像入力部は、前記複数の撮像光学系及び前記複数の光学フィルタを透過した光が前記複数の撮像素子に入射して結像された複数の画像を前記複数の画像として入力する請求項７に記載の撮像装置。
9. 前記複数の撮像素子による前記複数の画像の撮像タイミングを制御して前記複数の画像を同時に撮像させる撮像制御部をさらに備え、
   前記画像入力部は前記同時に撮像した前記複数の画像を入力する請求項８に記載の撮像装置。
10. 前記撮像光学系は単一の撮像光学系であり、
    前記撮像素子は前記単一の撮像光学系に対応した単一の撮像素子であり、
    前記単一の撮像光学系の光路に前記複数の光学フィルタのいずれかを挿入するフィルタ切替部をさらに備え、
    前記画像入力部は、前記単一の撮像光学系及び前記複数の光学フィルタのいずれかを透過した光が前記単一の撮像素子に入射して結像された画像を前記複数の画像を構成する画像として入力する請求項７に記載の撮像装置。
11. 前記少なくとも１つの光学フィルタは、単一の波長帯域の光を透過させる単一波長帯域光学フィルタであって互いに異なる波長帯域の光を透過させる単一波長帯域光学フィルタを複数組み合わせて構成された光学フィルタである請求項７から１０のいずれか１項に記載の撮像装置。
12. 前記複数の光学フィルタは波長帯域によって透過率が異なる請求項７から１１のいずれか１項に記載の撮像装置。
13. 前記複数の光学フィルタは前記撮像光学系の瞳の位置に挿入される請求項７から１２のいずれか１項に記載の撮像装置。
14. 前記複数の光学フィルタに対する撮像光学系の開口度を調節する光学部材をさらに備える請求項７から１３のいずれか１項に記載の撮像装置。
15. 前記撮像素子はモノクロ撮像素子である請求項７から１４のいずれか１項に記載の撮像装置。
16. 互いに重複しない複数の波長帯域の光で撮像された画像を少なくとも１つ含む複数の画像を入力する画像入力工程であって、前記複数の波長帯域のうち少なくとも１つの波長帯域が画像間で共通する複数の画像を入力する画像入力工程と、
    前記複数の画像にそれぞれ対応する複数の画像信号のうち前記少なくとも１つの共通している波長帯域の成分に基づいて、前記複数の画像どうしの対応点を検出する対応点検出工程と、
    前記検出した対応点に基づいて、前記複数の画像の位置合わせを行う位置合わせ工程と、
    前記位置合わせを行った前記複数の画像に対し特定波長帯域と異なる波長帯域の光の影響を除去する混信除去工程と、を有し、
    前記特定波長帯域は前記複数の波長帯域のうちのいずれかの波長帯域であって前記複数の画像のそれぞれについて異なる波長帯域である画像処理方法。