JPWO2017051909A1 - 画像処理装置、画像処理プログラム、撮像装置、および撮像プログラム - Google Patents

Abstract

画像処理装置は、可視外の波長を通過帯域とするｎ種類（ｎは３以上の自然数）の波長帯域フィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを取得するデータ取得部と、可視外撮像データが示す画像内の複数の部分領域を設定する設定部と、複数の部分領域のそれぞれにおいて、通過帯域のそれぞれに対する光の強度を可視外撮像データから解析する解析部と、解析部による解析結果に基づいてｍ種類（ｍは２以上ｎ未満の自然数）の可視外撮像データを選択する選択部と、選択された可視外撮像データのそれぞれに、少なくとも一部の帯域が異なる可視波長帯域を関連付けて可視画像データを生成する画像生成部とを備える。

Description

本発明は、画像処理装置、画像処理プログラム、撮像装置、および撮像プログラムに関する。

互いに中心波長が異なる非可視の３波長帯のそれぞれに可視の３原色（ＲＧＢ）を割り当てる撮像システムが知られている（例えば、特許文献１参照）。

［特許文献１］特許第５０３４９５３号公報

物体は、対象物ごとに非可視の波長帯域における吸収スペクトルが異なる。このため、可視画像を生成するにあたりバンドパスフィルターの組み合わせが適切でない場合には、観察者にとって、複数の対象物を区別して認識するための弁別が良好なカラー画像を得ることができなかった。

本発明の第１の態様における画像処理装置は、可視外の波長を通過帯域とするｎ種類（ｎは３以上の自然数）の波長帯域フィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを取得するデータ取得部と、可視外撮像データが示す画像内の複数の部分領域を設定する設定部と、複数の部分領域のそれぞれにおいて、通過帯域のそれぞれに対する光の強度を可視外撮像データから解析する解析部と、解析部による解析結果に基づいてｍ種類（ｍは２以上ｎ未満の自然数）の可視外撮像データを選択する選択部と、選択された可視外撮像データのそれぞれに、少なくとも一部の帯域が異なる可視波長帯域を関連付けて可視画像データを生成する画像生成部とを備える。

本発明の第２の態様における画像処理プログラムは、可視外の波長を通過帯域とするｎ種類（ｎは３以上の自然数）の波長帯域フィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを取得するデータ取得ステップと、可視外撮像データが示す画像内の複数の部分領域を設定する設定ステップと、複数の部分領域のそれぞれにおいて、通過帯域のそれぞれに対する光の強度を可視外撮像データから解析する解析ステップと、解析ステップによる解析結果に基づいてｍ種類（ｍは２以上ｎ未満の自然数）の可視外撮像データを選択する選択ステップと、選択ステップによって選択された可視外撮像データのそれぞれに、少なくとも一部の帯域が異なる可視波長帯域を関連付けて可視画像データを生成する画像生成ステップとをコンピュータに実行させる。

本発明の第３の態様における撮像装置は、可視外の波長を通過帯域とするｎ種類（ｎは３以上の自然数）の波長帯域フィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを生成するデータ生成部と、可視外撮像データが示す画像内の複数の部分領域を設定する設定部と、複数の部分領域のそれぞれにおいて、通過帯域のそれぞれに対する光の強度を可視外撮像データから解析する解析部と、解析部による解析結果に基づいてｍ種類（ｍは２以上ｎ未満の自然数）の可視外撮像データを選択する選択部と、選択部が選択した可視外撮像データの情報に基づいて可視外撮像データを加工する加工部とを備える。

本発明の第４の態様における撮像プログラムは、可視外の波長を通過帯域とするｎ種類（ｎは３以上の自然数）の波長帯域フィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを生成するデータ生成ステップと、可視外撮像データが示す画像内の複数の部分領域を設定する設定ステップと、複数の部分領域のそれぞれにおいて、通過帯域のそれぞれに対する光の強度を可視外撮像データから解析する解析ステップと、解析ステップによる解析結果に基づいて、ｍ種類（ｍは２以上ｎ未満の自然数）の可視外撮像データを選択する選択ステップと、選択ステップによって選択された可視外撮像データの情報に基づいて可視外撮像データを加工する加工ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

第１実施形態におけるデジタルカメラの構成を説明する図である。 撮像素子の各光電変換部上に配置されたバンドパスフィルターを説明する図である。 バンドパスフィルターの分光透過率特性を説明する図である。 第１実施形態における実施例に係る色弁別処理の対象を説明する図である。 ＮＩＲ１フィルターに対応する画像レイヤーデータを示す図である。 ＮＩＲ２フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ３フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ４フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ５フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ６フィルターに対応するレイヤー画像を示す図である。 解析領域における波長ごとの強度分布を示す図である。 得られた可視画像を示す図である。 比較画像を示す図である。 第２実施形態における実施例に係る色弁別処理の対象を説明する図である。 ＮＩＲ１フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ２フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ３フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ４フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ５フィルターに対応するレイヤー画像を示す図である。 ＮＩＲ６フィルターに対応するレイヤー画像を示す図である。 解析領域における波長ごとの強度分布を示す図である。 得られた画像を示す図である。 解析領域を指定するためのインターフェースの一例を示す図である。 デジタルカメラ１０における処理手順を示すフローチャート図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、第１実施形態に係る画像処理装置の一例としてのデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、可視外帯域の被写体光束を撮像することができる。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０と、撮像素子１００とを備える。撮影レンズ２０は、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、撮影レンズ２０および撮像素子１００に加えて、制御部２０１、Ａ／Ｄ変換回路２０２、ワークメモリ２０３、駆動部２０４、画像処理部２０５、システムメモリ２０６、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、および通信部２１１を備える。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。この場合には、カメラボディが画像処理装置として機能する。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、可視外帯域に受光感度を有する近赤外波長帯域用のイメージセンサである。本実施形態においては、その一例として、撮像素子１００は、近赤外帯域である８００ｎｍから２５００ｎｍのうち８００ｎｍから２０００ｎｍの範囲に受光感度を有する。なお、この近赤外帯域及び受光感度の範囲は、本例に限られない。例えば、近赤外帯域を広くとらえ、下限を７００ｎｍとしてもよい。また、近赤外帯域の上限を３０００ｎｍとしてもよい。

撮像素子１００は、二次元的に配列された複数の画素を備える。複数の画素のそれぞれは、光電変換部と、当該光電変換部に対応して設けられたバンドパスフィルターとを備える。詳しくは後述するが、本実施形態においては、６種類のバンドパスフィルターが存在し、複数の光電変換部のそれぞれには、後述するＮＩＲ１フィルター、ＮＩＲ２フィルター、ＮＩＲ３フィルター、ＮＩＲ４フィルター、ＮＩＲ５フィルター、およびＮＩＲ６フィルターのうち、いずれかのバンドパスフィルターが設けられている。

撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する出力信号としての画素信号をデジタル信号に変換する。そして、デジタル変換により得られた撮像データをワークメモリ２０３へ出力する。

上述のように、複数の光電変換部のそれぞれには６種類のバンドパスフィルターのいずれかが設けられている。上記撮像データは、６種類のバンドパスフィルターそれぞれを通過した被写体光束に応じて得られた撮像要素を含む。撮像要素の具体的な一例は、ＮＩＲ１フィルターが配置された画素における画素値データで構成される画像レイヤーデータである。つまり、本実施形態において、撮像データは、バンドパスフィルターそれぞれの可視外帯域の波長帯域に応じた６種類の画像レイヤーデータを含む。なお、画像レイヤーデータについて、詳細は後述する。

画像処理部２０５は、ワークメモリ２０３をワークスペースとして、撮像データに対して輝度補正処理等の種々の処理を施す。本実施形態において、画像処理部２０５は、可視外撮像データを取得する取得部としての役割を担う。画像処理部２０５は、可視外の波長帯域を通過帯域とする６つの波長帯域フィルターのそれぞれを通過した被写体からの光によって撮像された撮像データから、６つの画像レイヤーデータを抽出する。そして、画像処理部２０５は、当該６つの画像レイヤーデータそれぞれに対して、後述する補間処理を行い、可視外撮像データとしての画像レイヤーデータを生成する。なお、以下の説明において、波長帯域フィルターにおける波長の通過帯域を透過波長帯域と称する場合がある。

制御部２０１は、後述する操作部２０８とともに作用して設定部としての役割を担う。本実施形態においては、設定部は、ユーザの指示を受け付けて、画像レイヤーデータが示す画像内に解析領域としての部分領域を複数設定する。解析領域については後述する。

また、制御部２０１は、画像処理部２０５とともに作用して、解析部としての役割を担う。解析部は、設定された解析領域のそれぞれにおいて、各バンドパスフィルターの通過帯域のそれぞれに対する被写体からの光の強度を、画像レイヤーデータの強度値から解析する。ここで強度値は、例えば、それぞれの解析領域に含まれる画素の輝度値（画素値）の積分値である。なお、以下の説明において、強度値をスペクトル強度と称する場合がある。

さらに、制御部２０１は、画像処理部２０５とともに作用して、選択部としての役割を担う。詳細は後述するが、選択部は、解析部による解析結果に応じて、３種類の画像レイヤーデータを選択する。

画像処理部２０５は、画像生成部としての役割を担う。画像生成部は、選択部によって選択された可視外撮像データのそれぞれに、少なくとも一部の帯域が異なる可視波長帯域を関連付けて可視画像データを生成する。画像処理部２０５は、生成したカラー画像データをメモリカードＩＦ２０７に装着されているメモリカード２２０に記録する。

また、生成された可視画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に可視画像として表示される。なお、表示部２０９には、各種設定のためのメニュー画面も表示される。例えば、後述する観察対象物における解析領域の設定に関するメニュー画面が表示される。

システムメモリ２０６は、デジタルカメラ１０を制御するプログラム、各種パラメータ等を記録する。本実施形態において、システムメモリ２０６は、６つのバンドパスフィルターそれぞれの分光透過率データを記録する。分光透過率データには、透過率のピーク波長、波長ごとの透過率が含まれる。分光透過率データは、波長を変数とした関数の形式で記録されてもよいし、波長と透過率の関係を示すデータテーブルの形式で記録されてもよい。また分光透過率データは、それぞれ対応するバンドパスフィルターの識別子と関連付けて記録される。

操作部２０８は、ユーザの操作を受け付ける。操作部２０８は受け付けたユーザの操作に応じた操作信号を制御部２０１に出力する。例えば、観察対象物における解析領域の設定に関するメニュー画面が表示部２０９に表示された場合に、ユーザの操作に応じて、観察対象物における解析領域の設定に関する操作信号を制御部２０１に出力する。

また、操作部２０８はレリーズスイッチ、十字キー、ＯＫキー等の操作部材を含む。レリーズスイッチは、押下げ方向に２段階に検知できる押しボタンで構成されている。制御部２０１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ、ＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１００による被写体像の取得動作を実行する。なお、本実施形態においてＡＦは、赤外波長帯域で被写体像が合焦するように実行される。

通信部２１１は、他の装置と通信する。通信部２１１は、操作部２０８を介したユーザの操作に応じて撮像データを他の装置に送信する。他の装置として、パーソナルコンピュータ、スマートフォン、タブレット端末等の表示部を備えた装置、インターネット上のサーバ装置等を挙げることができる。

図２は、撮像素子１００の各光電変換部上に配置されたバンドパスフィルターの説明図である。６種類のバンドパスフィルターのそれぞれは、被写体光束のうち連続する近赤外帯域の一部を通過させる。通過させる帯域は、６種類のバンドパスフィルターで互いに異なる。図示されるように、本実施形態においては、６種類のバンドパスフィルターとしてＮＩＲ１フィルター、ＮＩＲ２フィルター、ＮＩＲ３フィルター、ＮＩＲ４フィルター、ＮＩＲ５フィルター、およびＮＩＲ６フィルターが設けられている。以下の説明では、６種類のバンドパスフィルターそれぞれを単にＮＩＲ１、ＮＩＲ２、ＮＩＲ３、ＮＩＲ４、ＮＩＲ５、およびＮＩＲ６と称する場合がある。

ＮＩＲ１からＮＩＲ６は、３画素×２画素（ｘ×ｙ）からなる単位６画素１０１に対してそれぞれ割り当てられる。図２では、ＮＩＲ１が上段左側の画素に、ＮＩＲ２が上段中央の画素に、そしてＮＩＲ３が上段右側の画素に割り当てられている。また、ＮＩＲ４が下段左側の画素に、ＮＩＲ５が下段中央の画素に、そしてＮＩＲ６が下段右側の画素に割り当てられている。なお、バンドパスフィルターの配置は、本例に限られない。

撮像素子１００の全体としては、２次元的に配列された複数の画素のそれぞれが離散的にＮＩＲ１からＮＩＲ６のいずれかを備えることになる。したがって、撮像素子１００は、入射する被写体光束をそれぞれの波長帯域に分離して検出する。換言すれば、撮像素子１００は、受光面に結像する被写体像を赤外波長帯域であって互いに異なる６つの波長帯域に分離して光電変換する。

画像処理部２０５は、撮像データからそれぞれのバンドパスフィルターに対応する画素値データから構成される画像レイヤーデータを分離する。具体的には、画像処理部２０５は、撮像データから、ＮＩＲ１が配置された画素における画素値データのみを含む画像レイヤーデータを抽出する。ＮＩＲ２からＮＩＲ６のそれぞれについても、同様に画像レイヤーデータを抽出する。このように、画像処理部２０５は、撮像データからバンドパスフィルターそれぞれに対応した６つの画像レイヤーデータを抽出する。

本実施形態においては、一つの画素上には６つのバンドパスフィルターのいずれかが配置される。したがって、例えば、ＮＩＲ１が配置されている画素の画素値データのみを抽出した画像レイヤーデータは、全画素に亘って画素値データが格納されてはおらず、画素値データが格納されていない画素が存在する。以降の説明では、画素値が格納されていない画素を欠損画素と称する場合がある。

画像処理部２０５は、各画像レイヤーデータの欠損画素における画素値を、周囲の画素における画素値から補間処理により算出して、全画素に亘って画素値データの欠損がない画像レイヤーデータを生成する。具体的には、例えば、補間処理対象となる欠損画素の周辺画素の画素値を用いて、バイリニア補間、バイキュービック補間により画素値を算出する。なお、補間処理方法は、これらの方法に限定されず、公知の補間処理方法を採用し得る。以降の説明において、単に画像レイヤーデータと記した場合には、特に断らない限り、上記の補間処理後の画像レイヤーデータを指す。また、本実施形態において、可視外撮像データは、当該補間処理後の画像レイヤーデータである。

図３は、バンドパスフィルターの分光透過率特性を説明する図である。特に、各バンドパスフィルターの分光透過率曲線を示す。横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。図３に示すように、ＮＩＲ１からＮＩＲ６の分光透過率曲線の形状のそれぞれは、全体的に略同一である。また、本実施形態において、ＮＩＲ１からＮＩＲ６の分光透過率は、それぞれ単峰性の分布であり、透過波長帯域の中心波長と、透過率のピーク波長とが実質的に同一である。そして、これら複数の波長帯域フィルターのうち、中心波長（またはピーク波長）が最も近い波長帯域フィルターどうし（ＮＩＲ１とＮＩＲ２、ＮＩＲ２とＮＩＲ３など）の透過波長帯域は、一部が互いに重なり合う。なお、分光透過率は単峰性に限らず様々な分布をとり得る。分光透過率が単峰性の分布であってもそれ以外の分布であっても、分布形状に合わせて中心波長を決定することができる。例えば、最大透過率の５０％となる透過率における分光透過率曲線の幅の中央の波長、または透過率が５０％における分光透過率曲線の幅の中央の波長を中心波長としてもよいし、単峰性の分布で対称性を有する場合は、上記のようにピーク波長を中心波長としてもよい。また、多峰性の分布である場合には、分光透過率を二次関数やガウス関数などの単峰性の関数でフィッティングして、当該フィッティングにより求まった透過率曲線のピーク波長を中心波長としてもよい。さらに、透過率を有する波長帯域の中央を中心波長としてもよい。なお、中心波長は、実質的に分光透過率の分布の中央を示していれば、上記の定義に限らない。

より詳細には、ＮＩＲ１は、約７００ｎｍから約１１００ｎｍに透過率を有し、透過率のピーク波長λａは９００ｎｍである。ＮＩＲ２は、約８００ｎｍから約１２５０ｎｍに透過率を有し、透過率のピーク波長λｂは１０５０ｎｍである。ＮＩＲ３は、約９５０ｎｍから約１４００ｎｍに透過率を有し、透過率のピーク波長λｃは１１５０ｎｍである。ＮＩＲ４は、約１１００ｎｍから約１５００ｎｍに透過率を有し、透過率のピーク波長λｄは１３００ｎｍである。ＮＩＲ５は、約１２００ｎｍから約１７００ｎｍに透過率を有し、透過率のピーク波長λｅは１４５０ｎｍである。ＮＩＲ６は、約１３５０ｎｍから約１８５０ｎｍに透過率を有し、透過率のピーク波長λｆは１６００ｎｍである。

ＮＩＲ１、ＮＩＲ２、ＮＩＲ３、ＮＩＲ４、ＮＩＲ５およびＮＩＲ６のそれぞれは、中心波長が隣り合う他のバンドパスフィルターの透過率のピーク波長で透過率を有する。図３に示したＮＩＲ１、ＮＩＲ２、およびＮＩＲ３の分光透過率曲線を参照して、具体的に説明すると、ＮＩＲ１は、ＮＩＲ２のピーク波長で透過率を有する。同様に、ＮＩＲ３は、ＮＩＲ２のピーク波長で透過率を有する。また、ＮＩＲ２は、ＮＩＲ１およびＮＩＲ３のピーク波長のそれぞれで透過率を有する。

なお、撮像素子１００が出力する画素信号の特性は、ＮＩＲ１からＮＩＲ６の分光透過率特性と、撮像素子１００の分光感度特性と、光源の分光特性、撮像レンズの分光特性等の合成により定まるが、本実施形態においては、説明を簡略化するために、バンドパスフィルターの分光透過率特性を撮像素子１００からの出力特性として説明する。もし、撮像素子１００の分光感度特性が分布を有する場合、これを考慮してＮＩＲ１からＮＩＲ６の分光透過率特性が設定され、撮像素子１００が出力する画素信号の特性が、図３に示すような曲線となる。すなわち、「波長帯域フィルター」には、バンドパスフィルターだけでなく、光源や撮像レンズ等の分光特性や撮像素子１００の分光感度特性によるフィルター効果が含まれてもよい。

図４は、第１実施形態における実施例に係る色弁別処理の対象を説明する図である。図４は、色弁別処理の対象を含む画像３００を示す。本実施例において色弁別処理の対象は、「水」である。同一形状の６つの容器である容器１から容器６に、それぞれ異なる量の水が入っている。図４において、水が存在する領域を各容器中の破線で囲んだ領域で示す。水の量は、容器１から容器６に向かって多くなっている。したがって、容器の底から水面までの距離、すなわち水の深さは、容器１から容器６に向かって深くなっている。

図４の各容器内に矩形で示された領域１から領域６は、ユーザにより指定された色弁別の対象領域における解析領域を意味している。ここで、解析領域は、対象となる画像において、弁別対象となる２つ以上の領域内の部分領域であり、スペクトル強度を演算するための画素値を取得する画素範囲を指定する領域である。なお、以降の説明において、解析領域は、矩形かつ固定された大きさの領域として説明するが、解析領域の形状および大きさはこれに限定されず、任意の形状および大きさとすることができる。解析領域の指定方法については後述する。

デジタルカメラ１０は、各バンドパスフィルターに対応する画像レイヤーデータにおける領域１から領域６の強度値を算出して、解析領域、および対応するバンドパスフィルターのピーク波長に関連付けてワークメモリ２０３に格納する。なお、以降の説明において、強度値、解析領域、およびバンドパスフィルターのピーク波長がそれぞれ関連付けられたデータを分光スペクトルデータと称する場合がある。

デジタルカメラ１０は、領域１から領域６に含まれる画素の画素値の情報を用いて作成した分光スペクトルデータの解析結果に応じて、可視画像データを合成するための画像レイヤーデータを選択する。このとき、デジタルカメラ１０は、中心波長が最も近いフィルターどうしの通過帯域の少なくとも一部が互いに重なり合う波長帯域フィルターのそれぞれを通過した光によって撮像された３つの画像レイヤーデータを選択する。詳細は後述する。

図５Ａから図５Ｆは、６つのバンドパスフィルターそれぞれに対応するレイヤー画像を示す図である。これらのレイヤー画像は、上述した補間処理後の画像レイヤーデータから生成される。図５Ａは、ＮＩＲ１に対応するレイヤー画像を示す。図５Ｂは、ＮＩＲ２に対応するレイヤー画像を示す。図５Ｃは、ＮＩＲ３に対応するレイヤー画像を示す。図５Ｄは、ＮＩＲ４に対応するレイヤー画像を示す。図５Ｅは、ＮＩＲ５に対応するレイヤー画像を示す。図５Ｆは、ＮＩＲ６に対応するレイヤー画像を示す。

図５Ａから図５Ｆに向かって、画像中の水の存在領域部分の輝度が徐々に低下していることがわかる。水は、近赤外波長帯域において、９７０ｎｍと１４５０ｎｍと１９４０ｎｍに固有の吸収帯があることが知られている。特に、ＮＩＲ５は１４５０ｎｍ近傍の波長帯域にしか透過率を有さないため、ＮＩＲ５に対応するレイヤー画像は、水の存在領域部分において他のレイヤー画像よりも低い輝度を示している。

図６は、解析領域における波長ごとの強度分布を示す図である。図６において、横軸は波長［ｎｍ］を示し、縦軸は正規化したスペクトル強度を示す。図５Ａから図５Ｆに示した６つのレイヤー画像に対応する画像レイヤーデータそれぞれについて、領域１から領域６におけるスペクトル強度を算出した。図６は、領域１から領域６それぞれにおいて算出したスペクトル強度を各バンドパスフィルターの透過率のピーク波長λａからλｆに対応付けてプロットした結果を示す。

ＮＩＲ１に対応する画像レイヤーデータから算出した領域１から領域６におけるスペクトル強度は、波長λａ（９００ｎｍ）の位置に示され、いずれも１．０であった。ＮＩＲ２に対応する画像レイヤーデータから算出した領域１から領域６におけるスペクトル強度は、波長λｂ（１０５０ｎｍ）の位置に示され、最大値は領域１の１．０であり、最小値は領域６の０．８８である。ＮＩＲ３に対応する画像レイヤーデータから算出した領域１から領域６におけるスペクトル強度は、波長λｃ（１１５０ｎｍ）の位置に示され、最大値は領域１の０．８であり、最小値は領域６の０．５２である。

ＮＩＲ４に対応する画像レイヤーデータから算出した領域１から領域６におけるスペクトル強度は、波長λｄ（１３００ｎｍ）の位置に示され、最大値は領域１の０．５５であり、最小値は領域６の０．１８である。ＮＩＲ５に対応する画像レイヤーデータから算出した領域１から領域６におけるスペクトル強度は、波長λｅ（１４５０ｎｍ）の位置に示され、最大値は領域１の０．１５であり、最小値は領域６の０．０６である。ＮＩＲ６に対応する画像レイヤーデータから算出した領域１から領域６におけるスペクトル強度は、波長λｆ（１６００ｎｍ）の位置に示され、最大値は領域１の０．１１であり、最小値は領域６の０．０６である。

本実施形態において、解析部は、ピーク波長λａからλｆごとに全ての解析領域において最大のスペクトル強度と最小のスペクトル強度との差を演算する。本実施形態において、解析部は、各バンドパスフィルターのピーク波長ごとに全ての解析領域において、スペクトル強度の最大値と最小値の差を算出する。そして、選択部は、スペクトル強度の最大値と最小値との差が最も大きくなる波長を透過波長帯域に含むバンドパスフィルターを基準波長帯域フィルターとして、対応する画像レイヤーデータを選択する。以下の説明において、基準波長帯域フィルターを基準フィルターと称し、基準波長帯域フィルターに対応する画像レイヤーデータを第１レイヤーデータと称する場合がある。

次に、選択部は、選択した基準フィルターの中心波長よりも中心波長が長波長側に位置するバンドパスフィルターに対応する画像レイヤーデータを選択する。以下の説明において、基準フィルターの中心波長よりも、中心波長が長波長側に位置するバンドパスフィルターに対応する画像レイヤーデータを第２レイヤーデータと称する場合がある。

最後に、選択部は、選択した基準フィルターの中心波長よりも中心波長が短波長側に位置するバンドパスフィルターに対応する画像レイヤーデータを選択する。以下の説明において、基準フィルターの中心波長よりも、中心波長が短波長側に位置するバンドパスフィルターに対応する画像レイヤーデータを第３レイヤーデータと称する場合がある。

選択部は、第２レイヤーデータおよび第３レイヤーデータの選択において、基準フィルターの分光透過率曲線に対して、分光透過率曲線の重なり量が最も大きいバンドパスフィルターに対応する画像レイヤーデータをそれぞれ選択する。換言すると、第２レイヤーデータを選択する場合には、基準フィルターよりも長波長側に中心波長を有し、基準フィルターとの間で分光透過率曲線どうしの重なり部分の面積が最も大きいバンドパスフィルターに対応する画像レイヤーデータを選択する。また、第３レイヤーデータを選択する場合には、基準フィルターよりも短波長側に中心波長を有し、基準フィルターとの間で分光透過率曲線どうしの重なり部分の面積が最も大きいバンドパスフィルターに対応する画像レイヤーデータを選択する。なお、選択部は、分光透過率曲線の重なり量ではなく、中心波長（またはピーク波長）の大小関係で第２レイヤーデータおよび第３レイヤーデータを選択してもよい。この場合、基準フィルターよりも長波長側であって中心波長が最も近い波長帯域フィルターに対応する画像レイヤーデータを第２レイヤーデータとして選択する。また、基準フィルターよりも短波長側であって中心波長が最も近い波長帯域フィルターに対応する画像レイヤーデータを第３レイヤーデータとして選択する。

図６に示した例では、λｄ＝１３００ｎｍにおいて、正規化スペクトル強度の最大値と最小値の差が０．３７と最も大きいため、デジタルカメラ１０は、第１レイヤーデータとして、ＮＩＲ４に対応する画像レイヤーデータを選択する。

次に、デジタルカメラ１０は、ＮＩＲ４の中心波長よりも中心波長が大きいＮＩＲ５、ＮＩＲ６のうち、ＮＩＲ４の分光透過率曲線に対して分光透過率曲線の重なる部分の面積が最も大きいバンドパスフィルターであるＮＩＲ５を選択する。そして、デジタルカメラ１０は、第２レイヤーデータとしてＮＩＲ５に対応する画像レイヤーデータを選択する。

最後に、デジタルカメラ１０は、ＮＩＲ４の中心波長よりも中心波長が小さいＮＩＲ１、ＮＩＲ２およびＮＩＲ３のうち、ＮＩＲ４の分光透過率曲線に対して分光透過率曲線の重なる部分の面積が最も大きいバンドパスフィルターであるＮＩＲ３を選択する。そして、デジタルカメラ１０は、第３レイヤーデータとしてＮＩＲ３に対応する画像レイヤーデータを選択する。

上述のように、デジタルカメラ１０は、第１レイヤーデータ、第２レイヤーデータ、および第３レイヤーデータを選択する。デジタルカメラ１０は、３つの画像レイヤーデータを選択したのち、それぞれに対してＲＧＢのカラーチャンネルを割り当てて、可視画像データを生成する。

図７Ａは、選択した画像レイヤーデータを合成した可視画像を示す図である。特に、ＮＩＲ３、ＮＩＲ４、およびＮＩＲ５に対応する画像レイヤーデータから合成された可視画像を示す。具体的には、第１レイヤーデータであるＮＩＲ４に対応する画像レイヤーデータに緑（Ｇ）のカラーチャンネルを割り当てた。そして、第２レイヤーデータであるＮＩＲ５に対応する画像レイヤーデータに赤（Ｒ）のカラーチャンネルを割り当て、第３レイヤーデータであるＮＩＲ３に対応する画像レイヤーデータに青（Ｂ）のカラーチャンネルを割り当てた。図７Ｂは、比較のための画像を示す図である。特に、波長帯域フィルターの１つであるＮＩＲ１に対応する近赤外のレイヤー画像を示す。

図７Ａおよび図７Ｂにおいて、破線で示した領域は水が存在する領域を示す。図７Ａでは、水の存在領域に、それぞれ青の色相をもつ画像が得られた。容器１から容器６に向かって、徐々に階調が変化していることがわかる。すなわち、水の深さに対する弁別性に優れた画像である。一方、図７Ｂでは、容器１から容器６の水の存在領域において、階調の変化はほとんど確認することができない。上述したように、水は、近赤外波長帯域において、９７０ｎｍと１４５０ｎｍと１９４０ｎｍに固有の吸収帯があることが知られている。図３を参照して説明したように、ＮＩＲ１は、水の吸収帯である９７０ｎｍを含む約７００ｎｍから約１１００ｎｍに透過率を有しているが、９７０ｎｍはＯＨ結合の第二倍音であるため、１４５０ｎｍ、１９４０ｎｍに比べて吸収が小さい。したがって、ＮＩＲ１を通過する波長帯域の近赤外光を水が吸収する量が少ないため、容器１から６に入った水の深さの差異が画素値の差異として検出されない。

このように、本実施形態では、各バンドパスフィルターに対応する画像レイヤーデータから得られたスペクトル強度の情報を用いて、全ての解析領域において、スペクトル強度の最大値と最小値との差が最も大きくなる波長を特定する。そして、当該波長において透過率を有するバンドパスフィルターに対応した画像レイヤーデータを含む３つの画像レイヤーデータを選択して、カラー画像データを生成することにより、色弁別性の高いカラー画像を得ることができる。

図８は、第２実施形態における実施例に係る色弁別処理の対象を説明する図である。図８には、「塩」、「砂糖」、および「合成甘味料」が、それぞれ破線で囲まれた領域で示されている。本実施例では、「砂糖」と「合成甘味料」を色弁別の対象とする。そして、「砂糖」と「合成甘味料」の領域内に示された矩形領域である領域ａおよび領域ｂは、解析領域を示す。

図９Ａから図９Ｆは、６つのバンドパスフィルターそれぞれにおけるレイヤー画像を示す図である。図９Ａは、ＮＩＲ１に対応するレイヤー画像を示す。図９Ｂは、ＮＩＲ２に対応するレイヤー画像を示す。図９Ｃは、ＮＩＲ３に対応するレイヤー画像を示す。図９Ｄは、ＮＩＲ４に対応するレイヤー画像を示す。図９Ｅは、ＮＩＲ５に対応するレイヤー画像を示す。図９Ｆは、ＮＩＲ６に対応するレイヤー画像を示す。

図９Ｄと図９Ｅを参照すると、図９Ｄから図９Ｅに向かって、「合成甘味料」の画像領域の輝度低下と、「砂糖」の画像領域の輝度低下は概ね同等である。一方、図９Ｅと図９Ｆを参照すると、図９Ｅから図９Ｆに向かって、「合成甘味料」の画像領域の輝度低下に対して、「砂糖」の画像領域の輝度低下は緩やかである。詳細は後述するが、本実施形態では、弁別対象とする画像領域間における輝度の勾配変化に着目して、画像レイヤーデータを選択する。

図１０は、解析領域における波長ごとの強度分布を示す図である。図１０において、横軸は波長［ｎｍ］を示し、縦軸は正規化したスペクトル強度を示す。図９Ａから図９Ｆに示した６つのレイヤー画像に対応する画像レイヤーデータそれぞれについて、領域ａおよび領域ｂにおけるスペクトル強度を算出した。図１０は、算出したスペクトル強度を各バンドパスフィルターの透過率のピーク波長に対応付けてプロットした結果を示す。

ＮＩＲ１に対応する画像レイヤーデータから算出した領域ａおよび領域ｂにおけるスペクトル強度は、波長λａ（９００ｎｍ）の位置に示され、領域ａは１．０、領域ｂは０．９６である。ＮＩＲ２に対応する画像レイヤーデータから算出した領域ａおよび領域ｂにおけるスペクトル強度は、波長λｂ（１０５０ｎｍ）の位置に示され、領域ａは０．９８、領域ｂは１．０である。ＮＩＲ３に対応する画像レイヤーデータから算出した領域ａおよび領域ｂにおけるスペクトル強度は、波長λｃ（１１５０ｎｍ）の位置に示され、領域ａは０．９２、領域ｂは０．９２である。

ＮＩＲ４に対応する画像レイヤーデータから算出した領域ａおよび領域ｂにおけるスペクトル強度は、波長λｄ（１３００ｎｍ）の位置に示され、領域ａは０．７８、領域ｂは０．８である。ＮＩＲ５に対応する画像レイヤーデータから算出した領域ａおよび領域ｂにおけるスペクトル強度は、波長λｅ（１４５０ｎｍ）の位置に示され、領域ａは０．４、領域ｂは０．５である。ＮＩＲ６に対応する画像レイヤーデータから算出した領域ａおよび領域ｂにおけるスペクトル強度は、波長λｆ（１６００ｎｍ）の位置に示され、領域ａは０．３、領域ｂは０．１８である。

本実施形態において、デジタルカメラ１０は、解析部によって解析された複数の部分領域のうちの少なくとも２つにおける波長に対するスペクトル強度が互いに逆転する波長に対応する波長帯域フィルターを通過した被写体からの光によって撮像された画像レイヤーデータを選択する。

図１０では、λｅ＝１４５０ｎｍにおける領域ａと領域ｂのスペクトル強度の大小関係に対して、λｆ＝１６００ｎｍにおける領域ａと領域ｂのスペクトル強度の大小関係が逆転している。このため、デジタルカメラ１０は、λｅおよびλｆを中心波長とするバンドパスフィルターに対応する画像レイヤーデータを、３つの画像レイヤーデータのうち、２つの画像レイヤーデータとして選択する。具体的には、デジタルカメラ１０は、１４５０ｎｍおよび１６００ｎｍを透過率のピーク波長とするバンドパスフィルターであるＮＩＲ５およびＮＩＲ６に対応する画像レイヤーデータを含む３つの画像レイヤーデータを選択する。

ここで、図６を用いて説明した基準フィルターとして、ＮＩＲ５とＮＩＲ６のいずれかを選択し得る。本実施形態において、中心波長がＮＩＲ６よりも長波長側に位置するバンドパスフィルターを備えていないため、デジタルカメラ１０は、基準フィルターとしてＮＩＲ５を選択する。したがって、デジタルカメラ１０は、ＮＩＲ５に対応する画像レイヤーデータを第１レイヤーデータとして選択する。そして、デジタルカメラ１０は、ＮＩＲ６に対応する画像レイヤーデータを第２レイヤーデータとして選択する。

デジタルカメラ１０は、３つ目の画像レイヤーデータの選択において、図６を用いて説明したように、基準フィルターの分光透過率曲線に対して分光透過率曲線の重なる部分の面積が最も大きいバンドパスフィルターに対応する画像レイヤーデータを選択する。具体的には、ＮＩＲ５の中心波長よりも中心波長が小さいバンドパスフィルターからＮＩＲ４を選択し、ＮＩＲ４に対応する画像レイヤーデータを第３レイヤーデータとして選択する。そして、図７Ａを用いて説明した同様の方法で、ＮＩＲ４、ＮＩＲ５およびＮＩＲ６に対応する画像レイヤーデータにＲＧＢのカラーチャンネルを割り当てて、可視画像データを生成する。

なお、本実施例では、基準フィルターとしてＮＩＲ５を選択したが、ＮＩＲ６よりも長波長側に中心波長を有するバンドパスフィルターを備える場合には、ＮＩＲ６も基準フィルターとして選択し得る。いずれのバンドパスフィルターを基準フィルターとして選択するかは、いずれの側において領域ａと領域ｂのスペクトル強度の差が大きいかによって決定してもよい。例えば、ＮＩＲ５の短波長側における当該スペクトル強度の差よりも、ＮＩＲ６の長波長側における当該スペクトル強度の差の方が大きい場合には、ＮＩＲ６を基準フィルターとして選択する。

図１１は、得られた画像を示す図である。図１１において、「砂糖」の領域は青色の色相をもち、「合成甘味料」の領域は青緑色（シアン）の色相をもつカラー画像が得られた。このように、本実施形態においては、対象物が互いに異なる物質からなる場合に、色相を変化させることにより弁別能を向上させたカラー画像データを生成することができる。

図１２は、解析領域を設定するためのインターフェースの一例を示す図である。図１２（ａ）は、解析領域の設定の初期状態における表示部２０９の表示の一例を示す。図１２（ａ）において、表示部２０９には、解析領域の設定のための領域選択画像３０１、選択カーソル３０２が表示されている。また、表示部２０９には、「解析領域の設定」、「選択カーソルを移動させて解析領域を選択してください。」、「解析領域を選択したら、ＯＫボタンを押してください。」、「全ての解析領域の指定が終了したら、完了ボタンをクリックしてください。」というメッセージと共に「完了」ボタンが表示されている。図１２（ｂ）は、解析領域の設定途中の状態における表示部２０９の表示の一例を示す。図１２（ｂ）において、表示部２０９には、図１２（ａ）に加えて、選択が決定された領域を示す選択決定表示３０３が表示されている。

画像生成部は、図２を参照して説明した補間処理後の６つの画像レイヤーデータから、ユーザが解析領域を設定するために表示する領域選択画像３０１の画像データを生成する。具体的には、画像生成部は、画像レイヤーデータの各画素において、各画像レイヤーデータ間で画素値を平均化した画像データを生成する。以降の説明において、各画像レイヤーデータ間で各画素について画素値を平均化した画像データを、平均化画像データと称する場合がある。図１２（ａ）および図１２（ｂ）に示したように、制御部２０１は、生成した画像データを領域選択画像３０１として表示部２０９に表示する。

図１２（ａ）に示したインターフェースにおいて、ユーザは、操作部２０８に含まれる十字キーを操作して、選択カーソル３０２を色弁別の対象となる領域へ移動する。次に、ユーザは、操作部２０８に含まれるＯＫキーを押下する。すると、図１２（ｂ）に示す様に、破線で表示されていた選択カーソル３０２の位置に、実線で表示された選択決定表示３０３が表示され、解析領域の指定が確定する。以降、同様の手順で、操作部２０８の十字キーおよびＯＫボタンを使用して、複数の解析領域を指定する。そして、全ての解析領域の指定が完了したら、ユーザは、操作部２０８の十字キーで選択カーソル３０２を「完了」ボタン上に移動させて、ＯＫボタンを押下する。すると、制御部２０１は、ユーザが指定した複数の領域を解析領域として設定する。以上で、解析領域の設定が完了する。

他の例としては、ユーザが指定した広い領域のなかで、予め定められた配列にある複数の領域を解析領域として設定してもよい。予め定められた配列の例として、二次元方向に一定間隔をあけて並んだ、一または複数画素からなる領域の配列などが挙げられる。この場合、ユーザが操作部２０８を用いて色弁別の対象としたいおおよその対象領域（例えば被写体の外周をなぞって形成された領域）を指定すると、制御部２０１は、そのなかで予め定められた配列にある複数の領域を解析領域として設定する。なお、対象領域は、ユーザが指定するのではなく、画像処理部２０５が画像から物体認識によって抽出した被写体の領域を用いてもよい。さらに、画像全体が色弁別の対象範囲として設定されている場合、制御部２０１は、画像全体において予め定められた配列にある複数の領域を解析領域として設定してもよい。

図１３は、デジタルカメラ１０における処理手順を示すフローチャート図である。本フローに示すプログラムは、システムメモリ２０６に格納されており、当該プログラムを制御部２０１が呼び出して実行することによって実現される。本フローは、例えば、デジタルカメラ１０の電源がオンされて、撮影可能状態になった時点で開始される。以下の本フローの説明において、デジタルカメラ１０を構成する要素は、いずれも制御部２０１による制御により動作する。また、本フローは、第１実施形態を用いて説明する。

ユーザによるレリーズスイッチのＳＷ２を操作部２０８が検知すると、制御部２０１の制御により、デジタルカメラ１０は被写体像の撮像データを取得してワークメモリ２０３に格納する（ステップＳ１０１）。図１を参照して説明したように、当該撮像データは、６つのバンドパスフィルターそれぞれに対応する欠損画素を含む画像レイヤーデータが含まれる。

画像処理部２０５は、撮像データをワークメモリ２０３より読み込む。そして、画像処理部２０５は、撮像データから各バンドパスフィルターに対応する画像レイヤーデータを抽出する。そして、画像処理部２０５は、抽出した画像レイヤーデータそれぞれについて、画素値データの欠損画素の補間処理を実行して、全画素に画素値データを有する画像レイヤーデータを生成する（ステップＳ１０２）。そして、生成した画像レイヤーデータをワークメモリ２０３に格納する。

画像処理部２０５は、ステップＳ１０２で生成した画像レイヤーデータから、ユーザが解析領域を設定するための画像としての領域選択画像３０１の画像データを生成する（ステップＳ１０３）。そして、領域選択画像３０１の画像データをワークメモリ２０３に格納する。

制御部２０１は、ワークメモリ２０３から領域選択画像３０１の画像データを呼び出して、表示部２０９に領域選択画像３０１を表示する。そして、図１２を参照して説明したように、制御部２０１は、ユーザからの指示を受け付けて、領域選択画像３０１上で複数の部分領域を解析領域として設定する（ステップＳ１０４）。

解析領域を設定すると、制御部２０１は、画像レイヤーデータごとに解析領域内における画素の画素値の積分値を演算して、分光スペクトルデータを作成してワークメモリ２０３に格納する。

制御部２０１は、分光スペクトルデータの解析を行う（ステップＳ１０５）。具体的には、図６を参照して説明したように、制御部２０１は、設定した全ての解析領域においてスペクトル強度の最大値と最小値との差が最も大きくなる波長を割り出す。

制御部２０１は、ステップＳ１０５での分光スペクトルデータの解析により割り出した波長を透過波長帯域に含むバンドパスフィルターを基準フィルターとして選択する。そして、当該基準フィルターに対応する画像レイヤーデータを基準として、６つの画像レイヤーデータから３つの画像レイヤーデータを選択する（ステップＳ１０６）。具体的には、図６を参照して説明したように、基準フィルターの分光透過率曲線に対して、分光透過率曲線の重なりが最も大きなバンドパスフィルターに対応する画像レイヤーデータを選択する。

制御部２０１の制御により、画像処理部２０５は、選択された３つの画像レイヤーデータから、カラー画像データを生成する（ステップＳ１０７）。具体的には、３つの画像レイヤーデータそれぞれにＲＧＢを割り当ててカラー画像データを生成する。そして、画像処理部２０５は、生成したカラー画像データをワークメモリ２０３に格納する。最後に、制御部２０１は、ＬＣＤ駆動回路２１０を介して、生成したカラー画像データを表示部２０９にカラー画像として表示させて（ステップＳ１０８）、本フローを終了する。

以上の説明では、一例として６つのバンドパスフィルターを有するデジタルカメラ１０を用いて説明したが、バンドパスフィルターを３つ以上有していればよい。これは、複数の色からなるカラーの可視画像データを生成するためには、少なくとも２つの画像レイヤーデータのそれぞれにカラーチャンネルを割り当てる必要があり、バンドパスフィルターの選択性を考慮すると、それよりも多い３つ以上のバンドパスフィルターが必要となるからである。

以上の説明では、ＲＧＢの３色に基づくカラーの可視画像データを生成するために、６つのバンドパスフィルターに対応する画像レイヤーデータから３つの画像レイヤーデータを選択して、可視画像データを生成する例を用いて説明した。しかし、選択する画像レイヤーデータの数は、備えられたバンドパスフィルターの種類よりも少なければよい。例えば、可視画像データを生成するために、６つのバンドパスフィルターに対応する画像レイヤーデータから４つの画像レイヤーデータを選択してもよいし、５つの画像レイヤーデータを選択してもよい。４つ以上の画像レイヤーデータを選択する場合には、例えば、４番目以降の画像レイヤーデータに、黄（Ｙ）やシアン（Ｃ）など他のカラーチャンネルを割り当ててもよい。一方、上記のように、２つの画像レイヤーデータを選択してそれぞれにカラーチャンネルを割り当ててもよい。すなわち、選択部は、ｎ種類（ｎは３以上の自然数）のバンドパスフィルターに対応する可視外撮像データ（画像レイヤーデータ）から、ｍ種類（ｍは２以上ｎ未満の自然数）のバンドパスフィルターに対応する可視外撮像データ（画像レイヤ―データ）を選択することができる。

以上の説明では、可視画像データの生成において、基準フィルターに対応する第１レイヤーデータに緑（Ｇ）、第２レイヤーデータに赤（Ｒ）、第３レイヤーデータに青（Ｂ）を割り当てた。しかし、カラーチャンネルの割り当てはこの例に限定されず、良好な色弁別性を実現するという観点から、カラーチャンネルの割り当てを適宜変更し得る。また、カラーチャンネルとして、例えば、シアン（Ｃ）マゼンタ（Ｍ）、黄（Ｙ）などのＲＧＢ以外を割り当ててもよい。

以上の説明では、一例として撮像素子１００の１画素につき１種類のバンドパスフィルターが配置されたマルチバンドパスフィルターを用いて説明したが、１回の撮影につき、１種類のバンドパスフィルターを全画素に対して適用して、バンドパスフィルターの種類ごとに複数回撮影することにより、各バンドパスフィルターを通過した被写体からの光で形成される光学像から可視外撮像データを生成して、取得してもよい。これにより、上述の補間処理が不要となり、補間ノイズのない可視画像を生成することができる。

以上の説明では、設定部は、ユーザからの指示を受け付けて解析領域を設定したが、予め定められた特徴量が予め定められた条件を満たす領域を解析領域として設定するように構成されてもよい。例えば、各画像レイヤーデータと平均化画像データとの差分データを算出することにより、特徴量としての画素値の変化が全ての画像レイヤーデータに亘って予め定められた閾値を超える領域を解析領域として自動設定してもよい。

以上の説明では、３つの画像レイヤーデータの選択の例として２つの実施形態を記載したが、全ての解析領域においてスペクトル強度の最大値と最小値の差が予め定められた閾値を超えた波長を透過波長帯域に含むバンドパスフィルターに対応する画像レイヤーデータを含むように選択してもよい。この場合には、１度の撮影で取得した画像データにおいて、選択される３つの画像レイヤーデータの組が複数決定され得るため、複数のカラー画像が生成され得る。また、３つの画像レイヤーデータの選択において、全ての解析領域におけるスペクトル強度の最大値と最小値の差ではなく、全ての解析領域におけるスペクトル強度の分散が最も大きくなる波長、または全ての解析領域におけるスペクトル強度の分散が予め定められた閾値を超えた波長を透過波長帯域に含むバンドパスフィルターに対応する画像レイヤーデータを基準としてもよい。

以上の説明では、画像処理装置の一例としてのデジタルカメラ１０が可視外撮像データを得るための構成として撮影レンズ２０、撮像素子１００、画像処理部２０５等を備えたが、これらの構成を備えなくてもよい。他のデジタルカメラ等の撮像装置により生成された可視外撮像データを取得してもよい。

以上の説明では、デジタルカメラ１０は、選択部で選択した可視外撮像データから可視画像データを生成するまでの処理を行う例を用いて説明した。しかし、デジタルカメラ１０は、可視外撮像データの選択までを実行し、図１３を用いて説明したステップＳ１０７、Ｓ１０８の工程を外部の画像処理装置で実行するように構成してもよい。この場合に、デジタルカメラ１０は、選択された可視外撮像データのヘッダーに選択部で選択されたことを示す情報をメタデータとして付加する。当該可視外撮像データへメタデータを付加する加工は、加工部が行う。ここで、画像処理部２０５は、加工部として機能する。画像処理部２０５は、選択した３つの画像レイヤーデータに対して、第１レイヤーデータ、第２レイヤーデータ、第３レイヤーデータであることを識別できる情報をメタデータとして付加する。これにより、外部の画像処理装置で可視画像データを生成する場合に、選択された可視外撮像データを識別することができる。そして、画像処理部２０５は、当該メタデータを付加した画像レイヤーデータを、メモリカード２２０に保存する。ユーザは、メモリカード２２０に保存された画像レイヤーデータを、外部の画像処理装置で読み込み、カラーチャンネルの割り当て処理を行って可視画像データを生成することができる。また、外部の画像処理装置との間での当該画像レイヤーデータの受け渡しは、通信部２１１を介して行ってもよい。さらに、画像処理部２０５は、選択されなかった可視外撮像データを破棄してもよい。これにより、メモリカード２２０の記憶容量を節約することができる。

以上の説明では、非可視の波長帯域として近赤外波長帯域を例に説明したが、他の波長帯域においても同様の処理を適用することができる。例えば、２００ｎｍから３８０ｎｍの波長帯域の紫外波長帯域において同様の処理を適用し得る。これにより、紫外波長帯域に吸収帯をもつ観察対象物においても、観察者にとって色弁別が良好な画像を生成することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、１０１ 単位６画素、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ ワークメモリ、２０４ 駆動部、２０５ 画像処理部、２０６ システムメモリ、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ 通信部、２２０ メモリカード、３００ 画像、３０１ 領域選択画像、３０２ 選択カーソル、３０３ 選択決定表示

Claims (12)

1. 可視外の波長を通過帯域とする少なくともｎ種類（ｎは３以上の自然数）のバンドパスフィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを取得するデータ取得部と、
   前記可視外撮像データが示す画像内の複数の部分領域を設定する設定部と、
   前記複数の部分領域のそれぞれにおいて、前記通過帯域のそれぞれに対する前記光の強度を前記可視外撮像データから解析する解析部と、
   前記解析部による解析結果に基づいてｍ種類（ｍは２以上ｎ未満の自然数）の前記可視外撮像データを選択する選択部と、
   選択された前記可視外撮像データのそれぞれに、異なる可視波長帯域を関連付けて可視画像データを生成する画像生成部と
   を備える画像処理装置。
2. 前記選択部は、中心波長が最も近いフィルターどうしの前記通過帯域の少なくとも一部が互いに重なり合う前記バンドパスフィルターのそれぞれを通過した前記光によって撮像された、ｍ種類の前記可視外撮像データを選択する請求項１に記載の画像処理装置。
3. 前記選択部は、前記複数の部分領域どうしの前記強度の差が最も大きくなる波長に対応する前記バンドパスフィルターを通過した前記光によって撮像された前記可視外撮像データを少なくとも選択する請求項１または２に記載の画像処理装置。
4. 前記選択部は、同一波長での前記複数の部分領域どうしの前記強度の分散が最も大きくなる波長に対応する前記バンドパスフィルターを通過した前記光によって撮像された前記可視外撮像データを少なくとも選択する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記選択部は、前記複数の部分領域のうちの少なくとも２つにおける、波長に対する前記強度が互いに逆転する波長に対応する前記バンドパスフィルターを通過した前記光によって撮像された前記可視外撮像データを少なくとも選択する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記選択部は、選択した前記可視外撮像データに対応する前記バンドパスフィルターを基準フィルターとして、前記基準フィルターよりも前記通過帯域の中心波長が大きい前記バンドパスフィルターのうち、前記基準フィルターとの波長に対する透過率の分布の重なりが最も大きい前記バンドパスフィルターと、前記基準フィルターよりも前記通過帯域の中心波長が小さい前記バンドパスフィルターのうち、前記基準フィルターとの波長に対する透過率の分布の重なりが最も大きい前記バンドパスフィルターを通過した前記光によって撮像された前記可視外撮像データのいずれかを少なくとも選択する請求項３から５のいずれか１項に記載の画像処理装置。
7. 前記設定部は、ユーザの指示を受け付けて前記複数の部分領域を設定する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記設定部は、予め定められた特徴量が予め定められた条件を満たす領域を前記複数の部分領域として設定する請求項１から６のいずれか１項に記載の画像処理装置。
9. 前記画像生成部は、選択された複数の前記可視外撮像データの組を複数決定してそれぞれの組に対応する前記可視画像データを生成する請求項２に記載の画像処理装置。
10. 可視外の波長を通過帯域とするｎ種類（ｎは３以上の自然数）のバンドパスフィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを取得するデータ取得ステップと、
    前記可視外撮像データが示す画像内の複数の部分領域を設定する設定ステップと、
    前記複数の部分領域のそれぞれにおいて、前記通過帯域のそれぞれに対する前記光の強度を前記可視外撮像データから解析する解析ステップと、
    前記解析ステップによる解析結果に基づいてｍ種類（ｍは２以上ｎ未満の自然数）の前記可視外撮像データを選択する選択ステップと、
    前記選択ステップによって選択された前記可視外撮像データのそれぞれに、異なる可視波長帯域を関連付けて可視画像データを生成する画像生成ステップと
    をコンピュータに実行させる画像処理プログラム。
11. 可視外の波長を通過帯域とする少なくともｎ種類（ｎは３以上の自然数）のバンドパスフィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを生成するデータ生成部と、
    前記可視外撮像データが示す画像内の複数の部分領域を設定する設定部と、
    前記複数の部分領域のそれぞれにおいて、前記通過帯域のそれぞれに対する前記光の強度を前記可視外撮像データから解析する解析部と、
    前記解析部による解析結果に基づいてｍ種類（ｍは２以上ｎ未満の自然数）の前記可視外撮像データを選択する選択部と、
    前記選択部が選択した前記可視外撮像データを加工する加工部と
    を備える撮像装置。
12. 可視外の波長を通過帯域とする少なくともｎ種類（ｎは３以上の自然数）のバンドパスフィルターのそれぞれを通過した被写体からの光によって撮像された可視外撮像データを生成するデータ生成ステップと、
    前記可視外撮像データが示す画像内の複数の部分領域を設定する設定ステップと、
    前記複数の部分領域のそれぞれにおいて、前記通過帯域のそれぞれに対する前記光の強度を前記可視外撮像データから解析する解析ステップと、
    前記解析ステップによる解析結果に基づいて、ｍ種類（ｍは２以上ｎ未満の自然数）の前記可視外撮像データを選択する選択ステップと、
    前記選択ステップによって選択された前記可視外撮像データを加工する加工ステップと
    をコンピュータに実行させる撮像プログラム。