JP5435887B2

JP5435887B2 - 画像処理装置、方法及びプログラム

Info

Publication number: JP5435887B2
Application number: JP2008119075A
Authority: JP
Inventors: 洋明梨澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-04-30
Filing date: 2008-04-30
Publication date: 2014-03-05
Anticipated expiration: 2028-04-30
Also published as: JP2009272709A

Description

本発明は、マルチバンド画像を記録する画像処理装置、方法及びプログラムに関する。

透過率波長域が異なる複数のフィルタを用いて被写体を撮像することにより、被写体のスペクトル画像（マルチバンド画像）を取得することができるマルチバンド画像撮像装置（例えば、マルチバンドカメラ等）が近年実用化され始めている。

マルチバンドカメラは一般的なＲＧＢの３チャンネルのデジタルスチルカメラと比較して多くの情報量を取得することができ、被写体の分光データを精度良く推定できる。そのため、後段のホワイトバランス処理や異なるデバイスへのカラーマッチング処理を高精度に行えるというメリットがある。

しかしながらマルチバンドカメラには、データ量が増大するため処理速度の低下、メモリの圧迫といったデメリットもある。例えば６チャンネルのマルチバンドカメラを考えた場合、一般的な３チャンネルのデジタルスチルカメラの２倍のデータ量を保持する必要がある。更には、各画素において推定した分光データの形式で画像データを保持する場合、分光データを３６グリッドで格納するとしたらデジタルスチルカメラの１３倍のデータ量となり、実用的なサイズでなくなってしまうという問題もある。

そこで、分光データを効率よく保持する方法として特許文献１では、画像全体を分光データで保持するのではなく、縮小画像もしくは一部画像を分光データで保持し、併せてＲＧＢの全体画像を保持するという方法を提案している。また特許文献２では、画像全体を分光データで保持するが、後に画像内の指定された矩形領域のみ分光データでホワイトバランス等の処理を行うことで処理速度の低下を抑える方法を提案している。

また上述したように、マルチバンドカメラで取得した多チャンネルの分光データを用いると被写体の特性を表す情報が増えるため、ホワイトバランスをより高精度に行うことが可能となる。上記特許文献１では、縮小画像のＲＧＢ値と指定光源下でのＲＧＢ値とから補正係数を算出し、これを元画像の大きさに拡大することで全画素に対してホワイトバランス処理を行うようにしている。また上記特許文献２では、各画素において分光データから三刺激値、色度、色温度を算出してホワイトバランス処理を行うようにしている。

特開２００５−７８１７１号公報特開２００６−５４６７９号公報

特許文献１において、分光データとして保持する縮小画像を生成する際、撮影者にとって重要である領域も、重要でない領域も区別することがないため、分光データで保持したい重要である領域が意図していたよりも小さくなってしまうようなことがある。また縮小画像の他に一部画像を分光データで保持する方法が述べられているが、一部を切り出す方法の具体的方法については述べられていない。また縮小画像からホワイトバランス処理を行う際は、分光データから一旦ＲＧＢ値を算出し、指定光源下でのＲＧＢ値と比較しホワイトバランス補正係数を算出するため、分光データレベルで補正係数を算出する場合と比較して精度が低下する恐れがある。

また特許文献２では画像内の指定された矩形領域のみ分光データでホワイトバランス処理を行うが、指定はユーザがソフトウェアのユーザー・インターフェースを用いて手動で行うため、操作が煩雑となる。また矩形指定を想定しているためホワイトバランス処理に使用したい領域と使用したくない領域との切り分けが困難である。

本発明は係る実情に鑑み、重要な領域のみを分光データで記録しデータ量を削減しつつ、ホワイトバランス処理を高精度かつ高速に行うことが可能な画像処理装置等の提供を目的とする。

本発明の画像処理装置は、複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得手段と、前記取得したマルチバンド画像の各画素の分光データを推定する分光データ推定手段と、撮影時の環境光の分光データを取得する環境光分光データ取得手段と、前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出手段と、前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出手段と、前記取得したマルチバンド画像の白とすべき領域を抽出する白とすべき領域抽出手段と、
前記取得したマルチバンド画像の特定領域及び白とすべき領域は前記分光反射率で、残りの領域は複数チャンネルの色信号に変換して、それぞれホワイトバランス処理のために記録する画像記録手段とを有することを特徴とする。
また、本発明の画像処理方法は、画像処理装置における画像処理方法であって、複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得ステップと、前記取得したマルチバンド画像の各画素の分光データを推定する分光データ推定ステップと、撮影時の環境光の分光データを取得する環境光分光データ取得ステップと、前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出ステップと、前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出ステップと、前記取得したマルチバンド画像の白とすべき領域を抽出する白とすべき領域抽出ステップと、前記取得したマルチバンド画像の特定領域及び白とすべき領域は前記分光反射率で、残りの領域は複数チャンネルの色信号に変換して、それぞれホワイトバランス処理のために記録する画像記録ステップとを有することを特徴とする。
また、本発明のプログラムは、画像処理装置の制御をコンピュータに実行させるためのプログラムであって、複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得ステップと、前記取得したマルチバンド画像の各画素の分光データを推定する分光データ推定ステップと、撮影時の環境光の分光データを取得する環境光分光データ取得ステップと、前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出ステップと、前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出ステップと、前記取得したマルチバンド画像の白とすべき領域を抽出する白とすべき領域抽出ステップと、前記取得したマルチバンド画像の特定領域及び白とすべき領域は前記分光反射率で、残りの領域は複数チャンネルの色信号に変換して、それぞれホワイトバランス処理のために記録する画像記録ステップとをコンピュータに実行させるためのプログラムである。

本発明によれば、マルチバンド撮影で取得したマルチバンド画像において重要である特定領域のみを分光反射率で記録することで、画像のデータ容量を小さく抑えることが可能となる。また、画像のデータ容量が小さく抑えられるため、ホワイトバランス処理を高速に行うことが可能となる。更に、特定領域の他に白領域も分光反射率で保持することで、ＲＧＢ領域用のホワイトバランス補正係数を白領域の分光反射率を用いて算出するようにすることができる。そのため、ＲＧＢ領域のホワイトバランス処理が通常のＲＧＢベースでのホワイトバランス処理よりも高精度に行うことが可能となる。

以下、本発明に係るマルチバンド画像処理装置、典型的にはマルチバンドカメラに関する好適な実施の形態について添付図面を参照して詳細に説明する。図１は本実施の形態に係るマルチバンド画像処理装置（以下、単に画像処理装置と称する）の構成を示すブロック図である。

＜装置構成＞
図１に示す画像処理装置１００おいて、レンズ１０１、マルチバンドのフィルタ１０２を透過した光信号は撮像素子１０３で結像し、Ａ／Ｄ変換部１０４でデジタル信号に変換される。Ａ／Ｄ変換部１０４で変換されたデジタル信号は、マルチバンドデータとしてマルチバンド画像生成部１１１に出力される。

ここで図２及び図３を用いて、マルチバンドのフィルタ１０２の構成について説明する。図２は本実施の形態で使用するフィルタ１０２に係るマルチバンドの分光透過率特性を示した図である。本実施の形態ではフィルタ１０２を、図２に示すａ〜ｆの６バンドの分光透過率特性を有するフィルタとして構成する。なお、使用するバンド数や分光透過率特性の種類に関してはこれに限るものではない。図３は、フィルタ１０２のイメージを示した図である。本実施の形態では撮像素子１０３を単板式の撮像素子としており、フィルタ１０２が有する各バンドに対応するフィルタは撮像素子１０３上に、所定パターンに準じて配置される。これにより、撮像素子１０３はマルチバンドデータを出力可能となる。このように単板式の撮像素子１０３にフィルタ１０２を配置した場合は、１回の撮影で全てのバンドのデータを取得できるメリットがある。

図１に戻り、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０５は、画像処理装置１００全体の処理を中央演算処理装置である。メモリ１０６は読み書き可能なメモリであり、バス１０７を介してＣＰＵ１０５と接続される。なお、バス１０７は、画像処理装置１００を構成する各部を接続する。

ＬＣＤ１０８は画像やメニュー表示等を表示し、ファインダ１０９はＬＣＤ１０８の電子ファインダ機能を使用することなしに、画角等を確認可能とするものである。ユーザ１５０は、ＬＣＤ１０８やファインダ１０９から得られる情報を基に、インタフェース１１０を介して、画像処理装置１００に制御指示を与えることができる。

マルチバンド画像生成部１１１は、Ａ/Ｄ変換部１０４で変換されたマルチバンドデータからマルチバンド画像を生成する。なお、単板式の撮像素子１０３を用いた場合のマルチバンドデータでは、各画素には１チャンネルのデータしか存在しない。そのため、残りのチャンネルは近隣画素から補間演算する等して生成する。補間演算の詳細な方法については従来から多数提案されているため詳細の説明は省略する。なお、撮像素子１０３及びマルチバンド画像生成部１１１が相まって、本発明でいうマルチバンド画像取得手段の一構成例に対応する。

分光推定部１１２は、マルチバンド画像生成部１１１で生成されたマルチバンド画像から被写体の分光を推定する。ここで分光推定処理について図４を用いて説明する。図４において、推定分光データ４０１は、フィルタ１０２が有するａ〜ｆに対応するフィルタを介して出力されたデータから推定される被写体の分光データを示している。この推定分光データ４０１は、ａ〜ｆのそれぞれのデータの中心の波長の点４０２〜４０７を３次スプライン補間等で結ぶことで推定することが可能である。なお、分光推定処理についてはこの方法に限るものではなく、例えば一般的に知られている重回帰分析による分光推定方法等を用いても構わない。分光推定部１１２は、推定した被写体の分光データを分光反射率算出部１１４に出力する。なお、分光推定部１１２は、本発明でいう分光データ推定手段の一構成例に対応する。

図１に戻り、環境光情報取得部１１３は、Ａ/Ｄ変換部１０４が変換したマルチバンド画像に基づき、分光反射率算出部１１４が使用する環境光分光データ（環境情報）を取得する。ここで、環境光情報取得部１１３の詳細構成について図５を用いて説明する。

図５に示すように環境光情報取得部１１３は、環境光分光データ算出部５０１、物体分光反射率データベース５０２、補助光源分光データデータベース５０３及び環境光分光データデータベースを有する。環境光分光データ算出部５０１は、入力されたマルチバンド画像データに基づき、５０２〜５０４のデータベースを参照することで環境光の分光データを取得する。下記において、本実施の形態において利用する環境光の分光データの取得方法を説明する。なお、環境光情報取得部１１３は、本発明でいう環境光分光データ取得手段の一構成例に対応する。

まず、環境光の分光データの取得方法として、分光反射率が既知の物体を撮影する方法について説明する。この方法では、物体分光反射率データベース５０２に、例えば反射率１８％グレーの均一輝度面の分光反射率データやマクベスチャートの分光反射率等を予め格納しておく。
次に、フィルタ１０２や撮像素子１０３によるマルチバンド撮影で、反射率１８％グレーの均一輝度面やマクベスチャートを撮影し、マルチバンド画像を生成する。
そして、環境光分光データ算出部５０１により、撮影した物体に応じた分光反射率を物体分光反射率データベース５０２から参照し取得して、これにより先のマルチバンド画像を除算することで、環境光の分光データを取得する。

次に、環境光の分光データの取得方法として、分光エネルギーが既知である補助光源を用いる方法について説明する。この方法では、まず、フィルタ１０２や撮像素子１０３により補助光源を用いずにマルチバンド撮影し、マルチバンド画像生成部１１１によりマルチバンド画像を生成する。
次に、補助光源を用いて、上記同様のマルチバンド撮影及びマルチバンド画像の生成を行う。
そして環境光分光データ算出部５０１により、先述した補助光源の有無による２種類のマルチバンド画像の差分データを算出し、それを補助光源分光データデータベース５０３より参照した補助光源の分光データで除算することにより環境光の分光データを取得する。

最後に、環境光の分光データの取得方法として、環境光分光データデータベース５０４に予め記録されている環境光の分光データを使用する方法について説明する。この方法では、環境光分光データデータベース５０４に、一般的な環境光、例えば、太陽光、日陰、くもり、白熱電球、白色蛍光灯等の分光データを格納しておく。
次に、撮像装置設定５０５から撮影時のホワイトバランス設定を取得する。
そして、環境光分光データ算出部５０１により、撮像装置設定５０５に設定されているホワイトバランス設定に基づき、環境光分光データデータベース５０４を参照し、参照する環境光の分光データを選択する。例えば、撮像装置設定５０５でホワイトバランス設定で太陽光と設定されている場合は、環境光分光データデータベース５０４から太陽光の分光データを選択し参照する。

図１に戻り、分光反射率算出部１１４は、分光推定部１１２で推定された分光データと環境光情報取得部１１３で取得した環境光の分光データとを用いることで、被写体の分光反射率を算出する。マルチバンド画像の各画素の分光データは、[被写体の分光反射率]×[環境光の分光データ]で求めることが可能である。よって、各画素の分光データを環境光の分光データで除算することにより、各画素での分光反射率を求めることが可能となる。なお、分光反射率算出部１１４は、本発明でいう分光反射率算出手段の一構成例に対応する。

特定領域抽出部１１５は分光反射率算出部１１４で得られたマルチバンド画像の分光反射率等に基づき、マルチバンド画像における特定領域を抽出する。白領域抽出部１１６は、前記特定領域の抽出と並行してマルチバンド画像における白領域を抽出する。

記録媒体１１７は分光反射率算出部１１４を介して生成された分光反射率等を含む画像を記録する。記録の際は、特定領域抽出部１１５で抽出した特定領域と白領域抽出部１１６で抽出した白領域については、分光反射率を記録し、特定領域もしくは白領域でない領域は分光反射率からＲＧＢ値に変換してから記録するようにする。

なお、マルチバンド画像生成部１１１、分光推定部１１２、環境光情報取得部１１３、分光反射率算出部１１４、特定領域抽出部１１５及び白領域抽出部１１６はバス１０７を介して相互に接続し、またＣＰＵ１０５やメモリ１０６とも接続する。これら各処理部による制御及びデータの読み書き等の処理は、ＣＰＵ１０５やメモリ１０６により実現される。

ホワイトバランス部１１８は、ホワイトバランス機能を有するソフトウェアである。ユーザ１５０は、インタフェース１１９（Ｉ／Ｆ）を介してソフトウェア上のホワイトバランス部１１８を用いて記録媒体１１７上に記録されているマルチバンド画像に対してホワイトバランスの処理を行うことができる。

＜動作説明＞
次に、上述のような構成を有する本実施の形態に係る画像処理装置１００の動作について、図６に示すフローチャートを用いて説明する。

まずステップＳ６０１においてマルチバンド撮影が行われ、撮像素子１０３により光信号を得る。次にステップＳ６０２において撮像素子１０３からのアナログの光信号を、Ａ／Ｄ変換部１０４によりデジタル信号（マルチバンドデータ）に変換する。

次にステップＳ６０３においてＡ／Ｄ変換部１０４からのマルチバンドデータに基づき、マルチバンド画像生成部１１１によりマルチバンド画像を生成する。次にステップＳ６０４においてマルチバンド画像生成部１１１からのマルチバンド画像に基づき、当該画像における被写体の分光データを推定する。

次にステップＳ６０５においてＡ／Ｄ変換部１０４からのマルチバンド画像等に基づき、環境光情報取得部１１３により環境光の分光データ（環境情報）を取得する。

次にステップＳ６０６において、分光推定部１１２で推定された分光データと環境光情報取得部１１３で取得した環境光の分光データとを用いて、被写体の分光反射率を算出する。

次にステップＳ６０７において、特定領域抽出部１１５により、マルチバンド画像における所定の特定領域の抽出を行い、並行してステップＳ６０８において、白領域抽出部１１６により、マルチバンド画像における白領域の抽出を行う。特定領域抽出処理及び白領域抽出処理の詳細は後述する。

次にステップＳ６０９において、マルチバンド画像における特定領域及び白領域と、その他の領域とを判別する。そして特定領域及び白領域と判別した場合はステップＳ６１０において、これら領域についてはそのまま分光反射率を記録する。一方、その他の領域と判別した場合はステップＳ６１１において、各画素における分光反射率をＲＧＢ値（色信号）に変換し、その後ステップＳ６１０において、ＲＧＢ値を記録する。さらに、先述した環境光情報取得部１１３で取得した環境光の分光データについても、分光反射率及びＲＧＢ値と併せて記録するようにする。

以上の処理を経ることで、特定領域もしくは白領域は分光反射率で、またそれ以外の領域はＲＧＢ値でマルチバンド画像を記録することが可能となる。

＜特定領域抽出＞
図６のステップＳ６０７に係る特定領域抽出処理について図７を用いて説明する。図７（ａ）においてまず、特定領域抽出部１１５の詳細構成を示す。

特定領域抽出部１１５は、分光反射率算出部１１４で得られた分光反射率等に基づき、特定領域を抽出する特定領域抽出手段である。本図に示すように特定領域抽出部１１５は、特定分光被写体領域抽出部７０１、顔領域抽出部７０２、合焦領域抽出部７０３及び特定被写体分光反射率データベース７０４を有する。本実施の形態においては、特定領域の抽出方法として、（１）特定分光被写体領域を特定領域とした抽出方法、（２）顔領域を特定領域とした抽出方法、（３）合焦位置領域を特定領域とした抽出方法の３つの方法を採用する。なお、特定領域の抽出方法は、これらの方法に限るものではない。以下、上記（１）〜（３）の各方法について説明する。

（１）特定分光被写体領域抽出
この方法は、予め特定被写体分光反射率データベース７０４に特定被写体の分光反射率を格納しておき、入力されたマルチバンド画像の各画素毎の分光反射率と比較・判別する方法である。特定被写体分光反射率データベース７０４に格納している特定被写体としては、幾つか考えられるが例えば、植物の緑、青空の青、人の肌等が対象となる。特定被写体分光反射率データベース７０４を参照する際には、撮像装置設定７０５に設定されている撮影モード、風景、ポートレートといった設定（撮影設定）に基づき、適切な分光反射率をデータベースから参照するようにする。例えば、撮影モードがポートレートであれば、人の肌の分光反射率を参照するように決定する。入力されたマルチバンド画像の各画素毎の分光反射率と特定被写体分光反射率データベース７０４から参照した分光反射率とを比較する方法としては幾つか考えられるが例えば、波長毎のＲＭＳ誤差（ＲＭＳＥｒｒｏｒ）を利用する方法が一般的である。

ＲＭＳ誤差の算出方法としては、例えば図８のように２つの分光反射率Ｒ₁（８０１；実線）、Ｒ₂（８０２；点線）のＲＭＳ誤差を算出する場合、任意の波長における各々の相対感度から減算にて誤差８０３を得るようにする。そして、この誤差を３８０ｎｍ〜７８０ｎｍまで１ｎｍ刻みで積分するようにする。積分について数式で表すと、下記の式（１）のようになる。

そして、このＲＭＳ誤差が、ある閾値以下であれば、入力されたマルチバンド画像の各画素の分光反射率は特定被写体の分光反射率と一致しているとみなすようにすれば、該画素は特定領域であると判別することができる。
このように、分光反射率を用いることで被写体が何であるかを高精度に特定することが可能となる。ここで人の肌の場合、人種差や個人差、また同一人物であっても部位によって分光反射率は異なるため誤認識の可能性がある。しかし、人の肌であれば、ある程度の傾向はあるため、閾値を制御してある程度一致していれば特定被写体であると判別しても、特定領域としての有効性はあると考えられる。

（２）顔領域抽出
この方法は、画像処理装置１００に搭載されている顔検出機能によって出力される領域を特定領域として判別する方法である。顔検出の方法については従来から様々な方法が開発されているため詳細の説明は省略するが、例えば、目、鼻、口といった顔を構成する部位の輝度ヒストグラムや色分布情報を用いて各部位を検出し顔領域を推定する方法がある。また、予め平均的な顔画像のテンプレートを持っていて、それと比較することによって顔識別するテンプレートマッチングによる検出方法等も有効である。この方法では、以上のようにして検出された顔領域を特定領域であると判別する。

（３）合焦位置領域抽出
この方法は、画像処理装置１００に搭載されているフォーカシング機能によって出力される領域を特定領域として判別する方法である。図９はファインダ１０９の構成を示した図である。図９において、ファインダ枠９０１は、分光反射率を求めた画像のサイズとほぼ同じ範囲を表しているとする。ファインダ枠９０１内に複数配置された枠９０２、９０３、９０４等は測距枠を表し、自動又はユーザ指定された枠で合焦位置となるようにフォーカシング制御が行なわれるようになるものである。なお、測距枠の数は図９に示した個数に限るものではない。ここで枠９０３を選択し、フォーカシング制御の結果、合焦位置となった枠９０３の位置が取得できたとする。この場合、合焦した位置の枠９０３を用いて画像内を領域分割するようにする。分割する方法としては幾つか考えられるが例えば、図１０のように分割する。そして枠９０３に対応する図１０の領域１００１が特定領域であると判別するようにする。また、枠９０４を選択した場合には、領域１００２が特定領域であると判別する。この方法では、以上のようにして合焦位置情報を基に特定領域であると判別する。

次に特定領域抽出部１１５による特定領域の抽出の処理の流れを図７（ｂ）に示すフローチャートを用いて説明する。

まずステップＳ７０１において画像処理装置１００は、特定領域の抽出方法として、特定分光被写体領域抽出、顔領域抽出、及び合焦位置領域抽出のうちのいずれが設定されているかを確認する。

次にステップＳ７０２、Ｓ７０４において、設定された抽出方法を判別する。ここで特定分光被写体領域抽出と判別された場合はステップＳ７０２を介してステップＳ７０３に進み、特定分光被写体領域抽出部７０１により処理を行う。また、顔領域抽出と判別された場合はステップＳ７０２、Ｓ７０４を介してステップＳ７０５に進み、顔領域抽出部７０２により処理を行う。また、合焦位置領域抽出と判別された場合はステップＳ７０２、Ｓ７０４を介してステップＳ７０６に進み、合焦領域抽出部７０３により処理を行う。そして、ステップＳ７０３、Ｓ７０５、Ｓ７０６の処理を終えたらばステップＳ７０９に進み、抽出した領域を保持するためにバス１０７上に領域に係る情報を出力し、処理を終了する。

＜白領域抽出＞
次に、図６のステップＳ６０８に係る白領域抽出処理について図１１を用いて説明する。本実施の形態では、特定領域の抽出（ステップＳ６０７）の処理と並行して、白領域抽出部１１６にて白領域の抽出を行う。白領域抽出はホワイトバランスを高精度に行うために必要な処理である。図１１は、白領域抽出部１１６による処理の流れを示すフローチャートである。以下、当該処理について説明する。

まずステップＳ１１０１において、白領域抽出部１１６は、分光反射率算出部１１４からの分光反射率を、各画素ごとに３刺激値（ＸＹＺ）に変換する。分光反射率Ｒから３刺激値ＸＹＺへの変換方法は、一般的に等色関数ｘ_t（λ）、ｙ_t（λ）、ｚ_t（λ）を用いて、次式（２）〜（４）により求める。

ここで、ｋは、下式とする。また積分∫ｖｉｓは可視波長域で取るものとする。

次にステップＳ１１０２において、白領域抽出部１１６は、３刺激値ＸＹＺを一般的な次式（５）、（６）を用いて、色度座標（ｘ，ｙ）に変換する。

次にステップＳ１１０３において、白領域抽出部１１６は、算出した色度座標（ｘ，ｙ）から色温度Ｔａ、黒体輻射軌跡との偏差Δｕｖを算出する。この算出方法についても幾
つか方法があるが例えば、先述した特許文献２では以下の方法が記載されている。

即ち、プランクの放射則によれば、黒体輻射の放射エネルギー・スペクトルｅ（λ，Ｔ）は、次式（７）によって求めることができ、この数式を用いることにより黒体輻射の各温度での波長毎の分光エネルギーを求めることができる。

λ：光の波長、Ｔ：放射体の絶対温度、ｈ：プランク定数、ｋ：ボルツマン定数、ｃ：真空中の光速とする。

そして、上述したように該波長毎の分光エネルギーと該波長の等色関数を乗算して得られた結果を、可視光領域の全体で総計（加算）して３刺激値を求め、色度座標が求まる。

このような方法によれば、色温度Ｔａに該当する色度座標を求めることができるわけであり、逆算を行うことにより色度座標から色温度Ｔａを求めることができる。なお、偏差Δｕｖの算出方法は周知技術であるため、ここでは説明を省略する。

次にステップＳ１１０４において、白領域抽出部１１６は、白領域を判別するための予め記録されている閾値を取得し、続いてステップＳ１１０５において白領域か否かの判別を行う。ステップＳ１１０５では、算出した偏差Δｕｖが前記取得した予め記録されてい
る閾値より大きい場合は白領域でないと判別し、該閾値以下である場合は白領域であると判別する。

次にステップＳ１１０６において、白領域抽出部１１６は、抽出した領域を保持するためにバス１０７上に白領域に係る情報を出力し、処理を終了する。

なお、図６のステップＳ６１１においても分光反射率からＲＧＢ値に変換することを述べたが、これについても、ステップＳ１１０１と同様に３刺激値ＸＹＺを経由して変換するのが一般的である。本実施の形態においても、分光反射率から３刺激値ＸＹＺへの変換方法は上述したステップＳ１１０１と同様の方法で行う。そして３刺激値ＸＹＺからＲＧＢ値への変換は、一般的には３×３マトリクス（ａ１１〜ａ３３）を用いて次式（８）により求める。

＜ホワイトバランス＞
次に、記録媒体２００に記録された特定領域及び白領域の分光反射率と、その他の領域に係るＲＧＢ値とを含む画像データ（以下、マルチバンド部分的分光画像と呼ぶ）のホワイトバランス処理について図１２に示すフローチャートを用いて説明する。

まずステップＳ１２０１において、ホワイトバランス部１１８は、記録したマルチバンド部分的分光画像を読み出す。

次にステップＳ１２０２において、ホワイトバランス部１１８は、特定領域のホワイトバランス処理を行うと共に、ステップＳ１２０３において白領域のホワイトバランス処理を行う。特定領域及び白領域のホワイトバランス処理は同一の処理であり、処理内容について以下、詳述する。

まずホワイトバランス部１１８は、ＣＰＵ１０５を介しホワイトバランス処理に用いる所望の環境光を指定し、メモリ１０６の一部に格納された環境光分光データベースから指定された環境光の分光データを読み出す。環境光分光データベースには予め、一般的な環境光、例えば、太陽光、日陰、くもり、白熱電球、白色蛍光灯等の分光データを格納してある。環境光を指定する方法としては、ソフトウェアＵＩ上でユーザによって指定する方法や、設定ファイルに予め環境光を記載しておいて、ホワイトバランス処理時に読み込む方法等が考えられるが、指定方法としてはこれらの限りではない。そして、図１３のように各画素の分光反射率（図１３（ａ））に該読み出した環境光の分光データ（図１３（ｂ））を乗算して、指定環境光下での分光データ「Ｐ（λ）×Ｒ（λ）」、即ち図１３（ｃ）を算出する。

続いてステップＳ１２０４において、ＲＧＢ領域のホワイトバランス処理を行うために、ＲＧＢ用ホワイトバランス補正係数の算出をする。続いてステップＳ１２０５において、ＲＧＢ用ホワイトバランス補正係数を用いてＲＧＢ領域のホワイトバランス処理を行う。

ここでステップＳ１２０４及びＳ１２０５の処理を詳述すると、まず入力されたマルチバンド部分的分光画像に付属されている撮影時の環境光の分光データを読み出す。次に図１４に示すように、該撮影時の環境光分光データ（図１４（ｂ））と白領域の各画素の分光反射率（図１４（ａ））とを乗算し、撮影環境光下での分光データ「Ｐ（λ）×Ｓ（λ）」、即ち図１４（ｃ）を算出する。そして、以上のようにして算出された該撮影環境光下分光データ「Ｐ（λ）×Ｓ（λ）」と指定環境光下分光データ「Ｐ（λ）×Ｒ（λ）」とをそれぞれＲＧＢｐｓ、ＲＧＢｐｒに変換する。分光反射率からＲＧＢ値への変換は、先述した画像記録の際の方法を用いて行う。ＲＧＢｐｓとは、撮影環境光下での分光データ「Ｐ（λ）×Ｓ（λ）」を式（２）〜（５）、式（８）を経てＲＧＢ形式に変換したものである。また、ＲＧＢｐｒとは、指定環境光下での分光データ「Ｐ（λ）×Ｒ（λ）」を同様の方法で、ＲＧＢ形式に変換したものである。そして該撮影環境光下ＲＧＢｐｓと該指定環境光下ＲＧＢｐｒから補正係数ｋＲ、ｋＧ、ｋＢを、次式（９）〜（１１）により算出するようにする。

なお、上記式（９）〜（１１）においては、補正係数を比率で算出しているが、差分として算出しても構わない。そして、上記の計算を白領域内の全画素について行い、最終的に全画素のｋＲ、ｋＧ、ｋＢを平均化した値、ｋＲａｖｅ、ｋＧａｖｅ、ｋＢａｖｅをＲＧＢ領域用の補正値として採用する。最後に、ＲＧＢ領域のホワイトバランス処理を次式（１２）〜（１４）によりホワイトバランス処理後のＲＧＢ値を算出する。

ここでＲ、Ｇ、Ｂはホワイトバランス処理前の画素値、Ｒ'、Ｇ'、Ｂ'はホワイトバランス処理後の画素値である。

これらの処理を経ることで、指定環境光下でのＲＧＢ領域の各画素値を算出できる。なお、本実施の形態では補正係数算出に比率を用いたが、ｖｏｎＫｒｉｅｓやＢｒａｄｆｏｒｄによる色順応予測モデルを用いて算出しても構わない。

以上、本実施の形態に係る画像処理装置１００によれば、マルチバンド撮影による分光画像に対して重要である特定領域のみを分光反射率で記録することで、画像のデータ容量を小さく抑えることが可能となる。また、画像のデータ容量が小さく抑えられるため、ホワイトバランス処理も高速に行うことが可能となる。更に、特定領域の他に白領域も分光反射率で保持することで、ＲＧＢ領域用のホワイトバランス補正係数を白領域の分光反射率を用いて算出することができる。そのため、その他ＲＧＢ領域のホワイトバランス処理を通常のＲＧＢベースでのホワイトバランス処理よりも高精度に行うことが可能となる。

なお、本実施の形態では、フィルタ１０２を複数のバンドのフィルタを含む構成とし、撮像素子１０３上に配置する構成としたが、図１５に示すような構成であっても構わない。即ち、複数のバンドのフィルタを円周上に均等に配置し、回転させることによりフィルタが切り替わるようにしたターレット（マルチバンドターレットと呼ぶ）として構成してもよい。図１６を参照して、マルチバンドターレットの使用方法を説明する。

図１６において、１６０１は被写体、１６０２はマルチバンドターレット、１０１はレンズ、１０３はＣＣＤやＣＭＯＳセンサーといった撮像素子、１６０３は被写体に照明する環境光である。ここで、レンズ１０１は被写体の像がマルチバンドターレット１６０２のうち１つのフィルタを通して撮像素子１０３に結像するように配置される。そして、レンズ１０１の前に配置されたマルチバンドターレット１６０２は撮影するたびに回転し、レンズ１０１前のマルチバンドターレット１６０２上のフィルタが入れ替わるように制御される。この制御を６回繰り返すことで、ａ〜ｆの６つの分光のデータを持つ画像が出力され、マルチバンドデータが得られることになる。なお、このようなマルチバンドターレット１６０２を用いた場合は、撮影画像の各画素が６チャンネルになるように撮影した６チャンネル画像それぞれについて同位置に配置されている画素データを同一の画素の異なるチャンネルとして扱うようにする。また、この構成においても、バンドの数を６とし、撮影画像の各画素が６チャンネルとなるようにているが、これよりも多い又は少ない複数チャンネルとしても構わない。

また、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

本発明の実施の形態に係るマルチバンド画像処理装置の構成を示すブロック図である。本発明の実施の形態で使用するフィルタに係るマルチバンドの分光透過率特性を示した図である。本発明の実施の形態で使用するフィルタのイメージを示した図である。本発明の実施の形態に係る画像処理装置による分光推定処理について説明する図である。本発明の実施の形態に係る画像処理装置が有する環境光情報取得部の詳細構成を説明する図である。本発明の実施の形態に係る画像処理装置の動作を説明するフローチャートである。本発明の実施の形態に係る画像処理装置による特定領域抽出処理について説明する図である。本発明の実施の形態に係る画像処理装置による特定領域抽出処理において生じる誤差について説明する図である。本発明の実施の形態に係る画像処理装置が有するファインダの構成を示した図である。本発明の実施の形態に係る画像処理装置による特定領域抽出処理を説明する図である。本発明の実施の形態に係る画像処理装置による白領域抽出処理を説明するフローチャートである。本発明の実施の形態に係る画像処理装置によるホワイトバランス処理を説明するフローチャートである。本発明の実施の形態に係る画像処理装置による、特定領域及び白領域についてのホワイトバランス処理を説明する図である。本発明の実施の形態に係る画像処理装置による、ＲＧＢ領域についてのホワイトバランス処理を説明する図である。本発明の実施の形態で使用するフィルタの変形例を示した図である。変形例に係るフィルタの使用方法を説明する図である。

符号の説明

１００画像処理装置
１０２フィルタ
１０３撮像素子
１０５ＣＰＵ
１０６メモリ
１１１マルチバンド画像生成部
１１２分光推定部
１１３環境光情報取得部
１１４分光反射率算出部
１１５特定領域抽出部
１１６白領域抽出部
１１７記録部
１１８ホワイトバランス部

Claims

複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得手段と、
前記取得したマルチバンド画像の各画素の分光データを推定する分光データ推定手段と、
撮影時の環境光の分光データを取得する環境光分光データ取得手段と、
前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出手段と、
前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出手段と、
前記取得したマルチバンド画像の白とすべき領域を抽出する白とすべき領域抽出手段と、
前記取得したマルチバンド画像の特定領域及び白とすべき領域は前記分光反射率で、残りの領域は複数チャンネルの色信号に変換して、それぞれホワイトバランス処理のために記録する画像記録手段とを有することを特徴とする画像処理装置。
前記特定領域抽出手段は、予め記録した特定被写体の分光反射率を用いて、前記マルチバンド画像における特定被写体を前記特定領域として抽出することを特徴とする請求項１に記載の画像処理装置。
前記特定被写体は、当該画像処理装置の撮影設定に応じて決定されることを特徴とする請求項２に記載の画像処理装置。
前記特定領域抽出手段は、顔検出機能を有し、検出した顔領域を前記特定領域として抽出することを特徴とする請求項１に記載の画像処理装置。
前記特定領域抽出手段は、合焦位置情報を基に前記特定領域を抽出することを特徴とする請求項１に記載の画像処理装置。
前記特定領域及び白とすべき領域については、前記分光反射率を用いてホワイトバランス処理を行い、前記残りの領域については、前記分光反射率と前記複数チャンネルの色信号とを用いてホワイトバランス処理を行うホワイトバランス手段を有することを特徴とする請求項１に記載の画像処理装置。
前記ホワイトバランス手段は、前記残りの領域については、前記白とすべき領域の分光反射率から得られたホワイトバランス補正係数を用いてホワイトバランス処理を行うことを特徴とする請求項６に記載の画像処理装置。
画像処理装置における画像処理方法であって、
複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得ステップと、
前記取得したマルチバンド画像の各画素の分光データを推定する分光データ推定ステップと、
撮影時の環境光の分光データを取得する環境光分光データ取得ステップと、
前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出ステップと、
前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出ステップと、
前記取得したマルチバンド画像の白とすべき領域を抽出する白とすべき領域抽出ステップと、
前記取得したマルチバンド画像の特定領域及び白とすべき領域は前記分光反射率で、残りの領域は複数チャンネルの色信号に変換して、それぞれホワイトバランス処理のために記録する画像記録ステップとを有することを特徴とする画像処理方法。
前記特定領域及び白とすべき領域については、前記分光反射率を用いてホワイトバランス処理を行い、前記残りの領域については、前記分光反射率と前記複数チャンネルの色信号とを用いてホワイトバランス処理を行うホワイトバランスステップを更に有することを特徴とする請求項８に記載の画像処理方法。
画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
複数のフィルタを用いてマルチバンド画像を取得するマルチバンド画像取得ステップと、
前記取得したマルチバンド画像の各画素の分光データを推定する分光データ推定ステップと、
撮影時の環境光の分光データを取得する環境光分光データ取得ステップと、
前記推定した分光データと前記取得した環境光の分光データとに基づき、前記取得したマルチバンド画像の分光反射率を算出する分光反射率算出ステップと、
前記取得したマルチバンド画像の特定領域を、所定の機能に応じて自動で抽出する特定領域抽出ステップと、
前記取得したマルチバンド画像の白とすべき領域を抽出する白とすべき領域抽出ステップと、
前記取得したマルチバンド画像の特定領域及び白とすべき領域は前記分光反射率で、残りの領域は複数チャンネルの色信号に変換して、それぞれホワイトバランス処理のために記録する画像記録ステップとをコンピュータに実行させるためのプログラム。
前記特定領域及び白とすべき領域については、前記分光反射率を用いてホワイトバランス処理を行い、前記残りの領域については、前記分光反射率と前記複数チャンネルの色信号とを用いてホワイトバランス処理を行うホワイトバランスステップを更にコンピュータに実行させる請求項１０に記載のプログラム。