JP6946049B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。

非特許文献１には、画像の色情報やエッジ成分等の特徴に基づき、画像内の様々な物体について、ほぼ同じような色がなだらかに続く部分は同じ物体を表す領域と判断し、急激に色が変化する部分は他の物体との境界領域と判断する技術が開示されている。これにより、非特許文献１の記載の技術によれば、それぞれの物体の領域を特定することが可能となる。また、特許文献１には、被写体領域として例えば空の領域を抽出する場合において、空の青色と空の領域には殆どエッジ成分が含まれないという特徴量を基に、空領域を認識する技術が開示されている。その他、デジタルカメラは、画質調整機能の一つとして、画像の色を標準的な色から大きく変更する等して、例えば空の色を青から紫に変更したり、色の彩度を極端に大きくしたりするような機能を有していることがある。

Comaniciu,D. :Meer,P., "Robust analysis of feature spaces: color image segmentation" , Computer Vision and Pattern Recognition, 1997. Preceedings. , 1997 IEEE Computer Society Conference on Volume, Issue, 17-19 Jun 1997, Page:750-755．

特開２００９−１１０１３７号公報

しかしながら、画質調整機能等により、例えば画像の色等の特徴が標準的な値から大きく変更されているような場合、特許文献１に記載の技術において例えば空領域を認識する際に、本来、空である領域を空として正しく認識できないことがある。

そこで、本発明は、色等の画像の特徴が変更された画像であっても、正しい領域認識を行えるようにすることを目的とする。

本発明は、画像に付加されているメタ情報から、前記画像に対して施された色の変更処理に関する情報を取得する取得手段と、画像の色情報を基に被写体を判別する判別手段と、画像に対して色の変更処理を行う処理手段と、を有し、前記取得手段が取得した情報が、前記画像に対して第１の色の変更処理が施されたことを示す情報であれば、前記判別手段が、前記第１の色の変更処理が施された画像の色情報を基に前記被写体を判別し、前記取得手段が取得した情報が、前記画像に対して前記第１の色の変更処理と異なる第２の色の変更処理が施されたことを示す情報であれば、前記処理手段が、前記第２の色の変更処理ではなく前記第１の色の変更処理が施された画像に近づくように、前記第２の色の変更処理が施された画像に対して更なる色の変更処理を行い、前記判別手段が、前記更なる色の変更処理が施された画像の色情報を基に前記被写体を判別することを特徴とする。

本発明によれば、色等の画像の特徴が変更された画像であっても、正しい領域認識を行うことが可能となる。

本実施形態の画像処理装置の概略構成例を示す図である。 第１の実施形態の認識処理のフローチャートである。 第１の実施形態の画像例と色マトリックス変換の説明図である。 第１の実施形態の領域判別処理のフローチャートである。 第２の実施形態の認識処理のフローチャートである。 第２の実施形態の場合の色マトリックス変換の説明図である。 第３の実施形態の認識処理のフローチャートである。 第４の実施形態の認識処理のフローチャートである。 第７の実施形態の画像処理装置の概略構成例を示す図である。 第８の実施形態の画像処理装置の概略構成例を示す図である。

以下、添付図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
図１には、本実施形態の画像処理装置の一適用例としての撮像装置の概略構成例を示し、図２には、本実施形態の撮像装置が画像から特定の被写体領域を認識する処理のフローチャートを示している。本実施形態の撮像装置、例えば、デジタルカメラ、デジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末だけでなく、工業用カメラ、車載カメラ、医療用カメラ等にも適用可能である。

先ず、図１に示した撮像装置の概略構成について説明する。
図１において、撮像部１０１は、レンズ、絞り、シャッタ、撮像素子及びその駆動回路を有し、撮像素子の撮像面上には画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配されている。撮像部１０１の撮像素子は、不図示の撮影レンズにより撮像面上に結像された光学像を光電変換することにより、ＲＧＢのアナログ撮像信号を出力する。撮像部１０１から出力されたアナログ撮像信号は、Ａ／Ｄ変換部１０２によりデジタル画像データに変換されてＷＢ処理部１０３に送られる。

撮像制御部１１１は、制御部１０７からの指示の下、撮像部１０１のレンズのフォーカスやズーム位置、絞り値、シャッタ速度、撮像素子の駆動回路等を制御する。そして、撮像制御部１１１は、画像撮影時におけるフォーカスやズーム位置、絞り値、シャッタ速度、撮像素子の駆動状況、撮影日時等の各種撮影情報を、バス１０８を介してＲＡＭ（ランダムアクセスメモリ）１０９に一時的に記憶させる。

ＷＢ処理部１０３は、制御部１０７による制御の下、ＲＧＢの画像データに対し公知のホワイトバランス（以下、ＷＢと表記する。）処理を行う。本実施形態のＷＢ処理部１０３は、いわゆるオートホワイトバランス（ＡＷＢ）処理の他、例えばＷＢ設定値の変更により色温度を調整するような画質調整処理も可能となされている。ＷＢ処理部１０３にてＷＢ処理が行われた画像データは、信号処理部１０４に送られる。また、ＷＢ処理部１０３におけるＡＷＢ処理のホワイトバランス設定値（ＷＢ設定値）、ＷＢ設定値の変更による画質調整処理が行われた場合にその画質調整処理で用いたＷＢ設定値等の情報は、バス１０８を介してＲＡＭ１０９に一時的に記憶される。

信号処理部１０４は、制御部１０７による制御の下、公知のノイズ抑圧処理、輝度信号処理、色マトリックス変換処理を含む色信号処理等を行い、輝度データＹ及び色差データＵ，Ｖからなる画像データ（以下、ＹＵＶ画像データとする。）を出力する。これらＹＵＶ画像データは、バス１０８を介してＲＡＭ１０９に一時的に記憶される。また、信号処理部１０４におけるノイズ抑圧処理の有無を示す情報、輝度信号処理の設定情報、色マトリックス変換の設定情報は、バス１０８を介してＲＡＭ１０９に一時的に記憶される。

バス１０８は、信号処理部１０４、表示部１０５、記録部１０６、制御部１０７等の各部と接続されている。これら各部は、バス１０８を介してデータや制御信号等のやり取り等を行う。なお、以下の説明では、データ等がバス１０８を介してやり取りされることについての記載は省略する。

制御部１０７は、ＣＰＵ（中央処理ユニット）を含み、ＷＢ処理部１０３、信号処理部１０４、撮像制御部１１１、領域判別処理部１１２、表示部１０５、記録部１０６等の動作を制御し、必要に応じて各種演算等を行う。また、制御部１０７は、信号処理部１０４からＲＡＭ１０９に一時記憶されたＹＵＶ画像データを用い、そのＹＵＶ画像データを含む画像ファイルを生成する。このとき制御部１０７は、ＲＡＭ１０９内の各種撮影情報、ＷＢ設定値の情報、ノイズ抑圧処理の有無の情報、色マトリックス変換の設定情報等の、撮像画像の現像処理や画質調整に関する情報を、画像ファイルのヘッダ等にメタ情報として付加する。本実施形態において、ヘッダにメタ情報として付加される色マトリックス変換の設定情報は、撮像装置に予め用意されている複数種類の色マトリックス変換の中の何れが使用されたかを示す情報であるとする。また、本実施形態の撮像装置の場合、色マトリックス変換の係数値（色ゲイン）は、ユーザによる調整も可能となされている。ユーザにより係数値の調整が行われた場合、メタ情報には、色マトリックス変換の係数値がユーザにより調整されたことを表す情報とともに、その調整後の係数値、又はどのような調整がなされたかを表す調整量の情報も含められる。以下の説明では、撮像画像の現像処理に関する情報と画像撮影時に行われた画質調整に関する情報とを纏めて、現像パラメータと呼ぶことにする。その他、画像ファイルの画像データは、不図示のエンコーダ等により圧縮符号化されていてもよい。

記録部１０６は、例えば着脱可能な大容量の半導体メモリ等の記録媒体を有しており、その記録媒体に対し、前述した画像ファイル等の記録や再生を行う。
表示部１０５は、信号処理部１０４による処理後のＹＵＶの画像データがバス１０８を介して供給され、その画像データから表示用の映像信号を生成し、その映像信号に基づく映像を表示デバイスの画面上に表示させる。また、表示部１０５は、記録部１０６が記録媒体から再生した画像データに基づく映像についても、画面上に表示させることができる。

ＲＯＭ（リードオンリメモリ）１１０は、制御部１０７のＣＰＵが実行する本実施形態に係る各種制御や演算処理のプログラム、予め決められている各種の初期設定情報等を記憶している。本実施形態の場合、ＲＯＭ１１０に記憶されている初期設定情報には、画像の色をそれぞれ異なった色にする複数の色マトリックス変換をそれぞれ表す設定情報と、それら複数の各色マトリックス変換で用いられる各係数値（色ゲイン）等も含まれている。複数の色マトリックス変換には、後述する標準の色マトリックス変換、その標準の色マトリックス変換とは異なる他の複数の色マトリックス変換が含まれる。ＲＯＭ１１０に記憶されたプログラムは、読み出されてＲＡＭ１０９に展開されて、制御部１０７のＣＰＵにより実行される。ＲＡＭ１０９は、ＲＯＭ１１０から読み出されたプログラムの展開の他、前述した画像データや、各部における処理途中のデータ、各種設定情報等の一時記憶等に用いられる。

領域判別処理部１１２は、制御部１０７による制御の下で、撮影画像や記録部１０６の記録媒体に記録されている画像等を取得し、その取得した画像から特定の被写体領域を判別するような認識処理を行う。詳細については後述するが、領域判別処理部１１２では、画像の色情報及びエッジ成分等の特徴情報を基に、ほぼ同じ色が続く領域と色が急激に変化する領域との検出が行われる。そして、領域判別処理部１１２は、色目標値とほぼ同じ色が続く領域を特定の被写体領域であると認識し、色が急激に変化する領域を他の被写体等との境界領域であると認識する処理を行う。ここで、特定の被写体領域の一例として青空の領域を挙げた場合、青空領域は、一般に、ほぼ一様に青色が続く領域であり、またエッジ成分が含まれていないという特徴を有している。この例の場合、領域判別処理部１１２は、色目標値として青色が設定され、ほぼ一様に青色が続く領域を青空領域として認識する。なお、本実施形態において、特定の被写体領域は、青空領域には限定されず、例えば曇天時や雨天時の白色や灰色等の空領域、空以外でもほぼ同じような色がなだらかに続く領域を有する物体等の領域であってもよい。なお、領域判別処理は、制御部１０７のＣＰＵが本実施形態に係るプログラムを実行することにより行われてもよい。

また、本実施形態の撮像装置は、画質調整機能の一つとして、画像の色を標準的な色から大きく変更したり、色の彩度を大きく変更したりするような機能を有している。画像の色を標準的な色から大きく変更する例としては、例えば空の色を青から紫に変更するような場合を挙げることができる。このように画質調整機能による画像の色を変更する処理は、例えば、標準の色マトリックス変換に代えて、別の色マトリックス変換を行うことにより実現することができる。以下、本実施形態の撮像装置において、画像が撮影されたときに、画質調整機能によって、標準の色マトリックス変換に代えて、別の色マトリックス変換が行われる場合を例に挙げて説明する。本実施形態において、標準の色マトリックス変換は、例えば被写体が空である場合、その空の色が標準的な青色となる画像を得ることができる係数値が設定されている色マトリックス変換である。一方、別の色マトリックス変換は、例えば空の色を標準的な青色から別の色（例えば紫色）に変更するような係数値が設定された色マトリックス変換であるとする。このように、標準の色マトリックス変換とは係数値が大きく異なる色マトリックス変換を行う画質調整がなされた場合、その画質調整後の画像は、標準の色マトリックス変換により得られる画像と比べて色相が大きく異なったものとなる。

図３（ａ）と図３（ｂ）は、標準の色マトリックス変換とは係数値が異なる色マトリックス変換が行われた場合の画像の色相変化の説明に用いる図である。
図３（ａ）は、撮影画像の一例を示し、この撮影画像には空領域３００と人物領域３１０とそれ以外の物体領域３２０（例えば地面）とが含まれているとする。図３（ｂ）は、図３（ａ）の撮影画像例に対し、それぞれ係数値が異なる第１、第２の二つの色マトリックス変換を行った場合の、色差のＵＶ空間での値をプロットした図である。図３（ｂ）の横軸は色差のＵ成分を、縦軸は色差のＶ成分を示している。第１の色マトリックス変換は標準の色マトリックス変換であり、この色マトリックス変換で用いられる係数値は、例えば空の青色を標準的な青色とする値に設定されているとする。一方、第２の色マトリックス変換では、画質調整処理により例えば空の青色を青色とは異なる色（例えば紫色）とするような係数値が設定されているとする。図３（ｂ）の場合、値３０１は第１の色マトリックス変換が行われた場合の空領域３００の平均値を示し、値３０２は第２の色マトリックス変換が行われた場合の空領域３００の平均値を示しているとする。また、値３１１は第１の色マトリックス変換が行われた場合の人物領域３１０の平均値、値３１２は第２の色マトリックス変換が行われた場合の人物領域３１０の平均値を示しているとする。

ここで、本実施形態の領域判別処理部１１２において例えば空領域を判別する場合、通常は被写体領域の色範囲が第１の色マトリックス変換による青色の範囲内であるか否かを判定し、青色範囲内であると判定した被写体領域を空領域であると認識する。このため、例えば画像撮影時に第２の色マトリックス変換がなされて色相が変化している画像の場合、第１の色マトリックス変換に応じた青色範囲内か否かの判別処理を行ったのでは、空を正しく空領域として認識することができないことになる。すなわち、第２の色マトリックス変換がなされた画像は空領域の色が紫色に変更されているため、領域判別処理部１１２は、空を青色範囲外の領域として判定してしまい、空領域ではないと認識してしまう。このように、第２の色マトリックス変換により色相が大きく変更された画像の場合、領域判別処理部１１２における認識精度が低くなってしまうことになる。

そこで、本実施形態の撮像装置は、第２の色マトリックス変換により色相が変更された画像については、第１の色マトリックス変換による色相に近づけるような色マトリックス変換処理を行ってから、領域判別処理部１１２による領域判別処理を行うようにする。このように、本実施形態の撮像装置は、色マトリックス変換により色相が大きく変化した画像であっても、その画像内の特定の被写体領域を正しく認識可能とする機能を有しており、以下、この機能について詳細に説明する。

以下の説明では、前述したＹＵＶ画像データのファイルが記録部１０６の記録媒体に記録されており、その記録媒体から読み出されたファイルの画像に対して、特定の被写体領域の認識処理を行う場合を例に挙げる。画像ファイルには、前述したように、ヘッダのメタ情報として現像パラメータが含まれており、その現像パラメータには、前述したように、撮影された画像に対する色マトリックス変換の設定情報やＷＢ設定値等が含まれている。

図２は、本実施形態の撮像装置において画像から特定の被写体領域を認識するまでの処理の流れを示したフローチャートである。図２のフローチャートの処理は、制御部１０７と領域判別処理部１１２より行われる。なお、図２のフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、図２のフローチャートの処理は、例えばＲＯＭ１１０に記憶されているプログラムをＣＰＵが実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ１１０に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、ＲＡＭ１０９にロードされてもよい。また以下の説明では、図２の各処理のステップＳ２０１〜ステップＳ２０４をＳ２０１〜Ｓ２０４と略記する。これらのことは後述する他のフローチャートにおいても同様とする。

第１の実施形態の撮像装置において、特定の被写体領域（この例では空領域）の認識処理を行う場合、制御部１０７は、先ずＳ２０１の処理として、記録部１０６を介して記録媒体から画像ファイルを取得する。なお、記録媒体から取得する画像ファイルは、予めユーザ等により指定されているとする。そして、制御部１０７は、画像ファイルのヘッダのメタ情報に含まれている現像パラメータの中から、色マトリックス変換の設定情報を取得する。また、制御部１０７は、ＲＯＭ１１０に記憶されている前述した各種初期設定情報の中から、画像ファイルのメタ情報から取得した色マトリックス変換の設定情報に応じた係数値を取得する。さらに、制御部１０７は、ＲＯＭ１１０に記憶されている前述した各種初期設定情報の中から、標準の色マトリックス変換の係数値をも取得する。以下、標準の色マトリックス変換（第１の色マトリックス変換）の係数値を標準ＭＴＸパラメータと呼ぶことにする。なお、画像ファイルのメタ情報に、色マトリックス変換の係数値や画質調整処理の調整量等の情報が含まれている場合、制御部１０７は、それらの情報をメタ情報から取得してもよい。Ｓ２０１の後、制御部１０７は、Ｓ２０２に処理を進める。

Ｓ２０２に進むと、制御部１０７は、画像ファイルのメタ情報から取得した色マトリックス変換の設定情報に対応した係数値が、標準ＭＴＸパラメータ（第１の色マトリックス変換の係数値）と同じであるか否かを判定する。そして、制御部１０７は、標準ＭＴＸパラメータと同じであると判定（ＹＥＳ）した場合には、Ｓ２０４に処理を進める。一方、制御部１０７は、標準ＭＴＸパラメータとは異なると判定（ＮＯ）した場合、すなわちこの例の場合は第２の色マトリックス変換の係数値であると判定された場合には、Ｓ２０３に処理を進める。

Ｓ２０３に進むと、制御部１０７は、画像ファイルの画像データを信号処理部１０４に送り、その画像の色が、標準ＭＴＸパラメータで色マトリックス変換された画像の標準的な色に近づく色マトリックス変換が行われるように信号処理部１０４を制御する。前述の図３（ｂ）の例で説明すると、制御部１０７は、図３（ｂ）の値３０２を値３０１に近づける色マトリックス変換がなされるような係数値を設定し、その係数値による色マトリックス変換を行うように信号処理部１０４を制御する。例えば、制御部１０７は、第１の色マトリックス変換による空領域の平均値（値３０１）と、第２の色マトリックス変換による空領域の平均値（値３０２）との間の色の差を基に、値３０２を値３０１に近づける色マトリックス変換の係数値を求める。そして、制御部１０７は、その係数値を信号処理部１０４に対して設定する。本実施形態の場合、画像ファイルの画像は第２の色マトリックス変換により空領域が紫色になされた画像であるため、Ｓ２０３の色マトリックス変換が行われることにより、空領域が青色に近い色に変更された画像が生成されることになる。なお、画像データに対する色マトリックス変換は、制御部１０７が行ってもよい。Ｓ２０３の後、制御部１０７は、Ｓ２０４に処理を進める。

Ｓ２０４に進むと、制御部１０７は、Ｓ２０３での色マトリックス変換がなされた場合にはその色マトリックス変換後の画像データを領域判別処理部１１２に送って領域判別処理を行わせる。一方、制御部１０７は、Ｓ２０２で標準ＭＴＸパラメータと同じであると判定（ＹＥＳ）された場合には記録部１０６から取得された画像ファイルの画像データを領域判別処理部１１２に送って領域判別処理を行わせる。このように、Ｓ２０４で行われる領域判別処理は、Ｓ２０２において標準ＭＴＸパラメータでないと判定された場合には、Ｓ２０３で色マトリックス変換がなされた後の画像に対して行われることになる。すなわち、Ｓ２０３で色マトリックス変換がなされた後の画像は例えば空領域の色が青色に近い画像となっているため、領域判別処理部１１２では、通常の青色範囲内であるか否かの判定により、青色の空領域を正しく認識することが可能となる。一方、Ｓ２０２にて標準ＭＴＸパラメータであると判定された場合、Ｓ２０４での領域判別処理は画像ファイルの画像に対して行われ、このときの画像の空領域は元々青色であるため、領域判別処理部１１２では、青色の空領域を正しく認識することができる。

図４は、図２のＳ２０４において領域判別処理部１１２が行う領域判別処理の詳細なフローチャートである。
図４のＳ４０１において、領域判別処理部１１２は、制御部１０７による制御の下、画像ファイルの画像データ（ＹＵＶ画像データ）を取得する。そして、領域判別処理部１１２は、その画像について、公知のＳｕｐｅｒｐｉｘｅｌ（以下、ＳＰと表記する。）を算出する手法等により、似た色と輝度を有する隣接領域を繋いだ小領域を生成するグルーピング処理を行う。これにより、画像ファイルの画像は、似た色と輝度を有する小領域ごとに分けられることになる。

次のＳ４０２において、領域判別処理部１１２は、ＳＰ毎に、輝度Ｙの平均値Ｙspと、色（色差Ｕ，Ｖ）の平均値Ｕsp，Ｖspとを算出する。
次のＳ４０３において、領域判別処理部１１２は、下記の式（１）により、ＳＰ毎のＹＵＶの平均値（Ｙsp，Ｕsp，Ｖsp）と、基準画素値（Ｙsk，Ｕsk，Ｖsk）との差分ＳＵＢを求める。基準画素値（Ｙsk，Ｕsk，Ｖsk）は、標準の色マトリックス変換（第１の色マトリックス変換）により得られる空の青色に対応したＹＵＶの各値であり、この実施形態の領域判定処理における色目標値である。さらに、領域判別処理部１１２は、ＳＰ毎のＹＵＶの平均値（Ｙsp，Ｕsp，Ｖsp）と、基準画素値（Ｙsk，Ｕsk，Ｖsk）との差分ＳＵＢが、所定の閾値以内であるか否かを判定する。

SUB＝SQRT((Ysp−Ysk)^2＋(Usp−Usk)^2＋（Vsp−Vsk)^2) 式（１）

そして、領域判別処理部１１２は、Ｓ４０２において差分ＳＵＢが閾値以内であると判定（ＹＥＳ）した場合にはＳ４０４に処理を進め、一方、差分ＳＵＢが閾値を超えると判定（ＮＯ）した場合にはＳ４０５に処理を進める。

Ｓ４０４に進んだ場合、領域判別処理部１１２は、Ｓ４０２で判定の対象となっているＳＰを空領域に含まれるＳＰであるとして設定する。一方、Ｓ４０５に進んだ場合、領域判別処理部１１２は、Ｓ４０２で判定対象となっているＳＰを空領域に含まれないＳＰであるとして設定する。これらＳ４０４又はＳ４０５の後、領域判別処理部１１２は、Ｓ４０６に処理を進める。

Ｓ４０６に進むと、領域判別処理部１１２は、画像内の各ＳＰの全てについてＳ４０２以降の処理が行われたか否かを判定し、未処理のＳＰが残っていると判定（ＮＯ）した場合にはＳ４０２に処理を戻し、未処理のＳＰについてＳ４０２以降の処理を行う。一方、制御部１０７は、Ｓ４０６において全てのＳＰの処理が完了したと判定（ＹＥＳ）した場合には、図４のフローチャートの処理を終了する。

以上説明したように、第１の実施形態の撮像装置は、撮影時に行われた色マトリックス変換が、標準の色マトリックス変換とは大きく異なる場合に、画像の色を、標準の色マトリックス変換による標準的な色に近づけるようにしてから、領域認識の処理を行う。これにより、第１の実施形態の撮像装置によれば、撮影時等に色が変更された画像であっても、精度のよい領域認識を行うことが可能となる。

なお、本実施形態では、認識の対象となる被写体領域として空領域を例に挙げたが、認識の対象となる被写体領域は、例えば物、草木等の領域であってもよい。また、本実施形態では、認識対象の被写体領域が空領域のように一つの領域となされた例を挙げたが、その他にも、例えばそれぞれ同じ色の複数の領域、それぞれ異なる色の複数の領域等の認識処理を、同時に行うことも可能である。

さらに、本実施形態では、ＳＰ毎の平均値と基準画素値との差分ＳＵＢを算出する際に、ＹＵＶの色空間の値を用いた例を挙げたが、画素値を表現できるもの、例えばＲＧＢ色空間、Ｌａｂ色空間、ＸＹＺ色空間等の値であってもよい。また、本実施形態では、ＳＰ単位で差分ＳＵＢを検出する例を挙げたが、通常のピクセル単位、ピクセル単位又はＳＰ単位の画素の周辺画素も含めた平均値やブロック単位で処理を行うようにしてもよい。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。
図５には第２の実施形態における認識処理のフローチャートを示し、図６には第２の実施形態において標準の色マトリックス変換とは異なる色マトリックス変換が行われた場合の画像の色相変化の説明図を示す。
第２の実施形態では、領域の認識精度が下がることが予測される色マトリックス変換が行われた場合には、領域判別を中止して、領域認識の誤りが生ずるのを防ぐようにする。第２の実施形態において、第１の実施形態と同じ処理、構成に関してはその詳細な説明を省略する。

先ず、図６を用いて、第２の実施形態における色マトリックス変換について説明する。第２の実施形態の場合、画像の撮影時には、前述した第１の色マトリックス変換、第２の色マトリックス変換の他、第３の色マトリックス変換が行われることがあるとする。第３の色マトリックス変換は、領域の認識精度が下がることが予測される色マトリックス変換であるとする。

図６は、第１、第２、第３の三つの色マトリックス変換の何れかが行われた場合の、ＵＶ空間での値をプロットした図である。前述の図３（ｂ）の例と同様、図６の横軸はＵ成分、縦軸はＶ成分を示している。図６の値６０１は前述した第１の色マトリックス変換が行われた場合の空領域の平均値を示し、値６０２は前述した第２の色マトリックス変換が行われた場合の空領域の平均値を示している。また、値６０３は第３の色マトリックス変換が行われた場合の空領域の平均値を示している。さらに、図６の値６１１は第１の色マトリックス変換を行った場合の紫色の領域の平均値を示し、値６１３は第３の色マトリックス変換が行われた場合の空とは異なる紫色の領域の平均値を示している。つまり、第３の色マトリックス変換が行われた場合、図６のように、第２の色マトリックス変換による空領域（値６０３）と、空領域とは本来異なる領域（値６１３）とで、色相がほぼ一致（特徴情報がほぼ一致）している。すなわちこの場合、色の情報では、紫色の空領域と、空とは異なる紫色の領域とを区別できなくなる。このため、第３の色マトリックス変換が行われた画像に対して、空領域の認識を行うと、本来、空とは異なる紫色の領域を、空領域として誤って判別してしまい認識精度が下がってしまう。そこで、第２の実施形態では、撮影された画像に対し、第３の色マトリックス変換、つまり領域の認識精度が下がることが予測される色マトリックス変換が行われている場合には、空領域の認識を中止する。

このような第２の実施形態における特定の被写体領域の認識処理について、図５のフローチャートを用いて説明する。
Ｓ５０１において、制御部１０７は、前述のＳ２０１と同様に、画像ファイルを取得し、さらに、メタ情報の現像パラメータの中から色マトリックス変換の設定情報を取得する。また、制御部１０７は、前述同様に、ＲＯＭ１１０の初期設定情報の中から、画像ファイルのメタ情報から取得した色マトリックス変換の設定情報に応じた係数値と、標準ＭＴＸパラメータとを取得する。第２の実施形態の場合、制御部１０７は、さらにＲＯＭ１１０の初期設定情報の中から、領域の認識精度が下がることが予測される第３の色マトリックス変換の係数値についても取得する。以下、第３の色マトリックス変換の係数値を第３のＭＴＸパラメータとする。Ｓ５０１の後、制御部１０７は、Ｓ５０２に処理を進める。

Ｓ５０２に進むと、制御部１０７は、画像ファイルのメタ情報に含まれる色マトリックス変換の設定情報に応じた係数値が、第３のＭＴＸパラメータと同じであるか否かを判定する。そして、制御部１０７は、第３のＭＴＸパラメータと同じであると判定（ＹＥＳ）した場合には、Ｓ５０６に処理を進める。一方、制御部１０７は、第３のＭＴＸパラメータとは異なると判定（ＮＯ）した場合には、Ｓ５０３に処理を進める。

Ｓ５０３に進むと、制御部１０７は、メタ情報から取得した色マトリックス変換の設定情報に応じた係数値が、標準ＭＴＸパラメータと同じであるか否かを判定する。そして、制御部１０７は、標準ＭＴＸパラメータと同じであると判定（ＹＥＳ）した場合には、Ｓ５０５に処理を進める。一方、制御部１０７は、標準ＭＴＸパラメータとは異なると判定（ＮＯ）した場合、すなわちこの例の場合は第２の色マトリックス変換の係数値であると判定した場合にはＳ５０４に処理を進める。Ｓ５０３からＳ５０５までの処理は、前述した図２のＳ２０２からＳ２０４までの処理と同様の処理であるため、その説明は省略する。

Ｓ５０６の処理に進んだ場合、制御部１０７は、領域判別処理部１１２における空領域の認識処理を中止して、図５のフローチャートの処理を終了する。すなわち、第３の色マトリックス変換が行われた画像の場合、空領域の領域判別を行うと認識精度が下がってしまうので、制御部１０７は、領域判別処理部１１２による空領域の領域判別を行わせずに処理を終了する。

以上説明したように、第２の実施形態では、第３の色マトリックス変換のように、認識精度が下がることが予想される色マトリックス変換が行われた画像については、空領域の領域判別を中止する。これにより、第２の実施形態によれば、空領域の誤検出を減らし、精度のよい領域認識を行うことが可能となる。

＜第３の実施形態＞
以下、第３の実施形態について説明する。
第３の実施形態では、第１、第２の実施形態のように、第２の色マトリックス変換が行われた画像の色を第１の色マトリックス変換による標準的な色に近づける色マトリックス変換を行う代わりに、領域判別処理時の空領域の色目標値を修正する。第３の実施形態において、第１、第２の実施形態と同じ処理、構成に関してはその詳細な説明を省略する。

図７は第３の実施形態における認識処理のフローチャートである。
Ｓ７０１において、制御部１０７は、前述のＳ５０１と同様に、画像ファイルを取得し、さらにメタ情報の現像パラメータの中から色マトリックス変換の設定情報を取得する。また、制御部１０７は、前述のＳ５０１と同様に、ＲＯＭ１１０の初期設定情報の中から、画像ファイルのメタ情報から取得した色マトリックス変換の設定情報に応じた係数値と、標準ＭＴＸパラメータとを取得し、さらに第３のＭＴＸパラメータをも取得する。Ｓ７０１の後、制御部１０７は、Ｓ７０２に処理を進める。

Ｓ７０２に進むと、制御部１０７は、前述のＳ５０２と同様に、画像ファイルのメタ情報に含まれる色マトリックス変換の設定情報に応じた係数値が、第３のＭＴＸパラメータと同じであるか否かを判定する。そして、制御部１０７は、第３のＭＴＸパラメータと同じであると判定（ＹＥＳ）した場合には、前述の第２の実施形態の場合と同様に、空領域の領域判別を行わずに、図７のフローチャートの処理を終了する。一方、制御部１０７は、第３のＭＴＸパラメータとは異なると判定（ＮＯ）した場合には、Ｓ７０３に処理を進める。なお、図７のフローチャートでは、第２の実施形態のように第３のＭＴＸパラメータについても用いられた例を挙げているが、第３の実施形態の場合、第３のＭＴＸパラメータに関する処理は必ずしも行われなくてもよい。

Ｓ７０３に進むと、制御部１０７は、前述のＳ５０３と同様に、標準ＭＴＸパラメータと同じであるか否かの判定を行い、同じであると判定（ＹＥＳ）にはＳ７０５に処理を進める。一方、Ｓ７０３において標準ＭＴＸパラメータと同じではないと判定（ＮＯ）した場合、つまり第２の色マトリックス変換の係数値であると判定した場合、制御部１０７は、Ｓ７０４に処理を進める。

Ｓ７０４に進んだ場合、制御部１０７は、後段のＳ７０５で領域判別処理部１１２が領域判別処理に使用する色目標値を、前述の基準画素値（Ｙsk，Ｕsk，Ｖsk）から、修正色目標値（Ｙskn，Ｕskn，Ｖskn）に変更する。この場合、基準画素値（Ｙsk，Ｕsk，Ｖsk）は青色の画素値であり、また、画像ファイルの画像は第２の色マトリックス変換により空の色が紫色になされている。このため、制御部１０７は、領域判別処理の際の色目標値を、基準画素値（Ｙsk，Ｕsk，Ｖsk）から、紫色の修正色目標値（Ｙskn，Ｕskn，Ｖskn）に変更する。Ｓ７０４の後、制御部１０７は、Ｓ７０５に処理を進める。

Ｓ７０５に進むと、制御部１０７は、領域判別処理部１１２における空領域の認識処理を行わせる。
第３の実施形態の場合の領域判別処理は、概ね前述した図４のフローチャートで説明した処理と同様である。ただし、第３の実施形態の場合、Ｓ４０３の処理が異なる。なお、Ｓ４０１、Ｓ４０２、Ｓ４０４、Ｓ４０５、Ｓ４０６については概ね前述同様であるためそれらの説明は省略する。
ここで、Ｓ７０４の処理後にＳ７０５の処理に進んだ場合、領域判別処理部１１２には、修正色目標値（Ｙskn，Ｕskn，Ｖskn）が設定されている。このため、領域判別処理部１１２は、Ｓ４０３において、式（１）のＹsk，Ｕsk，ＶskをＹskn，Ｕskn，Ｖsknに代えた式（２）により、差分ＳＵＢを算出する。すなわち、式（２）では、ＳＰ毎のＹＵＶの平均値（Ｙsp，Ｕsp，Ｖsp）と修正色目標値（Ｙskn，Ｕskn，Ｖskn）との差分ＳＵＢが算出される。

SUB＝SQRT((Ysp−Yskn)^2＋(Usp−Uskn)^2＋（Vsp−Vskn)^2) 式（２）

そして、領域判別処理部１１２は、式（２）による差分ＳＵＢが所定の閾値以内であるか否かを判定し、閾値以内であると判定した場合にはＳＰを空領域に含まれるＳＰであるとして設定する。一方、領域判別処理部１１２は、式（２）による差分ＳＵＢが閾値を超えると判定した場合にはＳＰを空領域に含まれないＳＰであるとして設定する。
なお、Ｓ７０３において、標準ＭＴＸパラメータと同じであると判定されてＳ７０５に進んだ場合、領域判別処理部１１２には、前述同様の基準画素値（Ｙsk，Ｕsk，Ｖsk）が設定されているため、前述のＳ４０３と同様の判定処理が行われることになる。

以上説明したように、第３の実施形態では、撮影時に行われた色マトリックス変換が、標準的な色マトリックス変換とは大きく異なる場合、領域判別処理に用いる色目標値を、撮影時に行われた色マトリックス変換に合わせて修正した修正色目標値に変更する。これにより、第３の実施形態によれば、撮影時等に色が変更された画像であっても、精度のよい領域認識を行うことが可能となる。

＜第４の実施形態＞
以下、第４の実施形態について説明する。
第４の実施形態では、撮影画像に対する画質調整処理として、例えばＷＢ設定値が、ＡＷＢ処理で得られるＷＢ設定値（通常の撮影条件で設定されるＡＷＢ設定値）から大きく変更された場合を例に挙げる。すなわち、ＷＢの色温度設定値等を調整する画質調整処理が行われた場合、その調整後のＷＢ設定値は、ＡＷＢ設定値とは異なるＷＢ設定値となる。以下の説明では、ＡＷＢ設定値を標準ＷＢパラメータと呼ぶことにし、ＡＷＢ設定値とは異なる値に調整されたＷＢ設定値を調整ＷＢパラメータと呼ぶことにする。ＷＢ設定値を標準ＷＢパラメータから調整ＷＢパラメータに変更する画質調整処理としては、例えばＷＢの色温度設定値を標準ＷＢパラメータの場合よりも大幅に低くして、青空の青色を極端に濃くするような処理等が想定される。第４の実施形態において、第１の実施形態と同じ処理、構成に関してはその詳細な説明を省略する。なお、第４の実施形態の場合、信号処理部１０４では、標準の色マトリックス変換（第１の色マトリックス変換）が行われ、前述した実施形態のように第２や第３の色マトリックス変換については行われないとする。

図８は、第４の実施形態における認識処理のフローチャートである。
図８において、特定の被写体領域（空領域）の認識処理を行う場合、制御部１０７は、先ずＳ８０１の処理として、記録部１０６を介して記録媒体から画像ファイルを取得する。また、制御部１０７は、画像ファイルのヘッダのメタ情報に含まれている現像パラメータの中から、ＷＢ設定値の情報を取得する。ここで、第４の実施形態の場合、メタ情報の中のＷＢ設定値には、標準ＷＢパラメータであるＡＷＢ設定値の他、ＷＢの色温度設定値等を調整する画質調整処理が行われた場合の調整ＷＢパラメータも含まれる。Ｓ８０１の後、制御部１０７は、Ｓ８０２に処理を進める。

Ｓ８０２に進むと、制御部１０７は、画質調整処理が行われた場合の調整ＷＢパラメータが、標準ＷＢパラメータと同じであるか否かを判定する。そして、制御部１０７は、標準ＷＢパラメータと同じであると判定（ＹＥＳ）した場合には、Ｓ８０４に処理を進める。一方、制御部１０７は、標準ＷＢパラメータとは異なると判定（ＮＯ）した場合には、Ｓ８０３に処理を進める。

Ｓ８０３に進むと、制御部１０７は、画像ファイルのＹＵＶ画像データをＲＧＢ変換した画像データをＷＢ処理部１０３に送り、その画像に対して標準ＷＢパラメータによるＷＢ処理が行われた画像（ＡＷＢのＷＢ処理後の画像）に近づくゲイン処理を行わせる。例えば、標準ＷＢパラメータにおけるＲとＢのＷＢ設定値をＷＢゲイン（ＷRst，ＷBst）とし、調整ＷＢパラメータにおけるＲとＢのＷＢ設定値をＷＢゲイン（ＷRc，ＷBc）とする。この場合、標準ＷＢパラメータのＷＢ処理による画像に近づけるゲイン処理のＷＢゲイン（ＷR，ＷB）は、式（３）、式（４）で表すことができる。したがって、制御部１０７は、Ｓ８０３において、画像ファイルのＹＵＶ画像データをＲＧＢ変換した画像データに対し、この式（３）、式（４）のＷＢゲイン（ＷR，ＷB）によるゲイン処理が行われるようにＷＢ処理部１０３を制御する。なお、このＳ８０３におけるゲイン処理は、制御部１０７が行ってもよい。また、ＹＵＶ画像データをＲＧＢの画像データに変換する処理は、信号処理部１０４にて行われてもよい。

ＷR＝ＷRst／ＷRc 式（３）
ＷB＝ＷBst／ＷBc 式（４）

次のＳ８０４に進むと、制御部１０７は、Ｓ８０３でゲイン処理が行われた場合にはそのゲイン処理後の画像データを例えば信号処理部１０４にてＹＵＶ画像データに変換させた後、領域判別処理部１１２に送って領域判別処理を行わせる。一方、制御部１０７は、Ｓ８０２で標準ＷＢパラメータと同じであると判定（ＹＥＳ）された場合には記録部１０６から取得された画像ファイルの画像データを領域判別処理部１１２に送って領域判別処理を行わせる。このように、Ｓ８０４で行われる領域判別処理は、Ｓ８０２において標準ＷＢパラメータでないと判定された場合には、Ｓ８０３でゲイン処理がなされた後の画像に対して行われることになる。すなわち、Ｓ８０３でゲイン処理がなされた後の画像は例えば空領域の色が標準的なＡＷＢ時の青色に近い画像となっているため、領域判別処理部１１２では、通常の青色範囲内であるか否かの判定により、青色の空領域を正しく認識することが可能となる。一方、Ｓ８０２にて標準ＷＢパラメータと判定された場合、Ｓ８０４での領域判別処理は画像ファイルの画像に対して行われ、このときの画像の空領域は標準的なＡＷＢの青色であるため、領域判別処理部１１２では、青色の空領域を正しく認識できる。なお、領域判別処理部１１２における処理は前述の第１の実施形態の場合と同様であるため、その詳細な説明は省略する。

以上説明したように、第４の実施形態においては、画像撮影時に設定されたＷＢ設定値が標準ＷＢパラメータとは大きく異なる調整ＷＢパラメータである場合、標準ＷＢパラメータのＷＢ処理による画像に近づくようなゲイン処理を施してから認識処理を行う。これにより、第４の実施形態の撮像装置によれば、撮影時等にＷＢ設定値が変更されて色温度設定が大きく変わっている画像であっても、精度のよい領域認識を行うことが可能となる。

＜第５の実施形態＞
以下、第５の実施形態について説明する。
撮影時にＷＢ設定値を変更する画質調整処理が行われた場合、その変更されたＷＢ設定値によるＷＢ処理後の画像は、領域の認識精度が下がってしまうことが予想される画像になることも考えられる。このように領域の認識精度が下がることが予測されるＷＢ処理が行われた場合、第５の実施形態として、前述の第２の実施形態と同様に、制御部１０７は、領域判別処理部１１２での領域判別処理を中止してもよい。これにより、領域認識の誤りが生ずるのを防ぐことが可能となる。すなわち、第５の実施形態によれば、領域の認識精度が下がることが予測されるＷＢ処理が行われた場合であっても、前述した第２の実施形態と同様、空領域の誤検出を減らし、精度のよい領域認識を行うことが可能となる。

＜第６の実施形態＞
以下、第６の実施形態について説明する。
前述の第４の実施形態では、調整ＷＢパラメータによるＷＢ処理後の画像に対し、標準ＷＢパラメータによるＷＢ処理後の画像に近づくようなＷＢゲイン処理を施す例を挙げたが、前述の第３の実施形態のように色目標値の修正が行われてもよい。すなわち第６の実施形態として、制御部１０７は、調整ＷＢパラメータによるＷＢ処理後の画像に対し、標準ＷＢパラメータのＷＢ処理後の画像に近づけるゲイン処理を行う代わりに、領域判別処理部１１２で用いる空領域の色目標値を修正する。これにより、第６の実施形態によれば、撮影時等に調整ＷＢパラメータによるＷＢ処理がなされて例えば色温度が変わった画像であっても、精度のよい領域認識を行うことが可能となる。

＜第７の実施形態＞
以下、第７の実施形態について説明する。
第７の実施形態では、撮影された画像に対し、それぞれ異なる色マトリックス変換を行うようにし、一方の色マトリックス変換後の画像を記録し、他方の色マトリックス変換後の画像を認識処理に用いるようにする例である。他方の色マトリックス変換後の画像は、認識処理にのみ用い、その画像ファイルの記録は行わないとする。第７の実施形態では、記録される画像に施される一方の色マトリックス変換が前述の第２の色マトリックス変換、認識処理に用いられる画像に施される他方の色マトリックス変換が第１の色マトリックス変換となされている。

図９は、第７の実施形態の撮像装置の概略構成を示す図である。なお、図９の構成において、図１と同様の構成要素には、図１と同じ参照番号を付して、その詳細な説明は省略する。
ＷＢ処理部１０３によりＷＢ処理が行われた画像データは、信号処理部１０４及び信号処理部９０５に送られる。信号処理部１０４と信号処理部９０５は、前述同様に公知のノイズ抑圧処理、輝度信号処理、色マトリックス変換処理を含む色信号処理等を行い、ＹＵＶ画像データを出力する。ただし、第７の実施形態の場合、信号処理部１０４は第２の色マトリックス変換による色信号処理を行い、信号処理部９０５は第１の色マトリックス変換による色信号処理を行う。信号処理部１０４による信号処理後の画像データは、前述した第１の実施形態と同様に、撮影されて記録されるＹＵＶの画像データとして出力される。一方、信号処理部９０５による信号処理後の画像データは、領域判別処理部９０６に送られる。

第７の実施形態において、領域判別処理部９０６における処理は、前述した第１の実施形態の図４のフローチャートを用いて説明したものと同等であるため、詳細な説明は省略する。ただし、第７の実施形態の場合、領域判別処理部９０６は、信号処理部９０５において第１の色マトリックス変換がなされたＹＵＶ画像データからＳＰの平均値（Ｙsp，Ｕsp，Ｖsp）を算出する。そして、領域判別処理部９０６は、そのＳＰのＹＵＶの平均値（Ｙsp，Ｕsp，Ｖsp）と空領域の基準画素値（Ｙsk，Ｕsk，Ｖsk）とを比較することにより、ＳＰが空領域であるか否かを判定する認識処理を行う。ここで、第１の色マトリックス変換がなされた画像は、例えば空の色が元々青色であるため、精度のよい空領域の認識が可能となる。なお、第７の実施形態の場合、第１の色マトリックス変換がなされた画像データは、領域判別処理がなされた後には例えば破棄される。

第７の実施形態の場合、領域判別処理部９０６による認識結果の情報は、制御部１０７に送られる。制御部１０７は、領域判別処理部９０６から送られてきた認識結果の情報を、信号処理部１０４による第２の色マトリックス変換後の画像データから生成した画像ファイルのヘッダにメタ情報の一つとして配置する。そして、その画像ファイルが記録部１０６により記録媒体に記録される。第７の実施形態の場合、第２の色マトリックス変換後に記録された画像と、第１の色マトリックス変換後に認識処理された画像とは、元々同じ画像である。このため、第１の色マトリックス変換後の画像から認識された被写体領域は、第２の色マトリックス変換後の画像内の被写体領域と一対一に対応している。これにより、画像撮影時に第２の色マトリックス変換がなされて記録された画像が後に再生等された場合、その画像ファイルのメタ情報に配されている認識結果の情報を基に、特定の被写体領域（空領域）を正しく認識できることになる。

上述したように、第７の実施形態においては、撮像画像に第１と第２の色マトリックス変換を行い、第１の色マトリックス変換後の画像について領域判別を行った結果の情報を、第２の色マトリックス変換後の画像ファイルのメタ情報として配置している。したがって、第７の実施形態によれば、撮影時等に色が変更された画像であっても、後に精度のよい領域認識を行うことが可能となる。
なお、第７の実施形態の場合、第１の色マトリックス変換がなされた画像データは、領域判別処理後に破棄されるが、第２の色マトリックス変換された画像ファイルとともに記録しておくようにしてもよい。

＜第８の実施形態＞
以下、第８の実施形態について説明する。
第８の実施形態では、撮影された画像に対し、それぞれ異なるＷＢ設定値によるＷＢ処理を行うようにし、一方のＷＢ設定値によるＷＢ処理後の画像を記録し、他方のＷＢ設定値によるＷＢ処理後の画像を認識処理に用いるようにする例である。他方のＷＢ設定値によるＷＢ処理後の画像は、認識処理にのみ用い、その画像ファイルの記録は行わないとする。第８の実施形態では、記録される画像に施される一方のＷＢ設定値が前述の調整ＷＢパラメータ、認識処理に用いられる画像に施される他方のＷＢ設定値が基準ＷＢパラメータとなされている。第８の実施形態において、前述した第４の実施形態と同じ処理、構成に関してはその詳細な説明を省略する。

図１０は、第８の実施形態の撮像装置の概略構成を示す図である。なお、図１０の構成において、図１や図９と同様の構成要素には、図１や図９と同じ参照番号を付して、その詳細な説明は省略する。
Ａ／Ｄ変換部１０２から出力されたＲＧＢの画像データは、ＷＢ処理部１０３及びＷＢ処理部１００５に送られる。ＷＢ処理部１０３とＷＢ処理部１００５は前述同様に公知のＷＢ処理を行う。ただし、第８の実施形態の場合、ＷＢ処理部１０３では、前述した第４の実施形態の場合と同様、標準ＷＢパラメータとは異なる調整ＷＢパラメータによるＷＢ処理が行われ、一方、ＷＢ処理部１００５では、標準ＷＢパラメータによるＷＢ処理が行われる。そして、ＷＢ処理部１０３によるＷＢ処理後の画像データは信号処理部１０４に送られ、ＷＢ処理部１００５によるＷＢ処理後の画像データは信号処理部１００６に送られる。

信号処理部１０４と信号処理部１００６は、前述同様に公知のノイズ抑圧処理、輝度信号処理、色マトリックス変換処理を含む色信号処理等を行い、ＹＵＶ画像データを出力する。第８の実施形態の場合、信号処理部１０４と信号処理部１００６では、標準の色マトリックス変換（第１の色マトリックス変換）が行われ、前述のような第２の色マトリックス変換については行われない。そして、信号処理部１０４による信号処理後の画像データは、前述した第１の実施形態と同様に、撮影されて記録されるＹＵＶの画像データとして出力される。一方、信号処理部１００６による信号処理後の画像データは、領域判別処理部１００７に送られる。

第８の実施形態の場合、領域判別処理部１００７では、ＷＢ処理部１００５で標準ＷＢパラメータによるＷＢ処理が行われ、信号処理部１００６で標準の色マトリックス変換がなされた後、さらにＲＧＢ変換された画像データを用いた領域判別処理が行われる。領域判別処理部１００７の処理は、前述の第４の実施形態における領域判別処理と同様であるため詳細な説明は省略する。なお、第８の実施形態において、標準ＷＢパラメータによるＷＢ処理がなされた画像データは、領域判別処理の後には例えば破棄される。

第８の実施形態の場合、領域判別処理部１００７による認識結果の情報は、制御部１０７に送られる。制御部１０７は、標準ＷＢパラメータとは異なるＷＢ処理が行われ、さらに標準の色マトリックス変換がなされ画像データから生成した画像ファイルに対し、領域判別処理部１００７から送られてきた認識結果の情報を、メタ情報として付加する。そして、その画像ファイルが記録部１０６により記録媒体に記録される。第８の実施形態の場合、調整ＷＢパラメータによる処理後に記録された画像と、標準ＷＢパラメータによる処理後に認識処理された画像とは、元々同じ画像である。このため、標準ＷＢパラメータによる処理後の画像から認識された被写体領域は、調整ＷＢパラメータによる処理後の画像内の被写体領域と一対一に対応している。これにより、画像撮影時に標準ＷＢパラメータとは異なるＷＢ設定値によるＷＢ処理がなされた画像が後に再生等された場合、その画像ファイルのメタ情報に配されている認識結果の情報を基に、特定の被写体領域（空領域）を正しく認識できることになる。

上述したように、第８の実施形態においては、撮像画像に対し、標準ＷＢパラメータによるＷＢ処理及び標準の色マトリックス変換と、標準ＷＢパラメータとは異なるＷＢ設定値によるＷＢ処理及び標準の色マトリックス変換とが行われる。そして、標準ＷＢパラメータによるＷＢ処理に係る画像を用いた領域判別結果の情報を、標準ＷＢパラメータとは異なるＷＢ設定値によるＷＢ処理に係る画像ファイルのメタ情報として配置している。したがって、第８の実施形態によれば、撮影時等にＷＢ設定値が変更されて色温度設定が大きく変わっている画像であっても、精度のよい領域認識を行うことが可能となる。
なお、第８の実施形態の場合、標準ＷＢパラメータによるＷＢ処理に係る画像データは、領域判別処理後に破棄されるが、標準ＷＢパラメータとは異なるＷＢ処理に係る画像ファイルとともに記録しておくようにしてもよい。

＜第９の実施形態＞
前述した第１〜第８の実施形態では、画質調整処理として、色マトリックス変換とＷＢ処理の何れか一方のみが、それぞれ標準の色マトリックス変換や標準のＷＢ処理とは異なっている例について説明した。第９の実施形態では、画質調整処理として、色マトリックス変換とＷＢ処理の両方とも、それぞれ標準の色マトリックス変換と標準のＷＢ処理とは異なっている例を挙げる。

すなわち第９の実施形態では、前述した第１〜第３、第７の実施形態で説明した何れかの処理と、前述した第４〜第６、第８の実施形態で説明した何れかの処理とを適宜組み合わせた画質調整処理が行われる。例えば、色マトリックス変換とＷＢ処理の両方とも領域の認識精度の低下が予測される処理ではない場合、第１、第３、第７の実施形態の何れかの構成及及び処理と、第４、第６、第８の実施形態の何れかの構成及び処理とを組み合わせて行うようにする。また例えば、色マトリックス変換において領域の認識精度の低下が予測される場合には、第２の実施形態で説明した構成及び処理と、第４、第６、第８の実施形態の何れかの構成及び処理とを組み合わせて行うようにする。一方、ＷＢ処理において領域の認識精度の低下が予測される場合には、第１、第３、第７の実施形態の何れかの構成及及び処理と、第５の実施形態の構成及び処理とを組み合わせ行うようにする。これにより、第９の実施形態によれば、色マトリックス変換とＷＢ処理の両方の画質調整処理が行われた場合でも、精度のよい領域認識が可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像部、１０３，１００５：ＷＢ処理部、１０４，９０５，１００６：信号処理部、１０７：制御部、１０６：記録部、１０９：ＲＡＭ、１１０：ＲＯＭ、１１２，９０６，１００７：領域判別処理部

Claims (9)

1. 画像に付加されているメタ情報から、前記画像に対して施された色の変更処理に関する情報を取得する取得手段と、
   画像の色情報を基に被写体を判別する判別手段と、
   画像に対して色の変更処理を行う処理手段と、を有し、
   前記取得手段が取得した情報が、前記画像に対して第１の色の変更処理が施されたことを示す情報であれば、前記判別手段が、前記第１の色の変更処理が施された画像の色情報を基に前記被写体を判別し、
   前記取得手段が取得した情報が、前記画像に対して前記第１の色の変更処理と異なる第２の色の変更処理が施されたことを示す情報であれば、前記処理手段が、前記第２の色の変更処理ではなく前記第１の色の変更処理が施された画像に近づくように、前記第２の色の変更処理が施された画像に対して更なる色の変更処理を行い、前記判別手段が、前記更なる色の変更処理が施された画像の色情報を基に前記被写体を判別する
   ことを特徴とする画像処理装置。
2. 前記色の変更処理は、色マトリックス変換により色を調整する処理と、ホワイトバランスを調整する処理との、少なくとも一つの処理を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の色の変更処理は、初期設定された色マトリックス変換の係数値による色マトリックス変換を行う処理であり、
   前記第２の色の変更処理は、前記初期設定された色マトリックス変換の係数値とは異なる係数値による色マトリックス変換を行う処理であることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の色の変更処理は、オートホワイトバランスによるホワイトバランス設定値によりホワイトバランスを調整する処理であり、
   前記第２の色の変更処理は、前記オートホワイトバランスによるホワイトバランス設定値とは異なるホワイトバランス設定値によりホワイトバランスを調整する処理であることを特徴とする請求項１に記載の画像処理装置。
5. 前記判別手段は、前記画像の色情報が近い領域をグルーピングし、前記グルーピングした領域が特定の被写体であるか否かを判別することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記判別手段は、前記画像に対して施される前記調整として、前記被写体の色情報と、前記被写体とは異なる領域の色情報とがほぼ一致する色の変更処理がなされている場合には、前記判別を中止することを特徴とする請求項２または４に記載の画像処理装置。
7. 前記色の変更処理は、撮像された画像に対して施されることを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 画像に付加されているメタ情報から、前記画像に対して施された色の変更処理に関する情報を取得する工程と、
   画像の色情報を基に被写体を判別する工程と、
   画像に対して色の変更処理を行う工程と、を有し、
   前記メタ情報から取得した情報が、前記画像に対して第１の色の変更処理が施されたことを示す情報であれば、前記第１の色の変更処理が施された画像の色情報を基に前記被写体を判別し、
   前記メタ情報から取得した情報が、前記画像に対して前記第１の色の変更処理と異なる第２の色の変更処理が施されたことを示す情報であれば、前記第２の色の変更処理ではなく前記第１の色の変更処理が施された画像に近づくように、前記第２の色の変更処理が施された画像に対して更なる色の変更処理を行い、前記更なる色の変更処理が施された画像の色情報を基に前記被写体を判別する
   ことを特徴とする画像処理装置の画像処理方法。
9. コンピュータを、請求項１から７の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images