JP6727890B2 - 画像認識装置、画像認識方法、及び画像認識プログラム - Google Patents

Description

本発明は、画像認識装置、画像認識方法、及び画像認識プログラムに関する。

撮像装置は、一般的に、光を画像信号に変換する撮像素子と、撮像素子に光を結像させるレンズなどの光学系と、画像信号に基づいて画像データを生成する画像処理部と、を備える。また、撮像装置により人物の顔などを撮像した場合、光が目の網膜によって反射されて目が赤く写る所謂赤目現象が生じる可能性がある。例えば、特許文献１には、このような赤目を自動的に補正する赤目補正機能を備えた撮像装置が開示されている。上記のような赤目補正機能を備える撮像装置は、撮像した画像データ上で赤目が発生した赤目領域を認識し、特定した赤目領域の色を補正する。

特許第５０８９４０５号公報

しかしながら、このような撮像装置は、画像データの状態によっては、色を誤って認識する可能性があるという課題があった。例えば、上記のような撮像装置は、赤色を認識する際に、人の頬の赤味などを赤目領域であると誤認識する場合がある。

本発明は、画像データの状態によらず画像から特定の色を適切に抽出する画像認識装置、画像認識方法、及び画像認識プログラムを提供することを目的とする。

一実施形態に係る画像認識装置は、画像データを取得する画像取得部と、前記画像データにおいて検出対象とする色を指定する検出色指定部と、前記画像データ及び指定された色を基に、画像中の色を評価する評価画像を生成する評価画像生成部と、前記評価画像上に複数のブロックを設定し、設定したブロックから特定の色毎の度数を示すヒストグラムを生成するヒストグラム生成部と、前記ヒストグラムの分布に係る値であって、前記ヒストグラムの最大値と最小値との差に基づくヒストグラムの分散、及び前記ヒストグラムの中心傾向である分布値を取得する分布値取得部と、前記ヒストグラムの前記分散と前記中心傾向とを積算して前記ブロックの評価値を算出する評価値算出部と、前記評価画像と前記評価値とに基づいて、前記画像データ上に前記特定の色の領域が含まれる特徴領域を検出する特徴領域検出部と、を具備する。

画像データの状態によらず画像から特定の色を適切に抽出する画像認識装置、画像認識方法、及び画像認識プログラムを提供することができる。

図１は、一実施形態に係る撮像装置の構成例について説明する為の図である。 図２は、一実施形態に係る撮像装置の画像処理の例について説明する為の図である。 図３は、一実施形態に係る撮像装置の赤目検出処理の例について説明する為の図である。 図４は、一実施形態に係る撮像装置のヒストグラム生成の例について説明する為の図である。 図５は、一実施形態に係る撮像装置のヒストグラム生成の例について説明する為の図である。 図６は、一実施形態に係る撮像装置のヒストグラムの例について説明する為の図である。 図７は、一実施形態に係る撮像装置のヒストグラムの例について説明する為の図である。 図８は、一実施形態に係る撮像装置の基準位置算出処理の例について説明する為の図である。 図９は、一実施形態に係る撮像装置の基準位置算出処理の例について説明する為の図である。 図１０は、一実施形態に係る撮像装置の有効画素判別処理の例について説明する為の図である。 図１１は、一実施形態に係る二値化された評価画像の例について説明する為の図である。 図１２は、一実施形態に係る特徴領域が検出された二値化画像の例について説明する為の図である。 図１３は、一実施形態に係る色補正領域を設定する処理の例について説明する為の図である。 図１４は、一実施形態に係る撮像装置の他の動作の例について説明する為の図である。 図１５は、一実施形態に係る撮像装置の色領域検出処理の例について説明する為の図である。 図１６は、一実施形態に係るブロックサイズとヒストグラムとの関係について説明する為の図である。 図１７は、一実施形態に係る撮像装置の有効画素判別処理の例について説明する為の図である。 図１８は、一実施形態に係る撮像装置の有効画素判別処理の他の例について説明する為の図である。

以下、図を参照しながら、一実施形態に係る画像認識装置、画像認識方法、及び画像認識プログラムについて詳細に説明する。

図１は、一実施形態に係る撮像装置１の構成例について説明する為の図である。

撮像装置１は、撮像素子の撮像面上に投影された被写体の像を画像データとして記録するディジタルカメラである。また、撮像装置１は、画像データに種々の補正を加えた上で記録することができる。

図１に示すように、撮像装置１は、レンズ１１、絞り１２、焦点調整機構１３、ズーム駆動機構１４、絞り駆動機構１５、シャッタユニット１６、撮像素子１７、防振機構１８、表示部１９、操作部２０、ジャイロセンサ２１、内部メモリ２２、メモリＩＦ２３、及びシステムコントローラ２４、記録媒体２５を備える。

レンズ１１は、透過した光を撮像素子１７の撮像面に結像させる。レンズ１１は、複数のレンズが組み合わされて構成される。レンズ１１は、例えば、フォーカスリングと、ズームリングと、を備える。レンズ１１は、フォーカスレンズを撮像レンズの光軸方向に移動させることによってピント位置を変更する。また、レンズ１１は、ズームレンズを撮像レンズの光軸方向に移動させることによって焦点距離を変更する。

絞り１２は、開閉することによって開口径を調整する。絞り１２は、開口径を調整することにより、撮像レンズを介して撮像素子１７に入射する光線の量を調整する。

焦点調整機構１３は、フォーカスレンズの位置を調整することにより、ピント位置を調整する。焦点調整機構１３は、システムコントローラ２４の制御に基づいてフォーカスレンズの位置を調整する。
ズーム駆動機構１４は、ズームレンズの位置を調整することにより、焦点距離を変更する。ズーム駆動機構１４は、システムコントローラ２４の制御に基づいてズームレンズの位置を調整する。

絞り駆動機構１５は、絞り１２の開口径を調整する。絞り駆動機構１５は、システムコントローラ２４の制御に基づいて絞り１２の開口径を調整する。

シャッタユニット１６は、レンズ１１を透過して撮像素子１７に入射する光の光量を調整する機構である。シャッタユニット１６は、例えばフォーカルプレーンシャッタである。シャッタユニット１６は、レンズ１１と撮像素子１７との間に設けられ、レンズ１１を透過した光を撮像素子１７の撮像面に入射させる開放状態と、レンズ１１を透過した光から撮像素子１７の撮像面を遮光する遮光状態と、を作る。シャッタユニット１６は、先幕と、後幕と、先幕及び後幕を駆動するシャッタ駆動装置を備える。シャッタ駆動装置は、システムコントローラ２４から入力されたシャッタ速度に基づく速度及びタイミングで先幕及び後幕を動作させてレンズ１１を透過した光が撮像素子１７の撮像面に入射する露光時間を調整することにより、撮像素子１７に入射する光の光量を調整する。

撮像素子１７は、光を光電変換し電荷を蓄える画素が複数配列されて構成された撮像面を備える。撮像素子１７は、例えば、Charge Coupled Devices（ＣＣＤ）イメージセンサ、Complementary Metal Oxide Semiconductor（ＣＭＯＳ）イメージセンサ、または他の撮像素子により構成される。撮像素子１７は、レンズ１１により撮像面上に結像された被写体像を電気信号（画像信号）に変換する。撮像素子１７は、アナログ電気信号である画像信号をディジタル信号である画像データに変換して出力する。

防振機構１８は、システムコントローラ２４の制御に応じて撮像素子１７の撮像面を撮像レンズの光軸と直交する面内で移動させることにより、撮像装置１の姿勢変化に伴って生じる撮像面上の被写体像のブレを補正する。

表示部１９は、システムコントローラ２４から入力された画像を出力する画像出力部である。表示部１９は、システムコントローラ２４から入力された画像データに基づいて画面を表示する。表示部１９は、表示装置と、画像データに基づいて画面を表示装置に表示させる駆動回路と、を備える。表示部１９は、例えば表示パネル、及び電子ビューファインダー（ＥＶＦ）を表示装置として備える。なお、表示部１９は、システムコントローラ２４から入力された画像を外部の機器に出力する出力部などとして構成されていてもよい。

操作部２０は、ユーザが撮像装置１の各種の操作を行うための複数の操作部材を備える。操作部材は、例えば、レリーズボタン、電源ボタン、タッチセンサ、及び他の種々のボタン等を含む。レリーズボタンは、ユーザが撮像装置１に対して画像を取得する為の種々の処理を指示するための操作部材である。操作部２０は、レリーズボタンが半押しされた場合に自動露出（ＡＥ）処理及び自動合焦（ＡＦ）処理などの実行の指示を示す信号をシステムコントローラ２４に対して与える。また、操作部２０は、レリーズボタンが全押しされた場合に撮像素子１７により画像を取得する撮像動作の指示をシステムコントローラ２４に対して与える。電源ボタンは、ユーザが撮像装置１の電源のＯＮまたはＯＦＦを切り替える為の操作部材である。タッチセンサは、例えば、抵抗膜式タッチセンサ、または静電容量式タッチセンサ等である。タッチセンサは、ある領域内において指定された位置を示す情報を取得する。タッチセンサは、後述する表示部１９の表示パネルと一体に設けられ、表示パネル上のタッチされた位置を示す信号（タッチ位置信号）をシステムコントローラ２４に入力する。

ジャイロセンサ２１は、撮像装置１の姿勢の変化に伴って生じる回転運動を角速度信号として検出する。ジャイロセンサ２１は、例えば、撮像素子１７の撮像面の水平方向を軸としたピッチ方向における回転運動、及び撮像面の垂直方向を軸としたヨー方向における回転運動、撮像レンズの光軸を軸としたロール方向における回転運動、及び撮像素子１７の撮像面と平行な方向における運動、をそれぞれ検出し、角速度信号を生成する。

内部メモリ２２は、システムコントローラ２４により実行されるプログラムを記憶するプログラムメモリ、取得した画像データを一時的に記憶するバッファメモリ、システムコントローラ２４による各種の設定を記憶する設定メモリなどを有する。

メモリＩＦ２３は、複数の接触端子を備える記録媒体２５を挿入可能なカードスロットと、記録媒体２５がカードスロットに挿入された場合に記録媒体２５の接触端子と電気的に接続される接触端子と、を備える。記録媒体２５は、例えばメモリカードである。メモリＩＦ２３は、記録媒体２５とシステムコントローラ２４との間でのデータの入出力を中継する。

システムコントローラ２４は、撮像装置１の各部の動作を制御する。システムコントローラ２４は、操作部２０により入力された操作に応じて種々の処理を実行するように撮像装置１を制御する。システムコントローラ２４は、例えば、レリーズボタンが全押しされて撮像動作を実行する指示が入力された場合、各部を制御して撮像動作を実行する。具体的には、システムコントローラ２４は、絞り１２を駆動させるとともに、シャッタユニット１６に制御信号を入力して先幕及び後幕を駆動させることによって、静止画を撮像する。

システムコントローラ２４は、例えばＣＰＵを備える。システムコントローラ２４は、ＣＰＵが内部メモリ２２に記憶されているプログラムを読み出して実行することによって種々の機能を実現する。例えば、システムコントローラ２４は、ＡＦ制御部３１、ＡＥ制御部３２、防振制御部３３、手振れ補正量算出部３４、ズーム駆動制御部３５、記録制御部３６、及び画像処理部３７として機能する。

ＡＦ制御部３１は、自動合焦（ＡＦ）処理を行う。具体的には、ＡＦ制御部３１は、撮像素子１７により得られた画像データのコントラストを評価し、コントラストがピークになるようにレンズ１１のフォーカスレンズを駆動する。

ＡＥ制御部３２は、自動露出（ＡＥ）処理を行う。具体的には、ＡＥ制御部３２は、撮像素子１７により得られた画像データを用いて被写体輝度を算出する。ＡＥ制御部３２は、この被写体輝度に従って、露光時の絞り１２の開口径（絞り値）、シャッタユニット１６におけるシャッタスピード（シャッタ速度）、撮像素子１７における感度（ＩＳＯ）等を算出する。ＡＥ制御部３２は、算出した絞り値、シャッタ速度、及びＩＳＯを撮像動作を行う際のパラメータとして設定する。

手振れ補正量算出部３４は、像ブレ補正の為の防振機構１８の駆動量を算出する。手振れ補正量算出部３４は、ジャイロセンサ２１により検出された角速度信号を取得し、取得した角速度信号と撮像レンズの光学特性とに基づいて手振れの方向と像移動量とを算出する。手振れ補正量算出部３４は、算出した像ブレの方向と像移動量とに応じて像ブレを打ち消す方向に撮像面を移動させる為の防振機構１８の駆動量を算出する。

防振制御部３３は、手振れ補正量算出部３４により算出された防振機構１８の駆動量に応じて防振機構１８を駆動することにより、撮像面上における被写体像のブレを打ち消す。

ズーム駆動制御部３５は、操作に応じてレンズ１１のズームレンズを駆動する。これにより、ズーム駆動制御部３５は、撮像レンズの焦点距離を制御する。

記録制御部３６は、撮像装置１における記録処理を制御する。記録制御部３６は、例えば撮像動作によって取得した画像データを内部メモリ２２のバッファメモリに記録する。記録制御部３６は、バッファメモリに記録されている画像データをメモリＩＦ２３に装着されている記録媒体２５に書き込む。

画像処理部３７は、撮像素子１７から取得した画像信号（ディジタルの画像信号）に対して画像処理を施す。画像処理は、例えば、色補正、ガンマ(γ)補正、コントラスト補正、白黒・カラーモード処理、リサイズ処理などである。また、画像処理は、画像データを所定のフォーマットに変換する処理を含む。所定のフォーマットは、例えば、Ｊｐｅｇ方式、ＰＮＧ方式などがある。画像処理部３７は、内部メモリ２２のバッファメモリ上の所定の領域に書き込まれた画像データに対して画像処理を施すことによってファイルとして記録可能な画像データを生成する。即ち、画像処理部３７は、画像データを取得する画像取得部として機能する。

画像処理部３７は、画像データから特定の色の領域を認識する画像認識装置として機能する。画像処理部３７は、画像データにおいて検出対象とする色を指定する検出色指定部として機能する。本実施形態では、検出対象とする色として赤色を指定することにより、画像処理部３７は、赤目が発生した領域を認識する。例えば、画像処理部３７は、画像データから認識した領域の画像の色を補正する赤目補正を行う。画像処理部３７は、赤目補正を行う為の構成として、顔検出部４１、器官検出部４２、赤目検出部４３、及び赤目補正部４４、を備える。

顔検出部４１は、画像データから人物の顔が写った領域を検出する顔検出処理を行う。

器官検出部４２は、人物の目、鼻、及び口のなどの顔の器官が写った領域を画像データから検出する器官検出処理を行う。

赤目検出部４３は、光が人物の目の網膜によって反射されることにより人物の目が赤く写る所謂赤目現象が生じた領域を画像データから検出する赤目検出処理を行う。

赤目補正部４４は、赤目検出処理によって検出された赤目が生じた領域の画像を補正する赤目補正処理を行う。赤目補正部４４は、赤目検出処理によって検出された領域の画像データの色を補正する色補正処理部として機能する。

図２は、撮像装置１の画像処理の例について示すフローチャートである。
画像処理部３７は、取得した画像データに対して赤目補正を行うか否か判断する（ステップＳ１１）。即ち、画像処理部３７は、赤目補正を行うトリガがＯＮであるか否か判断する。

赤目補正を行う場合（ステップＳ１１、ＹＥＳ）、画像処理部３７は、顔検出処理を行う（ステップＳ１２）。即ち、画像処理部３７は、顔検出部４１により画像データから人物の顔が写った領域を検出する。具体的には、画像処理部３７は、顔の中心座標及び顔の幅を検出する。この座標は、画像データの画素位置に関連した位置を示す。座標位置は、画素と１：１に対応させてもよいが、処理に応じて、複数画素を加算した加算画素の位置や、ブロック単位で処理をする画像領域の位置を座標に対応付けて設定してもよい。

次に、画像処理部３７は、器官検出処理を行う（ステップＳ１３）。即ち、画像処理部３７は、器官検出部４２により人物の目、鼻、及び口などの顔の器官が写った領域を検出する。また、画像処理部３７は、器官検出の結果から、検出結果の信頼性を示す値を求める。

次に、画像処理部３７は、画像データに対して赤目検出処理を行う（ステップＳ１４）。即ち、画像処理部３７は、赤目検出部４３により、赤目現象が生じた領域を検出する。

次に、画像処理部３７は、赤目補正処理を行う（ステップＳ１５）。即ち、画像処理部３７は、赤目現象が生じた領域の色を補正する。

記録制御部３６は、画像処理部３７により赤目補正処理が施された画像データを記録媒体２５に記録する（ステップＳ１６）。

なお、画像処理部３７は、顔検出処理の結果に応じて人物の瞳（目）が写った領域の位置、及び目の幅（目頭から目じりまでの長さ）を推定する構成であってもよい。画像処理部３７は、顔検出処理の結果である顔の中心座標及び顔の幅と、複数の人物に対する器官位置の統計から求めた平均的な顔のパターンとに基づいて、目の幅、及び目の位置を推定する。この場合、画像処理部３７は、ステップＳ１３の器官検出処理を省略することができる。

図３は、図２のステップＳ１４における赤目検出処理について説明するためのフローチャートである。

画像処理部３７の赤目検出部４３は、画像データに基づいて評価画像を生成する（ステップＳ２１）。赤目検出部４３は、例えば指定された色に基づいて画像データ中の色を評価する評価画像を生成する評価画像生成部として機能する。評価画像は、特定の色が強調された画像である。例えば、赤目検出部４３は、赤目が生じた領域を検出する為に、画像データに基づいて赤を強調した評価画像を生成する。具体的には、赤目検出部４３は、画像データの各画素のＲＧＢの要素のうちのＲを強調し、Ｇ及びＢを抑えた画像を評価画像として生成する。または、画像データの各画素のＹ（輝度）、Ｕ（色差）、Ｖ（色差）の要素のうちのＶのみ抽出した画像を評価画像として生成する。なお、赤目検出部４３は、顔検出処理または器官検出処理により検出した人物の目の付近の画像データを切り出し、切り出した画像データに基づいて評価画像を生成する構成であってもよい。本実施例では、便宜上、評価画像全体ではなく、画像データから生成した評価画像のうち目を含む画像領域を評価画像選択領域５１として設定した場合における赤目検出について説明する。また、評価画像選択領域５１の中心位置を評価画像選択領域の位置とする。

赤目検出部４３は、評価画像に基づいて、ヒストグラムを生成する（ステップＳ２２）。赤目検出部４３は、評価画像に基づいてヒストグラムを生成するヒストグラム生成部として機能する。赤目検出部４３は、評価画像の座標毎にヒストグラムを検出する。具体的には、赤目検出部４３は、評価画像選択領域５１に対し、検出する色、本実施例では赤目の色を検出するのに適した大きさのブロック５２を設け、このブロック５２を評価画像選択領域５１の全域にわたりスキャンする。そして、ブロック５２のスキャン位置（座標）毎にヒストグラムを生成する。例えばブロック５２の中心位置（重心位置）をブロック５２の位置（座標）として扱う。なお、具体的なヒストグラム生成処理については後述する。

赤目検出部４３は、ブロック５２の各スキャン位置で生成されたヒストグラムに基づいて評価値を算出する（ステップＳ２３）。赤目検出部４３は、ヒストグラムに基づいてブロック５２の評価値を算出する評価値算出部として機能する。また、赤目検出部４３は、ヒストグラムの分布に係る値である分布値を取得する分布値取得部として機能する。赤目検出部４３は、例えばヒストグラムの分散と中心傾向（例えば平均値、重心値、中央値、最頻値など）とを分布値として取得する。赤目検出部４３は、分布値に基づいてブロック５２の評価値を算出する。例えば、赤目検出部４３は、ヒストグラムの分散と中心傾向とを掛け合わせてブロック５２の評価値を算出する。赤目検出部４３は、各ブロック位置毎にブロック５２の評価値を算出する。

赤目検出部４３は、算出された各ブロック位置での評価値からなる評価画像選択領域５１の評価値に基づいて評価画像（選択領域）の色基準位置（基準位置）を算出する（ステップＳ２４）。赤目検出部４３は、各ブロック位置での評価値に基づいて評価画像（選択領域）の色基準位置を設定する基準位置設定部として機能する。赤目検出部４３は、評価画像選択領域５１内で最も特徴的な色を示す位置を評価画像選択領域５１の基準位置として設定する。なお、基準位置を算出する具体的な処理については後述する。

赤目検出部４３は、ブロック５２の各スキャン位置毎に算出した評価値を用いて各ブロック内の各画素を重み付けする（ステップＳ２５）。

赤目検出部４３は、重み付けした評価画像選択領域５１内の各画素と、予め設定された二値化用の閾値と、に基づいて、赤目部分に相当する有効画素と無効画素とを判別する（ステップＳ２６）。即ち、赤目検出部４３は、重み付けした評価画像選択領域５１内の各画素を二値化用の閾値に基づいて二値化する。

赤目検出部４３は、二値化された評価画像選択領域５１内の各画素をラベリングする（ステップＳ２７）。即ち、赤目検出部４３は、二値化することで評価画像選択領域５１内の有効画素を検出する。赤目検出部４３は、例えば設定された評価画像選択領域５１内の隣り合う有効画素をグルーピングして特徴的な色の存在する特徴領域として検出する。赤目検出部４３は、評価画像選択領域５１内の隣り合う有効画素をグルーピングして特徴的な色の存在する特徴領域を検出する特徴領域検出部として機能する。

赤目検出部４３は、設定された特徴領域と、上記の基準位置との関係に基づいて赤目補正処理を行う対象とする赤目補正領域を判断する（ステップＳ２８）。赤目検出部４３は、設定された特徴領域と、上記の基準位置との関係に基づいて色補正を行う対象の領域である色補正領域を設定する色補正領域設定部として機能する。

次にヒストグラム生成処理について詳細に説明する。ヒストグラム生成を行う場合、赤目検出部４３は、評価画像選択領域５１内をラスタスキャンするブロック５２を設定し、ブロック５２を設定した座標位置毎に色毎の度数を示すヒストグラムを生成する。ヒストグラムは、Ｒ，Ｇ，Ｂなどのうちのある色の階調毎の頻度であってもよいし、Ｙ，Ｃｂ，Ｃｒなどのうちのある色の階調毎の頻度であってもよいし、階調ではなくＲ，Ｇ，Ｂなどからなる画素値が異なる複数の特定の色毎の頻度であってもよい。赤目検出部４３は、器官検出部４２または画像処理部３７で推定した人物の目の幅に基づいてブロック５２のサイズを決定する。

図４は、図３のステップＳ２２におけるヒストグラム生成処理について説明するためのフローチャートである。

画像処理部３７は、器官検出の結果から、検出結果に信頼性があるか否か判断する（ステップＳ３１）。

画像処理部３７は、器官検出の結果に信頼性があると判断した場合（ステップＳ３１、ＹＥＳ）、器官検出処理の結果に基づいて目の位置及び幅を算出する（ステップＳ３２）。

画像処理部３７は、器官検出の結果に信頼性がないと判断した場合（ステップＳ３１、ＹＥＳ）、顔検出処理の結果に基づいて目の位置及び幅を推定する（ステップＳ３３）。

赤目検出部４３は、目の幅に基づいて、ブロック５２のサイズを決定する（ステップＳ３４）。ヒストグラムを検出する領域であるブロック５２は、例えば正方形である。具体的には、赤目検出部４３は、目の幅に対して余裕のある長さをブロック５２の辺の長さとして設定する。

赤目検出部４３は、上記のようにして設定したブロック５２を評価画像選択領域５１上で移動させた各位置でヒストグラムを生成する（ステップＳ３５）。即ち、赤目検出部４３は、図５に示されるように上記のように決定したサイズのブロック５２を用いて評価画像選択領域５１内をラスタスキャンしつつブロック５２の位置毎にヒストグラムを生成する。赤目検出部４３は、例えば、ブロック５２の位置に対して、ブロック５２内の画像データを基にヒストグラムを生成する。

図６及び図７は、各々図示したブロック５２の位置において生成されたヒストグラムの例を示す。図６は、評価画像選択領域５１上の赤目を包含する位置にブロック５２が設定された場合のヒストグラムの例を示す。図７は、評価画像選択領域５１上の赤目を包含しない位置にブロック５２が設定された場合のヒストグラムの例を示す。

ヒストグラムの横軸は、色の階調を示す。例えば、階調は、２５６段階の色の度合を示す指標である。ヒストグラムの縦軸は、色の階調毎の頻度（ビン）を示す。即ち、ビンは、ブロック５２内に含まれる各階調の画素の数である。

図６に示されるように、赤目がブロック５２内に包含される場合は、ヒストグラムの幅が広くなり、且つ平均値のビンが大きくなる。また、図７に示されるように、赤目がブロック５２内に含まれない場合、ヒストグラムの幅が狭くなり、且つ平均値のビンが小さくなる。

図３のステップＳ２３で示したように、赤目検出部４３は、上記のようにブロック５２のスキャン位置毎に生成されたヒストグラムの分布に基づいて評価値を算出する。具体的には、赤目検出部４３は、ヒストグラムから分散と中心傾向とをそれぞれ算出し、分散と中心傾向とを掛け合わせた値をブロック５２の位置における評価値として算出する。赤目検出部４３は、ブロック５２の位置毎に生成されたヒストグラムに基づいて評価値を算出することにより、評価画像選択領域５１上の座標毎の評価値を算出する。これにより、赤目検出部４３は、赤目領域の特徴に応じて赤目領域を際立たせるような評価値を算出することができる。ここで、分散はヒストグラムの分布する階調の最大値と最小値の差を示し、中心傾向はヒストグラムの分布する階調の平均値を示す。

次に基準位置算出処理について詳細に説明する。基準位置を設定する場合、赤目検出部４３は、上記の処理によって算出された評価値に基づいて、評価画像選択領域５１上の最も特徴的な位置（座標）を認識し、認識した座標を基準位置として設定する。具体的には、赤目検出部４３は、ブロック５２の位置毎に算出された、評価画像選択領域５１内の評価値の分布における重心位置と、最も高い評価値であるピーク位置とのいずれかを評価画像選択領域５１における基準位置として設定する。

図８は、図３のステップＳ２４における基準位置算出処理について説明するためのフローチャートである。また、図９は、座標毎に算出された評価値をプロットした図である。横軸をＨとし、縦軸をＶとした各座標において評価値を高さとしてプロットした場合、赤目領域のように、ブロック内で赤の画素が多い座標の評価値が高くなる。

図８において、赤目検出部４３は、評価画像選択領域５１内の評価値の分布をもとに評価値の重心位置（Ｈｇ、Ｖｇ）を算出する（ステップＳ４１）。赤目検出部４３は、一般的な重心の算出方法を用いて、評価値の重心に対応する座標を重心位置として算出する。

赤目検出部４３は、評価画像選択領域５１内の評価値のうち最も高い評価値がプロットされた座標であるピーク位置を算出する（ステップＳ４２）。

赤目検出部４３は、図９に示された評価画像選択領域５１で検出された重心位置の座標の画素値が予め設定された閾値より大きいか否か判定する（ステップＳ４３）。

赤目検出部４３は、評価画像選択領域５１における重心位置の座標の画素値が予め設定された閾値より大きいと判定した場合（ステップＳ４３、ＹＥＳ）、基準位置として重心位置を採用する（ステップＳ４４）。

また、赤目検出部４３は、評価画像選択領域５１における重心位置の座標の画素値が予め設定された閾値以下であると判定した場合（ステップＳ４３、ＮＯ）、基準位置としてピーク位置を採用する（ステップＳ４５）。

次に、上記の特徴的な色の存在する特徴領域を設定する為の処理である特徴領域設定処理について詳細に説明する。図３のステップＳ２５で示したように、評価画像選択領域５１内の各画素が評価値によって重み付けされ、赤目の領域がより際立つように補正される。

図１０は、図３のステップＳ２６における有効画素判別処理について説明するためのフローチャートである。

赤目検出部４３は、図３のステップＳ２５で得られた重み付けされた評価画像選択領域５１の各画素の画素値が予め設定された二値化用の閾値より大きいか否か判別する（ステップＳ５１）。赤目検出部４３は、重み付けされた評価画像選択領域５１の各画素のうち、二値化用の閾値より大きい画素値を持つ画素を有効画素と判別する（ステップＳ５２）。また、赤目検出部４３は、重み付けされた評価画像選択領域５１の各画素のうち、二値化用の閾値以下の画素値を持つ画素を無効画素と判別する（ステップＳ５３）。

図１１は、二値化された評価画像選択領域５１から得られた二値化画像６１の例を示す。二値化画像６１は、有効画素と無効画素とを有する。

図１２は、二値化画像６１に対して図３のステップＳ２７のラベリング処理を行った例を示す。赤目検出部４３は、隣接する有効画素を同じ特徴領域としてグループ分けする。図１２の例では、第１の特徴領域６２と、第２の特徴領域６３と、がそれぞれ設定されている。

さらに、赤目検出部４３は、グループ分けされた各特徴領域と、図３のステップＳ２４で設定した基準位置と、の位置関係に基づいて、特徴的な色の存在する１つの特徴領域を色補正の対象の領域である赤目補正領域として認識する。

図１３は、特徴的な色の存在する特徴領域が設定された二値化画像６１に基準位置６４がプロットされた例を示す。例えば、赤目検出部４３は、グループ分けされた各特徴領域の重心位置または中心位置と、基準位置６４との距離を算出する。赤目検出部４３は、基準位置６４との距離が最も短い特徴領域を赤目補正領域として認識する。図１３の例によると、基準位置６４が第１の特徴領域６２内にプロットされている。この為、赤目検出部４３は、第１の特徴領域６２を赤目補正領域として設定する。

上記の実施形態に係る撮像装置１の画像処理部３７は、取得した画像データにおいて検出対象とする色を指定し、画像データと指定された色とに応じて画像データにおける色を評価する評価画像を生成し、評価画像上にブロックを設定し、設定したブロック毎に色毎の度数を示すヒストグラムを生成し、ヒストグラムの分布に係る値である分布値に基づいて画像データ上に指定された色の領域が含まれる特徴領域を検出する。このようにヒストグラムの分布値に基づいて特徴領域を検出することにより、画素を単体で特徴領域か否かの判別を行う場合に生じる誤認識を防ぐことができる。この結果、画像処理部３７は、画像データの状態によらず画像から特定の色を適切に抽出することができる。

また、上記の実施形態に係る画像処理部３７は、ヒストグラムの分布値としてヒストグラムの分散及び中心傾向を用いる。さらに、画像処理部３７は、ヒストグラムの分散と中心傾向とを積算した評価値を算出し、評価画像を評価値によって重み付けし、重み付けした評価画像を予め設定された二値化用の閾値を用いて二値化し、二値のうちの一方の画素を特徴領域として検出する。これにより、画像処理部３７は、赤目のように特定の色が集中した領域をより特定領域として検出しやすくなり、頬の赤味のように特定の色がまばらに分布する領域を特定領域として検出しにくくすることができる。この結果、画像処理部３７は、頬の赤味を赤目として誤認識することを防ぐことができる。

また、上記の実施形態に係る画像処理部３７は、評価値の重心位置とピーク位置とのいずれかを基準位置として設定し、検出された特徴領域と設定された基準位置との位置関係に基づいて色補正を行う対象の領域である色補正領域を設定し、色補正領域の画像データの色を補正する。これにより、基準位置から乖離した領域の画像データの色が不適切に補正されることを防ぐことができる。

また、上記の実施形態に係る画像処理部３７は、ヒストグラムを生成する際のブロックのサイズを、画像データに基づいて推定される人物の瞳の幅に応じて設定する。これにより、画像処理部３７は、より赤目が生じた領域を認識することが容易なヒストグラム生成用の領域を設定することができる。

なお、上記の実施形態では、撮像装置１は、赤目が発生した領域を色補正の対象の領域として認識する構成であると説明したが、この構成に限定されない。撮像装置１は、任意の色の領域を検出する構成であってもよい。例えば、撮像装置１が顕微鏡、内視鏡、または工業製品の検品などに用いられる場合、検出する領域のサイズを推定しにくい場合がある。このような場合、撮像装置１は、図１４乃至図１８に示される処理によって所望の領域を認識することができる。

図１４は、撮像装置１の他の動作の例について説明する為のフローチャートである。

撮像装置１の画像処理部３７は、特徴的な色の領域である色領域を検出する色領域検出処理を行うか否か判断する（ステップＳ６１）。即ち、画像処理部３７は、色領域検出処理を行うトリガがＯＮであるか否か判断する。

色領域検出処理を行う場合（ステップＳ６１、ＹＥＳ）、画像処理部３７は、色領域検出処理を行う（ステップＳ６２）。画像処理部３７は、色領域検出処理によって検出した色領域を出力する（ステップＳ６３）。

図１５は、図１４のステップＳ６２の色領域検出処理について説明する為のフローチャートである。

画像処理部３７は、画像データに基づいて評価画像を生成する（ステップＳ７１）。画像処理部３７は、任意の色を強調する画像処理を画像データに施して評価画像を生成する。画像処理部３７は、例えば指定された色に基づいて画像データ中の色を評価する評価画像を生成する。

画像処理部３７は、評価画像選択領域５１に基づいて、ヒストグラムを生成する（ステップＳ７２）。画像処理部３７は、評価画像選択領域５１に対し、予め設定された大きさのブロックを設け、このブロックを評価画像選択領域５１の全域にわたりスキャンする。そして、ブロックのスキャン位置毎にヒストグラムを生成する。このブロックの位置は、ブロックの中心位置を座標位置とする。

画像処理部３７は、ブロックの各スキャン位置で生成されたヒストグラムに基づいて評価値を算出する（ステップＳ７３）。画像処理部３７は、例えばヒストグラムの分散と中心傾向（例えば平均値、重心値、中央値、最頻値など）とを分布値として取得する。画像処理部３７は、分布値に基づいてブロックの評価値を算出する。例えば、画像処理部３７は、ヒストグラムの分散と中心傾向とを掛け合わせてブロックの評価値を算出する。画像処理部３７は、各ブロック位置毎に評価値を算出する。

画像処理部３７は、評価値により評価画像選択領域５１の画像を重み付けする（ステップＳ７４）。画像処理部３７は、ブロックの各スキャン位置毎に算出した評価値を用いて各ブロック内の各画素を重み付けする。

画像処理部３７は、重み付けした評価画像選択領域５１の画像上の画素を指定された色に相当する有効画素と無効画素とに判別する（ステップＳ７５）。即ち、画像処理部３７は、重み付けした評価画像選択領域５１内の各画素を二値化用の閾値に基づいて二値化する。

画像処理部３７は、二値化された評価画像選択領域５１内の各画素をラベリングする（ステップＳ７６）。即ち、画像処理部３７は、二値化することで評価画像選択領域５１内の有効画素を設定する。画像処理部３７は、例えば設定された評価画像選択領域５１内の隣り合う有効画素をグルーピングして特徴的な色の存在する特徴領域として検出する。

図１６は、図１５のステップＳ７２のヒストグラム生成処理について説明する為のフローチャートである。

画像処理部３７は、ヒストグラムを生成する領域（ブロック）のサイズ（ブロックサイズ）を決定する（ステップＳ８１）。画像処理部３７は、予め設定された値をブロックサイズとして採用する。

画像処理部３７は、決定したサイズのブロックを評価画像選択領域５１内で移動させつつヒストグラムを生成する（ステップＳ８２）。即ち、画像処理部３７は、決定したサイズのブロックを用いて評価画像選択領域５１をラスタスキャンしつつブロック位置毎にヒストグラムを生成する。画像処理部３７は、ブロック位置とヒストグラムとを対応付けて生成する。

図１７は、ブロックサイズと、ヒストグラムと、の関係について説明する為の説明図である。図１７の（ａ）は、検出対象に対してブロックサイズが小さいブロック５３が設定された場合のヒストグラムの例を示す。この場合、赤目以外の色が含まれることが少なくなり、ヒストグラムは、分散が狭くなり、階調の平均値が高くなり、且つビンの最大値が大きくなる。

図１７の（ｂ）は、検出対象に対してブロックサイズが適正であるブロック５４が設定された場合のヒストグラムの例を示す。この場合、赤目以外の色として周辺の肌の色が含まれることから、ヒストグラムは、（ａ）の例に比べて分散が広くなり、階調の平均値が低くなり、且つビンの最大値が小さくなる。

図１７の（ｃ）は、検出対象に対してブロックサイズが大きいブロック５５が設定された場合のヒストグラムの例を示す。この場合、図１７の（ｂ）よりも更に赤目以外の色の部分が多く含まれることになり、ヒストグラムは、（ｂ）の例に比べて分散が広くなり、階調の平均値が低くなり、且つビンの最大値が小さくなる。

画像処理部３７は、ビンの最大値と、予め設定された閾値範囲（上限閾値及び下限閾値）との関係に基づいて、有効画素と無効画素と、を判別する際の閾値を設定する。図１７（ａ）、図１７（ｂ）、及び図１７（ｃ）は、それぞれ、ブロック（領域）５３、ブロック（領域）５４、及びブロック（領域）５５のヒストグラムを求めた場合を示す図で、ビンの最大値に対する上限閾値と下限閾値の状態を表している。

図１８は、図１５のステップＳ７５の有効画素判別処理について説明する為のフローチャートである。

画像処理部３７は、生成されたヒストグラムのビンの最大値が上限閾値より小さいか否か判定する（ステップＳ９１）。生成されたヒストグラムのビンの最大値が上限閾値以上である場合（ステップＳ９１、ＮＯ）、画像処理部３７は、最も大きい第１の二値化用閾値を二値化用の閾値として設定する（ステップＳ９２）。

生成されたヒストグラムのビンの最大値が上限閾値より小さい場合（ステップＳ９１、ＹＥＳ）、画像処理部３７は、生成されたヒストグラムのビンの最大値が下限閾値より大きいか否か判定する（ステップＳ９３）。生成されたヒストグラムのビンの最大値が下限閾値以下である場合（ステップＳ９３、ＮＯ）、画像処理部３７は、最も小さい第２の二値化用閾値を二値化用の閾値として設定する（ステップＳ９４）。

また、生成されたヒストグラムのビンの最大値が下限閾値より大きい場合（ステップＳ９３、ＹＥＳ）、画像処理部３７は、第１の二値化用閾値よりも小さく、且つ第２の二値化用閾値よりも大きい第３の二値化用閾値を二値化用の閾値として設定する（ステップＳ９５）。

画像処理部３７は、図１５のステップＳ７４で得られた重み付けされた評価画像選択領域５１の各画素の画素値が上記のステップＳ９２、ステップＳ９４、またはステップＳ９５で設定された二値化用の閾値がより大きいか否か判別する（ステップＳ９６）。画像処理部３７は、重み付けされた評価画像選択領域５１において、二値化用の閾値より大きい画素値を持つ画素を有効画素と判別する（ステップＳ９７）。また、画像処理部３７は、重み付けされた評価画像において、二値化用の閾値以下の画素値を持つ画素を無効画素と判別する（ステップＳ９８）。

上記の実施形態に係る画像処理部３７は、評価画像上に設定されたブロック内から検出されたヒストグラムの頻度の最大値と予め設定された閾値範囲との関係に応じて評価画像を二値化する際の二値化用の閾値の値を切り替える。これにより、画像処理部３７は、検出する領域のサイズを推定しにくい場合であっても、適切な二値化用の閾値を用いて特徴領域を検出することができる。

なお、上記の実施形態では、撮像装置１がレンズ１１を備える構成について説明したが、この構成に限定されない。撮像装置１は、交換式のレンズを装着可能なマウントをレンズ１１の代わりに備える構成であってもよい。

なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。また、本発明の構成によれば、彩度の低い画像や低輝度の画像など、色を検出する条件の悪い画像でも特定色の検出が可能になるため、上記実施形態で示した赤目の検出と補正の例以外、例えば赤目以外の色や、複数の色を検出するように設定することで、スポーツで特定チームの縞模様のユニフォームを検出し認識することも可能になり、様々なシーンで特定色の検出に利用できる。更には、特定色が検出された領域の、位置、大きさ、形状、画素数、などに関しても検出することが可能になる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…撮像装置、１１…レンズ、１３…焦点調整機構、１４…ズーム駆動機構、１５…絞り駆動機構、１６…シャッタユニット、１７…撮像素子、１８…防振機構、１９…表示部、２０…操作部、２１…ジャイロセンサ、２２…内部メモリ、２３…メモリＩＦ、２４…システムコントローラ、２５…記録媒体、３１…ＡＦ制御部、３２…ＡＥ制御部、３３…防振制御部、３４…補正量算出部、３５…ズーム駆動制御部、３６…記録制御部、３７…画像処理部、４１…顔検出部、４２…器官検出部、４３…赤目検出部、４４…赤目補正部。

Claims (11)

1. 画像データを取得する画像取得部と、
   前記画像データにおいて検出対象とする色を指定する検出色指定部と、
   前記画像データ及び指定された色を基に、画像中の色を評価する評価画像を生成する評価画像生成部と、
   前記評価画像上にブロックを設定し、設定したブロックから特定の色毎の度数を示すヒストグラムを生成するヒストグラム生成部と、
   前記ヒストグラムの分布に係る値であって、前記ヒストグラムの最大値と最小値との差に基づくヒストグラムの分散、及び前記ヒストグラムの中心傾向である分布値を取得する分布値取得部と、
   前記ヒストグラムの前記分散と前記中心傾向とを積算して前記ブロックの評価値を算出する評価値算出部と、
   前記評価画像と前記評価値とに基づいて、前記画像データ上に前記特定の色の領域が含まれる特徴領域を検出する特徴領域検出部と、
   を具備する画像認識装置。
2. 前記特徴領域検出部は、前記評価画像を前記評価値により重み付けし、重み付けした評価画像に基づいて前記特徴領域を検出する請求項１に記載の画像認識装置。
3. 前記特徴領域検出部は、重み付けした評価画像を予め設定された二値化用の閾値を用いて二値化し、二値のうちの一方の画素を前記特徴領域として検出する請求項２に記載の画像認識装置。
4. 前記特徴領域検出部は、前記評価画像上に設定されたブロック内の前記評価画像から生成したヒストグラムの頻度の最大値と予め設定された閾値範囲との関係に応じて前記二値化用の閾値を変更する請求項３に記載の画像認識装置。
5. 前記評価画像は、前記特定の色が強調された画像である請求項１乃至４のいずれか１項に記載の画像認識装置。
6. 前記評価値に基づいて、前記評価画像上の最も特徴的な位置を基準位置として設定する基準位置設定部をさらに具備し、
   前記特徴領域検出部は、前記特徴領域と前記基準位置との位置関係に基づいて１つの特徴領域を選択する請求項１に記載の画像認識装置。
7. 前記基準位置設定部は、前記評価値の重心位置とピーク位置とのいずれかを基準位置として設定する請求項６に記載の画像認識装置。
8. 前記特徴領域検出部により選択された前記特徴領域の前記画像データの色を補正する色補正処理部をさらに具備する請求項６または７に記載の画像認識装置。
9. 前記ヒストグラム生成部は、前記画像データに基づいて人物の目の大きさを推定し、推定した目の大きさに応じて前記ブロックのサイズを設定する請求項１に記載の画像認識装置。
10. 画像データを取得し、
    前記画像データにおいて検出対象とする色を指定し、
    前記画像データ及び指定された色を基に、画像中の色を評価する評価画像を生成し、
    前記評価画像上に複数のブロックを設定し、
    設定したブロックから特定の色毎の度数を示すヒストグラムを生成し、
    前記ヒストグラムの分布に係る値であって、前記ヒストグラムの最大値と最小値との差に基づくヒストグラムの分散、及び前記ヒストグラムの中心傾向である分布値を取得し、
    前記ヒストグラムの前記分散と前記中心傾向とを積算して前記ブロックの評価値を算出し、
    前記評価画像と前記評価値とに基づいて、前記画像データ上に前記特定の色の領域が含まれる特徴領域を検出する、
    画像認識方法。
11. コンピュータにより実行される画像認識プログラムであって、
    前記コンピュータを、
    画像データを取得する画像取得部と、
    前記画像データにおいて検出対象とする色を指定する検出色指定部と、
    前記画像データ及び指定された色を基に、画像中の色を評価する評価画像を生成する評価画像生成部と、
    前記評価画像上に複数のブロックを設定し、設定したブロックから特定の色毎の度数を示すヒストグラムを生成するヒストグラム生成部と、
    前記ヒストグラムの分布に係る値であって、前記ヒストグラムの最大値と最小値との差に基づくヒストグラムの分散、及び前記ヒストグラムの中心傾向である分布値を取得する分布値取得部と、
    前記ヒストグラムの前記分散と前記中心傾向とを積算して前記ブロックの評価値を算出する評価値算出部と、
    前記評価画像と前記評価値とに基づいて、前記画像データ上に前記特定の色の領域が含まれる特徴領域を検出する特徴領域検出部と、
    として動作させる画像認識プログラム。