JP4779536B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に関し、特に肌色信号を抽出して処理する機能を備えた撮像装置に関する。

一般に、被写体画像中に人物が含まれる場合、人間は、画像中の人物の肌色に注目する傾向があり、この肌色の色調が、その画像全体に対する主観的画質に大きく影響を与えることが知られている。

近年、デジタルビデオカメラやデジタルスチルカメラに代表されるイメージングデバイス（撮像素子）を搭載した撮像装置の普及は目覚ましく、これらの撮像装置における肌色の色調の調整は、撮影時の光源の状態に応じて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３原色の強度比のバランスを調整し、全ての色の基準色となる白色を、人間の目で見た被写体と同じ色調になるように調整するいわゆるホワイトバランス調整機能により実現される。

前述した肌色に関しては、撮像装置により撮影された画像と実際の画像の色調とが異なっている方が好ましい場合が多々ある。また、色温度の低い光源下では、白色との判別が難しい場合も多々ある。このため、被写体画像中の肌色領域を抽出し、上記領域に特定の調整処理を行うことが望ましい。この肌色領域の抽出においては、ＲＧＢ３次元空間上で肌色が占めると考えられる領域を専用の肌色抽出部により抽出する方法や、色空間をＣＩＥ（国際照明委員会）で定められたＬａｂ均等空間へと変換し抽出する方法が一般に知られている（例えば、特許文献１参照）。
特開２００４−１８０１１４号公報

しかしながら、被写体画像中の肌色領域を抽出するためには、ホワイトバランス調整部とは別の専用の肌色領域抽出部を必要とし、また、Ｌａｂ均等空間へと変換する方式では、更に色空間への変換を行う色空間変換部が別途必要であるため、機器の大規模化、高コスト化に繋がるという問題点があった。

本発明は、このような点に鑑みてなされたものであり、被写体画像中の肌色領域の精度よい抽出および色調を可能とし、また、専用の肌色抽出部や色空間変換部を不要として機器の小型化、軽量化および低コスト化を図ることができる撮像装置を提供することを目的とする。

本発明では上記問題を解決するために、撮像被写体画像から特定の色信号を抽出して処理する機能を備えた撮像装置において、撮像被写体画像から色分解された３つの色信号のうちの１色を基準色信号とし、基準色信号と、基準色信号に対する他の２つの色信号との比率を、それぞれＸ軸およびＹ軸に規定した領域を形成し、入力される色信号をそれぞれシフト演算処理するシフト回路と、色信号の大きさを加算する加算回路とによる演算を行って、領域内において係数がｍ×２ ⁿ である複数の直線により囲まれた色抽出領域を算出する演算部と、演算部によって求められた演算結果に基づいて、３つの色信号が色抽出領域内に存在するか否かを判断する判断部とを有することを特徴とする撮像装置が提供される。

このような撮像装置によれば、演算部によりシフト回路と加算回路とを用いて色抽出領域が演算される。また、判断部により３つの色信号が色抽出領域に存在するか否かが判断される。

本発明によれば、色信号を抽出する演算を行う際に、乗算および除算を行わずに演算処理が可能であるため、撮像被写体画像中の色を精度よく抽出でき、精度よい色調を行いつつ、撮像装置を簡易なものにすることができるため、撮像装置の小型化、軽量化および低コスト化を図ることができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置１は、光学ブロック２、ドライバ２ａ、駆動部２ｂ、イメージセンサ３、タイミング発生回路（ＴＧ）３ａ、アナログフロントエンド（ＡＦＥ）回路４、信号処理回路５、システムコントローラ６、操作部７、グラフィックＩ／Ｆ（インタフェース）８、およびディスプレイ（画像モニタ）８ａを具備する。

光学ブロック２は、光源からの入射光および被写体からの光（反射光）をイメージセンサ３に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、被写体照度に応じて絞りを調節し、レンズを通過した光の量（光量）、すなわち露出を決定するアイリス機構などを具備している。

ドライバ２ａは、システムコントローラ６からの制御信号に基づいて、絞り駆動等、光学ブロック２内の各機構の駆動を制御する駆動信号を出力する。
駆動部２ｂは、ドライバ２ａからの駆動信号を受けて、光学ブロック２の駆動機構を駆動する。

イメージセンサ３は、光電変換素子であるフォトダイオードがマトリクス（行列）状に配列された固体撮像素子であり、ＴＧ３ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。なお、イメージセンサとしては特に限定されないが、例えば、ＣＣＤ（Charged Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が挙げられる。

ＴＧ３ａは、システムコントローラ６の制御の下で電子シャッタを制御するタイミング信号を出力する。
ＡＦＥ回路４は保持・利得制御回路４１およびＡ／Ｄ変換回路（Ａ／Ｄ）４２を有している。ＡＦＥ回路４は、例えば１つのＩＣ（Integrated Circuit）として構成され、イメージセンサ３から出力された画像信号に対して、保持・利得制御回路４１がＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得（ゲイン）を制御する。また、Ａ／Ｄ変換回路４２がＡ／Ｄ変換を行いデジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、イメージセンサ３と同一基板上に形成されてもよい。

信号処理回路５は、ＡＦＥ回路４にてデジタル信号に変換された被写体撮像信号に対し、システムコントローラ６からの制御信号に従い、ＡＦＥ回路４からの画像信号に対するＡＦ（Auto Focus：自動焦点）、ＡＥ（Automatic Exposure：自動露出）、ＡＷＢ（Auto White Balance：オートホワイトバランス）等の各種カメラ制御処理、またはその処理の一部を実行し、被写体の映像信号（輝度信号および色差信号）を生成する。

信号処理回路５は、水平・垂直方向の同期信号や各種タイミング信号を生成する同期信号生成部５１と、システムコントローラ６からの制御信号により制御処理を施し被写体映像信号を生成するカメラ信号処理部５２と、被写体映像信号に対し上述した制御処理を施すための各種演算処理を行う制御演算処理部５３と、被写体映像信号に対し解像度の変換や歪みの補正処理等を行う解像度変換部５４とを有している。

図２は、カメラ信号処理部の構成を示すブロック図である。
カメラ信号処理部５２は、ＡＦＥ回路４からの被写体撮像信号に各種補正処理を施すカメラ信号前処理部５２ａと、ＷＢ（ホワイトバランス）アンプ部５２ｂと、ＷＢアンプ部５２ｂから出力される信号の後処理を行うカメラ信号後処理部５２ｃとを有している。

カメラ信号前処理部５２ａは、同期信号生成部５１からの各種同期信号を用いて、被写体撮像信号に、撮像素子に起因する欠陥画素の補正やレンズに起因する明るさの不均一性（シェーディング）の補正、ノイズ除去等の各種補正処理を施す。また、カメラ信号前処理部５２ａは、イメージセンサ３からの入力信号がＣ（水色）、Ｍ（赤紫）、Ｙ（黄）、のいわゆる補色信号で構成される場合は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）からなる原色信号（以下、Ｒ信号、Ｇ信号、Ｂ信号という）への原色分離処理も施す。Ｒ信号、Ｇ信号およびＢ信号は、後段のＷＢアンプ部５２ｂおよび制御演算処理部５３への入力信号となる。

ＷＢアンプ部５２ｂは、入力されたＲ信号、Ｇ信号およびＢ信号それぞれに対し、システムコントローラ６からの制御信号によりゲインを乗じ、ホワイトバランスの調整を行う。

カメラ信号後処理部５２ｃは、ホワイトバランス調整の施された被写体撮像信号から輝度信号（Ｙ）および色差信号（Ｒ−Ｙ、Ｂ−Ｙ）からなる映像信号を生成する。
図３は、制御演算処理部を示すブロック図である。

制御演算処理部５３は、システムコントローラ６からの設定信号に基づいて各種演算処理を行い、演算結果をシステムコントローラ６に出力する部位であり、制御演算前処理部５３ａと、ＡＷＢ演算処理部５３ｂと、ＡＥ演算処理部５３ｃと、ＡＦ演算処理部５３ｄとを有している。

制御演算前処理部５３ａは、同期信号生成部５１からの各種同期信号を用いてＡＷＢ演算処理部５３ｂとＡＥ演算処理部５３ｃとＡＦ演算処理部５３ｄへの入力信号と水平・垂直方向のアドレスカウンターおよび制御対象領域内の有効・無効を示すタイミング信号の生成を行う。

ＡＷＢ演算処理部５３ｂは、被写体または光源の色温度を測定し、各色（Ｒ、Ｇ、Ｂ）に対するゲインを決定し最適な色再現処理を自動的に行うＡＷＢ処理（自動測色処理）のための各種演算処理を行う。

ＡＥ演算処理部５３ｃは、被写体照度に応じてシャッタースピードや絞り値を算出し自動的に露出条件を決定するＡＥ処理（自動測光処理）のための各種演算処理を行う。
ＡＦ演算処理部５３ｄは、被写体までの距離に応じて自動的にレンズを駆動制御するＡＦ処理（自動測距処理）のための各種演算処理を行う。

図４は、ＡＷＢ演算処理部の構成を示すブロック図である。
ＡＷＢ演算処理部５３ｂは、ＷＢ（ホワイトバランス）アンプ部５３１と、比率制限部５３２と、ゲート信号生成部５３３と、領域信号生成部５３４と、ＲＧＢ積分部５３５と、ＲＧＢ除算部５３６とを有している。

ＷＢアンプ部５３１は、システムコントローラ６からの制御信号より予め設定された設定値に基づき、各色にゲインを乗じ、ホワイトバランスの調整処理を施す。ここで、ＷＢアンプ部５３１は、カメラ信号処理部５２内のＷＢアンプ部２２とは異なるものであり、本来のホワイトバランス調整ゲインを決定するためのＡＷＢ演算処理部５３ｂでの検波処理に必要な予め設定されたプリゲインに相当する。

比率制限部５３２は、白色抽出部５３２ａと、肌色抽出部５３２ｂとを有している。
白色抽出部５３２ａおよび肌色抽出部５３２ｂは、それぞれ、入力されるＲ信号、Ｇ信号およびＢ信号が、白色抽出領域および肌色抽出領域内に存在する信号であるか否かの判定処理を施す。ここで、白色および肌色の判定は、Ｒ信号とＧ信号との比率（Ｒ／Ｇ）およびＢ信号とＧ信号との比率（Ｂ／Ｇ）に基づいて行う。なお、白色抽出領域、肌色抽出領域、各色の判定に用いる具体的な比率並びに白色抽出部５３２ａおよび肌色抽出部５３２ｂの具体的な構成については後述する。

ゲート信号生成部５３３は、比率制限部５３２での判定結果に基づき、白色について後述する白色制御対象領域内に該当する場合は１、該当しない場合は０となる白色領域ゲート信号を生成する。また、肌色についても後述する肌色制御対象領域内に該当する場合は１、該当しない場合は０となる肌色領域ゲート信号を生成する。

領域信号生成部５３４は、ＡＷＢ演算処理部５３ｂでのイメージセンサ３からの入力画像のどこの領域を積分エリア（制御対象領域）として用いるかを決定する白色制御対象領域信号および肌色制御対象領域信号を、システムコントローラ６からの制御信号に基づいて生成する。具体的には、領域信号生成部５３４は、制御信号とゲート信号生成部５３３からの白色領域ゲート信号との論理積を取ることにより、制御対象領域内でかつ白色領域に属するか否かを判断し、この条件を満たす場合は１、この条件を満たさない場合は０となる白色制御対象領域信号を出力する。同様に、領域信号生成部５３４は、制御信号とゲート信号生成部５３３からの肌色領域ゲート信号との論理積を取ることにより、制御対象領域内でかつ肌色領域に属するか否かを判断し、この条件を満たす場合は１、この条件を満たさない場合は０となる肌色制御対象領域信号を出力する。

制御対象領域としては、例えば、矩形領域を対象とする通常枠や多分割（マルチパターン）領域から構成されるマルチパターン枠等が挙げられる。
ＲＧＢ積分部５３５は、入力されたＲ信号、Ｇ信号およびＢ信号が演算の対象の信号であるか否かを白色制御対象領域信号とゲート信号生成部５３３からの白色領域ゲート信号とから判断し、対象となるＲ信号、Ｇ信号およびＢ信号それぞれを積分する。また、ＲＧＢ積分部５３５は、入力されたＲ信号、Ｇ信号およびＢ信号が演算の対象の信号であるか否かを肌色制御対象領域信号とゲート信号生成部５３３からの肌色領域ゲート信号とから判断し、対象となるＲ信号、Ｇ信号およびＢ信号それぞれを積分する。

ＲＧＢ除算部５３６は、入力される白色および肌色についてのそれぞれのＲ信号とＢ信号とＧ信号との比率を除算により求め、白色および肌色について、それぞれＲ／ＧとＢ／Ｇとを出力する。

次に、ＡＷＢ演算処理部５３ｂの動作について説明する。
カメラ信号前処理部５２ａより入力されたＲ信号、Ｇ信号およびＢ信号は、ＷＢアンプ部５３１にて、各色信号毎にゲインを乗ぜられ、ホワイトバランスの調整処理が施される。ホワイトバランス調整処理を施されたＲ信号、Ｇ信号およびＢ信号は、比率制限部５３２内の白色抽出部５３２ａおよび肌色抽出部５３２ｂにて、白色および肌色領域に存在する信号であるか否かの判定処理が施される。

次に、ゲート信号生成部５３３により、上記比率制限部での判定結果に基づき、判定領域内に該当する入力信号の場合は１、該当しない場合は０となるゲート信号が、白色および肌色の各々の場合について生成される。

次に、領域信号生成部５３４により、システムコントローラ６からの制御信号に基づいて白色制御対象領域信号および肌色制御対象領域信号が生成される。
次に、ＲＧＢ積分部５３５により、白色制御対象領域信号に基づいて、入力された信号が演算の対象の信号であるか否かが判断され、Ｒ信号、Ｇ信号およびＢ信号それぞれが積分される（肌色制御対象領域信号についても同様）。

その後、ＲＧＢ除算部５３６により、入力されるＲ信号とＢ信号とＧ信号との比率が除算により求められ、Ｒ／ＧとＢ／Ｇとが出力される。
再び図１に戻って説明する。

システムコントローラ６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、前述した演算結果に基づいて、ＲＯＭ等に記憶されたプログラムを実行することにより、光学ブロック２、イメージセンサ３、ＡＦＥ回路４、信号処理回路５等、撮像装置１の各部を統括的に制御することにより、ＡＦ、ＡＥ、ＡＷＢの自動制御処理を行い、撮像被写体の好適な映像信号の生成を行う。

操作部７は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどを有しており、ユーザによる入力操作に応じた制御信号をシステムコントローラ６に出力する。

グラフィックＩ／Ｆ８は、信号処理回路５からシステムコントローラ６を介して供給された画像信号から、ディスプレイ８ａに表示させるための画像信号を生成して、この信号をディスプレイ８ａに供給し、画像を表示させる。ディスプレイ８ａは、例えばＬＣＤ（Liguid Crystal Display）からなり、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像などを表示する。

この撮像装置１では、イメージセンサ３によって受光されて光電変換された信号が、順次ＡＦＥ回路４に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。信号処理回路５は、ＡＦＥ回路４から供給されたデジタル画像信号を輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換し、最終的に画質補正処理して出力する。

信号処理回路５から出力された信号は、システムコントローラ６を介してグラフィックＩ／Ｆ８に供給されて表示用の画像信号に変換され、これによりディスプレイ８ａにカメラスルー画像が表示される。また、操作部７からのユーザの入力操作などによりシステムコントローラ６に対して画像の記録が指示されると、信号処理回路５からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、信号処理回路５からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、処理された画像データがエンコーダに連続的に供給される。

次に、白色抽出領域および肌色抽出領域について説明する。
まず、白色抽出領域について説明する。
図５は、白色抽出領域を示す図である。

なお、図５の下側を「下」、上側を「上」という。また、上から下に向かう方向を「縦方向」、左から右に向かう方向を「横方向」、左上から右下に向かう方向を「斜め方向」という。

図５に示すように、白色抽出領域は、白色抽出部５３２ａにおいて、白色の判定に用いるＲとＧの比率（Ｒ／Ｇ）およびＢとＧの比率（Ｂ／Ｇ）から構成される抽出領域である。

種々の検討およびシミュレーションを行った結果、本実施の形態では、Ｒ／ＧをＸ軸、Ｂ／ＧをＹ軸としたときの各軸に平行な水平および垂直方向の直線の上辺、下辺と斜め方向の直線にて囲まれた六角形の領域を白色抽出領域と定義する。この白色抽出領域は、選択の自由度を高めるため、六角形を構成する各辺は、互いに平行な２つの直線（上限値、下限値および切片）で構成されており、システムコントローラ６からの選択制御信号に基づいていずれか一方が選択される。

式（１）〜式（６）は、図５に示す白色抽出領域を構成する各辺の具体的な数値の一例を示したものである。ここで、式（１）は、Ｒ／Ｇの下限値を示し、式（２）は、Ｒ／Ｇの上限値を示し、式（３）は、Ｂ／Ｇの下限値を示し、式（４）は、Ｂ／Ｇの上限値を示し、式（５）は、図５中下側の切片を示し、式（６）は、上側の切片を示している。また、式（１）〜式（６）のカッコ内の小数の値は、それぞれ、すぐ左に示す分数の値を小数に直したものであり乗算を行っているわけではない（以下に示す式（７）〜式（２０）についても同様）。

このように、式（１）〜式（６）は、係数が、ｍ×２ⁿ（ｍ、ｎ：整数）である複数の直線を構成している。
図５において、斜線にて示された六角形の白色抽出領域Ａは、上記選択により最も抽出領域を狭く設定した場合であり、白色抽出領域Ａを包含し、白色抽出領域Ａよりも広く示された六角形の白色抽出領域Ｂは、最も抽出領域を広く設定した場合に相当する。このように、抽出領域の上限および下限を段階的に設定することにより、白色の抽出をより精密に行うことができる。

次に、肌色抽出部５３２ｂにおける肌色抽出領域について説明する。
図６は、肌色抽出領域を示す図である。
図６に示すように、肌色抽出領域は、肌色抽出部５３２ｂにおいて、肌色の判定に用いるＲとＧの比率（Ｒ／Ｇ）およびＢとＧの比率（Ｂ／Ｇ）から構成される抽出領域を具体的に示したものである。

種々の検討およびシミュレーションを行った結果、本実施の形態ではＲ／Ｇ、Ｂ／Ｇの各軸に平行な水平および垂直方向の直線の上辺、下辺にて囲まれた四角形の領域を肌色抽出領域と定義し、前述した白色抽出領域の場合と同様、選択の自由度を高めるため、四角形を構成する各辺は、互いに平行な２つの直線（上限値、下限値）で構成されており、システムコントローラ６からの選択制御信号に基づいていずれか一方が選択される。

式（７）〜式（１０）は、肌色抽出領域を構成する各辺の具体的な数値の一例を示したものである。ここで、式（７）は、Ｒ／Ｇの下限値を示し、式（８）は、Ｒ／Ｇの上限値を示し、式（９）は、Ｂ／Ｇの下限値を示し、式（１０）は、Ｂ／Ｇの上限値を示している。

このように、式（７）〜式（１０）についても、係数が、ｍ×２ⁿ（ｍ、ｎ：整数）である複数の直線を構成している。
図６において、斜線にて示された四角形の肌色抽出領域Ｃは、最も肌色抽出領域を狭く設定した場合であり、肌色抽出領域Ｃを包含し、肌色抽出領域Ｃよりも広く示された四角形の肌色抽出領域Ｄは、最も肌色抽出領域を広く設定した場合に相当する。このように、抽出領域の上限および下限を段階的に設定することにより、肌色の抽出をより精密に行うことができる。

ところで、式（１）において、両辺にＧを乗じると式（１１）のように変形することができる。

式（１１）では、ＲをＧの関数とすることにより、Ｒ信号とＧ信号との比較演算に置き換えることができる。
式（１２）〜式（１６）もまた、式（１１）と同様に変形することにより、ＲおよびＢをＧの関数に置き換えることができる。

すなわち、式（１１）〜式（１６）のいずれの演算にも、除算、乗算演算の必要は無く、加算、比較演算にて実現することができるため、演算が簡略化される。
次に、式（１１）〜式（１６）によって実現される白色抽出領域を、演算により形成する白色抽出部５３２ａの構成について説明する。

図７は、白色抽出部の内部構成を示すブロック図である。
白色抽出部５３２ａは、入力された信号を左（２倍）または右（１／２倍）に所定ビットシフトするシフト部１００〜１０３、１０７、１１４、１１５、１１７と、入力される２つの信号を加算する加算部１０４〜１０６、１１６と、システムコントローラ６からの選択制御信号に基づき、入力される信号のいずれか一方を選択して出力する選択部１０８〜１１３とで構成される演算部並びに入力される信号の大小に応じて１または０を出力する比較部１１８〜１２３と、入力される信号の論理積（ＡＮＤ）をとり結果を出力する論理積部１２４〜１２７とで構成される判断部で構成されている。なお、以下では、判断部での演算も演算処理という。

シフト部１００は、入力されるＧ信号を３ビット右にシフトして１／８Ｇ信号を出力する。シフト部１０１は、入力されるＧ信号を２ビット右にシフトして２／８信号を出力する。シフト部１０２は、入力されるＧ信号を１ビット右にシフトして１／２Ｇ信号を出力する。シフト部１０３は、入力されるＧ信号を１ビット左にシフトして２Ｇ信号を出力する。シフト部１１４は、入力されるＲ信号を１ビット左にシフトして２Ｒ信号を出力する。シフト部１１５は、入力されるＢ信号を１ビット左にシフトして２Ｂ信号を出力する。加算部１０４は、シフト部１００から入力される１／８Ｇ信号とシフト部１０２から入力される１／２Ｇ信号とを加算して５／８Ｇ信号を出力する。加算部１０５は、シフト部１０３から入力される２Ｇ信号とＧ信号とを加算して３Ｇ信号を出力する。加算部１０６は、シフト部１００から入力される１／８Ｇ信号と入力されるＧ信号とを加算して９／８Ｇ信号を出力する。シフト部１０７は、入力される３Ｇ信号を２ビット右にシフトして出力する。選択部１０８、１０９は、シフト部１００から入力される１／８Ｇ信号とシフト部１０１から入力される２／８Ｇ信号のいずれか一方を出力する。選択部１１０、１１１は、加算部１０４から入力される５／８Ｇ信号とシフト部１０７から入力される６／８Ｇ信号のいずれか一方を出力する。

選択部１１２は、入力されるＧ信号とシフト部１０７から入力される６／８Ｇ信号のいずれか一方を出力する。選択部１１３は、加算部１０６から入力される９／８Ｇ信号と入力されるＧ信号のいずれか一方を出力する。シフト部１１４は、入力されるＲ信号を１ビット左にシフトして２Ｒ信号を出力する。シフト部１１５は、入力されるＢ信号を１ビット左にシフトして２Ｂ信号を出力する。

加算部１１６は、入力されるＢ信号とＲ信号とを加算して（Ｂ＋Ｒ）信号を出力する。シフト部１１７は、入力される（Ｂ＋Ｒ）信号を１ビット左にシフトして２（Ｂ＋Ｒ）信号を出力する。

次に、一例として白色抽出部５３２ａの、式（１１）の演算処理について説明する。入力されたＧ信号は、シフト部１００、１０１にてそれぞれ３ビット、２ビットに右シフト演算処理が施され、１／８Ｇ、２／８（１／４）Ｇ信号となる。選択部１０８では、１／８Ｇ、２／８Ｇのいずれか一方の信号が選択される。選択された信号は、比較部１１８にて、入力Ｒ信号との比較演算処理が施され、式（１１）の関係が成り立つ場合は１、そうでない場合は０となる比較演算結果信号が論理積部１２４に出力される。

同様に、式（１２）〜式（１６）の演算処理も、それぞれ入力Ｇ信号のシフト部および加算部によるシフト演算および加算処理と選択部での選択制御信号による選択処理を経て比較部１１９〜１２３で比較演算処理をすることにより実現される。なお、ここではその詳細な説明は省略する。

このように、式（１１）および式（１２）に相当する比較演算処理結果は論理積部１２４に、式（１３）および式（１４）に相当する比較演算処理結果は論理積部１２５に、式（１５）および式（１６）に相当する比較演算処理結果は論理積部１２６にそれぞれ出力され、論理積演算処理が施される。ここで、論理積部１２４は、白色抽出部５３２ａに入力されたＲ信号、Ｂ信号およびＧ信号が、対向する縦方向の２直線内に属しているか否かを判断している。また、論理積部１２５は、白色抽出部５３２ａに入力されたＲ信号、Ｂ信号およびＧ信号が、対向する横方向の２直線内に属しているか否かを判断している。また、論理積部１２６は、白色抽出部５３２ａに入力されたＲ信号、Ｂ信号およびＧ信号が、対向する斜め方向の２直線内に属しているか否かを判断している。

論理積部１２４〜１２６における論理積演算結果は、最終的に論理積部１２７へと入力され、論理積演算処理が施される。
論理積部１２７での論理積演算結果が１の場合は、入力された信号が、図４で示される白色抽出領域内に存在する信号であり、白色に相当すると判定され、論理積演算結果が０の場合は、白色に相当しない信号と判定される。これにより、被写体画像中の白色領域を抽出可能とする。

ところで、式（１１）〜式（１６）と同様に、式（７）〜式（１０）は、それぞれ式（１７）〜式（２０）に示すように変形することができる。

このように、式（１７）〜式（２０）のいずれの演算にも、除算および乗算演算の必要は無く、全て、加算、比較演算にて実現することができる。
次に、式（１７）〜式（２０）によって実現される肌色抽出領域を、演算により形成する肌色抽出部５３２ｂの構成について説明する。なお、以下では前述した白色抽出部５３２ａとの相違点を中心に説明し、同様の事項については、その説明を省略する。

図８は、肌色抽出部の内部構成を示すブロック図である。
肌色抽出部５３２ｂは、入力された信号を左（２倍）または右（１／２倍）に所定ビットシフトするシフト部１００〜１０２と、入力される２つの信号を加算する加算部１０４、１０６、１２８、２００〜２０２と、システムコントローラ６からの選択制御信号に基づき、入力される信号のいずれか一方を選択する選択部１１３、２０３〜２０５と、入力される信号の大小に応じて１または０を出力する比較部２０７〜２１０と、入力される信号の論理積（ＡＮＤ）をとる論理積部２１１〜２１３とで構成されている。

なお、図８に示すように、肌色抽出部５３２ｂのシフト部１００〜１０２および加算部１０４、１０６、１２８は、図７の白色抽出部５３２ａのシフト部および加算部を共有（兼用）する共有部３００を構成している。

次に、一例として肌色抽出部５３２ｂの、式（１７）の演算処理について説明する。入力されたＧ信号は、シフト部１００、１０１、１０２にて、それぞれ右に３ビット、２ビット、１ビットのシフト演算処理が施され、１／８Ｇ、１／４Ｇ、１／２Ｇ信号となる。シフト演算処理の施された１／８Ｇ、１／２Ｇ信号は、加算部１０４にて加算処理が施され、５／８Ｇ信号となる。また、１／４Ｇ信号は、加算部２００にて、加算処理後の５／８Ｇ信号との加算処理が施され、７／８Ｇ信号となる。選択部２０３では、システムコントローラ６からの選択制御信号に基づき、７／８Ｇ、入力Ｇ信号の何れかの信号が選択される。選択されたＧ信号は、比較部２０７にて、入力Ｒ信号との比較演算処理が施され、式（１７）の関係が成り立つ場合は１、そうでない場合は０となる比較演算結果信号が論理積部２１１に出力される。

式（１８）〜式（２０）の演算は、式（１７）の場合と同様に入力Ｇ信号のシフト部および加算部によるシフト演算および加算処理と選択部での選択制御信号による選択処理および比較部での比較演算処理にて実現されるため、ここではその詳細な説明は省略する。

そして、式（１７）および式（１８）に相当する比較演算処理結果は論理積部２１１へ、式（１９）および式（２０）に相当する比較演算処理結果は論理積部２１２へそれぞれ出力され、論理積部２１１、２１２にてそれぞれ論理積演算処理が施される。論理積部２１１、２１２における論理積演算結果は、最終的に論理積部２１３へと入力され、論理積演算処理が施される。

すなわち、論理積部２１３での論理積演算結果が１の場合は、図６で示される肌色抽出領域内に存在する信号であり、肌色に相当する信号であると判定することができ、論理積部２１３での論理積演算結果が０の場合は、肌色に相当しない信号であると判定することができる。これにより、被写体画像中の肌色領域を抽出可能とする。

以上述べたように、本実施の形態の撮像装置１によれば、ＡＷＢ演算処理部５３ｂ内の比率制限部５３２に肌色抽出部５３２ｂを設け、肌色抽出部５３２ｂが、形成された肌色抽出領域内において、係数がｍ×２ⁿで表される式（１７）〜式（２０）により囲まれた肌色抽出領域を、シフト部１００〜１０２、加算部１０４、１０６、１２８、２００〜２０２を用いて構成することにより乗算処理および除算処理を不要とすることによって、回路構成を簡易なものにすることができるため、被写体画像中の肌色領域を精度よく抽出でき、精度よい色調を行いつつ、機器の小型化、軽量化および低コスト化を図ることができる。

また、白色抽出部５３２ａと肌色抽出部５３２ｂとが演算部を一部共有する共有部３００を有することにより、肌色抽出部５３２ｂや色空間変換部の専用部分を減らすことができる。

さらに、制御演算処理部５３内に肌色抽出部５３２ｂを設けることにより、ＡＷＢ演算処理部５３ｂのみならず、ＡＥ演算処理部５３ｃ、ＡＦ演算処理部５３ｄとの自動制御処理の連携制御を可能とし、特に人物が被写体となるような場面において、撮像被写体の好適な映像信号の生成を行うことができる。

以上、本発明の撮像装置を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。

なお、本実施の形態では、白色抽出領域Ａおよび白色抽出領域Ｂを作成した場合について説明したが、これに限らず、システムコントローラ６が選択部１０８〜１１３の選択パターンを変更することにより、他の大きさ（パターン）の白色抽出領域を作成することができる。また同様に、選択部２０３〜２０５の選択パターンを変更することにより他の大きさ（パターン）の肌色抽出領域を作成することができる。

また、前述した各実施の形態においては、信号処理回路５は集積回路（ハードウェア）で構成される例を示したが、前述した構成の全て、またはその一部を、コンピュータ等を利用してソフトウェア的に実現するようにしてもよい。

また、本実施の形態では、色信号としてＲ信号、Ｇ信号およびＢ信号を用いたが、これに限定されず、例えば、Ｃ（水色）信号、Ｍ（赤紫）信号、Ｙ（黄）信号のいわゆる補色信号等を用いてもよい。

また、本発明の撮像装置は、デジタルビデオカメラ、デジタルスチルカメラ等の静止画像または動画像の撮像装置等に適用することができる。

撮像装置の要部構成を示すブロック図である。 カメラ信号処理部の構成を示すブロック図である。 制御演算処理部を示すブロック図である。 ＡＷＢ演算処理部の構成を示すブロック図である。 白色抽出領域を示す図である。 肌色抽出領域を示す図である。 白色抽出部の内部構成を示すブロック図である。 肌色抽出部の内部構成を示すブロック図である。

符号の説明

１・・・撮像装置、１００〜１０３、１０７、１１４、１１５、１１７・・・シフト部、１０４〜１０６、１１６、２００〜２０２・・・加算部、１０８〜１１３、２０３〜２０５・・・選択部、１１８〜１２３、２０７〜２１０・・・比較部、１２４〜１２７、２１１〜２１３・・・論理積部、３００・・・共有部、５３２ｂ・・・肌色抽出部、Ｃ、Ｄ・・・肌色抽出領域

Claims (8)

1. 撮像被写体画像から特定の色信号を抽出して処理する機能を備えた撮像装置において、
   前記撮像被写体画像から色分解された３つの色信号のうちの１色を基準色信号とし、前記基準色信号と、前記基準色信号に対する他の２つの色信号との比率を、それぞれＸ軸およびＹ軸に規定した領域を形成し、入力される前記色信号をそれぞれシフト演算処理するシフト部と、前記色信号の大きさを加算する加算部とによる演算を行って、前記領域内において係数がｍ×２ⁿ（ｍ、ｎ：整数）である複数の直線により囲まれた色抽出領域を算出する演算部と、
   前記演算部によって求められた演算結果に基づいて、前記３つの色信号が前記色抽出領域内に存在するか否かを判断する判断部と、
   を有することを特徴とする撮像装置。
2. 前記色抽出領域は、肌色抽出領域であることを特徴とする請求項１記載の撮像装置。
3. 前記判断部は、入力された前記色信号の大きさと前記色抽出領域を囲む前記複数の直線各々が示す領域とを比較する比較部と、前記複数の直線各々が示す領域に対応する前記比較部からの比較結果信号の論理積を演算する論理積部とを有し、すべての前記比較結果信号の論理積に基づき、前記色信号が前記色抽出領域内に存在するか否かを判断することを特徴とする請求項１記載の撮像装置。
4. 前記色抽出領域は、抽出を行う色の数に応じて複数設けられ、
   前記各色抽出領域の演算の際に、前記演算部は、前記シフト部および加算部の一部を共有することを特徴とする請求項３記載の撮像装置。
5. 前記複数の色抽出領域は、白色抽出領域および肌色抽出領域であることを特徴とする請求項４記載の撮像装置。
6. 前記演算部は、前記色抽出領域の大きさを選択する選択回路をさらに有することを特徴とする請求項１記載の撮像装置。
7. 前記演算部は、前記シフト部および前記加算部を用いて前記基準色信号と前記他の２つの色信号のうちの１つの色信号との比率および／または前記基準色信号と前記他の２つの色信号の和との比率に上限値および下限値を設定し、
   前記選択回路は、前記上限値および前記下限値内の値を選択することにより前記色抽出領域の大きさを選択することを特徴とする請求項６記載の撮像装置。
8. 前記演算部は、前記上限値および下限値内の値を段階的に設定することを特徴とする請求項７記載の撮像装置。
   

Images