JP4335727B2

JP4335727B2 - 顔抽出を行うディジタルカメラ

Info

Publication number: JP4335727B2
Application number: JP2004102935A
Authority: JP
Inventors: 学兵藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2004-03-31
Filing date: 2004-03-31
Publication date: 2009-09-30
Anticipated expiration: 2024-03-31
Also published as: JP2005294917A

Description

本発明は、画像中の人物の顔に相当すると推定される領域を抽出する顔抽出を行うディジタルカメラに関するものである。

人物写真を鑑賞するときに最も注目される部位は人物の顔であるので、たとえばネガフィルムなどに記録された原画像を印画紙などの複写材料に焼付ける場合には、人物の顔の色が適正な色に焼付けされるように、原画像中の人物の顔に相当する領域を抽出し、抽出した領域の色や濃度に基づいて露光量を決定することが望ましい。

そこで、従来から、顔領域抽出方法では、カラー原画像において、肌色データを抽出することによって人物の顔に相当すると推定される領域を抽出している。特許文献１に記載の顔領域抽出方法では、カラー原画像上の多数箇所を複数の成分色に分解して測光した結果、肌色領域内に位置し、非エッジ部分と分類した画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出することができる。

特開平9-101579号公報

ところで、ディジタルカメラの顔抽出において問題になるのが、肌色と類似の色相の物体であり、たとえば、木や地面などが考えられる。また、タングステン光源下での物体は、自動ホワイトバランス（Automatic White Balance：AWB）のロバスト性から、完全にはホワイトバランス（White Balance：WB）がとれず光源色が残ってしまう。たとえば、白壁などの背景は、タングステン光が当たると肌色に見えてしまう。この状況を完全補正しようとすると誤判別時の被害が大きくなるため、通常、ディジタルカメラは、タングステンの光源の雰囲気を残すように設定されている。

特許文献１に記載の顔領域抽出方法は、上記のような顔と類似色相の物体を撮影すると、光の加減や色相により、顔のエッジが閉曲線にならない光質の場合も存在し、誤検出することがある。

本発明はこのような従来技術の欠点を解消し、顔と類似色相の物体を除外して適切に顔抽出を行うディジタルカメラを提供することを目的とする。

本発明は上述の課題を解決するために、被写界を撮像してこの被写界を表わす画像信号を形成する撮像手段と、この画像信号を一時格納する格納手段とを含むディジタルカメラは、この被写界に応じた構図を操作者に示す構図補助フレームを設定する設定手段と、この画像信号が示す画像から顔領域を抽出する顔領域抽出手段とを含み、この顔領域抽出手段は、視覚的に肌色と判断できる複数の色データを含む肌色テーブルを有し、この顔領域抽出手段は、この格納手段からこの画像信号を抽出処理画像として取得して抽出前処理を行う前処理手段と、この肌色テーブルに基づいて、この抽出処理画像における各画素データが肌色であるか否かを判断して、肌色と判断された画素データで構成される肌色領域画像を検出する肌色領域検出手段と、この肌色領域画像の内、この構図補助フレーム外の肌色領域を除外する除外手段と、この肌色領域画像を複数の分割領域に分割する分割手段とを含み、この複数の分割領域の形状を、それぞれ、顔に相当するか否かを判定して顔領域を抽出することを特徴とする。

本発明によれば、ディジタルカメラは、構図補助フレームを利用することにより、顔位置を絞り込んで顔抽出を行うことができる。これにより、地面やタングステン時の背景などのような肌色類似色の影響を軽減することができ、より確度ある顔抽出と共に撮影をすることができる。さらに、この顔抽出結果に基づいて、適切なホワイトバランス調整を行うことができる。

次に添付図面を参照して本発明によるディジタルカメラの実施例を詳細に説明する。図１を参照すると、本発明によるディジタルカメラ10の実施例は、撮像部12で撮像した画像信号を前処理部14およびアナログ・ディジタル（A/D）変換器16で前処理してメモリ18に一時蓄積し、システム制御部20において構図補助フレーム情報を用いて画像信号を処理して顔抽出を行い、WB調整部22で顔抽出結果に応じてホワイトバランス調整を制御する。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。

本実施例では、構図補助フレームは、図６〜図９に示すように、撮影モードに応じて種類を変えてディジタルカメラ10のディスプレイ40に表示されて、被写界に応じた最適な構図を操作者に示す、ベストフレーミング機能を有する。この構図補助フレームは、操作者により表示と非表示とが切り替えられてもよい。

本実施例において、構図補助フレームは、数種類のフレームの内、一つが選択されて設定されてよく、たとえば、風景モードや夜景モードでは、図10および図11に示すような格子状のフレームが選択される。また、撮影モードが人物モード、すなわちポートレート用の撮影である場合には、図12および図13に示すような横撮り型のポートレート用フレームや、図14および図15に示すような縦撮り型のポートレート用フレームが選択される。本発明では、画像から人物の顔領域を抽出するので、図12〜図15に示すポートレート用フレームが用いられ、操作者は、これらのフレームの最も内側の枠内に、撮影対象を当てはめるとよい。

また、図12および図14における構図補助フレームは、画像を３段階に分ける２つのフレームが示され、図13および図15における構図補助フレームは、画像を４段階に分ける３つのフレームが示される。図12〜図15のそれぞれの場合において、構図補助フレームは、複数のフレームを有する一つの構図補助フレームとして表示されてもよく、また、複数のフレームが切り替えられて表示されてもよい。

撮像部12は、具体的な構成は図示しないが、撮影画像の１画面を形成する撮像面を含み、光学系を介してその撮像面に結像される被写界像をアナログ電気信号102に光電変換して出力する。本実施例の撮像部12は、たとえば、電荷結合素子（Charge Coupled Device：CCD）や金属酸化膜型半導体（Metal Oxide Semiconductor：MOS）等のいずれのイメージセンサでもよい。

撮像部12における撮像面は、複数の受光素子が配置されて形成される。各受光素子は、入射光を電気信号に光電変換する光センサであり、たとえば、フォトダイオードが用いられる。また、各受光素子には、入射光を色分解する色フィルタが備えられ、この色フィルタの配設により、たとえば、三原色RBGというそれぞれの色の属性を有するように色分解された入射光が入射して、その色に応じたアナログ電気信号102を出力する。

前処理部14は、アナログ電気信号102に対して、アナログ信号処理を施す機能を有する。たとえば、前処理部14は、相関二重サンプリング（Correlated Double Sampling：CDS）処理を施して雑音を低減し、ゲインコントロールアンプ（Gain Controlled Amplifier：GCA）処理により信号を増幅させる。また、処理されたアナログ画像信号104をA/D変換器16に出力する。

A/D変換器16は、入力のアナログ画像信号104の信号レベルを所定の量子化レベルにより量子化してディジタル画像信号に変換する機能を有し、本実施例では、メモリ18およびWB調整部22に、それぞれ、ディジタル画像信号106および108を出力する。メモリ18は、ディジタル画像信号106を一時蓄積する機能を有する。

システム制御部20は、本カメラ全体の動作を制御および統括する制御機能部である。また、システム制御部20は、視覚的に肌色と判断できる複数の色データを含む肌色テーブル、および画像信号などで表わされる数種類の構図補助フレームを保有し、構図補助フレームの設定を記憶することもできる。本実施例では、特に、メモリ18から画像信号を抽出処理画像として取得し、構図補助フレームを用いて顔抽出を行い、たとえば、この顔抽出結果を利用してWB調整部22のホワイトバランス調整を制御する。この顔抽出処理は、人物撮影において有利な効果があるため、たとえば、撮影モードが人物モードであるときや、構図補助フレームがポートレート用であるときに行われるとよい。

さらに、本実施例におけるシステム制御部20は、積算部30、AWB調整部32および同時化処理部34を含んで顔抽出のための前処理を行い、中央演算処理装置（Central Processing Unit：CPU）36を含んで顔抽出を行い、この抽出結果に応じてWB調整部22を制御する。

この積算部30は、メモリ18から引き出されるディジタル画像信号120を処理して、AWB調整のための評価値を生成する。

AWB調整部32は、積算部30から供給される画像信号122に対して、積算部30で求めた評価値を用いてAWB調整を施す機能を有する。

同時化処理部34では、AWB調整が施された画像信号124において、各受光素子から得られる画素データに対して、受光素子のない空隙位置、すなわち仮想受光素子または仮想画素での画素データを周囲の画素データから三原色RGBのいずれかについて補間生成する。この補間生成により三原色RGBのそれぞれプレーンな画像のデータが同時に得られる。

CPU 36は、本実施例では、供給される画像信号126に示される画像から顔領域を抽出して、この抽出結果に応じて制御信号110を生成してWB調整部22を制御する機能を有する。顔領域抽出では、肌色テーブルに基づいて画像信号126から肌色領域を示す画像を検出し、この肌色領域画像から構図補助フレーム外の肌色領域を除外する。こうして残されたフレーム内肌色領域画像の肌色領域部分を彩度ごとに分割し、分割した各領域の形状から顔候補を算出して顔領域を抽出する。

また、CPU 36では、たとえば、構図補助フレームに応じた重み付けを用いて、顔領域の明るさを示す輝度信号などに基づき、WB調整のためのホワイトバランスゲインなどの評価値を生成して、WB調整部22を制御する制御信号110をWB調整部22に供給する。

また、WB調整部22は、入力のディジタル画像信号108に対して、本実施例では、システム制御部20から供給される制御信号110により制御されて、適切にホワイトバランスを調整し、ディジタル画像信号112を出力する。また、WB調整部22では、ディジタル画像信号108をメモリ18から読み出すようにしてもよい。

ガンマ（γ）変換部24では、入力のディジタル画像信号112を、たとえば撮像部12の階調特性に応じてガンマ補正する機能を有して、補正した画像信号114を出力する。

Y/C処理部26は、入力のディジタル画像信号114に対して、三原色RGBにて表わされた画像信号を、輝度信号Yと色差信号R-YおよびB-Yとから構成された信号に変換して、Y/C処理が行われタ画像信号を出力する。

圧縮／伸張部28は、入力のディジタル画像信号116に対して、たとえば、直交変換を用いたJPEG（Joint Photographic cording Experts Group）規格での圧縮処理、および元の信号に伸張処理する機能を有する。圧縮／伸張部28は、圧縮した信号を、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどの情報記録媒体（図示せず）に出力して記憶させてよい。

次にディジタルカメラ10の動作を、図５のフローチャートを参照しながら説明する。操作者は本カメラを操作して、構図補助フレームにポートレート用フレームを設定し、人物などを含む被写界像が撮像部12で撮像される。

この撮像されたアナログ電気信号102は、前処理部14に供給されてアナログ信号処理が施される。アナログ信号処理されたアナログ画像信号104は、A/D変換器16に供給されてアナログ・ディジタル変換が行われる。この変換されたディジタル画像信号106は、メモリ18に一時蓄積される（ステップ502）。

次に、システム制御部20において、メモリ18から画像信号120を読み出し、積算部30、AWB調整部32および同時化処理部34で前処理される（ステップ504）。このとき、積算部30では、画像信号120に基づいて、AWB調整のための評価値が算出され、画像信号122およびこの評価値がAWB調整部32に供給される。AWB調整部32において、画像信号122は、この評価値を用いてAWB調整され、AWB調整された画像信号124は、同時化処理部34に供給される。同時化処理部34において、画像信号124は、三原色RGB同時生成が行われ、生成された画像信号126がCPU 36に供給される。

CPU 36では、まず肌色テーブルが取得される（ステップ506）。たとえば、図２に示すように、被写界像を再現する色を、R/Gを横軸に、またB/Gを縦軸にとる図に表わすとき、視覚的に肌色と判断できる範囲を肌色抽出エリア202とする。本実施例では、肌色テーブルは、このエリア202で囲まれた範囲内の複数の色データをテーブルとして含む。

ここで、この肌色テーブルを用いて、画像信号126から肌色領域画像が検出される（ステップ508）。このとき、画像信号126における各画素の画像データが、肌色テーブルに含まれる複数の色データのいずれかに相当するか否か、すなわち肌色であるか否かが判断される。この結果、肌色と判断された場合、その画像データは肌色領域として画像に残され、判断されない場合、その画像データは画像から除外される。このようにして、肌色領域画像が検出される。

また、CPU 36では、構図補助フレームが取得される（ステップ510）。この構図補助フレームは、撮像の直前に操作者により設定されるものでよい。

本実施例では、図３に示すように、肌色領域画像302に構図補助フレーム304を重ねた場合に、このフレーム外に位置するような肌色領域は、顔領域でない可能性が高く、顔領域の候補の対象外として肌色領域画像から除外される（ステップ512）。

次に、CPU 36において、構図補助フレーム304内の画像は、各画素の肌色および彩度が判定されて、彩度による領域分割が行われる（ステップ514）。たとえば、図２によるR/GおよびB/Gで示す色のグラフを、原点を中心とする円210、212、214、216および218により分割するとき、分割範囲のそれぞれは、外側の円になるほどに彩度が高くなり、すなわち、R/GまたはB/Gの増加に応じて彩度が高くなる。本実施例では、肌色テーブルが所定数の彩度に区分され、たとえば、図２に示すように、肌色抽出エリア202がこの彩度ごとに６分割されるとき、図３に示すように、フレーム304内の画像が彩度ごとに領域分割される。本実施例では、この領域分割は、フレーム外の肌色領域を除外した後で行われるが、この除外の後で行われてもよい。

また、本発明では、構図補助フレーム内の画像を分割する場合、各画素のエッジを検出してそのエッジの境界ごとに分割してもよい。このとき、ハイパスフィルタ（High Pass Filter：HPF）などを用いてエッジ検出してもよい。

このように、彩度分割された領域は、顔と顔以外の肌色類似部分とを区別するために、それぞれの形状が顔に相当するか否が判別されて、適切に顔領域を抽出することができる（ステップ516）。

本実施例において、顔抽出を行った結果、たとえば、図４に示すように、構図補助フレーム404を用いた肌色領域画像402において、顔領域の候補406、408、410および412が抽出される。このとき、システム制御部20において、これらの顔候補の明るさを示す輝度信号などに基づき、WB調整部22におけるホワイトバランス調整のための評価値を算出することができる。

顔候補406、408、410および412の明るさは、それぞれ、Y1、Y2、Y3およびY4で示され、これらは、画像データから求められてよい。一方、顔候補406、408、410および412の重み付けは、それぞれ、W1、W2、W3およびW4で示され、これらは、構図補助フレーム404の内と外とで変わるよう調整される。たとえば、フレーム404内に位置する顔候補406、408および410の重み付けは、互いに等しく、フレーム404から外れた顔候補412は、顔でない可能性が他より高いため、他の顔候補の重み付けより小さくなり、W1=W2=W3＞W4の関係が成り立つ。

本実施例では、抽出された顔領域の候補ｉの明るさY_iと、構図補助フレームに応じて定まる重み付けW_iとを用いて、画像402の明るさY＝ΣY_iW_i/ΣW_iを算出することができる。さらに、この明るさYを用いてホワイトバランスゲインなどの評価値を生成し、制御信号110によりWB調整部22に供給することができる。このホワイトバランスゲインには、たとえば、1.2倍などの倍率を示す値が適用されてよい。

このような重み付けの調整は、構図補助フレームが同時に複数のフレームを有する場合には、フレームが外側であるほどに小さくしてよい。また、本実施例では、重み付けの調整をフレームごとに行っているが、たとえば、明るさ、彩度または色データのレベルなどに応じて行ってもよい。

WB調整部22において、画像信号108は、供給された制御信号110に応じて、適切なホワイトバランス調整が施される。また、この調整がされた画像信号112は、γ変換部24、Y/C処理部26および圧縮／伸張部28に供給されて信号処理される。

本発明に係るディジタルカメラの一実施例を示すブロック図である。図１に示す実施例のディジタルカメラにおいて、被写界像を再現する色について、R/GとB/Gとの関係、および肌色抽出エリアを示す図である。図１に示す実施例のディジタルカメラにおいて、撮影画像における構図補助フレームに対する彩度分割を示す模式図である。図１に示す実施例のディジタルカメラにおいて、撮影画像における構図補助フレームに対する顔候補領域を示す模式図である。本発明の顔抽出を行うディジタルカメラの動作手順を説明するフローチャートである。図１に示す実施例のディジタルカメラにおいて、撮影モードのオートモードを示す図である。図１に示す実施例のディジタルカメラにおいて、撮影モードの人物モードを示す図である。図１に示す実施例のディジタルカメラにおいて、撮影モードの風景モードを示す図である。図１に示す実施例のディジタルカメラにおいて、撮影モードの夜景モードを示す図である。図１に示す実施例のディジタルカメラにおいて、格子状である構図補助フレームの模式図である。図１に示す実施例のディジタルカメラにおいて、格子状である構図補助フレームの模式図である。図１に示す実施例のディジタルカメラにおいて、横撮りポートレート用の構図補助フレームの模式図である。図１に示す実施例のディジタルカメラにおいて、横撮りポートレート用の構図補助フレームの模式図である。図１に示す実施例のディジタルカメラにおいて、縦撮りポートレート用の構図補助フレームの模式図である。図１に示す実施例のディジタルカメラにおいて、縦撮りポートレート用の構図補助フレームの模式図である。

符号の説明

10 ディジタルカメラ
12 撮像部
14 前処理部
16 A/D変換器
18 メモリ
20 システム制御部
22 ホワイトバランス調整部
24 ガンマ補正部
26 Y/C処理部
28 圧縮／伸張部
30 積算部
32 自動ホワイトバランス調整部
34 同時化処理部
36 中央演算処理装置

Claims

被写界を撮像して該被写界を表わす画像信号を形成する撮像手段と、
前記画像信号を一時格納する格納手段とを含むディジタルカメラにおいて、該カメラは、前記被写界に応じた構図を操作者に示す構図補助フレームを設定する設定手段と、
前記画像信号が示す画像から顔領域を抽出する顔領域抽出手段とを含み、
該顔領域抽出手段は、視覚的に肌色と判断できる複数の色データを含む肌色テーブルを有し、該顔領域抽出手段は、
前記格納手段から前記画像信号を抽出処理画像として取得して抽出前処理を行う前処理手段と、
前記肌色テーブルに基づいて、前記抽出処理画像における各画素データが肌色であるか否かを判断して、肌色と判断された画素データで構成される肌色領域画像を検出する肌色領域検出手段と、
前記肌色領域画像の内、前記構図補助フレーム外の肌色領域を除外する除外手段と、
前記肌色領域画像を複数の分割領域に分割する分割手段とを含み、
前記複数の分割領域の形状を、それぞれ、顔に相当するか否かを判定して顔領域を抽出し、
該カメラは、前記顔領域抽出手段により抽出された顔領域に基づいてホワイトバランス調整のための第２の評価値を算出する算出手段と、
第２の評価値を用いて前記画像信号にホワイトバランス調整を施すホワイトバランス調整手段とを含み、
前記算出手段は、前記顔領域抽出手段により抽出された顔領域ｉの明るさY _i と、前記構図補助フレームに基づいて定まる重み付けW _i とを用いて、前記抽出処理画像の明るさY＝ΣY _i W _i /ΣW _i を算出し、該明るさYを用いて第２の評価値を算出することを特徴とするディジタルカメラ。
請求項１に記載のカメラにおいて、前記肌色テーブルは、前記複数の色データを所定数の彩度に区分し、
前記分割手段は、前記肌色領域画像を前記所定数の彩度ごとに分割することを特徴とするディジタルカメラ。
請求項１または２に記載のカメラにおいて、前記分割手段は、前記肌色領域画像の各画素のエッジを検出するエッジ検出手段を含み、前記肌色領域画像を前記エッジの境界により分割することを特徴とするディジタルカメラ。
請求項１ないし３のいずれかに記載のカメラにおいて、前記前処理手段は、自動ホワイトバランス調整のための第１の評価値を算出して、第１の評価値を用いて前記抽出処理画像に自動ホワイトバランス調整を施し、さらに、同時化処理を施すことを特徴とするディジタルカメラ。
請求項１に記載のカメラにおいて、第２の評価値は、ホワイトバランスゲインであることを特徴とするディジタルカメラ。
請求項１ないし５のいずれかに記載のカメラにおいて、前記構図補助フレームは、同時に複数のフレームを有することを特徴とするディジタルカメラ。