JP4616697B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、自然画像を処理する画像処理装置およびその方法に係り、とくに人物等の顔画像を含む画像信号を処理する画像処理装置およびその方法に関するものである。

従来、高画素密度な固体撮像素子を備える撮像装置にて撮像された画像データが各種情報記録媒体に蓄積されたり、その画像がプリントされたりしている。

ビデオ会議などで撮像される被写体は主に人物などが多く、また普通の写真であっても人物を撮影したものも多い。

またディジタル画像を記録保存したり他方へ送信したりする際には、ディジタル画像データに対し圧縮処理を行って、なるべく少ない情報量にて転送することが行われる。たとえば従来文献１に開示されているように顔の特徴を符号化してから送信し、受信側にて再構成することができる。この場合、圧縮率を大きくとることが可能であるが、機構が複雑になってしまい、受信側に特別なハードウェアおよびソフトウェアが必要になる。
特開平10-228544号公報 特開平09-233423号公報

しかしながら、従来例では圧縮率を大きくとることは可能であるが、機構が複雑になってしまい、受信側に特別なハードウェアおよびソフトウェアが必要になるという問題があった。したがってディジタル画像を記録／送信する際に情報量を少なくするとともに、その送受信の際に受信側にて特別なハード／ソフトを必要としないようにすることが困難であった。

本発明は、ディジタル画像を記録／送信する際に情報量を少なくし、そのディジタル画像を送受信する際に受信側にて特別なハード／ソフトを必要としないようにする画像処理装置およびその方法を提供することを目的とする。

本発明は上述の課題を解決するために、撮像信号を処理して生成した完成画像から被写体の顔を検出して処理する画像処理装置において、この装置は、完成画像を表す画像データに基づいて顔部を表す顔エリアを検出する検出手段と、顔エリアの顔サイズを算出する算出手段と、この顔サイズが一定値以上であるか否かを判定し、顔サイズが一定値以上である場合に、顔サイズを基準として顔エリアが所定の画素数になるように画像データの画像全体を縮小する縮小手段とを含むことを特徴とする。

また、本発明は上述の課題を解決するために、撮像信号を処理して生成した完成画像から被写体の顔を検出して処理する画像処理方法において、この方法は、完成画像を表す画像データに基づいて顔部を表す顔エリアを検出する検出工程と、顔エリアの顔サイズを算出する算出工程と、この顔サイズが一定値以上であるか否かを判定し、顔サイズが一定値以上である場合に、顔サイズを基準として顔エリアが所定の画素数になるように画像データの画像全体を縮小する縮小工程とを含むことを特徴とする。

完成画像を表す画像データから顔エリアを検出してその顔サイズを算出し、顔サイズが一定値以上である場合に、画像データが所定サイズとなるように画像データを縮小する構成である。これにより、人物の顔を特定できる程度の顔サイズの画素数を確保したので、ディジタル画像を記録／送信する際に情報量を少なくし、そのディジタル画像を送受信する際に受信側にて特別なハード／ソフトを必要としないようにすることができる。

次に添付図面を参照して本発明による画像処理装置およびその方法の一実施例を詳細に説明する。

図１を参照すると、本発明の画像処理装置およびその方法が適用されたディジタルカメラの一実施例が示されている。ディジタルカメラ10は、撮像レンズ12によって結像される被写界像を絞り14の開口およびシャッタ16の開放により固体撮像素子(CCD) 18にて受光し、固体撮像素子18にて光電変換して出力される画素信号を相関二重サンプリングおよびクランプ処理の後、アナログ信号をAD変換器(A/D) 20にてディジタル値に変換して信号処理回路22に出力する。信号処理回路22は、画像メモリ（不図示）に画像データを格納して表示および記録用の画像データを生成し、生成した画像データをそれぞれ制御部(CPU) 30に出力する。

これら一連の撮像処理は、制御回路(CPU) 30に接続される操作部32からの指示信号に応動して制御回路30の制御の下に行われる。制御回路30は信号処理部22から転送された画像データをファイル化して、作成した画像ファイルを画像記録部34に出力する。画像記録部34に出力された画像ファイルは半導体メモリ等の情報記憶媒体に記憶される。また画像記録部34は、画像ファイルを他の装置に伝送する通信機能を有している。

撮像レンズ12の結像面に配置される固体撮像素子18は、電荷結合素子（CCD: Charge Coupled Device)として、カラーCCD（電荷結合素子）等のイメージセンサが有利に適用される。固体撮像素子18は、動作モードや読出し制御に応じて撮像素子駆動部40から供給される垂直および水平転送クロック(φH,φV)および各種制御電圧(OFD (OverFlow Drain)など)等の駆動信号42により駆動されて、撮像面に配置されているフォトダイオードにて受光および生成した信号電荷を画素信号として読み出してその出力44に出力する。撮像レンズ12と固体撮像素子18との間には絞り14とシャッタ16とが備えられている。

レンズ駆動部46は制御部30の制御を受けて、撮像レンズ12の焦点位置（ピント）および焦点距離を調節する駆動部である。絞り駆動部48は、制御部30の制御の下で絞り14の開口量を調節する駆動部である。シャッタ駆動部50は、制御部の制御に応動したタイミングにてシャッタ16を開口および閉成させる駆動部である。

信号処理回路22は、AD変換器20にてディジタルに変換された画像信号を入力し、たとえば同時化処理、色調整、γ補正および圧縮符号化等の画像信号処理をディジタルにて行って画像データを生成するディジタル信号処理回路である。

信号処理回路18は、ディジタル信号処理を行って生成した画像データを制御部30に供給する。

制御回路30は、操作部32から与えられるレリーズ信号等の各種指示信号に応動してディジタルカメラ10の各部構成を制御する回路である。制御回路30は、露出を決定する際に手動操作のみに限らず、シャッタ速度、絞り値およびピントを自動的に決定することができる。

さらに制御回路30は、顔基準縮小モードを設定し、このモードにて撮像により得られた画像データに対し、顔エリアを検出し、これを基準にして被写体の顔サイズを推定し、顔サイズに応じて所定の縮小処理を施す顔基準縮小演算部52を備えている。制御部30は、検出した顔サイズが一定値以下の場合には縮小処理を行わない。顔基準縮小モードは、操作部32に備えられている顔基準縮小モード選択ボタン54が操作されると設定される。この操作部32には、撮像して処理された画像や各種操作情報等を表示する画像表示部56も備えられている。

画像記録部34は、信号処理回路22にて処理され、制御部30を通して転送される画像データを情報記録媒体に記録したり、送信したりする回路である。

以上の構成で、ディジタルカメラ10の動作を図２を参照して説明する。シャッタレリーズ指示により固体撮像素子18にて撮像された画像信号は信号処理回路22に入力されて、同時化、色調整およびガンマ調整等の各種信号処理が施される。この結果、完成画像が作成される（ステップS200）。完成画像の画像データは制御部30に転送される。

次にステップS202に進んで、顔基準縮小モードがオンに設定されているか否かが制御部30にて判定され、設定されている場合にはステップSS204に進み、設定されていない場合にはステップS214に進む。

ステップS204に進むと顔検出処理が行われる。制御部30では、あらかじめ肌色領域に対応する輝度および色信号の範囲を決めておき、画像データの各画素の輝度および色信号が肌色領域内にあるときにその点を肌色と判定する。他の部分についても肌色判定を行って、それらの結果、肌色を有するひとかたまりのエリアを顔エリアと判断する。なお、顔が検出されなかった場合には、縮小の基準がないので後述する縮小処理は行わない。

顔が検出された場合のステップS206に進むと、顔エリアが複数有るか否かが判定されて、複数の顔エリアがあった場合にはステップS208に進み、１つの顔エリアであった場合にはステップS210に進む。

ステップS208では、複数の顔エリアが検出された場合、最小のサイズの顔サイズのデータが選択される。これは、大きい顔を基準として縮小すると小さい顔の情報が極端に少なくなってしまうからである。顔サイズの算出方法は、まず顔エリアとして特定されたエリアの一方向（たとえばＸ方向、Ｙ方向、斜め方向など）における画素数を用いて、この画素数を２乗した数値を顔サイズとして算出する。この場合、他の演算方法によって顔サイズを推定してもよい。

次にステップS210に進み、顔エリアの画素数が一定値以上であるか否かが判定されて、一定値以上である場合にはステップS212に進み、一定値に満たない場合にはステップS214に進む。これは、顔サイズが一定値に満たない場合には、さらに縮小すると情報が極端に少なくなって、人物を特定することができなくなるからである。

ステップS212に進むと、顔部分が規定の画素数となるように画像全体を縮小処理される。たとえば、規定の画素数はその人物が誰であるかを特定することができる画素数でよく、具体的には、人物の顔は縦横50×50画素程度、または少なくとも縦横45×45画素あればその人物が誰であるかを特定することができることから、規定の画素数はこれらの画素数であることが望ましい。したがって、信号処理回路22から制御部32に転送された画像データが、たとえば1000×1000画素のディジタル画像であり、人物顔が２人分検出されて、さらに小さい方の顔サイズがたとえば200×200画素であったとすると、顔基準縮小演算部52は、顔がたとえば50×50画素となるように顔サイズを基準として長さ方向で1/4に縮小する。この場合、画像全体を250×250画素の画像データに縮小処理することになる。このような顔基準縮小処理が完了するとステップS214に進む。

なお、顔サイズは縦横45×45画素および縦横50×50画素に限られず、45×45画素ないし50×50画素の範囲内でもよく、また、目的や設定に応じて顔エリアの画素数を適宜設定してもよい。

ステップS202、ステップS204およびステップS212に続くステップS214では、その他の画像処理として、記録補間や伝送のための圧縮符号化処理が施される。処理された画像データは、その他の付属情報ともにファイル化されて画像記録部34に出力される。画像記録部34では入力された画像ファイルをメモリや光ディスク等の情報記録媒体に記録したり、通信網等を利用して画像ファイルをサーバ等に転送する。

以上説明したように、完成画像を表す画像データから顔エリアを検出してその顔サイズを算出し、顔サイズが一定値以上である場合に、画像データが所定サイズとなるように画像データを縮小する制御回路30を備え、顔基準縮小モードでは、画像データに対し、顔エリアを検出し、これを基準にして被写体の顔サイズを推定し、顔サイズに応じて所定の縮小処理を行う。このような構成により、人物の顔を特定できる程度の顔サイズの画素数を確保することができ、ディジタル画像データを記録したり送信したりする際に情報量を少なくすることができる。また、そのディジタル画像データを送受信する際に特別なハード／ソフトを受信側に設ける必要がない。

本発明が適用されたディジタルカメラの実施例を示すブロック図である。 図１に示した実施例における顔基準縮小モードの動作を示すフローチャートである。

符号の説明

10 ディジタルカメラ
12 撮像レンズ
14 絞り
16 シャッタ
18 固体撮像素子
20 AD変換器(A/D)
22 信号処理回路
30 制御回路(CPU)
32 操作部
34 画像記録部
52 顔基準縮小演算部

Claims (12)

1. 撮像信号を処理して生成した完成画像から被写体の顔を検出して処理する画像処理装置において、該装置は、
   完成画像を表す画像データに基づいて顔部を表す顔エリアを検出する検出手段と、
   前記顔エリアの顔サイズを算出する算出手段と、
   前記顔サイズが一定値以上であるか否かを判定し、該顔サイズが一定値以上である場合に、前記顔サイズを基準として前記顔エリアが所定の画素数になるように前記画像データの画像全体を縮小する縮小手段とを含むことを特徴とする画像処理装置。
2. 請求項１に記載の装置において、前記縮小手段は、前記所定の画素数として前記顔エリアの画素数が少なくとも45×45画素となるように前記画像データを縮小することを特徴とする画像処理装置。
3. 請求項２に記載の装置において、前記縮小手段は、前記所定の画素数として前記顔エリアの画素数が50×50画素となるように前記画像データを縮小することを特徴とする画像処理装置。
4. 請求項１に記載の装置において、前記縮小手段は、前記所定の画素数として前記顔エリアの画素数が一定値以下である場合に、前記画像データを縮小しないことを特徴とする画像処理装置。
5. 請求項１に記載の装置において、該装置は、複数の顔サイズが検出された場合に最小の顔サイズの顔エリアを選択する選択手段を含み、前記縮小手段は、前記選択手段にて選択された顔エリアの顔サイズを基準として前記画像データを縮小することを特徴とする画像処理装置。
6. 請求項１に記載の装置において、該装置は、前記縮小手段にて処理された画像データを圧縮する圧縮手段を含むことを特徴とする画像処理装置。
7. 撮像信号を処理して生成した完成画像から被写体の顔を検出して処理する画像処理方法において、該方法は、
   完成画像を表す画像データに基づいて顔部を表す顔エリアを検出する検出工程と、
   前記顔エリアの顔サイズを算出する算出工程と、
   前記顔サイズが一定値以上であるか否かを判定し、該顔サイズが一定値以上である場合に、前記顔サイズを基準として前記顔エリアが所定の画素数になるように前記画像データの画像全体を縮小する縮小工程とを含むことを特徴とする画像処理方法。
8. 請求項７に記載の方法において、前記縮小工程は、前記所定の画素数として前記顔エリアの画素数が少なくとも45×45画素となるように前記画像データを縮小することを特徴とする画像処理方法。
9. 請求項８に記載の方法において、前記縮小工程は、前記所定の画素数として前記顔エリアの画素数が50×50画素となるように前記画像データを縮小することを特徴とする画像処理方法。
10. 請求項７に記載の方法において、前記縮小工程は、前記所定の画素数として前記顔エリアの画素数が一定値以下である場合に、前記画像データを縮小しないことを特徴とする画像処理方法。
11. 請求項７に記載の方法において、該方法は、複数の顔サイズが検出された場合に最小の顔サイズの顔エリアを選択する選択工程を含み、前記縮小工程は、前記選択工程にて選択された顔エリアの顔サイズを基準として前記画像データを縮小することを特徴とする画像処理方法。
12. 請求項７に記載の方法において、該方法は、前記縮小工程にて処理された画像データを圧縮する圧縮工程を含むことを特徴とする画像処理方法。