JP4364466B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4364466B2 JP4364466B2 JP2001284163A JP2001284163A JP4364466B2 JP 4364466 B2 JP4364466 B2 JP 4364466B2 JP 2001284163 A JP2001284163 A JP 2001284163A JP 2001284163 A JP2001284163 A JP 2001284163A JP 4364466 B2 JP4364466 B2 JP 4364466B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- face image
- image data
- cut out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 13
- 210000001331 Nose Anatomy 0.000 claims description 11
- 230000000875 corresponding Effects 0.000 claims description 11
- 230000001815 facial Effects 0.000 claims description 9
- 230000003287 optical Effects 0.000 claims description 8
- 239000000049 pigment Substances 0.000 claims 1
- 101700011315 CUL2 Proteins 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 210000000038 chest Anatomy 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000003068 static Effects 0.000 description 2
- 210000000887 Face Anatomy 0.000 description 1
- 230000003044 adaptive Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 108060002300 dnaA Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised Effects 0.000 description 1
Images
Description
【0001】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に、光学系を介して被写体からの光信号を電気信号である画像信号に変換して出力する画像撮像手段を有し、被写体の顔を認識すると自動的に顔画像が切り出されてファイルに保存される撮像装置に関するものである。
【0002】
【従来の技術】
近年パーソナルコンピュータの発達に相まって、その画像入力装置としてのデジタルカメラの利用が広まってきた。特に、特殊な技術をもたない撮影者が使用する場合がほとんどであり、撮影の失敗を無くすためにシャッター速度、露出、ピント合わせを被写体に合わせて自動的に設定するようになっているものが多い。また、一般に被写体は人物である場合が多く、人物特有の設定モードを特別に備えたデジタルカメラはない。特開平10−334213号公報には、撮影背景、照度に影響されることなく、人物像を含むカラー画像データから対象の人物像の顔画像を自動認識し、顔画像のサイズに応じた領域を切り出す技術について開示されている。それによると、人物像を含むカラー画像を取得する画像取得CPUと、取得されたカラー画像などを画面表示するカラー液晶表示部と、前記カラー画像から人物像の顔画像を認識するため複数の顔認識色データを予め記憶した顔認識色メモリと、顔画像認識処理を指示する認識指示部と、前記画像認識処理の指示を受け、前記カラー画像の全領域の色データと前記顔認識色データを比較しいずれかの顔認識色データに一致する色データの領域を顔画像として認識する顔画像認識CPUと、認識された顔画像の切出領域を指示する領域指示部と、切出領域の指示を受け、顔画像のサイズに応じた領域の枠を作成する枠作成CPUと、前記枠に囲まれる領域の顔画像を切り出す顔画像切出CPUとから構成される。
【0003】
【発明が解決しようとする課題】
従来より証明写真などの撮影の際に、撮影された画像の顔が左右や上下に寄ったり傾いたりという問題があった。また、傾いている際には、画像を見て人が手動で切り出し位置を指定させたり、顔の位置を指定するなど作業が面倒であった。
また、特開平10−334213号公報は、撮影背景、照度に影響されることなく、人物像を含むカラー画像データから対象の人物像の顔画像を自動認識し、顔画像のサイズに応じた領域を切り出す技術であり、切り出すサイズのバランスや画像の傾きを補正することは考慮されていない。
本発明は、かかる課題に鑑み、顔画像を認識、判別することで自動的にサイズと傾きを補正した顔画像を切り出し、別の画像ファイルとして保存することが可能な撮像装置を提供することを目的とする。
【0004】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項1の発明は、光学系を介して得られた被写体に関する光信号を画像信号に変換し、画像データを出力する画像撮像手段を有する撮像装置において、前記被写体の画像データの中から顔画像を認識する顔画像認識手段と、該顔画像認識手段で認識された顔画像から、顔画像の各部分を判別する顔部分判別手段と、該顔部分判別手段で判別された前記顔画像の各部分に基づいて、前記被写体の画像データから前記顔画像の画像データを切り出す顔画像切出し手段と、前記顔画像認識手段により前記顔画像が認識された場合、前記被写体の画像データに対応する被写体画像ファイルと、前記顔画像切出し手段により切り出された前記顔画像の画像データに対応する顔画像ファイルとを作成、記録する記録手段とを備え、前記顔画像切出し手段は、前記顔部分判別手段により判別された前記顔画像の各部分の中心点を結ぶ直線が切り出す画像枠の垂直方向と平行になり、かつ、前記左右の余白は等しく、前記上下の余白は上の余白に対して下の余白が大きくなるようにすることで、切り出される前記顔画像の画像データにおける左右上下の余白が切り出される顔画像上の顔の大きさに対して一定の割合となるよう、前記顔画像の画像データを切り出すように構成されたことを特徴とする。証明書用の写真の被写体は人物である。従って、人物を撮影する場合、そのシャッターチャンスを逃さず撮影することが重要である。そして撮影された被写体の画像データをファイルに保存する。特に、デジタルカメラは画像信号をデジタル化して記録するため、コンピュータによる解析が容易である。かかる発明によれば、顔画像認識手段により被写体の画像データから顔画像が認識された場合、顔画像切出し手段が被写体の画像データから顔画像の画像データを切り出して被写体の画像データに対応する被写体画像ファイルとは別の顔画像の画像データに対応する顔画像ファイルとして記録するので、撮影する時顔が画像の端にあっても、証明書用写真を作製することができる。各パーツ(顔画像の各部分)は顔の中心線に対してほぼ対照的に配置されている。従って、各パーツの中心点を結ぶ直線が、切り出す画像枠の垂直方向と平行になるように、前記顔画像の画像データを切り出せば、顔が傾かずに切り出すことができる。かかる技術手段によれば、判別された前記顔画像の各部分の中心点を結ぶ直線が、切り出す画像枠の垂直方向と平行になるように前記顔画像の画像データを切り出すので、顔が傾かずに切り出すことができる。証明書用の写真の最も重要な点は、画像品質が高いことと、画像面の背景と顔とのバランスが良いことである。そのバランスは、切り出される顔画像の画像データにおける左右上下の余白と顔との比率で決定される。左右の余白は等しくし、上下の余白は上の余白に対して下の余白を大きくする。この理由は、下は首と胸があるためである。かかる技術手段によれば、切り出される顔画像の画像データにおける左右上下の余白が、該切り出される顔画像上の顔の大きさに対して一定の割合であるので、バランスの良い写真を作製することができる。
【0005】
また、請求項2の発明は、前記記録手段は、前記被写体画像ファイルと前記顔画像ファイルとを、関連付けて記録するよう構成されたことを特徴とする。切り出された顔画像とその元画像をファイリングする場合、関連付けされていたほうが好ましい。例えば、ファイル名を同じにして、形式または拡張子を変えるなどの方法がある。かかる技術手段によれば、前記被写体画像ファイルと前記顔画像ファイルとが、関連付けて記録されるので、元データと切り出した顔データの整理が容易となる。また、請求項3の発明は、前記切り出された顔画像の画像データに対し、前記顔画像上の顔および該顔と一体となる体部分以外の部分を、所定の色で塗りつぶすよう構成されたことを特徴とする。証明書用写真の特徴は、背景がある特定の色で塗りつぶされていることである。この理由は、それにより一層人物が際立つからである。しかし一般の写真から証明書用写真を作製しようとする場合、何らかの背景が撮影されていることが多い。そこで、その背景を所定の色で塗りつぶす操作が必要となる。尚、ここでいう顔画像とは顔と一体となる体部分も指す。かかる技術手段によれば、切り出された顔画像以外の部分を所定の色で塗りつぶすので、人物を一層際立たせることができる。
【0006】
また、請求項4の発明は、画像データの内容を表示する表示手段を備えると共に、該表示手段は、前記顔画像切出し手段により前記顔画像の画像データを切り出す際に、切り出す顔画像の領域を枠で表示するよう構成されたことを特徴とする。ここで、顔画像の領域とは顔画像とその背景を指す。表示手段がある場合、切り出される画像領域が目視できるのが最も明瞭に認識できる方法である。そこで、切り出す顔画像の領域を枠で表示するようにするのが好ましい。かかる技術手段によれば、前記顔画像の画像データを切り出す際に、切り出す顔画像の領域を枠で表示するので、切り出し領域を明瞭に認識でき、操作性が向上する。また、請求項5の発明は、画像の記録若しくは消去を選択する選択手段を備えると共に、該選択手段は、前記表示手段により表示された画像の記録若しくは消去を選択可能に構成されたことを特徴とする。撮影した画像あるいは切り出し画像は、全てが必要な画像ではない。表示手段によりそれらの画像を観察してその時点で記録か消去かを選択できれば操作性上好ましい。かかる技術手段によれば、表示手段により表示された顔画像に対して、前記選択手段により該画像の記録若しくは消去を選択可能としたので、操作性の向上とメモリの有効使用が可能となる。また、請求項6の発明は、前記表示手段により表示された前記顔画像に占める顔の面積が所定の面積より小さい場合に、前記顔画像を記録しないよう構成されたことを特徴とする。前記で説明したように、証明書用の写真の最も重要な点は、画像品質が高いことと、画像面の背景と顔とのバランスが良いことである。特に、画像品質の良否を判定する一つの指標は、顔の面積である。つまり面積が大きいほど画像品質が良いといえる。かかる技術手段によれば、表示手段により表示された前記顔画像に占める顔の面積が所定の面積より小さい場合に、前記顔画像を記録しないので、メモリの無駄な使用が防止でき、品質の悪い証明書用写真を撮影することが防げる。また、請求項7の発明は、前記顔の面積は、該面積が占める画素数の総和により決定されるよう構成されたことを特徴とする。画像を光電変換するCCDの単位面積あたりの画素密度は一定である。従って、面積が大きいほど画素数の総和は大きくなる。つまり、面積と画像品質は比例関係にある。かかる技術手段によれば、前記顔の面積は、該面積が占める画素数の総和により決定されるので、簡単な制御で正確に画像品質を判断することができる。また、請求項8の発明は、前記顔部分判別手段は、前記顔画像認識手段で認識された顔画像から、口、鼻、目の各部分を判別するよう構成されたことを特徴とする。人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出し、その顔画像から目、口、鼻などの各パーツ(部分)が判別できて初めて鮮明な画像を撮影することができる。また、判別した目、口、鼻などの各パーツの中心点を用いて顔画像の画像データを切り出すことで、顔が傾かずに切り出すことができる。
【0007】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図1は、本発明の実施形態のデジタルスチルカメラのブロック図である。この構成は、被写体の光学画像を集光するレンズ1と、レンズ1により集光された光束を集束する絞り部2と、図示しない複数のレンズを移動させて合焦したり、絞り部2を駆動するモータドライバ11と、レンズ1と絞り部2を通過した光学画像を光電変換するCCD(Charge Coupled Device:電荷結合素子)3と、CCD3に含まれる雑音を低減するCDS(Correlated Double Sampling)4と、CCD3からのアナログ信号をデジタル信号に変換するA/D変換器5と、前記CCD3、CDS4、A/D変換器5のタイミングを発生するタイミング発生器13と、画像処理パラメータに従って画像処理を行うデジタル信号処理回路7と、撮像画素の記録と画像処理された画像を記憶するフレームメモリ6と、液晶(LCD:Liquid Crystal Display)により撮像画像を表示する表示部8と、デジタル信号処理回路7で処理された画像データを圧縮あるいは源画像データに伸張する画像圧縮伸張回路9と、画像圧縮伸張回路9により圧縮された画像データを格納するメモリカード10と、制御プログラムに基づいて所定の制御を実行するマイクロコンピュータ(以下、マイコンと記す)14と、パラメータを格納するEEPROM(Electrically Erasable and Programmable Read Only Memory)16と、操作者がカメラ本体を操作するためのレリーズボタン等を備えたカメラ操作部17と、フイルム枚数やストロボの発光状態を監視するOSD(On-Screen Display)15と、被写体を照明するストロボ12により構成される。尚、レンズ1、絞り2、CCD3が主として画像撮像手段を構成し、表示部8、デジタル信号処理回路7、マイコン14が主として表示手段を構成し、カメラ操作部17が主として選択手段を構成する。
【0008】
次に、図1を参照しながら、本構成のデジタルスチルカメラ100の動作概要について説明する。操作者は図示しないファインダから被写体を覗き、カメラ操作部17のレリーズボタンを押すと、マイコン14はその信号を検出してモータドライバ11に対してレンズ1と絞り2を駆動して、被写体の画像をCCD3に合焦させる。必要であればストロボ12を発光させる。これらの一連の動作は、自動的にマイコン14が図示しないセンサの情報に基づいて行われる。CCD3に合焦された画像は、タイミング発生器13から発生されるクロックにより順次取り出され、CDS4によりデータに含まれる雑音を低減する。ここで、CCDの出力信号に含まれる雑音は、リセット雑音が支配的である。この雑音を低減するために信号期間に含まれる映像信号とリセット雑音及び、フィールドスルー期間のみに含まれるリセット雑音から両者を引き算することによりリセット雑音をキャンセルしている。そして、そのアナログ信号をA/D変換器5により10ビットのデジタル信号に変換して、デジタル信号処理回路7に入力され、フレームメモリ6に一時保管される。そして、EEPROM16に格納されたパラメータにより、マイコン14からの指示によりフレームメモリ6に一時保管されたデータを処理し、その処理された画像をフレームメモリ6に再び格納する。この処理の中にホワイトバランス処理が含まれる。さらに、フレームメモリ6に書き込まれたデータを表示部8の制御部に送り、LCDにその内容を表示する。
フレームメモリ6は、少なくとも撮像画素の1画面以上の画像データを蓄積することができる画像メモリであり、例えば、VRAM(Video Random Access Memory)、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory) 、あるいはSDRAM(Synchronous DRAM)などの一般に用いられているメモリを用いる。
【0009】
ここで、操作者の意思により、その画像をメモリカード10に記録しておきたい場合、カメラ操作部17から指示をすると、マイコン14はそれに従って、デジタル信号処理回路7に対して画像をメモリカード10に転送する制御を実行する。つまり、画像処理された画像をフレームメモリ6から読み出し、画像圧縮伸張回路9に送る。ここで、JPEG(Joint Photographic Experts Group)方式で画像を圧縮し、メモリカード10に記憶する。この符号化アルゴリズムにはADCT(適応離散コサイン)を用い、最初に解像度の低い画像を符号化し、次第に解像度が高くなるような階層符号化も取り入れられる。このようにメモリカードは、フレームメモリ6に格納されたデータを圧縮し、その圧縮データを格納しておくためのものである。この他に、例えば8MB程度の内部メモリあるいはスマートメディア・コンパクトフラッシュなどに記録する構成であってもよい。
また、逆にメモリカード10の内容を表示部8に表示する場合や、外部端子により他のPCと接続して画像データを転送したい場合は、所望のメモリカードをカメラ本体の図示しないコネクタに挿入して、カメラ操作部17から指示すると、マイコン14はデジタル信号処理回路7に指示してメモリカードの圧縮された画像データを読み出し、画像圧縮伸張回路9に入力して、圧縮のアルゴリズムに従ってデータを伸張して元に戻し、表示部8に画像を表示する。
【0010】
図6は、本発明の実施形態の顔画像切り出し部の概略ブロック図である。この構成は、被写体の画像を1枚分記憶する画像メモリ20と、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部21と、全体の制御を司る制御部22と、複数の顔の特徴を格納する顔特徴記憶部24と、画像取り込み部21からのデータと顔特徴記憶部24からのデータから顔を認識して各部分を判別する認識・判別部23と、その結果データから所定の顔画像を切り出す顔画像切り出し部26と、最終的な判断結果を外部に出力する出力部25から構成されている。ここで、画像メモリ20は図1のフレームメモリ6を使用しても良い。また、その他の部分は図1のマイコン14により実現しても構わないし、あるいは専用のLSIにより実現しても良い。尚、認識・判別部23と顔特徴記憶部24が主として顔画像認識手段と顔部分判別手段を構成する。
【0011】
次に、顔画像の検出の説明に入る前に、公知の顔画像の認識技術について、その概要を説明しておく。尚、本発明での顔認識は従来の個人の顔として確実に認識できるレベルである必要は無く、被写体が顔か、あるいはそれ以外の他の物体かの2者択一の認識レベルで充分である。顔画像認識における対象項目は大きく分けると次の2つとなる。
1)人物の識別:対象人物が誰であるかを識別する。
2)表情識別:人物がどのような表情をしているかを識別する。
すなわち、1)の人物識別は顔の構造認識であり静的識別といえる。また、2)の表情識別は顔の形状変化の認識であり、動的識別ともいえる。本発明の場合は、前記よりさらに単純な識別といえる。また、これらの識別の手法として、1)2次元的手法、2)3次元的手法があり、コンピュータでは主に1)2次元的手法が使用されている。これらの詳しい内容はここでは省略する。また、表情識別の手法として、FACS(Facial ACtion unit System)による考え方があり、これを用いると表情構成要素の特徴点の位置を用いて表現できる。
今後は、これらの技術を用いて入室管理システム、人物像データベースシステム、認識通信システム等に適用が考えられる。
【0012】
図2は、本発明の実施形態の動作フローチャートである。図1、図6と併せて参照しながら説明する。被写体の画像データは前記図1のCCDにより光電変換され画像処理されて画像メモリ20に記憶される。その画像データはある所定の単位(フレーム、バイト)に画像取り込み部21に取り込まれる(S1)。次に、画像データは認識・判別部23に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部24とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部22に伝えられ、顔画像が認識され(S2)、そのデータから各部分(目、鼻、口)が判別される(S3)。その結果顔画像の認識と各部分が判別された場合(YESのルート)、以下、実施形態ごとに分けて説明する。図3は、本発明の第1の実施形態を説明するための顔画像の図である。まず顔画像認識手段は、被写体の画像データの中から顔画像1を認識する。顔部分判別手段は、顔画像認識手段で認識された顔画像1から、顔画像1の各部分を判別する。そして、顔画像切出し手段(顔画像切出し部26)は、顔部分判別手段で判別された顔画像1の各部分に基づいて、被写体の画像データから顔画像1の画像データを切り出す。顔画像認識手段により顔画像1が認識された場合に、記録手段は、被写体の画像データに対応する被写体画像ファイルと、顔画像切出し手段により切り出された顔画像1の画像データに対応する顔画像ファイルとを作成、記録する。より具体的には、顔画像切出し部26や制御部22は顔画像1をパーツごとにエリアを分割する。つまり、口のパーツ3、鼻のパーツ4、及び目のパーツ5の3パーツに分割する(S4)。次に、口の中心A、鼻の中心B、目の中心Cを割り出し(S5)、A、B、C3点より一番近い直線2を割り出す(S6)。ここで、直線2は、切り出す画像の枠14の垂直方向と平行になるように切り出す。以上のように、人物を特定する最適な部分は、顔であり、被写体中から顔画像1を抽出し、その顔画像1から、口3、鼻4、目5などの各パーツが判別できて初めて鮮明な画像を撮影することができる。そして各パーツは顔の中心線2に対してほぼ対照的に配置されている。従って、各パーツの中心点A、B、Cを結ぶ直線2が、切り出す顔画像1の枠14の垂直方向と平行になるように、顔画像1の画像データを切り出せば、顔が傾かずに切り出すことができる。
【0013】
図4と図5は、本発明の第2の実施形態を説明するための顔画像の図である。図4により、切り出される顔画像1上の顔の大きさから左右の余白8、9を決め、切り出し枠6、7の垂直を割り出す(S7)。次に、図5により顔画像1上の顔の大きさから上下の余白10、11を決め、切り出し枠12、13の水平を割り出す(S8)。次に、ステップ7、8で割り出された切り出し枠6、13、7、12に沿って顔画像1が切り出される(S9)。以上のように、証明書用の写真の最も重要な点は、画像品質が高いことと、画像面の背景と顔とのバランスが良いことである。そのバランスは、切り出される顔画像1の画像データにおける左右上下の余白と顔との比率で決定される。一般には左右の余白8、9は等しくし、上下の余白10、11は上の余白10に対して下の余白11を大きくする。この理由は、下は首と胸があるためである。このように、切り出される顔画像1の画像データの左右上下の余白が、切り出される顔画像1上の顔の大きさに対して一定の割合であるので、バランスの良い写真を作製することができる。
【0014】
次に、本発明の第3の実施形態として、切り出された顔画像のファイルが作成され(S10)、さらに元画像(撮影画像)のファイルが作成される(S11)。切り出された顔画像とその元画像をファイリングする場合、関連付けされていたほうが後々都合がよい。例えば、元画像をRimg0001.jpg、顔画像をRimg0001.tifのように、ファイル名を同じにして、形式または拡張子を変えるなどの方法がある。その他にも、画像ファイル名は8文字で構成され、上位4文字は任意のアルファベットもしくは数字にし、下位4文字は数字とする。または元画像と顔画像の上位4文字を異なるものにし、下位4文字を同じ値にするという方法もある(元画像:Rimg0001.jpg、顔画像Rpic0001.jpg)。これにより、元画像(被写体画像ファイル)と顔画像(顔画像ファイル)とが、上記したような所定の関係に基づいてファイルとして記録されるので、元データと切り出した顔データの整理が容易となる。また、本発明の第4の実施形態として、証明書用写真の特徴は、背景がある特定の色で塗りつぶされていることである。この理由は、こうすることにより、より一層人物が際立つからである。しかし一般の写真から証明書用写真を作製しようとする場合、何らかの背景が撮影されていることが多い。そこで、その背景を所定の色で塗りつぶす操作が必要となる。尚、ここでいう顔画像とは顔と一体となる体部分も指す。ここで、本発明の第5の実施形態として、表示部8に切り出される画像領域が目視できるようにすれば、最も明瞭に切り出す顔画像1の領域が認識できる。そこで、切り出す顔画像1の領域を枠で表示するようにするのが好ましい。これにより、切り出す顔画像1の領域を明瞭に認識でき、操作性が向上する。また、本発明の第6の実施形態として、撮影した画像あるいは切り出し画像は、全てが必要な画像ではない。表示部8によりそれらの画像を観察して、その時点で記録か消去かを選択できれば操作性上好ましい。これにより、操作性の向上とメモリの有効使用が可能となる。
【0015】
また、本発明の第7の実施形態として、前記で説明したように、証明書用の写真の最も重要な点は、画像品質が高いことと、画像面の背景と顔とのバランスが良いことである。特に、画像品質の良否を判定する一つの指標は、顔の面積である。つまり面積が大きいほど画像品質が良いといえる。つまり、画像を光電変換するCCDの単位面積あたりの画素密度は一定である。従って、面積が大きいほど画素数の総和は大きくなる。つまり、面積と画像品質は比例関係にあるといえる。そのような理由により、前記顔の面積は、該面積が占める画素数の総和により決定されるので、簡単な制御で正確に画像品質を判断することができる。また、表示部8により表示された顔画像に占める顔の面積が所定の面積より小さい場合に、顔画像を記録しないので、メモリの無駄な使用が防止でき、品質の悪い証明書用写真を撮影することが防げる。
【0016】
【発明の効果】
以上記載のごとく本発明によれば、請求項1は、顔画像認識手段により被写体の画像データから顔画像が認識された場合、顔画像切出し手段が被写体の画像データから顔画像の画像データを切り出して被写体の画像データに対応する被写体画像ファイルとは別の顔画像の画像データに対応する顔画像ファイルとして記録するので、撮影する時顔が画像の端にあっても、証明書用写真を作製することができる。また、顔の各部分の略中心点を結ぶ直線が、切り出す画像枠の垂直方向と平行になるように顔画像の画像データを切り出すので、顔が傾かずに切り出すこことができる。また、切り出される顔画像の画像データにおける左右上下の余白が、切り出される顔画像上の顔の大きさに対して一定の割合となるように、顔画像の画像データを切り出すよう構成されているので、また、左右の余白は等しくし、下は首と胸があるため上下の余白は上の余白に対して下の余白を大きくしているので、バランスの良い写真を作製することができる。請求項2は、被写体画像ファイル(元データ)と顔画像ファイル(顔データ)とが、関連付けて記録されるので、元データと切り出した顔データの整理が容易となる。請求項3は、切り出された顔画像上の顔および該顔と一体となる体部分以外の部分を所定の色で塗りつぶすので、人物を一層際立たせることができる。請求項4は、顔画像の画像データを切り出す際に、切り出す顔画像の領域を枠で表示するので、切り出し領域を明瞭に認識でき、操作性が向上する。請求項5は、表示手段により表示された顔画像に対して、前記選択手段により該画像の記録若しくは消去を選択可能としたので、操作性の向上とメモリの有効使用が可能となる。請求項6は、表示手段により表示された顔画像に占める顔の面積が所定の面積より小さい場合に、顔画像を記録しないので、メモリの無駄な使用が防止でき、品質の悪い証明書用写真を撮影することが防げる。請求項7は、前記顔の面積は、該面積が占める画素数の総和により決定されるので、簡単な制御で正確に画像品質を判断することができる。また、請求項8の発明は、前記顔部分判別手段は、前記顔画像認識手段で認識された顔画像から、口、鼻、目の各部分を判別するよう構成されたことを特徴とする。人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出し、その顔画像から目、口、鼻などの各パーツ(部分)が判別できて初めて鮮明な画像を撮影することができる。また、判別した目、口、鼻などの各パーツの略中心点を用いて顔画像の画像データを切り出すことで、顔が傾かずに切り出すことができる。
【図面の簡単な説明】
【図1】本発明の実施形態のデジタルスチルカメラのブロック図である。
【図2】本発明の実施形態を説明するためのフローチャートである。
【図3】本発明の第1の実施形態を説明するための顔画像(その1)の図である。
【図4】本発明の第2の実施形態を説明するための顔画像(その2)の図である。
【図5】本発明の第2の実施形態を説明するための顔画像の図である。
【図6】本発明の実施形態の顔画像切り出し部の概略ブロック図である。
【符号の説明】
20 画像メモリ、21 画像取り込み部、22 制御部、23 認識・判別部、24 顔特徴記憶部、25 出力部、26 顔画像切り出し部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image pickup apparatus, and more particularly to an image pickup unit that converts an optical signal from a subject into an image signal that is an electrical signal via an optical system and outputs the image signal. The present invention relates to an imaging apparatus in which an image is cut out and saved in a file.
[0002]
[Prior art]
In recent years, with the development of personal computers, the use of digital cameras as image input devices has become widespread. Especially, it is mostly used by photographers who do not have special technology, and the shutter speed, exposure, and focus are automatically set according to the subject to eliminate shooting failures There are many. In general, the subject is often a person, and there is no digital camera specially equipped with a person-specific setting mode. In Japanese Patent Laid-Open No. 10-334213, a face image of a target person image is automatically recognized from color image data including a person image without being affected by the shooting background and illuminance, and an area corresponding to the size of the face image is defined. A technique for cutting out is disclosed. According to this, an image acquisition CPU for acquiring a color image including a human image, a color liquid crystal display unit for displaying the acquired color image and the like, and a plurality of faces for recognizing a human facial image from the color image. A face recognition color memory in which recognition color data is stored in advance, a recognition instruction unit for instructing a face image recognition process, and an instruction for the image recognition process, and the color data of the entire area of the color image and the face recognition color data are A face image recognition CPU that recognizes, as a face image, an area of color data that matches and matches one of the face recognition color data, an area instruction unit that indicates a cut-out area of the recognized face image, and an instruction for the cut-out area And a frame creation CPU that creates a frame of an area according to the size of the face image, and a face image cut-out CPU that cuts out a face image of the area surrounded by the frame.
[0003]
[Problems to be solved by the invention]
Conventionally, when taking a photograph or the like, there has been a problem that the face of the photographed image approaches or tilts to the left or right or up and down. In addition, when tilted, it is troublesome for a person to manually specify a cutout position or specify a face position by looking at an image.
Japanese Patent Laid-Open No. 10-334213 discloses a region corresponding to the size of the face image by automatically recognizing the face image of the target person image from color image data including the person image without being affected by the photographing background and illuminance. This is a technique for cutting out images, and it is not considered to correct the balance of the size to be cut out or the inclination of the image.
In view of such a problem, the present invention provides an imaging device capable of automatically cutting out a face image whose size and inclination are corrected by recognizing and discriminating the face image and saving it as another image file. Objective.
[0004]
[Means for Solving the Problems]
In order to solve this problem, the present invention provides an image pickup apparatus having an image pickup means for converting an optical signal relating to a subject obtained through an optical system into an image signal and outputting image data. A face image recognizing unit for recognizing a face image from the image data of the subject, a face part determining unit for determining each part of the face image from the face image recognized by the face image recognizing unit, and the face part When the face image is recognized by the face image recognizing means and the face image extracting means for extracting the image data of the face image from the image data of the subject based on each part of the face image determined by the determining means A subject image file corresponding to the image data of the subject, and a face image file corresponding to the image data of the face image cut out by the face image cutting means. And means, the face image cut-out unit is collimated perpendicular direction of the face portion image frame straight line cut connecting the center points of each part of the face image is determined by the determining means, and the right and left The size of the face on the face image from which the left and right and top and bottom margins are extracted in the image data of the face image to be cut out by making the upper and lower margins equal to each other so that the lower margin is larger than the upper margin. The image data of the face image is cut out so as to be a constant ratio with respect to the height . The subject of the certificate photo is a person. Therefore, when photographing a person, it is important to photograph without missing a photo opportunity. Then, the image data of the photographed subject is stored in a file. In particular, since a digital camera digitizes and records an image signal, analysis by a computer is easy. According to this invention, when the face image is recognized from the image data of the subject by the face image recognition means, the face image extraction means cuts out the image data of the face image from the image data of the subject and corresponds to the subject image data. Since it is recorded as a face image file corresponding to the image data of a face image different from the image file, a certificate photograph can be created even when the face is at the edge of the image . Each part (each part of the face image) is arranged almost in contrast to the center line of the face. Therefore, if the image data of the face image is cut out so that the straight line connecting the center points of the parts is parallel to the vertical direction of the image frame to be cut out, the face can be cut out without being inclined. According to this technical means, the image data of the face image is cut out so that the straight line connecting the center points of the determined portions of the face image is parallel to the vertical direction of the image frame to be cut out. Can be cut out. The most important points of a certificate photograph are high image quality and good balance between the background of the image plane and the face. The balance is determined by the ratio of the left, right, top and bottom margins and the face in the image data of the face image to be cut out. The left and right margins are the same, and the upper and lower margins are larger than the upper margin. This is because the bottom has a neck and chest. According to such technical means, the left and right and upper and lower margins in the image data of the face image to be cut out are a fixed ratio with respect to the size of the face on the face image to be cut out. Can do.
[0005]
Further, the invention of claim 2, wherein the recording means, wherein said object image file and said face image file, configured to associate with record. When filing the cut face image and the original image, it is preferable that the face image is associated with the original face image. For example, there is a method of changing the format or extension by making the file name the same. According to this technical means, the subject image file and the face image file are recorded in association with each other, so that the original data and the extracted face data can be easily organized. Further, the invention of claim 3 is configured to fill a portion of the face image other than the face on the face image and the body part integrated with the face with a predetermined color with respect to the image data of the cut face image. It is characterized by that. The feature of the certificate photo is that the background is filled with a certain color. This is because it makes the person stand out more. However, when creating a certificate photo from a general photo, some background is often taken. Therefore, an operation for painting the background with a predetermined color is required. The face image referred to here also refers to a body part that is integrated with the face. According to such technical means, since the portion other than the cut out face image is painted with a predetermined color, it is possible to make the person stand out more.
[0006]
According to a fourth aspect of the present invention, there is provided display means for displaying the contents of image data, and the display means defines a face image area to be cut out when the face image cutout means cuts out the image data of the face image. It is configured to display with a frame. Here, the face image area refers to the face image and its background. When there is a display means, the most clearly recognizable method is that the image area to be cut out can be visually observed. Therefore, it is preferable to display the face image area to be cut out with a frame. According to this technical means, when the image data of the face image is cut out, the face image area to be cut out is displayed with a frame, so that the cut out area can be clearly recognized and the operability is improved. Further, the invention of claim 5 is provided with selection means for selecting recording or erasing of an image, and the selection means is configured to be able to select recording or erasing of an image displayed by the display means. And The captured image or the cut-out image is not all necessary images. It is preferable in terms of operability if these images can be observed by the display means and recording or erasing can be selected at that time. According to such technical means, since the face image displayed by the display means can be selected to record or erase the image by the selection means, it is possible to improve the operability and effectively use the memory. Further, the invention of claim 6 is characterized in that the face image is not recorded when the area of the face occupied in the face image displayed by the display means is smaller than a predetermined area. As described above, the most important points of the certificate photograph are high image quality and a good balance between the background of the image surface and the face. In particular, one index for determining the quality of image quality is the area of the face. In other words, the larger the area, the better the image quality. According to such a technical means, when the area of the face occupied in the face image displayed by the display means is smaller than a predetermined area, the face image is not recorded, so that useless use of the memory can be prevented and the quality is poor. You can prevent taking a photo for the certificate. The invention of claim 7 is characterized in that the area of the face is determined by the total number of pixels occupied by the area. The pixel density per unit area of a CCD that photoelectrically converts an image is constant. Therefore, the larger the area, the larger the total number of pixels. That is, the area and the image quality are in a proportional relationship. According to this technical means, the area of the face is determined by the sum of the number of pixels occupied by the area, so that the image quality can be accurately determined with simple control. The invention according to claim 8 is characterized in that the face part determining means is configured to determine each part of the mouth, nose and eyes from the face image recognized by the face image recognizing means. The best part to identify a person is the face, and a face image is extracted from the subject, and a clear image must be taken only after each part (part) such as eyes, mouth, and nose can be identified from the face image. Can do. Also, by cutting out the image data of the face image using the center points of each part such as the identified eyes, mouth, and nose, the face can be cut out without tilting.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to embodiments shown in the drawings. However, the components, types, combinations, shapes, relative arrangements, and the like described in this embodiment are merely illustrative examples and not intended to limit the scope of the present invention only unless otherwise specified. .
FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention. In this configuration, a lens 1 that collects an optical image of a subject, a diaphragm unit 2 that focuses a light beam collected by the lens 1, and a plurality of lenses (not shown) are moved and focused, or the diaphragm unit 2 is A motor driver 11 to be driven, a CCD (Charge Coupled Device) 3 that photoelectrically converts an optical image that has passed through the lens 1 and the diaphragm 2, and a CDS (Correlated Double Sampling) 4 that reduces noise contained in the CCD 3. An A / D converter 5 that converts an analog signal from the CCD 3 into a digital signal, a timing generator 13 that generates the timing of the CCD 3, the CDS 4, and the A / D converter 5, and image processing according to image processing parameters. Imaging by a digital signal processing circuit 7 to be performed, a frame memory 6 for storing a recorded image of an imaging pixel and an image processed image, and a liquid crystal display (LCD) A display unit 8 for displaying an image, an image compression / expansion circuit 9 for compressing or expanding image data processed by the digital signal processing circuit 7 into source image data, and image data compressed by the image compression / expansion circuit 9 are stored. A memory card 10, a microcomputer (hereinafter referred to as a microcomputer) 14 that executes predetermined control based on a control program, an EEPROM (Electrically Erasable and Programmable Read Only Memory) 16 that stores parameters, and an operator who operates the camera body The camera operation unit 17 includes a release button for operating the camera, an OSD (On-Screen Display) 15 that monitors the number of films and the light emission state of the strobe, and a strobe 12 that illuminates the subject. The lens 1, the diaphragm 2, and the CCD 3 mainly constitute image capturing means, the display unit 8, the digital signal processing circuit 7 and the microcomputer 14 mainly constitute display means, and the camera operation unit 17 mainly constitutes selection means.
[0008]
Next, an outline of the operation of the digital still camera 100 having this configuration will be described with reference to FIG. When the operator looks into the subject from a finder (not shown) and presses the release button of the camera operation unit 17, the microcomputer 14 detects the signal and drives the lens 1 and the diaphragm 2 to the motor driver 11 to thereby image the subject. Is focused on the CCD 3. If necessary, the strobe 12 is caused to emit light. A series of these operations is automatically performed by the microcomputer 14 based on sensor information (not shown). The image focused on the CCD 3 is sequentially taken out by the clock generated from the timing generator 13, and the noise contained in the data is reduced by the CDS 4. Here, the reset noise is dominant in the noise included in the output signal of the CCD. In order to reduce this noise, the reset noise is canceled by subtracting both from the video signal included in the signal period, the reset noise, and the reset noise included only in the field-through period. The analog signal is converted into a 10-bit digital signal by the A / D converter 5, input to the digital signal processing circuit 7, and temporarily stored in the frame memory 6. Then, data temporarily stored in the frame memory 6 is processed according to an instruction from the microcomputer 14 according to the parameters stored in the EEPROM 16, and the processed image is stored in the frame memory 6 again. This processing includes white balance processing. Further, the data written in the frame memory 6 is sent to the control unit of the display unit 8, and the content is displayed on the LCD.
The frame memory 6 is an image memory that can store image data of at least one screen of image pickup pixels. For example, a video random access memory (VRAM), a static random access memory (SRAM), a dynamic random access memory (DRAM). ) Or a commonly used memory such as SDRAM (Synchronous DRAM).
[0009]
Here, if the operator wants to record the image on the memory card 10 by the operator's intention, the microcomputer 14 instructs the digital signal processing circuit 7 to send the image to the memory card 10 in response to an instruction from the camera operation unit 17. The control to transfer to 10 is executed. That is, the image-processed image is read from the frame memory 6 and sent to the image compression / expansion circuit 9. Here, the image is compressed by the JPEG (Joint Photographic Experts Group) method and stored in the memory card 10. As this encoding algorithm, ADCT (adaptive discrete cosine) is used, and hierarchical encoding in which an image having a low resolution is first encoded and gradually becomes higher is also adopted. Thus, the memory card is for compressing the data stored in the frame memory 6 and storing the compressed data. In addition to this, for example, it may be configured to record in an internal memory of about 8 MB or a smart media / compact flash.
Conversely, when displaying the contents of the memory card 10 on the display unit 8 or when transferring image data by connecting to another PC via an external terminal, the desired memory card is inserted into a connector (not shown) of the camera body. Then, when instructed from the camera operation unit 17, the microcomputer 14 instructs the digital signal processing circuit 7 to read out the compressed image data of the memory card, inputs it to the image compression / decompression circuit 9, and inputs the data according to the compression algorithm. The image is expanded and restored, and an image is displayed on the display unit 8.
[0010]
FIG. 6 is a schematic block diagram of the face image cutout unit according to the embodiment of the present invention. This configuration includes an image memory 20 that stores one image of a subject, an image capturing unit 21 that captures a predetermined unit from the memory into another memory or a register, a control unit 22 that controls the whole, and a plurality of A face feature storage unit 24 that stores facial features, a recognition / discrimination unit 23 that recognizes a face from the data from the image capture unit 21 and the data from the face feature storage unit 24 and discriminates each part, and the result data Are comprised of a face image cutout unit 26 that cuts out a predetermined face image and an output unit 25 that outputs a final determination result to the outside. Here, the image memory 20 may use the frame memory 6 of FIG. Further, other parts may be realized by the microcomputer 14 of FIG. 1 or may be realized by a dedicated LSI. The recognition / determination unit 23 and the face feature storage unit 24 mainly constitute a face image recognition unit and a face part determination unit.
[0011]
Next, before describing the detection of a face image, an outline of a known face image recognition technique will be described. Note that the face recognition in the present invention does not have to be a level at which it can be reliably recognized as a conventional individual face, and a two-way recognition level of whether the subject is a face or another object is sufficient. is there. The target items in face image recognition are roughly divided into the following two.
1) Person identification: Identify who the target person is.
2) Facial expression identification: what kind of facial expression a person has is identified.
That is, the person identification of 1) is a face structure recognition and can be said to be a static identification. Also, facial expression identification in 2) is recognition of face shape change and can be said to be dynamic identification. In the case of the present invention, it can be said that the identification is simpler than the above. Further, these identification methods include 1) a two-dimensional method and 2) a three-dimensional method, and 1) a two-dimensional method is mainly used in a computer. These detailed contents are omitted here. Further, as a facial expression identification method, there is a concept based on FACS (Facial ACtion unit System), which can be expressed using the position of the feature point of the facial expression component.
In the future, it is possible to apply these technologies to room entry management systems, person image database systems, recognition communication systems, and the like.
[0012]
FIG. 2 is an operation flowchart of the embodiment of the present invention. This will be described with reference to FIGS. The subject image data is photoelectrically converted by the CCD shown in FIG. 1, subjected to image processing, and stored in the image memory 20. The image data is captured by the image capturing unit 21 in a predetermined unit (frame, byte) (S1). Next, the image data is input to the recognition / discrimination unit 23, and the face recognition and the discrimination of each part of the face are performed from the data with the face feature storage unit 24 storing various face feature data stored in advance. This recognition method is performed based on various algorithms. The result is transmitted to the control unit 22 one by one, the face image is recognized (S2), and each part (eyes, nose, mouth) is determined from the data (S3). As a result, when the face image is recognized and each part is discriminated (YES route), the following description is divided for each embodiment. FIG. 3 is a face image for explaining the first embodiment of the present invention. First, the face image recognition means recognizes the face image 1 from the image data of the subject. The face part determination means determines each part of the face image 1 from the face image 1 recognized by the face image recognition means. Then, the face image cutout means (face image cutout unit 26) cuts out the image data of the face image 1 from the image data of the subject based on each part of the face image 1 determined by the face portion determination means. When the face image 1 is recognized by the face image recognition unit, the recording unit stores the subject image file corresponding to the image data of the subject and the face image corresponding to the image data of the face image 1 cut out by the face image cutout unit. Create and record files. More specifically, the face image cutout unit 26 and the control unit 22 divide the area of the face image 1 into parts. That is, it is divided into three parts, that is, a mouth part 3, a nose part 4, and an eye part 5 (S4). Next, the center A of the mouth, the center B of the nose, and the center C of the eye are determined (S5), and the straight line 2 closest to the points A, B, and C3 is determined (S6). Here, the straight line 2 is cut out so as to be parallel to the vertical direction of the frame 14 of the cut out image. As described above, the most suitable part for specifying the person is the face, and the face image 1 is extracted from the subject, and the parts such as the mouth 3, the nose 4 and the eyes 5 can be identified from the face image 1. You can shoot clear images for the first time. Each part is arranged almost in contrast to the center line 2 of the face. Therefore, if the image data of the face image 1 is cut out so that the straight line 2 connecting the center points A, B, and C of each part is parallel to the vertical direction of the frame 14 of the face image 1 to be cut out, the face is not inclined. Can be cut out.
[0013]
FIG. 4 and FIG. 5 are face image diagrams for explaining the second embodiment of the present invention. 4, the left and right margins 8 and 9 are determined from the size of the face on the face image 1 to be cut out, and the verticality of the cut out frames 6 and 7 is determined (S7). Next, the upper and lower margins 10 and 11 are determined from the size of the face on the face image 1 with reference to FIG. 5, and the horizontal positions of the cutout frames 12 and 13 are determined (S8). Next, the face image 1 is cut out along the cutout frames 6, 13, 7, and 12 determined in steps 7 and 8 (S9). As described above, the most important points of the certificate photograph are high image quality and a good balance between the background of the image surface and the face. The balance is determined by the ratio of the left and right margins and the face in the image data of the face image 1 to be cut out. In general, the left and right margins 8 and 9 are made equal, and the upper and lower margins 10 and 11 make the lower margin 11 larger than the upper margin 10. This is because the bottom has a neck and chest. As described above, since the left and right and upper and lower margins of the image data of the face image 1 to be cut out are a fixed ratio with respect to the size of the face on the face image 1 to be cut out, a well-balanced photo can be produced. .
[0014]
Next, as a third embodiment of the present invention, a clipped face image file is created (S10), and an original image (captured image) file is created (S11). When filing the cut face image and its original image, it is more convenient later to associate them. For example, if the original image is Rimg0001. jpg, the face image is set to Rimg0001. Like tif, there is a method of changing the format or extension with the same file name. In addition, the image file name is composed of 8 characters, the upper 4 characters are arbitrary alphabets or numbers, and the lower 4 characters are numbers. Alternatively, there is a method in which the upper 4 characters of the original image and the face image are different and the lower 4 characters are set to the same value (original image: Rimg0001.jpg, face image Rpic0001.jpg). As a result, the original image (subject image file) and the face image (face image file) are recorded as a file based on the above-described predetermined relationship, so that the original data and the extracted face data can be easily organized. Become. Further, as a fourth embodiment of the present invention, a feature of the certificate photograph is that the background is filled with a specific color. This is because the person stands out even more by doing this. However, when creating a certificate photo from a general photo, some background is often taken. Therefore, an operation for painting the background with a predetermined color is required. The face image referred to here also refers to a body part that is integrated with the face. Here, as a fifth embodiment of the present invention, if such an image area to be cut out on the display unit 8 is visible, can be recognized region of the face image 1 to cut out most clearly. Therefore, it is preferable to display the area of the face image 1 to be cut out with a frame. This can clearly recognize the region of the face image 1 to cut out, thereby improving the operability. Further, as a sixth embodiment of the present invention, captured images or the clipped image are not all necessary images. It is preferable in terms of operability if these images are observed by the display unit 8 and recording or erasing can be selected at that time. Thereby, the operability can be improved and the memory can be used effectively.
[0015]
As described above, as the seventh embodiment of the present invention, the most important points of the certificate photograph are that the image quality is high and the background of the image plane and the face are well balanced. It is. In particular, one index for determining the quality of image quality is the area of the face. In other words, the larger the area, the better the image quality. That is, the pixel density per unit area of the CCD that photoelectrically converts the image is constant. Therefore, the larger the area, the larger the total number of pixels. That is, it can be said that the area and the image quality are in a proportional relationship. For this reason, the area of the face is determined by the total number of pixels that the area occupies, so that the image quality can be accurately determined with simple control. Further, when the area of the face occupied by the face image displayed by the display unit 8 is smaller than a predetermined area , the face image is not recorded, so that useless use of the memory can be prevented and a certificate photo with poor quality is taken. You can prevent it.
[0016]
【The invention's effect】
As described above, according to the present invention, in the first aspect, when the face image is recognized from the image data of the subject by the face image recognizing unit, the face image extracting unit extracts the image data of the face image from the image data of the subject. Because it is recorded as a face image file corresponding to the image data of the face image different from the subject image file corresponding to the image data of the subject, even if the face is at the edge of the image, a certificate photo is created can do. In addition, since the image data of the face image is cut out so that the straight line connecting the approximate center points of each part of the face is parallel to the vertical direction of the image frame to be cut out, the face can be cut out without being inclined. In addition, the image data of the face image is cut out so that the left, right, top and bottom margins in the image data of the face image to be cut out are a fixed ratio with respect to the size of the face on the face image to be cut out. Also, since the left and right margins are equal and the bottom has a neck and chest, the top and bottom margins are larger than the top margin, so that a well-balanced photo can be produced. According to the second aspect , the subject image file (original data) and the face image file (face data) are recorded in association with each other, so that the original data and the extracted face data can be easily organized. According to the third aspect , the face other than the face on the cut face image and the body part integrated with the face is painted in a predetermined color, so that the person can be more prominent. According to the fourth aspect , when the image data of the face image is cut out, the face image area to be cut out is displayed with a frame, so that the cut out area can be clearly recognized and the operability is improved. According to the fifth aspect , since the face image displayed by the display unit can be selected to record or delete the image by the selection unit, the operability can be improved and the memory can be used effectively. According to the sixth aspect of the present invention, since the face image is not recorded when the area of the face in the face image displayed by the display means is smaller than the predetermined area, useless use of the memory can be prevented, and the certificate photograph with poor quality can be prevented. You can prevent shooting. According to the seventh aspect of the present invention, since the area of the face is determined by the total number of pixels occupied by the area, the image quality can be accurately determined by simple control. The invention according to claim 8 is characterized in that the face part determining means is configured to determine each part of the mouth, nose and eyes from the face image recognized by the face image recognizing means. The best part to identify a person is the face, and a face image is extracted from the subject, and a clear image is taken only after each part (part) such as eyes, mouth, and nose can be identified from the face image. Can do. Also, by cutting out the image data of the face image using the approximate center point of each part such as the identified eye, mouth, nose, etc., the face can be cut out without tilting.
[Brief description of the drawings]
FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention.
FIG. 2 is a flowchart for explaining an embodiment of the present invention.
FIG. 3 is a face image (part 1) for explaining the first embodiment of the present invention;
FIG. 4 is a face image (No. 2) for describing a second embodiment of the present invention;
FIG. 5 is a face image for explaining a second embodiment of the present invention.
FIG. 6 is a schematic block diagram of a face image cutout unit according to the embodiment of the present invention.
[Explanation of symbols]
20 image memory, 21 image capture unit, 22 control unit, 23 recognition / discrimination unit, 24 face feature storage unit, 25 output unit, 26 face image cutout unit
Claims (8)
前記被写体の画像データの中から顔画像を認識する顔画像認識手段と、
該顔画像認識手段で認識された顔画像から、顔画像の各部分を判別する顔部分判別手段と、
該顔部分判別手段で判別された前記顔画像の各部分に基づいて、前記被写体の画像データから前記顔画像の画像データを切り出す顔画像切出し手段と、
前記顔画像認識手段により前記顔画像が認識された場合、前記被写体の画像データに対応する被写体画像ファイルと、前記顔画像切出し手段により切り出された前記顔画像の画像データに対応する顔画像ファイルとを作成、記録する記録手段とを備え、
前記顔画像切出し手段は、
前記顔部分判別手段により判別された前記顔画像の各部分の中心点を結ぶ直線が切り出す画像枠の垂直方向と平行になり、かつ、
前記左右の余白は等しく、前記上下の余白は上の余白に対して下の余白が大きくなるようにすることで、切り出される前記顔画像の画像データにおける左右上下の余白が切り出される顔画像上の顔の大きさに対して一定の割合となるよう、
前記顔画像の画像データを切り出すように構成されたことを特徴とする撮像装置。In an imaging apparatus having an image imaging means for converting an optical signal relating to a subject obtained through an optical system into an image signal and outputting image data,
Face image recognition means for recognizing a face image from the image data of the subject;
Face part discrimination means for discriminating each part of the face image from the face image recognized by the face image recognition means;
Face image cutout means for cutting out the image data of the face image from the image data of the subject based on each part of the face image determined by the face portion determination means;
When the face image is recognized by the face image recognition unit, a subject image file corresponding to the image data of the subject, and a face image file corresponding to the image data of the face image cut out by the face image cutout unit the creation and recording means for recording,
The face image cutting means is
A straight line connecting the center points of each part of the face image determined by the face part determining means is parallel to the vertical direction of the image frame to be cut out, and
The left and right margins are equal, and the upper and lower margins are set so that the lower margin is larger than the upper margin, whereby the left and right and upper and lower margins in the image data of the face image to be cut out are on the face image to be cut out. To be a certain percentage of the face size,
An image pickup apparatus configured to cut out image data of the face image .
該表示手段は、前記顔画像切出し手段により前記顔画像の画像データを切り出す際に、切り出す顔画像の領域を枠で表示するよう構成されたことを特徴とする請求項1ないし3記載の撮像装置。A display means for displaying the contents of the image data is provided,
The display means, the face image by cut-out means when cutting out the image data of the face image, the image pickup apparatus to 3 according claims 1, characterized in that the area of the facial image is configured to display a frame cutting .
該選択手段は、前記表示手段により表示された画像の記録若しくは消去を選択可能に構成されたことを特徴とする請求項4記載の撮像装置。A selection means for selecting whether to record or erase the image;
5. The imaging apparatus according to claim 4 , wherein the selection unit is configured to be able to select recording or erasing of the image displayed by the display unit.
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001284163A JP4364466B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
US10/244,670 US7298412B2 (en) | 2001-09-18 | 2002-09-17 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US11/745,789 US7920187B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device that identifies portions of a face |
US11/745,703 US7903163B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US11/745,753 US7973853B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method calculating an exposure based on a detected face |
US11/745,686 US7978261B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US11/745,775 US7787025B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device that cuts out a face image from subject image data |
US13/012,558 US8421899B2 (en) | 2001-09-18 | 2011-01-24 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001284163A JP4364466B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003092726A JP2003092726A (en) | 2003-03-28 |
JP4364466B2 true JP4364466B2 (en) | 2009-11-18 |
Family
ID=19107536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001284163A Expired - Fee Related JP4364466B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4364466B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005084980A (en) * | 2003-09-09 | 2005-03-31 | Fuji Photo Film Co Ltd | Data generation unit for card with face image, method and program |
JP4281498B2 (en) * | 2003-09-30 | 2009-06-17 | カシオ計算機株式会社 | Image photographing apparatus and program |
JP4553346B2 (en) * | 2003-10-22 | 2010-09-29 | キヤノン株式会社 | Focus adjustment device and focus adjustment method |
JP4647289B2 (en) * | 2004-11-10 | 2011-03-09 | 富士フイルム株式会社 | Image processing method, apparatus, and program |
JP4538386B2 (en) | 2005-07-06 | 2010-09-08 | 富士フイルム株式会社 | Target image recording apparatus, imaging apparatus, and control method thereof |
JP4929631B2 (en) * | 2005-07-08 | 2012-05-09 | カシオ計算機株式会社 | Image generating apparatus and image generating method |
JP2007065290A (en) | 2005-08-31 | 2007-03-15 | Nikon Corp | Automatic focusing device |
JP2007124446A (en) * | 2005-10-31 | 2007-05-17 | Nikon Corp | Digital camera |
JP2007310487A (en) * | 2006-05-16 | 2007-11-29 | Canon Inc | Image processor, image processing method, program and recording medium |
JP4829804B2 (en) * | 2007-01-29 | 2011-12-07 | キヤノン株式会社 | Image recording apparatus, control method for image recording apparatus, control program, and storage medium |
KR101460130B1 (en) * | 2007-12-11 | 2014-11-10 | 삼성전자주식회사 | A method of video communication in a portable terminal and an apparatus thereof |
JP4623193B2 (en) | 2008-09-29 | 2011-02-02 | カシオ計算機株式会社 | Imaging apparatus, imaging method, and program |
JP2010117787A (en) | 2008-11-11 | 2010-05-27 | Seiko Epson Corp | Image processing apparatus |
JP5202283B2 (en) * | 2008-12-20 | 2013-06-05 | 三洋電機株式会社 | Imaging apparatus and electronic apparatus |
KR20130078676A (en) * | 2011-12-30 | 2013-07-10 | 삼성전자주식회사 | Display apparatus and control method thereof |
-
2001
- 2001-09-18 JP JP2001284163A patent/JP4364466B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003092726A (en) | 2003-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8488847B2 (en) | Electronic camera and image processing device | |
US7734098B2 (en) | Face detecting apparatus and method | |
US8494286B2 (en) | Face detection in mid-shot digital images | |
US7835550B2 (en) | Face image recording apparatus, image sensing apparatus and methods of controlling same | |
JP4364464B2 (en) | Digital camera imaging device | |
US20050248681A1 (en) | Digital camera | |
JP4364466B2 (en) | Imaging device | |
US7903164B2 (en) | Image capturing apparatus, an image capturing method and a machine readable medium storing thereon a computer program for capturing an image of a range wider than an image capture designation range | |
US20050200722A1 (en) | Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program | |
US8319851B2 (en) | Image capturing apparatus, face area detecting method and program recording medium | |
JP2005086516A (en) | Imaging device, printer, image processor and program | |
JP4364465B2 (en) | Imaging device | |
JP2008099038A (en) | Digital camera | |
JP2005323015A (en) | Digital camera | |
TWI496109B (en) | Image processor and image merging method thereof | |
JP4421151B2 (en) | Digital camera imaging device | |
JP4371219B2 (en) | Digital camera | |
JP4802884B2 (en) | Imaging apparatus, captured image recording method, and program | |
JP4894708B2 (en) | Imaging device | |
JP3649468B2 (en) | Electronic album system with shooting function | |
JP5213506B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
JP5640377B2 (en) | Image processing apparatus, camera, and image processing program | |
JP2008172501A (en) | Imaging apparatus | |
KR101467871B1 (en) | Digital image processing apparatus comprising auto zooming fuction and the controlling method of the same | |
JP2007288409A (en) | Imaging apparatus with image data classifying function and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070323 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090427 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |