JP4265600B2

JP4265600B2 - 複眼撮像装置

Info

Publication number: JP4265600B2
Application number: JP2005372832A
Authority: JP
Inventors: 良純中尾; 孝豊田; 康生政木
Original assignee: Funai Electric Co Ltd
Current assignee: Funai Electric Co Ltd
Priority date: 2005-12-26
Filing date: 2005-12-26
Publication date: 2009-05-20
Anticipated expiration: 2025-12-26
Also published as: JP2007174566A; US20070147811A1; US8045001B2

Description

本発明は、複眼撮像装置に関し、詳しくは撮像した画像中から顔の領域を抽出し、抽出した顔画像に基づいて個人認証を行う機能を備えた複眼撮像装置に関する。

画像に含まれる顔部分を認識して個人認証を行う機能を備えた撮像装置が知られている。そして、そのような撮像装置において、顔部分の正確な切出しのために、撮像された人物の目が赤色に再現されてしまう、いわゆる赤目現象を故意に生じさせて撮像し、撮像された画像中の赤目部分に基づいて顔の領域が検出されるように構成された撮像装置が知られている（例えば、特許文献１参照）。

一方、フラッシュ撮影が可能なディジタルカメラにおいて赤目現象を防止するために、フラッシュを発光しないで撮影された画像とフラッシュを発光して撮影された画像とを用いて赤目の領域が検出され、検出された赤目の領域について電子的に正常な目色への補正が行われる撮像装置が知られている（例えば、特許文献２及び特許文献３参照）。

また、同じくフラッシュ撮影が可能なディジタルカメラにおいて、画像中の全ての赤目領域について正しく補正が行われるように、検出された赤目領域の箇所数が、カメラの側面の液晶パネルに表示され、ユーザが、その表示に基づいて補正箇所を修正できる撮像装置が知られている（例えば、特許文献４参照）。
特開２００４−２０６６８８号公報特開２００３−３０６４７号公報特開２００３−１７９８０７号公報特開２００４−２０８２７９号公報

上記特許文献１に記載の撮像装置においては、顔部分の正確な切出しのために赤目部分が正しく検出されることが必要である。ところが、赤目部分の検出は、画像の全領域を対象とした色領域の大きさと形状を判別することによって行われるので、瞳に相当する丸形状の赤色領域を正しく検出するためには、多くのパターンを認識して判別できる複雑な処理が必要になる。

具体的には、例えば、画像の背景中に存在する宝飾品等の赤い丸形状の部分と人物の赤目部分とを区別して認識するためには、相当に複雑な処理が必要になり、赤目部分を検出するまでの処理時間が長くなるとか、複雑な処理を実行させるための大掛かりなソフトウェア（プログラム）が必要であるので、当該撮像装置自体の製造コストが高くなってしまうといった問題がある。他方、簡単な処理方法を採用すれば赤目部分を正しく検出することができず、結局画像からの顔部分の正確な切出しができず個人認証が不可能になってしまう虞がある。

一方、特許文献２に記載の撮像装置では、フラッシュを発光しないで撮影された画像とフラッシュを発光して撮影された画像とを用い、両画像の比較に基づいて赤目部分を検出するように構成されるので、比較的簡単な処理方法であっても正しく赤目部分を検出することが可能であるが、フラッシュを発光しない撮影とフラッシュを発光する撮影の２回の撮影が必要であるので、赤目部分が検出されるまでに要する時間が長くなるといった不具合がある。

そこで、本発明は、撮像した画像中から検出された目の位置に基づいて顔の領域を抽出し、抽出した顔画像に基づいて個人認証を行う機能を備えた複眼撮像装置において、比較的簡単な処理プログラムを用いても正しく目位置を検出することができて、正確な個人認証ができ、かつ比較的短時間で個人認証を実行することができる複眼撮像装置を提供することを目的とする。

上記目的を達成するために、請求項１の発明は、アレイ状に配置された複数の光学レンズと、前記複数の光学レンズによりそれぞれ形成される複数の個眼像を撮像する固体撮像素子と、前記固体撮像素子上に形成される複数の個眼像を時間差を持って順に読出すローリングシャッタ手段と、前記ローリングシャッタ手段により読出される複数の個眼像を記憶する記憶手段と、被写体を照明するフラッシュ装置を備える複眼撮像装置において、前記ローリングシャッタ手段によって複数の個眼像の読出しが行われる間に、前記フラッシュ装置が波長の異なる２種類の近赤外光を交替して発光するように制御するフラッシュ制御手段と、前記記憶手段に記憶された複数の個眼像の中から、前記フラッシュ制御手段によって切替えられる前の照明状態において撮像された個眼像（以下、切替前個眼像という）と、切替えられた後の照明状態において撮像された個眼像（以下、切替後個眼像という）をそれぞれ読出す個眼像読出し手段と、前記個眼像読出し手段によって読出された切替前個眼像と切替後個眼像の差分に基づいて画像中の目の位置を検出する目位置検出手段と、前記目位置検出手段によって検出された画像中の目の位置に基づいて画像中の顔の領域を抽出する顔抽出手段と、前記顔抽出手段によって抽出された顔領域の画像に基づいて個人認証を行う認証手段を備えることを特徴とする。

請求項２の発明は、アレイ状に配置された複数の光学レンズと、前記複数の光学レンズによりそれぞれ形成される複数の個眼像を撮像する固体撮像素子と、前記固体撮像素子上に形成される複数の個眼像を時間差を持って順に読出すシャッタ手段と、前記シャッタ手段により読出される複数の個眼像を記憶する記憶手段と、被写体を照明するフラッシュ装置を備える複眼撮像装置において、前記シャッタ手段によって複数の個眼像の読出しが行われる間に、前記フラッシュ装置の発光の波長、オンオフ又は強弱等の態様を切替えるフラッシュ制御手段と、前記記憶手段に記憶された複数の個眼像の中から、前記フラッシュ制御手段によって切替えられる前の照明状態において撮像された個眼像（以下、切替前個眼像という）と、切替えられた後の照明状態において撮像された個眼像（以下、切替後個眼像という）をそれぞれ読出す個眼像読出し手段と、前記個眼像読出し手段によって読出された切替前個眼像と切替後個眼像の比較に基づいて画像中の目の位置を検出する目位置検出手段と、前記目位置検出手段によって検出された画像中の目の位置に基づいて画像中の顔の領域を抽出する顔抽出手段と、前記顔抽出手段によって抽出された顔領域の画像に基づいて個人認証を行う認証手段を備えることを特徴とする。

請求項３の発明は、請求項２の発明において、前記目位置検出手段は、前記切替前個眼像と切替後個眼像の差分に基づいて画像中の目の位置を検出することを特徴とする。

請求項１の発明によれば、撮像した画像中から検出された目の位置に基づいて顔の領域を抽出し、抽出した顔画像に基づいて個人認証を行う機能を備えた複眼撮像装置において、比較的簡単な処理プログラムを用いても正しく目位置を検出することができて、正確な個人認証ができ、かつ比較的短時間で個人認証を実行することができる。特に、フラッシュ装置が波長の異なる２種類の近赤外線を交替して発光することによって、切替前個眼像と切替後個眼像における目以外の領域の色及び輝度の差を小さくでき、より正しく目位置を検出することができる。

請求項２及び請求項３の発明によれば、撮像した画像中から検出された目の位置に基づいて顔の領域を抽出し、抽出した顔画像に基づいて個人認証を行う機能を備えた複眼撮像装置において、比較的簡単な処理プログラムを用いても正しく目位置を検出することができて、正確な個人認証ができ、かつ比較的短時間で個人認証を実行することができる。

本発明を実施するための実施形態について図面を参照して説明する。本実施形態の複眼撮像装置１は、図１に示されるように、被写体からの光を集光して固体撮像素子２上に複数の個眼像を形成する光学系部分３と、固体撮像素子２により撮像された個眼像を電子的に処理して個人認証を行う回路部分４と、該回路部分４に接続されて後述するタイミングで発光され被写体を照明するフラッシュ装置５を備えている。

光学系部分３は、光軸が互いに平行である２行２列のアレイ状に配置された４個の光学レンズ６と、各光学レンズ６によってそれぞれ形成される４個の像（個眼像）を撮像する固体撮像素子２を備えている。固体撮像素子２は、基板７上に形成されたＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成され、４個の個眼像Ａ、Ｂ、Ｃ、Ｄは、図２に示されるように、固体撮像素子２上において２行２列に形成される。

図２において、各光学レンズ６によって固体撮像素子２上に集光されて形成される像Ｓがそれぞれ円形で表わされ、各像Ｓから方形の個眼像Ａ、Ｂ、Ｃ、Ｄが切出される。各個眼像Ａ、Ｂ、Ｃ、Ｄは、固体撮像素子２によってアナログ信号に変換され、後述するタイミングジェネレータ８によって生成される所定のタイミングで、時間差を持って順に読出される。

具体的には、図２に示されるように、個眼像Ａ、個眼像Ｂ、個眼像Ｃ、個眼像Ｄの順であって、個眼像Ａと個眼像Ｂがほぼ同時に読出され、一定時間後に個眼像Ｃと個眼像Ｄがほぼ同時に読出される。本実施形態では、各個眼像Ａ、Ｂ、Ｃ、Ｄが上記のように時間差を持って読出されるように構成する固体撮像素子２とタイミングジェネレータ８でもってローリングシャッタが構成される。また、各個眼像Ａ、Ｂ、Ｃ、Ｄは、読出されるタイミングと同一のタイミングで固体撮像素子２上に形成（露光）される像である。

次に、回路部分４について、図１を参照して説明する。回路部分４は、固体撮像素子２からのアナログ信号をＡＤコンバータ９を介して変換されたディジタル信号として取込むＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）１１と、各個眼像をアナログ信号として固体撮像素子２から読出すタイミングを制御するタイミングジェネレータ８と、ＤＳＰ１１に接続され、ＤＳＰ１１に取込まれた個眼像を後述の処理手順に従って処理するマイクロプロセッサ１２（請求項におけるフラッシュ制御手段、個眼像読出し手段、目位置検出手段、顔抽出手段、認証手段）と、マイクロプロセッサ１２に接続されたＲＡＭ１３（請求項における記憶手段）及びＲＯＭ１４と、同じくマイクロプロセッサ１２に接続された液晶パネル等の表示装置１５と、ユーザの選択により適宜に接続されるパソコン等の外部装置１６から構成される。

ＲＡＭ１３には、固体撮像素子２から読出される複数の個眼像が一時的に記憶され、ＲＯＭ１４には、後述の個人認証の処理手順や、予め登録された顔画像が記憶されている。

フラッシュ装置５は、光源として波長が８５０ｎｍの近赤外光を発するＬＥＤ１７を備え、マイクロプロセッサ１２からの制御によって、マイクロプロセッサ１２が各個眼像を固体撮像素子２から読出すタイミングに同期させて発光される。

具体的には、フラッシュ装置５は、マイクロプロセッサ１２がタイミングジェネレータ８をアクティブとした後、図２及び図３に示されるように、固体撮像素子２からの各個眼像の読出しが行われる期間（ｔ＝０からｔ＝Ｔまで）の前半ａにおいて所定の発光強度Ｐで発光され、後半ｂにおいて発光が停止される。この読出し期間（ａ＋ｂ）は、固体撮像素子２上の全ての（２行２列の）個眼像Ａ、Ｂ、Ｃ、Ｄの読出し期間に相当するので、読出し期間の前半ａは、図２において模式的に示されるように、上の行の個眼像Ａ、Ｂを読出す期間に相当し、後半ｂは、下の行の個眼像Ｃ、Ｄを読出す期間に相当する。

従って、読出し期間の前半ａに読出される個眼像Ａ、Ｂは、フラッシュ装置５によって照明された被写体を撮像した像（切替前個眼像）であり、読出し期間の後半ｂに読出される個眼像Ｃ、Ｄは、フラッシュ装置５によって照明されない被写体を撮像した像（切替後個眼像）である。具体的には、図４に示されるように、個眼像Ａ、Ｂが、フラッシュ装置５によって照明されて赤目現象が生じた個眼像になり、個眼像Ｃ、Ｄが、フラッシュ装置５によって照明されず赤目現象が生じていない個眼像になる。

なお、フラッシュ装置５の光源として波長が８５０ｎｍの近赤外光を発するＬＥＤ１７を用いているので、フラッシュ装置５によって照明された被写体の個眼像は、目の網膜の色が鮮やかな赤色に再現されるが、肌色等の他の部分の色は通常の自然色に近く再現される。これによって、フラッシュ装置５の光源として通常の可視光を用いる場合に比べて、後述の個人認証処理手順における切替前個眼像と切替後個眼像の比較に基づく目位置の検出の正確さが向上される。

上記について理由を説明する。フラッシュ装置５の光源として通常の可視光を用いる場合には、フラッシュ装置５によって照明された被写体の個眼像（切替前個眼像）は、網膜の色ばかりではなく肌色等の他の色部分も明るく（明度が高く）再現されてしまい、フラッシュ装置５によって照明されない被写体の個眼像（切替後個眼像）との差が画像の全面に亘って平均的に大きくなることから、却って目位置の正しい検出が困難になるという事情がある。これに対して、フラッシュ装置５の光源として波長が８５０ｎｍの近赤外光を発するＬＥＤ１７を用いる場合は、切替前個眼像と切替後個眼像において、特に照明された網膜の色に差が生じるので、目位置の検出の正確さが向上される。

なお、切替前個眼像と切替後個眼像の比較において、肌色等の目以外の部分の差は小さく、目部分の差は大きく再現されるようにして、目位置の検出精度を向上させるために、フラッシュ装置５の発光の切替の態様を次のように構成してもよい。

例えば、フラッシュ装置５の発光が、読出し期間の前半ａにおいて強度Ｐで発光され、後半ｂにおいて強度Ｐ／２（あるいは強度Ｐよりも弱い所定の強度）で発光されるようにしてもよい。つまり、読出し期間の前半ａと後半ｂにおける、発光強度の差を、目部分の色については充分な差が生じる範囲内で小さくしてもよい。

さらに、フラッシュ装置５は、波長が８５０ｎｍの近赤外光を発するＬＥＤと波長が９４０ｎｍの近赤外光を発するＬＥＤの２種類の光源を備えるものとして、読出し期間の前半ａにおいて波長が８５０ｎｍの近赤外光を発するＬＥＤが発光され、後半ｂにおいて波長が９４０ｎｍの近赤外光を発するＬＥＤが発光されるようにしてもよい。

この場合に、８５０ｎｍの近赤外光に比べ９４０ｎｍの近赤外光では網膜における反射率が低くほとんど網膜反射が観測されないが、肌色等の目以外の部分が、切替前個眼像と切替後個眼像の比較においてほとんど差がない程度に再現されるので、目位置の検出の正確さがさらに向上される。

次に、本実施形態の複眼撮像装置１における個人認証処理手順について、図５のフローチャートを参照して説明する。フラッシュ装置５が発光しない状態で通常の撮像が行われ（Ｓ１）、マイクロプロセッサ１２は、撮像された個眼像における被写体の像に動きがあるか否かを判断する（Ｓ２）。動きがないと判断された場合（Ｓ２においてＮＯ）は、通常撮像を継続する。

動きがあると判断された場合（Ｓ２においてＹＥＳ）は、マイクロプロセッサ１２は、フラッシュ装置５を前述のとおりに制御し（Ｓ３）、個眼像Ａ、Ｂ、Ｃ、Ｄを順に読出してＲＡＭ１３に一時的に記憶させる（Ｓ４）。なお、マイクロプロセッサ１２による動き検出に代えて、ユーザによるスタートボタン（不図示）の押下操作によって通常撮像状態からステップＳ３へ移行する構成であってもよい。

次に、マイクロプロセッサ１２は、ＲＡＭ１３に記憶された個眼像Ａ、Ｂ、Ｃ、Ｄの中から１つの切替前個眼像（例えば、個眼像Ａ）と、１つの切替後個眼像（例えば、個眼像Ｃ）を読出して、両画像を比較し差があるか否かを判断する（Ｓ５）。具体的には、マイクロプロセッサ１２は、個眼像Ａと個眼像Ｃの差分画像を作成し、その差分画像の中に所定の閾値よりも大きな差分となっている部分があるか否かを検出する。

例えば、図４に示されるように、個眼像Ａにおける目部分が赤目に再現され、個眼像Ｃにおける目部分が自然な黒目に再現されている場合には、目部分において差があると判断される。

差がないと判断される場合（Ｓ５においてＮＯ）には、マイクロプロセッサ１２は、タイマがタイムアップしているか否かを判断して（Ｓ６）、タイムアップしている場合（Ｓ６においてＹＥＳ）には、通常撮像（Ｓ１）に戻る。タイムアップしていない場合（Ｓ６においてＮＯ）には、フラッシュ制御（Ｓ３）に戻る。このタイマによる管理によって、フラッシュ装置５を用いた認証用画像の撮像が所定の時間内において繰返される。

所定時間内の認証用画像の撮像の繰返しによっても切替前個眼像と切替後個眼像の間に差（目部分）が検出されない場合には、その旨がメッセージとして外部装置１６又は表示装置１５に表示されるように構成してもよい。

なお、ステップＳ５における、マイクロプロセッサ１２がＲＡＭ１３に記憶された個眼像Ａ、Ｂ、Ｃ、Ｄの中から１つの切替前個眼像（例えば、個眼像Ａ）と、１つの切替後個眼像（例えば、個眼像Ｃ）を読出してくる処理は、読出してくるべき個眼像が予め決められていてもよいし、切替前個眼像（個眼像Ａ、Ｂ）及び切替後個眼像（個眼像Ｃ、Ｄ）を全て読出し、その中からそれぞれノイズがより少ない個眼像（より鮮明な個眼像）が選出されるようにしてもよい。

また、ステップＳ５における、マイクロプロセッサ１２による差があるか否かの判断は、切替前個眼像と切替後個眼像の差分画像を作成し、該差分画像の中で所定の閾値よりも大きな差分部分（目部分）があるか否かを判断するだけであるので、比較的簡単な処理プログラムで極めて短時間のうちに行うことができる。さらに、フラッシュ装置５の発光制御が前述の通りに実行されて、切替前個眼像と切替後個眼像における目部分の色の差が大きくなるように構成されているので、より正確な目位置の検出が可能である。

切替前個眼像と切替後個眼像の間に差があると判断される（Ｓ５においてＹＥＳ）場合には、マイクロプロセッサ１２は、検出した差分部分（目部分）の位置に基づいて顔領域の抽出を行う（Ｓ７）。顔領域の抽出は、例えば、検出された差分部分（目部分）の周囲の肌色部分を認識することによって行われる。この顔領域の抽出処理は、再現された色が自然の色に近い方が望ましいので、フラッシュ装置５によって照明されない状態で撮像された個眼像（個眼像Ｃ）に対して実行される。

また、目部分の位置が正確に検出されるので、顔領域の抽出は、比較的簡単な処理プログラムを用いて正確に行うことができる。

次に、マイクロプロセッサ１２は、抽出された顔領域の画像と、ＲＯＭ１４から読出した登録された顔画像とを比較して個人認証を行い（Ｓ８）、個人認証の結果を外部装置１６又は表示装置１５にメッセージとして出力する（Ｓ９）。顔領域の画像と登録された顔画像とを比較して個人認証を行う技術としては、種々の公知技術を採用することが可能である。

以上の説明で明らかなように、本実施形態の複眼撮像装置１においては、切替前個眼像と切替後個眼像の比較に基づいて目位置を検出するので、目位置検出のための処理プログラムとして比較的簡単なものを用いて正しく、かつ短時間のうちに目位置を検出することができ、正確な個人認証ができる。また、従来装置のように比較のために２回に亘って撮像する必要がなく、１回の撮像によって照明状態が異なる個眼像が得られるので、その点からも個人認証のための所要時間を短縮することができる。

なお、本実施形態では、アレイ状に配置される光学レンズ６、及び固体撮像素子２上に形成される個眼像が２行２列の配置であるが、これは例えば３行３列等の他の配置であってもかまわない。特に、２個の光学レンズ６が縦１列に配置されたものであってもよい。この場合には、切替前個眼像と切替後個眼像がそれぞれ１個の個眼像から構成される。

本発明の一実施形態に係る複眼撮像装置を示すブロック構成図。同複眼撮像装置の固体撮像素子と、固体撮像素子上に形成される個眼像の配置を示す模式図。同複眼撮像装置のフラッシュ装置の制御タイミングを示す図。同複眼撮像装置によって撮像される個眼像の例を示す図。同複眼撮像装置における個人認証の処理手順を示すフローチャート。

符号の説明

１複眼撮像装置
２固体撮像素子
５フラッシュ装置
６光学レンズ
８タイミングジェネレータ（ローリングシャッタ手段）
１２マイクロプロセッサ（フラッシュ制御手段、個眼像読出し手段、目位置検出手段、顔抽出手段、認証手段）
１３ＲＡＭ（記憶手段）
Ａ、Ｂ、Ｃ、Ｄ個眼像

Claims

アレイ状に配置された複数の光学レンズと、
前記複数の光学レンズによりそれぞれ形成される複数の個眼像を撮像する固体撮像素子と、
前記固体撮像素子上に形成される複数の個眼像を時間差を持って順に読出すローリングシャッタ手段と、
前記ローリングシャッタ手段により読出される複数の個眼像を記憶する記憶手段と、
被写体を照明するフラッシュ装置を備える複眼撮像装置において、
前記ローリングシャッタ手段によって複数の個眼像の読出しが行われる間に、前記フラッシュ装置が波長の異なる２種類の近赤外光を交替して発光するように制御するフラッシュ制御手段と、
前記記憶手段に記憶された複数の個眼像の中から、前記フラッシュ制御手段によって切替えられる前の照明状態において撮像された個眼像（以下、切替前個眼像という）と、切替えられた後の照明状態において撮像された個眼像（以下、切替後個眼像という）をそれぞれ読出す個眼像読出し手段と、
前記個眼像読出し手段によって読出された切替前個眼像と切替後個眼像の差分に基づいて画像中の目の位置を検出する目位置検出手段と、
前記目位置検出手段によって検出された画像中の目の位置に基づいて画像中の顔の領域を抽出する顔抽出手段と、
前記顔抽出手段によって抽出された顔領域の画像に基づいて個人認証を行う認証手段を備えることを特徴とする複眼撮像装置。
アレイ状に配置された複数の光学レンズと、
前記複数の光学レンズによりそれぞれ形成される複数の個眼像を撮像する固体撮像素子と、
前記固体撮像素子上に形成される複数の個眼像を時間差を持って順に読出すシャッタ手段と、
前記シャッタ手段により読出される複数の個眼像を記憶する記憶手段と、
被写体を照明するフラッシュ装置を備える複眼撮像装置において、
前記シャッタ手段によって複数の個眼像の読出しが行われる間に、前記フラッシュ装置の発光の波長、オンオフ又は強弱等の態様を切替えるフラッシュ制御手段と、
前記記憶手段に記憶された複数の個眼像の中から、前記フラッシュ制御手段によって切替えられる前の照明状態において撮像された個眼像（以下、切替前個眼像という）と、切替えられた後の照明状態において撮像された個眼像（以下、切替後個眼像という）をそれぞれ読出す個眼像読出し手段と、
前記個眼像読出し手段によって読出された切替前個眼像と切替後個眼像の比較に基づいて画像中の目の位置を検出する目位置検出手段と、
前記目位置検出手段によって検出された画像中の目の位置に基づいて画像中の顔の領域を抽出する顔抽出手段と、
前記顔抽出手段によって抽出された顔領域の画像に基づいて個人認証を行う認証手段を備えることを特徴とする複眼撮像装置。
前記目位置検出手段は、前記切替前個眼像と切替後個眼像の差分に基づいて画像中の目の位置を検出することを特徴とする請求項２に記載の複眼撮像装置。