JP4454841B2

JP4454841B2 - 顔画像撮影装置および顔画像撮影方法

Info

Publication number: JP4454841B2
Application number: JP2000397289A
Authority: JP
Inventors: 佳範三角
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-12-27
Filing date: 2000-12-27
Publication date: 2010-04-21
Anticipated expiration: 2020-12-27
Also published as: JP2002196410A

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば、自動車の運転免許証（以後、単に免許証と称す）や各種証明書（カードタイプや冊子タイプを含む）など、人物の顔画像と個人情報とを一緒にカード媒体に印刷することによりＩＤカードを発行する、ＩＤカード発行装置において、被撮影者である人物の顔画像を撮影する顔画像撮影装置および顔画像撮影方法に関する。
【０００２】
【従来の技術】
従来、この種の顔画像撮影装置にあっては、ＩＤカード発行申請者、すなわち、被撮影者を撮影した際、瞬きをしていないかなど、出力画像として適しているかどうかを人間系にて判定し、目つぶりなどの出力写真として適さない画像であった場合は、撮り直しなどの処置を行なっていた。
【０００３】
【発明が解決しようとする課題】
ところが、たとえば、撮影サイクルが数秒程度と早い揚合、操作者（オペレータ）は、撮影装置の操作を行ないながら、被撮影者の様子を観察する必要があるため、オペレータの負荷が大きく、さらに、操作を誤まる確立も高くなる。
【０００４】
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行なった場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体（用紙など）の費用が無駄に浪費されるという問題がある。
【０００５】
そこで、本発明は、人間系の判定などを伴うことなく、自動的に被撮影者の撮影可能状態を高精度に認識し、自動的に撮影を行なうことができ、オペレータの負荷を軽減することができる顔画像撮影装置および顔画像撮影方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の顔画像撮影装置は、人物の顔画像および当該人物の個人情報をそれぞれカード媒体に印刷することによりＩＤカードを発行するもので、前記人物の少なくとも年齢に関する情報を含む個人情報を当該人物固有の識別情報と対応させて記憶している個人情報記憶手段を備えたＩＤカード発行装置における顔画像撮影装置であって、人物の少なくとも年齢別に基準の顔の特徴情報として人物の顔の中の少なくとも左右の瞳および口の各標本を記憶している特徴情報記憶手段と、前記人物固有の識別情報を入力する識別情報入力手段と、この識別情報入力手段により入力された識別情報に基づき前記個人情報記憶手段から対応する個人情報を読出す個人情報読出手段と、この個人情報読出手段により読出された個人情報の年齢に関する情報に基づき前記特徴情報記憶手段から対応する人物の左右の瞳および口の各標本を読出し、それを当該人物に対する基準の顔の特徴情報として設定する特徴情報設定手段と、人物の少なくとも顔画像を撮影する撮影手段と、この撮影手段により撮影された顔画像から人物の顔の中の少なくとも左右の瞳および口の各部位をそれぞれ抽出し、この抽出した左右の瞳および口の各部位と前記特徴情報設定手段により基準の顔の特徴情報として設定された左右の瞳および口の各標本とを照合することにより、前記人物が撮影可能状態であるか否かを判定する撮影可能状態判定手段と、この撮影可能状態判定手段により前記人物が撮影可能状態であると判定されると、前記撮影手段により撮影された顔画像を前記カード媒体に印刷する人物の顔画像として出力する出力手段とを具備している。
【０００７】
また、本発明の顔画像撮影方法は、人物の顔画像および当該人物の個人情報をそれぞれカード媒体に印刷することによりＩＤカードを発行するもので、前記人物の少なくとも年齢に関する情報を含む個人情報を当該人物固有の識別情報と対応させて記憶している個人情報記憶手段を備えたＩＤカード発行装置における顔画像撮影方法であって、前記人物固有の識別情報を入力する第１のステップと、この第１のステップにより入力された識別情報に基づき前記個人情報記憶手段から対応する個人情報を読出す第２のステップと、この第２のステップにより読出された個人情報の年齢に関する情報に基づき、人物の少なくとも年齢別に基準の顔の特徴情報として人物の顔の中の少なくとも左右の瞳および口の各標本を記憶している特徴情報記憶手段から対応する人物の左右の瞳および口の各標本を読出し、それを当該人物に対する基準の顔の特徴情報として設定する第３のステップと、人物の少なくとも顔画像を撮影する第４のステップと、この第４のステップにより撮影された顔画像から人物の顔の中の少なくとも左右の瞳および口の各部位をそれぞれ抽出し、この抽出した左右の瞳および口の各部位と前記第３のステップにより基準の顔の特徴情報として設定された左右の瞳および口の各標本とを照合することにより、前記人物が撮影可能状態であるか否かを判定する第５のステップと、この第５のステップにより前記人物が撮影可能状態であると判定されると、前記第４のステップにより撮影された顔画像を前記カード媒体に印刷する人物の顔画像として出力する第６のステップとを具備している。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【０００９】
図１は、本実施の形態に係るＩＤカード発行装置の構成を概略的に示すものである。図１において、このＩＤカード発行装置は、全体的な制御を司る汎用コンピュータで構成されるホストコンピュータ１０１、このホストコンピュータ１０１に接続され、少なくともカード発行申請者（以後、被撮影者あるいは人物とも言う）１のＩＤカードに記載する各種情報を含む個人情報を、カード発行申請者１が持つ固有の識別情報としての個人番号（ＩＤ番号）と対応させて記憶している記憶手段としてのデータベース１０２、カード発行申請者１の顔画像を撮影する顔画像撮影装置１０３、顔画像撮影装置１０３からの指令により、カード発行申請者１の顔画像と個人番号、氏名、年齢、住所などの個人情報をカード媒体に印刷することによりＩＤカードＣを作成する印刷装置１０４、それと同時に顔画像、個人番号、氏名、年齢、住所などの個人情報をファイリングするファイリング装置１０６、これらホストコンピュータ１０１、顔画像撮影装置１０３、印刷装置１０４、および、ファイリング装置１０６を相互接続するネットワーク１０５から構成されている。
【００１０】
図２は、顔画像撮影装置１０３の外観構成を概略的に示すものである。この顔画像撮影装置１０３は、カード発行申請者である被撮影者（人物）１を照明する照明器２、被撮影者１の少なくとも顔画像を撮影する撮影手段としてのＣＣＤ形のビデオカメラ３、被撮影者１に対し撮影状態やガイダンスなどを案内表示する案内手段としての表示器（モニタディスプレイ）４、同様に被撮影者１に対しガイダンスなどを音声で案内する案内手段としてのスピーカ５、オペレータ（操作者）による操作指示により、カメラ３からの入カ画像を加工したり、表示器４や内蔵する記憶部などに対して出力を行なう制御台（制御部）６、被撮影者１が撮影の際に着座する椅子７、および、撮影の際に被撮影者１の背景となる背景板８から構成されている。
【００１１】
なお、スピーカ５は、背景板８の裏側の被撮影者１と対応する部位に取着されていて、背景板８に設けられた音放出孔から音声が放出されるようになっている。また、背景板８の色は、証明用写真の背景として好適な色（たとえば、青色）に設定されている。
【００１２】
図３は、図２に示した顔画像撮影装置１０３の全体的な構成を示すブロック図である。すなわち、カメラ３からのアナログ信号（入力画像）をリアルタイムにデジタル信号に変換し、ビデオメモリやメインメモリなどに転送するビデオキャプチャ部１１、ビデオキャプチャ部１１の画像データ、および、その他の描画処理を行ない、表示器４への表示制御を行なうビデオアクセラレート部１２、スピーカ５へのガイダンス用の音声を制御するサウンドコントロール部１３、画像データおよびその他への各種の演算処理や各種制御などを行なうＣＰＵ（セントラル・プロセッシング・ユニット）、画像データや演算結果などを一時保存するメインメモリ、各種周辺機器とのインターフェイスを備えたＣＰＵ部１４、各種周辺機器を接続する外部バス（たとえば、ＳＣＳＩなど）を制御する外部バス制御部１５、各種ＯＳやアプリケーション、制御用データ、画像データ、基準の顔の特徴情報（左右瞳標本、口標本）などを保存する記憶手段としてのハードディスク装置などの大容量記憶装置１６、制御台６の出力データなどを保存する可搬性のある記憶媒体（たとえば、光磁気ディスクなど）１７に対してデータの読み書きを行なうリーダライタ部１８、オペレータが操作する入力手段としてのキーボード１９やマウス２０、カード発行申請者固有の識別情報である個人番号をカード発行申請書から光学的に読取って入力する識別情報入力手段としての光学式読取装置（ＯＣＲ）２１、および、ネットワーク１０５上の他の各種機器（ホストコンピュータ１０１、印刷装置１０４、ファイリング装置１０６など）との間で相互通信を行なうためのネットワークアダプタ（ＬＡＮカードなど）２２などによって構成されている。
【００１３】
このような構成において、顔画像撮影装置１０３のメイン処理について図４に示すフローチャートを参照して説明する。まず、ステップＳ１０１にて、ＩＤカードを作成するカード発行申請者（被撮影者）１の持参したカード発行申請書を光学式読取装置２１にセットすることにより、カード発行申請者固有の識別情報である個人番号をカード発行申請書から読取って入力する。カード発行申請書から読取った個人番号はＣＰＵ部１４へ送られる。
【００１４】
次に、ステップＳ１０２にて、ＣＰＵ部１４は、カード発行申請書から読取った個人番号をキーとして、データベース１０２から当該カード発行申請者１の個人情報を検索して読出す。ここに、このステップＳ１０２の処理が本発明における個人情報読出手段に対応している。
【００１５】
次に、ステップＳ１０３にて、ＣＰＵ部１４は、データベース１０２から読出した個人情報内の肌色に関する情報と年齢に関する情報とから、当該被撮影者１に対する基準の顔の特徴情報、この例では肌色と年齢に対応した左右瞳および口標本を設定する。ここに、このステップＳ１０３の処理が本発明における特徴情報設定手段に対応している。
【００１６】
次に、ステップＳ１０４にて、カメラ３により撮影された顔画像とステップＳ１０３で設定された左右瞳および口標本とにより被撮影者１が撮影可能状態であるか否かを判定し、後で詳細を説明する被撮影者１の顔画像の撮影処理を行なう。
【００１７】
図５、図６は、カメラ３からの入力画像（顔画像）と、撮影処理中の各処理時に使用する領域や座標を示したものである。
【００１８】
以下、図７に示すフローチャートおよび図５、図６を参照して図４におけるステップＳ１０４の撮影処理について説明する。なお、以下に説明する処理は、主にＣＰＵ部１４内のＣＰＵの制御によって実行される。
【００１９】
まず、ステップＳ１にて、図示しないカウンタによって計数されるリトライ回数やその他のデータの初期化を行ない、ステップＳ２に進む。ステップＳ２では、ビデオキャプチャ部１１を介してカメラ３からの入力画像３１（図５参照）を取込み、ＣＰＵ部１４内のメインメモリに一時格納し、ステップＳ３に進む。
【００２０】
ステップＳ３，Ｓ４では、メインメモリ内の入力画像３１により、カメラ３の前に被撮影者１が存在するか否かの検出処理を行なう。すなわち、たとえば、入力画像３１内に背景色と異なる画素を持った領域（すなわち、被撮影者の領域）を探索することにより、被撮影者１が存在し、かつ、被撮影者１の髪形まで含めた顔の輪郭領域３２の位置が出力するために適正な範囲に入っているかを判定する。なお、この被撮影者検出処理については後で詳細を説明する。
【００２１】
カメラ３の前に被撮影者１が存在しない場合、あるいは、顔輪郭領域３２の位置が不適正の場合、ステップＳ２に戻り、上記同様な動作を繰り返す。カメラ３の前に被撮影者１が存在し、かつ、顔輪郭領域３２の位置が適正な場合、ステップＳ５に進む。ステップＳ５では、カメラ３の前の被撮影者１に対し撮影準備を促すため、表示器４およびスピーカ５により、ガイダンスメッセージを出力し、ステップＳ６に進む。
【００２２】
ステップＳ６では、画像３１を入力した後、後述する撮影可能状態判定処理にて被撮影者１が静止した（撮影準備ができた）と判定するための規定時間の間待機し、ステップＳ７に進む。ステップＳ７では、再び、先の入力画像３１に連続的に続く入力画像３３（図６参照）をカメラ３から取込み、ＣＰＵ部１４内のメインメモリに一時格納し、ステップＳ８に進む。
【００２３】
ステップＳ８，Ｓ９では、メインメモリ内の入力画像３１および入力画像３３により撮影可能状態判定処理を行なうことにより、被撮影者１の撮影準備ができているか否か、すなわち、被撮影者１が撮影可能状態になっているか否かを判定する。ここに、このステップＳ８，Ｓ９の処理が本発明における撮影可能状態判定手段に対応している。なお、この撮影可能状態判定処理については後で詳細を説明する。
【００２４】
ステップＳ８，Ｓ９における判定の結果、被撮影者１の撮影準備ができている場合、ステップＳ１０に進み、ＣＰＵ部１４内のメインメモリに格納された入力画像３１あるいは３３のうち、顔画像の出力に適している画像を選定して出力用に変換し、ネットワークアダプタ２２からネットワーク１０５に接続された印刷装置１０４において、カード媒体に印刷出力したり、同ネットワーク１０５に接続されたファイリング装置１０６に対して保存出力したり、さらには、ＣＰＵ部１４内のメインメモリあるいは大容量記憶装置１６や可搬性のある記憶媒体１７を画像保存手段として用いることにより、それに対して記憶（保存出力）する。これで、被撮影者１人に対する全ての撮影処理が終了する。ここに、このステップＳ１０の処理が本発明における出力手段に対応している。
【００２５】
なお、撮影した顔画像を印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【００２６】
ステップＳ８，Ｓ９における判定の結果、被撮影者１の撮影準備ができていない場合、ステップＳ１１に進み、リトライ処理を行なう。すなわち、まず、ステップＳ１１では、前記リトライ回数をインクリメントし、ステップＳ１２に進む。ステップＳ１２では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップＳ２に戻り、リトライ処理として再度、ステップＳ２からの処理を行なう。
【００２７】
図８は、後述する被撮影者検出処理時に使用する領域や座標値、数値名を示したものである。図８において、
ＸＳＴＩＬＬＳＩＺＥ：カメラ３から入力した画像の横方向の画素数
ＹＳＴＩＬＬＳＩＺＥ：カメラ３から入力した画像の縦方向の画素数
ＸＦＭＧＳＩＺＥ：印刷装置１０４やファイリング装置１０６に出力する際の画像横長さの画素数
ＹＦＭＧＳＩＺＥ：印刷装置１０４やファイリング装置１０６に出力する際の画像縦長さの画素数
ＦＡＣＥＳＩＺＥ：撮影距離固定で撮影したときの被撮影者の平均的な顔縦長さ画素数
ＯＶＥＲＨＥＡＤ：ＦＡＣＥＳＩＺＥの顔をＸＦＭＧＳＩＺＥ×ＹＦＭＧＳＩＺＥの出力画像サイズに収めたときに顔位置のバランスをよくするために必要となる背景板８が写る縦方向の画素数
である。
【００２８】
また、図８において、探索領域（測定領域）ＦＥは、左上頂点を（ＸＳＴＡＲＴ，ＹＴＯＰ）、右下頂点を（ＸＳＴ０Ｐ，ＹＴＯＰ＋測定高さ）とする領域である。ＸＳＴＡＲＴおよびＸＳＴ０Ｐの値は、椅子７に被撮影者１が着座した際に、入力画像中に必ず入るであろう、あらかじめ設定される範囲の左端ｘ座標と右端ｘ座標である。また、上記測定高さは、被撮影者１の肩や長髪者などの顔下部分で大きく左右に広がった領域の影響を受けないであろう範囲として、あらかじめ設定される値である。
【００２９】
以下、図９に示すフローチャートおよび図８を参照して図７におけるステップＳ３の被撮影者検出処理について説明する。なお、以下に説明する処理は、主にＣＰＵ部１４内のＣＰＵの制御によって実行される。
【００３０】
まず、ステップＳ１１１にて、ＣＰＵ部１４内のメインメモリに格納されている入力画像３１の右上領域ＲＥおよび左上領域ＬＥにて背景板８の色成分を測定し、ステップＳ１１２に進む。ステップＳ１１２では、ステップＳ１１１で測定した結果が、背景板８らしい色成分（青成分）か否か判定し、ステップＳ１１３に進む。この際、非青背景（青成分でないもの）を被撮影者１の顔画像の部分と判定する。
【００３１】
ステップＳ１１３では、後述する頭頂高さ位置検出処理を行なうことにより、縦方向頭頂縦方向ライン番号ｈｅａｄｔｏｐを求め、ステップＳ１１４に進む。ステップＳ１１４では、頭頂位置が規定範囲内か否かを確認し、ステップＳ１１５に進む。ステップＳ１１５では、後述する左右顔中心位置検出処理を行なうことにより、顔中心位置横方向ライン番号ｃｅｎｔｅｒを求め、ステップＳ１１６に進む。
【００３２】
ステップＳ１１６では、顔中心位置が規定範囲内か否かを確認し、ステップＳ１１７に進む。ステップＳ１１７では、横方向ライン番号ｃｅｎｔｅｒと縦方向ライン番号ｈｅａｄｔｏｐとの交差した位置を顔輪郭基準位置に設定し、ステップＳ１１８に進む。ステップＳ１１８では、処理結果を「顔輪郭位置規定範囲内」に設定し、リターンする。もし、ステップＳ１１２、ステップＳ１１４、ステップＳ１１６にてＮＧだった場合は、処理結果を「顔輪郭位置規定範囲外」に設定し、リターンする。
【００３３】
次に、図９におけるステップＳ１１３の頭頂高さ位置検出処理について、図１０に示すフローチャートおよび図８を参照して説明する。
【００３４】
まず、ステップＳ１３１にて、少なくとも披撮影者１の頭頂部が存在していい規定範囲（ＯＶＥＲＨＥＡＤ＋１ライン〜ＹＲＡＮＧＥライン）に、被撮影者１の頭頂部があることを確認する。ここに、ＹＲＡＮＧＥ＝（ＹＳＴＩＬＬＳＩＺＥ−ＹＦＭＧＳＩＺＥ＋ＯＶＥＲＨＥＡＤ）である。
【００３５】
また、入力画像中の縦方向ライン番号ＯＶＥＲＨＥＡＤの横ラインを構成する画素のうち、背景板８の色成分と異なる画素（すなわち、被撮影者１の顔部分）を数え、その数が規定値以上あるか否かを確認する。
【００３６】
さらに、同様に、ＹＲＡＮＧＥの横ラインを構成する画素のうち、背景板８の色成分と異なる画素が規定値以上あるか否かを確認し、ＯＶＥＲＨＥＡＤライン上に背景板８の色成分と異なる画素が規定値未満で、ＹＲＡＮＧＥライン上に背景板８の色成分と異なる画素が規定値以上であることを確認する。この規定値とは、被撮影者１の髪が横に毛羽立っていたり、背景板８にその色とは違う異物が付いていたりした場合に、その部分を無視させるための数値である。
【００３７】
次に、ステップＳ１３２にて、入力画像の縦方向ライン番号ＯＶＥＲＨＥＡＤをｉに、同じくＹＲＡＮＧＥをｊに設定し、ステップＳ１３３に進む。ステップＳ１３３では、ｉラインからｊラインの間に０ラインよりも多くラインが存在することを確認した際、ステップＳ１３４に進む。ステップＳ１３４では、ｉラインとｊラインとの中央のライン（（ｉ＋ｊ）／２）をｋに設定し、ステップＳ１３５に進む。
【００３８】
ステップＳ１３５では、ｋの横ラインを構成している画素のうち、背景板８の色成分と違う画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者１の髪が横に毛羽立っていたり、背景板８にその色とは違う微小な異物が付いていたりした場合に、その部分を無視させるための数値である。
【００３９】
ステップＳ１３５の判定結果が規定値以上ありの場合、ステップＳ１３６にてｋをｊに設定して、ステップＳ１３３に戻り、また、ステップＳ１３５の判定結果が規定値以上なしの場合、ステップＳ１３７にてｋをｉに設定して、ステップＳ１３３に戻り、上記同様な動作を繰り返す。
【００４０】
このようにして、入力画像のＯＶＥＲＨＥＡＤからＹＲＡＮＧＥまでの探索領域から、１処理ループごとに探索領域を半分にしていき、ｊ−ｉが１未満（ライン数の差がなくなったとき、０ライン）となった際に、つまり、ステップＳ１３３の判定結果が０ラインよりも少なくなった場合、ステップＳ１３８に進む。
【００４１】
ステップＳ１３８では、頭頂部Ｙラインのｉを頭頂位置ｈｅａｄｔｏｐに設定し、ステップＳ１３９に進む。ステップＳ１３９では、処理結果を「頭頂位置規定範囲内」に設定し、リターンする。
【００４２】
ステップＳ１３１における判定の結果、ＹＲＥＮＧＥに顔画像のデータがなく、ＯＶＥＲＨＥＡＤに顔画像のデータがある場合、顔画像が規定範囲内にないと判断した場合、ステップＳ１４０に進む。ステップＳ１４０では、処理結果を「頭頂位置規定範囲外」に設定し、リターンする。
【００４３】
次に、図９におけるステップＳ１１５の左右方向顔中心位置検出処理について、図１１に示すフローチャートおよび図８を参照して説明する。
【００４４】
まず、ステップＳ１５１にて、入力画像４１の左端縦ライン番号０をｉに設定し、入力画像４１の中心縦ライン番号（ＸＳＴＩＬＬＳＩＺＥ／２）をｊに設定し、ステップＳ１５２に進む。ステップＳ１５２では、ｉラインからｊラインの間に０ラインよりも多くラインが存在するか否かを確認し、多い場合、ステップＳ１５３に進む。
【００４５】
ステップＳ１５３では、ｉラインとｊラインとの中央の縦ライン（（ｉ＋ｊ）／２）をｋに設定し、ステップＳ１５４に進む。ステップＳ１５４では、ｋの縦ラインを構成している画素のうち、ステップＳ１１１で測定した背景板８の色成分と違う色の画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者１の髪が横に毛羽立っていたり、背景板８にその色とは違う微小な異物が付いていたりした場合に、その部分を無視させるための数値である。
【００４６】
ステップＳ１５４の判定結果が規定値以上ありの場合、ステップＳ１５５にてｋをｊに設定し、ステップＳ１５２に戻り、また、ステップＳ１５４の判定結果が規定値以上なしの場合、ステップＳ１５６にてｋをｉに設定して、ステップＳ１５２に戻り、上記同様な動作を繰り返す。
【００４７】
このようにして、入力画像４１の左半分の探索領域から、１処理ループごとに探索領域を半分にしていき、ｊ−ｉが１未満となった際に、つまり、ステップＳ１５２の判定結果が０ラインよりも少なくなった場合、ステップＳ１５７に進む。
【００４８】
ステップＳ１５７では、ステップＳ１５２にてｊ−ｉが１未満となったところで、ｉを顔左端縦ラインｈｅａｄｌｅｆｔに設定し、ステップＳ１５８に進む。ステップＳ１５８では、入力画像４１の中心縦ライン番号（ＸＳＴＡＲＴ＋ＸＳＴＯＰ／２）をｉに設定し、入力画像４１の右端縦ライン番号（ＸＳＴＯＰ）をｊに設定し、ステップＳ１５９に進む。ステップＳ１５９では、ｉラインからｊラインの間に０ラインよりも多くラインが存在するか否かを確認し、多い場合、ステップＳ１６０に進む。
【００４９】
ステップＳ１６０では、ｉラインとｊラインとの中央の縦ライン（（ｉ＋ｊ）／２）をｋに設定し、ステップＳ１６１に進む。ステップＳ１６１では、ｋの縦ラインを構成している画素のうち、ステップＳ１１１で測定した背景板８の色成分と違う色の画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者１の髪が横に毛羽立っていたり、背景板８にその色とは違う微小な異物が付いていたりした場合に、その部分を無視させるための数値である。
【００５０】
ステップＳ１６１の判定結果が規定値以上ありの場合、ステップＳ１６２にてｋをｊに設定し、ステップＳ１５９に戻り、また、ステップＳ１６１の判定結果が規定値以上なしの場合、ステップＳ１６３にてｋをｉに設定して、ステップＳ１５９に戻り、上記同様な動作を繰り返す。
【００５１】
このようにして、入力画像４１の右半分の探索領域から、１処理ループごとに探索領域を半分にしていき、ｊ−ｉが１未満となった際に、つまり、ステップＳ１５９の判定結果が０ラインよりも少なくなった場合、ステップＳ１６４に進む。
【００５２】
ステップＳ１６４では、ステップＳ１５９にてｊ−ｉが１未満となったところで、ｉを顔右端縦ラインｈｅａｄｒｉｇｈｔに設定し、ステップＳ１６５に進む。ステップＳ１６５では、ステップＳ１５７により設定された顔左端縦ラインｈｅａｄｌｅｆｔとステップＳ１６４により設定された顔右端縦ラインｈｅａｄｒｉｇｈｔとに基づいて中央位置を計算し、この計算した値をｃｅｎｔｅｒの値として、リターンする。
【００５３】
以上説明した図９〜１１の処理により、ステップＳ４での判定は、顔基準位置（ｃｅｎｔｅｒ、ｈｅａｄｔｏｐ）の値を判定することによって行なわれ、この基準位置から印刷装置１０４やファイリング装置１０６に出力する際の写真サイズ（トリミングサイズ）が取得できるかどうかを、以下の式により判定し、式が成立すればステップＳ４の判定は被撮影者１が存在、成立しなければ被撮影者１が不在となる。
【００５４】
ＸＦＭＧＳＩＺＥ／２＜ｃｅｎｔｅｒ＜（ＸＳＴＩＬＬＳＩＺＥ−ＸＦＭＧＳＩＺＥ／２）
ＯＶＥＲＨＥＡＤ＜ｈｅａｄｔｏｐ＜ＹＲＡＮＧＥ
図１２は、後述する撮影可能状態判定処理において、被撮影者１の顔部位を検出するための、基本の顔の特徴情報である左右の瞳標本および口の標本であり、この例では人物の肌色および年齢別により特徴わけ（グループ化）されており、これらは例えば大容量記憶装置１６に格納されている。
【００５５】
以下、図１３に示すフローチャートおよび図８、図１２を参照して図７におけるステップＳ８の撮影可能状態判定処理について説明する。なお、以下に説明する処理は、主にＣＰＵ部１４内のＣＰＵの制御によって実行される。
【００５６】
まず、ステップＳ３１にて、顔輪郭領域３２からの相対位置領域として、両瞳が必ず存在するであろう領域３４を算出し、この算出した領域３４の中から瞳と同形状の部位、たとえば、黒くて丸い形状の部位を抽出する。
【００５７】
次に、ステップＳ３２にて、ステップＳ３１で抽出された黒くて丸い形状の部位それぞれに対し、ステップＳ１０３にて設定された左右瞳標本と照合し、それぞれの類似度合いが規定値を超えている部位の中で最も類似度合いが高い部位を抽出する。瞳は２箇所あるため、瞳標本は左右の瞳分用意されており、上記判定を左右瞳両標本との照合により行ない、左右両瞳部位の座標３５，３６を抽出する。
【００５８】
ここで、もし、図１２における特徴ごとに仕分けした標本と、ステップＳ１０３による適正な標本を設定することをせずに、単一の標本による類似度合いの測定を行なった場合、瞳周囲の肌色や年齢からくる目尻のしわなどの影響により、適正な判定ができなくなる場合がある。
【００５９】
次に、ステップＳ３３にて、ステップＳ３２で抽出された左右両瞳部位の座標３５，３６の中心位置からの相対位置領域として、口が必ず存在するであろう領域３７を算出し、この算出した領域３７の中から唇と同様の赤色系の画素を持つ部位を抽出する。
【００６０】
次に、ステップＳ３４にて、ステップＳ３３で抽出されたそれぞれの部位と、ステップＳ１０３にて設定された口標本と照合し、類似度合が規定値を超えている部位の中で最も高い部位を口部位の座標３８として抽出する。
【００６１】
ここで、もし、図１２における特徴ごとに仕分けした標本と、ステップＳ１０３による適正な標本を設定することをせずに、単一の標本による類似度合いの測定を行なった場合、口周囲の肌色や年齢からくる目尻のしわなどの影響により、適正な判定ができなくなる場合がある。
【００６２】
次に、ステップＳ３５にて、図５の入力画像３１における左側の瞳座標３５の規定周辺領域３９と、図６の入力画像３３における同座標の同じ大きさの領域４０での、各画素間の輝度差絶対値を求め、その領域全体での合計値ＳｕｍＤｅｆ１を求める。
【００６３】
次に、ステップＳ３６にて、図５の入力画像３１における右側の瞳座標３６の規定周辺領域４１と、図６の入力画像３３における同座標の同じ大きさの領域４２での、各画素間の輝度差絶対値を求め、その領域全体での合計値ＳｕｍＤｅｆ２を求める。
【００６４】
次に、ステップＳ３７にて、図５の入力画像３１における口部位の座標３８の規定周辺領域４３と、図６の入力画像３３における同座標の同じ大きさの領域４４での、各画素間の輝度差絶対値を求め、その領域全体での合計値ＳｕｍＤｅｆ３を求める。
【００６５】
次に、ステップＳ３８にて、ステップＳ３５〜３７で求めた輝度差絶対値の合計値ＳｕｍＤｅｆ１、ＳｕｍＤｅｆ２、ＳｕｍＤｅｆ３を、それらに対してそれぞれ設定された規定値とそれぞれ比較し、全て規定値以下か否かの判定を行なう。この判定の結果、３つの数値が全て規定値以下であれば、撮影可能状態であると判定し、３つの数値のうち１つでも規定値を超えている場合は、撮影可能状態でないと判定する。
【００６６】
被撮影者１の撮影準備が完了していれば、顔および顔の中の動く部位である目および口は静止しているため、上記３つの数値はそれぞれ規定値に対し低い値になる。逆に、顔が動いていれば、上記３つの数値はそれぞれ規定値に対し高い値になる。また、瞳の瞬きがあった場合は、ＳｕｍＤｅｆ２とＳｕｍＤｅｆ３がそれぞれ規定値に対し高い値になる。会話や口が動いている場合には、ＳｕｍＤｅｆ３が規定値に対し高い値になる。
【００６７】
なお、前述したステップＳ６での規定時間とは、被撮影者１が撮影準備ができていないために挙動があった場合、上記３つの数値を充分に数値化できるようにするための動き監視時間である。
【００６８】
以上説明したように、上記実施の形態によれば、免許証などに代表される、人物の顔画像と個人情報とを一緒にカード媒体に印刷することによりＩＤカードを発行するＩＤカード発行装置の顔画像撮影装置において、カード発行申請者（被撮影者）を撮影する直前に、カード発行申請者から個人番号を取得し、その個人番号により対応する個人情報を取得することにより、カード発行申請者の大まかな特徴を左右瞳標本、口標本として設定し、複数の連続画像にて瞳、口を監視することにより、人間系の判定を伴うことなく、自動的にカード発行申請者の撮影可能状態を高精度に認識し、自動的に撮影を行なうことができる。したがって、オペレータの負荷を軽減して、常に安定した顔画像の撮影が可能となる。
【００６９】
なお、前記実施の形態では、取込まれた複数の画像にて被撮影者の顔の中の瞳および口の状態を監視することにより被撮影者が撮影可能状態であるかを判定する場合について説明したが、本発明はこれに限定されるものでなく、顔の中の瞳、口および鼻の状態を監視することにより被撮影者が撮影可能状態であるかを判定するようにしてもよい。
【００７１】
【発明の効果】
以上詳述したように本発明によれば、人間系の判定などを伴うことなく、自動的に被撮影者の撮影可能状態を高精度に認識し、自動的に撮影を行なうことができ、オペレータの負荷を軽減することができる顔画像撮影装置および顔画像撮影方法を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るＩＤカード発行装置の構成を概略的に示すブロック図。
【図２】本発明の実施の形態に係る顔画像撮影装置の外観構成を概略的に示す構成図。
【図３】図２に示した顔画像撮影装置の全体的な構成を概略的に示すブロック図。
【図４】顔画像撮影装置のメイン処理を説明するためのフローチャート。
【図５】カメラからの入力画像と、撮影処理中の各処理時に使用する領域や座標を説明するための図。
【図６】カメラからの入力画像と、撮影処理中の各処理時に使用する領域や座標を説明するための図。
【図７】顔画像撮影装置の撮影処理を説明するためのフローチャート。
【図８】被撮影者検出処理時に使用する領域や座標値、数値名を説明するための図。
【図９】被撮影者検出処理を説明するためのフローチャート。
【図１０】頭頂高さ位置検出処理を説明するためのフローチャート。
【図１１】左右方向顔中心位置検出処理を説明するためのフローチャート。
【図１２】撮影可能状態判定処理において被撮影者の顔部位を検出するための左右瞳標本および口標本のグループ分け状態の一例を示す図。
【図１３】撮影可能状態判定処理を説明するためのフローチャート。
【符号の説明】
Ｃ…ＩＤカード、１…被撮影者（人物、カード発行申請者）、１０１…ホストコンピュータ、１０２…データベース（記憶手段）、１０３…顔画像撮影装置、１０４…印刷装置、１０５…ネットワーク、１０６…ファイリング装置、３…ビデオカメラ（撮影手段）、６…制御台（制御部）、８…背景板、１１…ビデオキャプチャ部、１２…ビデオアクセラレート部、１３…サウンドコントロール部、１４…ＣＰＵ部、１６…大容量記憶装置（記憶手段）、２１…光学式読取装置（識別情報入力手段）。

Claims

人物の顔画像および当該人物の個人情報をそれぞれカード媒体に印刷することによりＩＤカードを発行するもので、前記人物の少なくとも年齢に関する情報を含む個人情報を当該人物固有の識別情報と対応させて記憶している個人情報記憶手段を備えたＩＤカード発行装置における顔画像撮影装置であって、
人物の少なくとも年齢別に基準の顔の特徴情報として人物の顔の中の少なくとも左右の瞳および口の各標本を記憶している特徴情報記憶手段と、
前記人物固有の識別情報を入力する識別情報入力手段と、
この識別情報入力手段により入力された識別情報に基づき前記個人情報記憶手段から対応する個人情報を読出す個人情報読出手段と、
この個人情報読出手段により読出された個人情報の年齢に関する情報に基づき前記特徴情報記憶手段から対応する人物の左右の瞳および口の各標本を読出し、それを当該人物に対する基準の顔の特徴情報として設定する特徴情報設定手段と、
人物の少なくとも顔画像を撮影する撮影手段と、
この撮影手段により撮影された顔画像から人物の顔の中の少なくとも左右の瞳および口の各部位をそれぞれ抽出し、この抽出した左右の瞳および口の各部位と前記特徴情報設定手段により基準の顔の特徴情報として設定された左右の瞳および口の各標本とを照合することにより、前記人物が撮影可能状態であるか否かを判定する撮影可能状態判定手段と、
この撮影可能状態判定手段により前記人物が撮影可能状態であると判定されると、前記撮影手段により撮影された顔画像を前記カード媒体に印刷する人物の顔画像として出力する出力手段と、
を具備したことを特徴とする顔画像撮影装置。
人物の顔画像および当該人物の個人情報をそれぞれカード媒体に印刷することによりＩＤカードを発行するもので、前記人物の少なくとも年齢に関する情報を含む個人情報を当該人物固有の識別情報と対応させて記憶している個人情報記憶手段を備えたＩＤカード発行装置における顔画像撮影方法であって、
前記人物固有の識別情報を入力する第１のステップと、
この第１のステップにより入力された識別情報に基づき前記個人情報記憶手段から対応する個人情報を読出す第２のステップと、
この第２のステップにより読出された個人情報の年齢に関する情報に基づき、人物の少なくとも年齢別に基準の顔の特徴情報として人物の顔の中の少なくとも左右の瞳および口の各標本を記憶している特徴情報記憶手段から対応する人物の左右の瞳および口の各標本を読出し、それを当該人物に対する基準の顔の特徴情報として設定する第３のステップと、
人物の少なくとも顔画像を撮影する第４のステップと、
この第４のステップにより撮影された顔画像から人物の顔の中の少なくとも左右の瞳および口の各部位をそれぞれ抽出し、この抽出した左右の瞳および口の各部位と前記第３のステップにより基準の顔の特徴情報として設定された左右の瞳および口の各標本とを照合することにより、前記人物が撮影可能状態であるか否かを判定する第５のステップと、
この第５のステップにより前記人物が撮影可能状態であると判定されると、前記第４のステップにより撮影された顔画像を前記カード媒体に印刷する人物の顔画像として出力する第６のステップと、
を具備したことを特徴とする顔画像撮影方法。