JPWO2008012905A1 - 認証装置および認証用画像表示方法 - Google Patents

Abstract

本発明の認証装置は、装置利用者が顔認証用の顔画像を取得時に自身の顔画像を他者に見られることを気にすること無く、顔認証を行うことを実現することを目的とする。本発明の認証装置は、画像を撮影する撮影装置２２と、各種画像を記憶する顔テンプレートデータベース２５４と、撮影装置２２により撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定し、撮影装置２２により撮影した画像のうちの第１の領域を、顔テンプレートデータベース２５４に記憶した画像に置き換える代替画像生成制御部２５１と、代替画像生成制御部２５１により生成した画像を表示する表示装置２３と、を備えるものである。

Description

本発明は、顔認証により個人を識別する認証装置および認証用画像表示方法に関する。

近年の携帯端末装置には、カメラにより撮影した人間の顔画像により顔認証を行う顔認証機能を備えたものがある（例えば、特許文献１）。携帯端末装置利用者は、自身の顔画像を抽出するためにカメラにより自身の顔を撮影する際、撮影した顔の一部あるいは全体をディスプレイ上の特定の位置に表示することを促す顔位置合わせ用ガイドに、撮影している自身の顔を合わせ、その後ディスプレイに表示されている画像を顔認証用の顔画像として取得することが多い（特許文献１では、ディスプレイに表示された２つの点が顔位置合わせ用ガイドに相当し、携帯端末装置利用者は、撮影した２つの目がこの２つの点に一致するようにカメラによる撮影方向、倍率、カメラと顔との距離などを調整し、その後ディスプレイに表示されている画像を顔認証用の顔画像として取得している）。
特開２００３−３１７１００号公報

特許文献１の携帯端末装置では、装置利用者がカメラにより撮影した自身の顔画像をディスプレイ上の顔位置合わせ用ガイドに合わせるようにしている。しかしながら、この認証方法では、携帯端末装置利用者は、ディスプレイ上に自身の顔画像が表示されてしまい、顔認証用の顔画像を取得時に自身の顔をディスプレイを介して他者に見られてしまうことを気にしなければならない。このことは、特許文献１のような携帯端末装置に備わる小型のディスプレイを利用して顔認証を行う場合よりも、より大型のディスプレイを利用して顔認証を行う場合に顕著になる。

本発明は、上記事情に鑑みてなされたもので、装置利用者が顔認証用の顔画像を取得時に自身の顔画像を他者に見られることを気にすること無く、顔認証を行うことを実現する認証装置および認証用画像表示方法を提供することを目的とする。

本発明の認証装置は、画像認証を行う認証装置であって、画像を撮影する撮像部と、各種画像を記憶する画像記憶部と、前記撮像部により撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定する顔画像特定部と、前記撮像部により撮影した画像のうちの前記第１の領域を、前記画像記憶部に記憶した画像に置き換える画像生成部と、前記画像生成部により生成した画像を表示する表示部と、を備えるものである。

本発明の認証用画像表示方法は、画像認証を行うための認証用画像表示方法であって、画像を撮影するステップと、撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定するステップと、撮影した画像のうちの前記第１の領域を別の画像に置き換えるステップと、別の画像に置き換えられた前記第１の領域を含む画像を表示するステップと、を有するものである。

この構成により、認証装置利用者は、顔認証用の顔画像取得時に自身の顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。

また、本発明の認証装置は、前記画像生成部が、前記撮像部により撮影した画像のうちの、前記第１の領域に基づいて算出される第２の領域を、前記画像記憶部に記憶した画像に置き換える、ものを含む。

また、本発明の認証用画像表示方法は、画像認証を行うための認証用画像表示方法であって、画像を撮影するステップと、撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定するステップと、撮影した画像のうちの、前記第１の領域に基づいて算出される第２の領域を、別の画像に置き換えるステップと、別の画像に置き換えられた前記第２の領域を含む画像を表示するステップと、を有するものである。

この構成により、顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる操作を装置利用者に行わせる場合に、記憶した別の画像を利用者によるその調整操作に好ましい位置に表示することができる

また、本発明の認証装置は、前記画像生成部が、前記撮像部により撮影した画像のうちの、当該画像中の第１の点と前記第１の領域中の第２の点との距離に基づいて算出される第２の領域を、前記画像記憶部に記憶した画像に置き換える、ものを含む。

また、本発明の認証装置は、前記第１の点が、画像認証時に前記撮像部により撮像した画像の位置を合わせべき指標となるガイド点と一致する、ものを含む。

また、本発明の認証装置は、前記第２の点が、前記第１の領域の中心と一致する、ものを含む。

この構成により、記憶した別の画像がディスプレイ上を大幅に移動する、あるいはほとんどディスプレイ上を移動しないことを抑制することができる

また、本発明の認証装置は、前記画像生成部が、前記撮像部により撮影した画像のうちの、当該画像中の第１の点と第３の点との位置関係に応じて前記第２の領域を平行移動させた第３の領域を、前記画像記憶部に記憶した画像に置き換える、ものを含む。

また、本発明の認証装置は、前記第３の点が、前記第１のガイド点とは位置の異なる、画像認証時に前記撮像部により撮像した画像の位置を合わせべき指標となる別のガイド点と一致する、ものを含む。

この構成によれば、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って別の画像をより大幅に、より顕著に推移させて調整操作を行う場合であっても、その別の画像をディスプレイ内に収めることができる。

また、本発明の認証装置は、前記画像生成部が、前記撮像部により撮影した画像のうちの、少なくとも前記第２の領域の中心および前記第３の領域の中心を基点として拡大縮小した第４の領域を、前記画像記憶部に記憶した画像に置き換える、ものである。

この構成によれば、特定した第１の領域のサイズに依らず、別の画像のサイズを任意に設定することによって、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる調整操作を装置利用者がより快適に行うことができる。

また、本発明の認証装置は、画像認証時に参照する画像を記憶する認証画像記憶部と、前記撮像部により撮影した画像と前記認証画像記憶部に記憶した画像とにより、画像認証を行う認証部と、を備えるものである。

この構成によれば、認証装置利用者は、上述のようにして、顔認証用の自身の顔画像を他者に見られることを気にすること無く取得することができるため、顔認証をより快適に行うことができる。

本発明の認証装置および認証用画像表示方法によれば、装置利用者は、顔認証用の顔画像取得時に自身の顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。

顔認証時にディスプレイに表示される表示例。図１（ａ）は、従来の認証装置による顔認証時にディスプレイに表示される表示例、図１（ｂ）は、本発明の実施の形態の認証装置による顔認証時にディスプレイに表示される表示例 本発明の第１の実施形態の認証装置の構成を示す構成図 本発明の第１の実施形態の認証装置による処理工程を示すフローチャート データ処理過程における顔画像データの概念図。図４（ａ）は、顔が含まれる画像に対してヒストグラム値の高い領域を抽出して得られる画像の模式図、図４（ｂ）は、顔が含まれる画像に対してエッジ抽出を施して得られる画像の模式図、図４（ｃ）は、顔を構成する各部位を特定した領域を示す模式図、図４（ｄ）は、顔の形状の算出例、図４（ｅ）は、顔の形状として特定した領域を代替画像に置き換えた画像データの表示例 代替画像用データ登録例 記録された代替画像データの概念図 本発明の第２の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例。図７（ａ）から図７（ｃ）は、撮影装置２２による撮影中に表示装置２３に表示される画像の推移、図７（ｄ）から図７（ｆ）は、撮影装置２２による撮影中に表示装置２３に表示される画像と代替画像の推移 代替画像用データ登録例 本発明の第２の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例。図９（ａ）は、撮影した顔画像が大きい場合の代替画像の表示例、図９（ｂ）は、撮影した顔画像が小さい場合の代替画像の表示例 本発明の第３の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例。図１０（ａ）から図１０（ｃ）は、撮影装置２２による撮影中に表示装置２３に表示される画像の推移

符号の説明

１ ディスプレイ
１１、４１、７１、９１、１０１ 代替画像
１２、４２、７２、９２、１０２ 顔位置合わせ用ガイド
１３、７３、９３、１０３ 顔画像
２１ 制御部
２２ 撮影装置
２３ 表示装置
２４ 操作キー
２５ 代替画像出力装置
２５１、３５１、４５１ 代替画像生成制御部
２５２、３５２ 代替画像情報記憶部
２５３ 顔部品抽出部
２５４ 顔テンプレートデータベース
２６ 画像認証装置
２６１ 認証部
２６２ 登録画像データベース

以下、本発明の実施の形態の認証装置による処理の概要を説明する。図１（ａ）に、従来の認証装置による顔認証時にディスプレイに表示される表示例を、図１（ｂ）に、本発明の実施の形態の認証装置による顔認証時にディスプレイに表示される表示例を、それぞれ示す。

従来の認証装置では、従来の認証装置を利用する利用者は、図１（ａ）に示すようにカメラにより撮影した自身の顔画像１３をディスプレイ１上の顔位置合わせ用ガイド１２に合わせるように調整した後、撮影中の画像（つまり、ディスプレイ１に表示されている画像）を顔認証用の顔画像として取得する。従来の認証装置では、認証装置利用者は、ディスプレイ１上に自身の顔画像１３が表示されてしまい、顔認証時の自身の顔をディスプレイ１を介して他者に見られてしまうことを気にしなければならない。

一方、本発明の実施の形態の認証装置は、カメラにより撮影した画像から、顔（あるいは、目、鼻、口などの顔の一部の部位）に相当する画像領域（図１（ａ）では、点線で囲まれる領域）を特定し、その特定した画像領域を別の画像１１に置き換えた画像をディスプレイ１に表示させる。本発明の実施の形態の認証装置を利用する利用者は、図１（ｂ）に示すようにカメラにより撮影した場合に自身の顔画像が本来あるべき位置に別の画像１１（以下、代替画像と称する）が表示されたディスプレイ１を見ながら、ディスプレイ１上の顔位置合わせ用ガイド１２に代替画像１１を合わせるように調整した後、撮影中の画像を顔認証用の顔画像として取得する。本発明の実施の形態の認証装置によれば、装置利用者が顔認証用の顔画像を取得するためにカメラにより撮影した画像をディスプレイ１に表示する際、その画像における自身の顔に相当する箇所に代替画像１１を表示するため、装置利用者は、顔認証用の顔画像取得時にその顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。以下、本発明の実施の形態の認証装置について詳細に説明する。

（第１の実施形態）
まず、本発明の第１の実施形態の認証装置について詳細に説明する。図２に、本発明の第１の実施形態の認証装置の構成を示す構成図を示す。

本発明の第１の実施形態の認証装置は、制御部２１、撮影装置２２、表示装置２３、操作キー２４、代替画像出力装置２５、画像認証装置２６を含んで構成される。

制御部２１は、マイクロプロセッサ（ＣＰＵ）によって構成され、撮影装置２２の駆動制御および画像情報の入出力制御、表示装置２３による表示制御、操作キー２４からの信号の入力制御、代替画像出力装置２５との間での画像の入出力制御、および画像認証装置２６による画像認証処理の制御、などを行う。

撮影装置２２は、制御部２１からの駆動制御信号に応じて、ＣＣＤやＣＭＯＳなどの半導体素子を使って入力した色情報を電気信号に変換し、その画像データを制御部２１に出力する。

表示装置２３は、制御部２１から入力する画像データに応じた画面を表示パネルに出力する。表示装置２３は、例えば本発明の認証装置が携帯端末装置に適用される場合には、液晶ディスプレイ（ＬＣＤ）によって構成される。なお、ＣＲＴディスプレイやＰＤＰなど他の表示装置に置き換えても構わない。

操作キー２４は、本発明の認証装置の利用者からの操作を受け付け、その操作に応じた信号を制御部２１に出力する。操作キー２４は、例えばカーソルを任意に動かすパネル、０〜９までの番号キー、ＱＷＥＲＴＹキー、などによって構成され、利用者は、操作キー２４による操作によって各種指示を認証装置に通知する。特に本発明の認証装置が携帯端末装置に適用される場合には、撮影装置２２に撮影を開始させるための撮影キーや顔認証を開始させるための認証開始キーを認証装置に別途設けてもよい。

代替画像出力装置２５は、代替画像生成制御部２５１、代替画像情報記憶部２５２、顔部品抽出部２５３、顔テンプレートデータベース２５４、を含んで構成される。図３に示す本発明の第１の実施形態の認証装置による処理工程を示すフローチャートを参照して、代替画像出力装置２５による代替画像生成処理および制御部２１による画像表示制御処理の流れを説明する。

制御部２１は、操作キー２４により顔認証を開始させる操作を受け付けると、撮影装置２２に撮影を開始させる駆動制御信号を出力する。制御部２１は、撮影装置２２から画像データを受け付けると（ステップＳ３０１）、画像認証機能を有する画像認証装置２６から読み出した顔位置合わせ用ガイドを表示装置２３に表示し（ステップＳ３０２）、その後、代替画像を表示する設定がなされているか否か判定する（ステップＳ３０３）。なお、代替画像を表示する、しないの設定は、撮影装置２２に撮影を開始させる前に予め設定しておいてもよいし、撮影装置２２に撮影を開始させる度に代替画像を表示する、しないを決定する操作を操作キー２４により受け付けるようにしてもよい。制御部２１は、代替画像を表示する設定がなされていないと判定すると（ステップＳ３０３、Ｎｏ）、撮影装置２２から受け付けた画像データを表示装置２３に出力し、その画像データに応じた画面を表示装置２３に表示させる（ステップＳ３１０）。一方、制御部２１は、代替画像を表示する設定がなされていると判定すると（ステップＳ３０３、Ｙｅｓ）、代替画像出力装置２５に撮影装置２２から受け付けた画像データを出力する。

代替画像生成制御部２５１は、制御部２１から画像データを入力すると、人体の顔に相当する領域がその画像データに含まれているか否かを判定し（ステップＳ３０４）、さらに、含まれていると判定した場合（ステップＳ３０５、Ｙｅｓ）にはその顔の形状およびその顔を構成する各部位の形状を特定する（ステップＳ３０６）。この顔に相当する領域の有無の判定方法および顔の形状の特定方法の１例を、以下、図４に示す、データ処理過程における顔画像データの概念図を参照して説明する。

まず、代替画像生成制御部２５１は、制御部２１から入力した画像データに対して、高輝度（もしくは低輝度）の画素が密集する領域ほどヒストグラム値が高くなる処理を施し、そのヒストグラム値の高い領域を構成する位置座標（具体的には、画像データ中の任意の１ピクセルを原点（０、０）とした座標系における該当ピクセルの座標）を抽出する。図４（ａ）は、顔が含まれる画像に対してヒストグラム値の高い領域を抽出して得られる画像の模式図である。図４（ａ）中の黒色もしくは灰色のついた箇所は、ヒストグラム値が高い箇所（つまり、眉、目の虹彩、唇）に相当する。また、代替画像生成制御部２５１は、制御部２１から入力した画像データに対してエッジ抽出を施して強調された画像データの輪郭の位置座標を抽出する。図４（ｂ）は、顔が含まれる画像に対してエッジ抽出を施して得られる画像の模式図である。図４（ｂ）中の実線が強調された輪郭に相当し、隣りあうピクセル間において輝度の差が大きい箇所（つまり、眉、目、鼻、口の輪郭に相当する箇所）が抽出される。

代替画像生成制御部２５１は、この２つの処理によってそれぞれ抽出した位置座標のうち、ヒストグラム値が高い箇所を抽出した位置座標によって形成される幾何学形状および各位置座標におけるヒストグラム値に基づいて、当該画像データが人体の顔に相当する領域を含んでいるか否かを判定する。判定条件は、具体的には、眉および目の虹彩に相当する箇所は同程度のヒストグラム値を有し、また眉および目の虹彩に相当する箇所は唇に相当する箇所よりもヒストグラム値が高くなる傾向にあることから、ヒストグラム値の高いある領域（眉および目の虹彩のうちのいずれか１つに相当）においてその領域のサイズから算出される所定の範囲内にヒストグラム値が同程度に高い別の領域が３個（眉および目の虹彩のうちの残りの３つに相当）有り、かつその４つの領域の位置座標から算出される所定の方向にヒストグラム値がそれら４つの領域よりも低い５つ目の領域（唇に相当）があれば、当該画像データが人体の顔に相当する領域を含んでいると判定する。

この後、代替画像生成制御部２５１は、上述の２つの処理によってそれぞれ抽出した位置座標のうち、エッジ抽出を施した画像データの輪郭の位置座標に基づいて、画像データにおけるその顔の形状およびその顔を構成する各部位の形状を特定する。すなわち、代替画像生成制御部２５１は、上述したヒストグラム値の高い５つの領域をその内部に含む輪郭とその５つの領域の位置関係から、各輪郭を眉、目の虹彩、唇として特定する。目の輪郭を特定する場合には、目の虹彩をその内部に含む輪郭が目の輪郭になる。なお、図４（ｃ）に示す、顔を構成する各部位を特定した領域を示す模式図では、眉では一対の部位を１つの領域としているが、各部位をそれぞれ別の領域にしてもよい（目も同様）。代替画像生成制御部２５１は、これらの輪郭のうちの端部（図４（ｃ）の輪郭上に配置された点）をその線上に含む最小の四角形（図４（ｃ）中の点線で形成される四角形）を、眉、目、唇の形状として算出する。さらに、特定した眉、目、唇の位置関係から鼻の輪郭を特定し、同様に眉、目、唇、鼻をその内部に含む輪郭を顔の輪郭を特定する。代替画像生成制御部２５１は、眉、目、唇の場合と同様に、鼻、顔の輪郭を囲む最小の四角形を特定した鼻、顔の形状として算出する。

また、代替画像生成制御部２５１は、各部位の輪郭ごとに、上述のように算出した四角形のサイズ（四角形で囲まれる領域における、各位置座標方向のピクセル数）および中心位置座標を算出する。図４（ｄ）に示す、顔の形状の算出例では、画像データにおける中央の１ピクセルを原点（０、０）とした座標系において、顔の形状におけるサイズ（１００×１４０）および中心位置座標（５０、−７０）を算出したときの算出例を示している。原点となる位置座標の設定方法としては、顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する条件（例えば、縦方向（あるいは横方向）のピクセルを表す配列のうち、総ピクセル数の所定の割合の位置にある配列番号により特定されるピクセルを原点とする。図４（ｄ）の場合であれば、総ピクセル数の５割の位置にある配列番号により特定されるピクセルが原点）が画像認証装置２６に設定されており、制御部２１が、ステップＳ３０２の処理において、画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、併せてその条件を読み出し、その条件により指定されるピクセルを原点（０、０）とする。なお、図４（ｄ）では、顔の形状として算出した四角形のみについて、サイズおよび中心位置座標を記載しているが、眉、目、唇、鼻についても同様に、四角形のサイズおよび中心位置座標を算出することができる。

以上のようにして、代替画像生成制御部２５１は、人体の顔に相当する領域がその画像データに含まれているか否かを判定し、さらに、含まれていると判定した場合にはその顔の形状およびその顔を構成する各部位の形状を特定する。

さらに、代替画像生成制御部２５１は、人体の顔に相当する領域がその画像データに含まれていると判定した場合、その領域に置き換えるべき画像データを顔テンプレートデータベース２５４から取得する（ステップＳ３０７）。具体的には、代替画像生成制御部２５１は、置き換えるべき代替画像のデータ名と、代替画像に置換すべき部位と、を代替画像情報記憶部２５２から読み取り、顔部品抽出部２５３にそのデータ名と部位を通知する。代替画像情報記憶部２５２には、予め、代替画像として用いるべき画像データを特定可能な情報が登録されている。例えば、図５の代替画像用データ登録例に示すように、代替画像情報記憶部２５２は、代替画像として用いる画像データの名称と、代替画像に置換すべき、顔を構成する部位と、を対応付けて記憶している。

代替画像生成制御部２５１からデータ名と代替画像に置換すべき部位とを通知された顔部品抽出部２５３は、顔テンプレートデータベース２５４から該当するデータを抽出する。顔テンプレートデータベース２５４には、予め、代替画像として用いるべき画像データが記録されている。例えば、図６の記録された代替画像データの概念図に示すように、顔テンプレートデータベース２５４は、顔、眉、目などの顔を構成する部位毎に、複数の代替画像データ（図６では、部位「顔」の代替画像データは、「Facetype_1.bmp」、「Facetype_2.bmp」、・・・「Facetype_N.bmp」と記載）を記録している。顔部品抽出部２５３は、代替画像に置換すべき部位に対応付けて、抽出した代替画像データを代替画像生成制御部２５１に出力する。

代替画像生成制御部２５１は、代替画像に置換すべき部位に対応付けられた代替画像データを顔部品抽出部２５３から入力すると、制御部２１から入力した、撮影装置２２が撮影した画像データのうちの、顔、眉、目、鼻、口の形状として特定した四角形の各領域を、その部位に対応する代替画像に置き換える（ステップＳ３０８）。なお、各部位の形状として特定した四角形の領域のサイズと、代替画像のサイズ（例えば、図６に示す各部位の画像データの基準サイズ）とが一致しない場合が考えられるが、この場合には、その四角形の領域のサイズに合わせて代替画像を拡大縮小することにより、１つのパターンの代替画像を利用して様々なサイズの部位を置き換えることができる。代替画像生成制御部２５１は、一部を代替画像に置き換えた画像データを制御部２１に出力する。

制御部２１は、代替画像出力装置２５から受け付けた画像データを表示装置２３に出力し、その画像データに応じた画面を表示装置２３に表示させる（ステップＳ３０９）。図４（ｅ）には、顔の形状として特定した領域を代替画像に置き換えた画像データの表示例を示す。本発明の第１の実施形態の認証装置を利用する利用者は、図４（ｅ）に示すようにカメラにより撮影した場合に自身の顔画像が本来あるべき位置に代替画像４１が表示された表示装置２３を見ながら、表示装置２３の顔位置合わせ用ガイド４２に代替画像４１を合わせるように調整した後、撮影中の画像を顔認証用の顔画像として取得する操作を実行することになる。操作キー２４により撮影中の画像を顔認証用の顔画像として取得する操作を受け付けるまでステップＳ３０１からＳ３０９の処理を継続する制御部２１は、その操作を受け付けた直後（あるいは直前）に撮影装置２２から受け付けた画像データを画像認証装置２６に出力する（ステップＳ３１１）。

認証部２６１は、制御部２１から入力した画像データと登録画像データベースに登録された画像とを認証し、認証結果を制御部２１に返す（ステップＳ３１２）。

以上、本発明の第１の実施形態の認証装置によれば、装置利用者が顔認証用の顔画像を取得するためにカメラにより撮影した画像を表示装置に表示する際、その画像における自身の顔に相当する箇所に代替画像を表示するため、装置利用者は、顔認証用の顔画像取得時にその顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。この結果、本発明の認証装置利用者は、顔画像認証をより快適に行うことができるようになる。

なお、本発明の第１の実施形態の認証装置では、画像認証装置２６に顔位置合わせ用ガイドに利用する画像を複数個記録させておき、制御部２１が画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、その中のいずれか一つを読み出す構成としてもよい（具体的には、顔位置合わせ用ガイドとして用いるべき画像データを特定可能な情報を画像認証装置２６に登録しておき、その情報を元に制御部２１が画像認証装置２６から顔位置合わせ用ガイドを読み出す）。

（第２の実施形態）
次に、本発明の第２の実施形態の認証装置について詳細に説明する。
本発明の実施の形態の認証装置を利用する利用者は、撮影中の画像を顔認証用の顔画像として取得するために、カメラにより撮影した自身の顔画像が表示されたディスプレイを見ながら、ディスプレイ上の顔位置合わせ用ガイドにその顔画像を合わせるように調整しなければならない。利用者は、利用者がカメラの焦点の位置や倍率を設定したり、カメラによる撮影方向を変えたり、カメラと被撮影者との距離を調節しながら、顔位置合わせ用ガイドに顔画像を合わせる操作を行うが、利用者が行うこれらの操作を手動で行う場合、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせ、その位置に顔画像を固定することは困難である。特に、認証機能が搭載された近年の携帯電話によって、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる場合、携帯電話の向きを変えてカメラによる撮影方向を変えると、携帯電話がカメラの撮影方向を変えるために適した機構では必ずしもないため、顔画像がディスプレイ上を大幅に移動する、あるいはほとんどディスプレイ上を移動しないことが考えられる。

本発明の第２の実施形態の認証装置では、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる調整を装置利用者に行わせる場合、利用者によるその調整操作に好ましい位置に代替画像を表示することができる、つまり、代替画像がディスプレイ上を大幅に移動する、あるいはほとんどディスプレイ上を移動しないことを抑制することができる認証装置について説明する。以下、本発明の第２の実施形態の認証装置による処理の概要を説明する。

図７に、本発明の第２の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例を示す。図７（ａ）から図７（ｃ）は、撮影装置２２による撮影中に表示装置２３に表示される画像の推移を、図７（ｄ）から図７（ｆ）は、撮影装置２２による撮影中に表示装置２３に表示される画像と代替画像の推移を、それぞれ示している。また、図７（ａ）から図７（ｃ）、図７（ｄ）から図７（ｆ）ともに、被撮影者の顔を顔位置合わせ用ガイド７２の中心に推移させながら撮影している場合を示している。

本発明の第１の実施形態の認証装置では、図７（ａ）から図７（ｃ）のように被撮影者の顔を顔位置合わせ用ガイド７２の中心に推移させながら撮影すると、顔の形状として特定した、点線で囲まれる四角形の領域７３を代替画像７１に置き換えて表示装置２３に表示することになる。一方、本発明の第２の実施形態の認証装置では、図７（ａ）から図７（ｃ）のように被撮影者の顔を顔位置合わせ用ガイド７２の中心に推移させながら撮影すると、顔の形状として特定した、点線で囲まれる四角形の領域の中心位置座標を原点（０、０）（なお、図７では、顔位置合わせ用ガイド７２の一部である十字が交差する点を原点としている）を基準点として実数倍（図７では、５／３倍したときを示している）した位置座標と、代替画像７１の中心位置と、が一致するように、代替画像７１を置き換えて表示装置２３に表示することになる。図７（ｄ）から図７（ｆ）では、被撮影者の顔が顔位置合わせ用ガイド７２の中心に推移するにしたがって、顔の形状として特定した領域７３の表示位置と代替画像７１の表示位置とのズレが小さくなり（図７では、図７（ａ）から図７（ｂ）にかけて）、顔の形状として特定した領域７３の表示位置が原点付近になると、顔の形状として特定した領域の表示位置と代替画像７１の表示位置がほぼ一致する（図７では、図７（ｃ））。

本発明の第２の実施形態の認証装置では、顔の形状として特定した領域７３の表示位置と代替画像７１の表示位置が常に一致することにはならない。しかしながら、認証装置利用者は、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像がより大幅に、より顕著に推移するため上述の調整操作を行い易い場合があり、特に、調整操作をそれほど慎重に行う必要の無い、顔位置合わせ用ガイドから自身の顔画像が大きく離れている場合では、顔の形状として特定した領域の表示位置と代替画像の表示位置とのズレが大きくても、代替画像がより顕著に推移するほうがより調整操作を行い易いと考えられる。

また、図７では、顔の形状として特定した領域７３の中心位置座標を原点に対して５／３倍した位置座標に代替画像７１を表示する場合を図示しているが、顔の形状として特定した領域７３の中心位置座標を原点に対して１未満の倍数分を乗算した位置座標に代替画像７１を表示するようにしてもよい。この構成により、認証装置利用者は、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像がより小幅に、より小刻みに推移するため上述の調整操作を行い易い場合があり、特に、調整操作を慎重に行う必要の有る、顔位置合わせ用ガイドの間近に自身の顔画像が在る場合では、代替画像がより小幅に推移するほうがより調整操作を行い易いと考えられる。

以下、本発明の第２の実施形態の認証装置について詳細に説明する。本発明の第２の実施形態の認証装置では、代替画像生成制御部および代替画像情報記憶部に機能が追加されている（以下、第１の実施形態の代替画像生成制御部２５１および代替画像情報記憶部２５２と区別するために、第２の実施形態では代替画像生成制御部に３５１を、代替画像情報記憶部に３５２をそれぞれ参照符号として割り当てることにする）。なお、本発明の第２の実施形態の認証装置の構成は、第１の実施形態の認証装置の構成と同一の構成であり、図２に示す参照符号と同じ符号のものは、第１の実施形態で説明したとおりであるため、第２の実施形態での説明を省略する。また、本発明の第２の実施形態の認証装置による処理工程は、図３に示すフローチャートのうちステップＳ３０７およびＳ３０８の処理が異なる以外は共通であるため、第２の実施形態での説明を省略する。

代替画像生成制御部３５１は、人体の顔に相当する領域がその画像データに含まれていると判定した場合、その領域に置き換えるべき画像データを顔テンプレートデータベース２５４から取得する（ステップＳ４０７。第１の実施形態で説明したステップＳ３０７と区別するためにＳ４０７を参照符号として割り当てることにする）。具体的には、代替画像生成制御部３５１は、置き換えるべき代替画像のデータ名と、代替画像に置換すべき部位と、さらに、各部位の形状として特定した領域の中心位置座標を原点（０、０）を基準点として拡大、縮小する倍率を示す数値（以下、座標係数と称する）と、を代替画像情報記憶部３５２から読み取り、顔部品抽出部２５３にそのデータ名と部位を通知する。代替画像情報記憶部３５２には、予め、代替画像として用いるべき画像データを特定可能な情報、および座標係数が登録されている。例えば、図８の代替画像用データ登録例に示すように、代替画像情報記憶部３５２は、代替画像として用いる画像データの名称と、代替画像に置換すべき、顔を構成する部位と、座標係数５／３と、を対応付けて記憶している。

代替画像生成制御部３５１は、代替画像に置換すべき部位に対応付けられた代替画像データを顔部品抽出部２５３から入力すると、制御部２１から入力した、撮影装置２２が撮影した画像データのうちの、顔の形状として特定した四角形の各領域の中心座標（５０、−７０）に対して座標係数５／３を乗算する。さらに、代替画像生成制御部３５１は、乗算して得られた位置座標（８３、−１１７）と代替画像の中心位置とを一致させて、その部位に対応する代替画像に置き換える（ステップＳ４０８。第１の実施形態で説明したステップＳ３０８と区別するためにＳ４０８を参照符号として割り当てることにする）。その後、代替画像生成制御部３５１は、一部を代替画像に置き換えた画像データを制御部２１に出力する。

なお、本発明の第２の実施形態の認証装置では、図７に示すように、顔の形状として特定した領域７３の表示位置と代替画像７１の表示位置が常に一致することにはならない以上、代替画像７１のサイズは、各部位の形状として特定した四角形の領域７３のサイズと一致させても、させなくてもいずれでも構わない。代替画像生成制御部３５１が、顔位置合わせ用ガイド７２の形状に応じて、代替画像７１のサイズを拡大、縮小することが好ましい。例えば、図９に示す、本発明の第２の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例（図９（ａ）は、撮影した顔画像が大きい場合の代替画像の表示例、図９（ｂ）は、撮影した顔画像が小さい場合の代替画像の表示例、）のように、顔の形状として特定した四角形の領域９３のサイズに依らず、顔位置合わせ用ガイド９２の形状にとって好ましい基準サイズに代替画像９１を一律に設定することによって、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる調整操作を装置利用者がより快適に行うことができる。なお、この処理を実現するために、この代替画像の基準サイズを代替画像情報記憶部３５２に記憶させておくようにして、代替画像生成制御部３５１は、その基準サイズを代替画像情報記憶部３５２から読み取り（ステップＳ４０７）、各部位に対応する代替画像に置き換えるときに、その基準サイズで拡大、縮小した代替画像によって置き換える（ステップＳ４０８）。

以上、本発明の第２の実施形態の認証装置によれば、装置利用者が顔認証用の顔画像を取得するためにカメラにより撮影した画像を表示装置に表示する際、その画像における自身の顔に相当する箇所に代替画像を表示するため、装置利用者は、顔認証用の顔画像取得時にその顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。この結果、本発明の認証装置利用者は、顔画像認証をより快適に行うことができるようになる。

また、本発明の第２の実施形態の認証装置では、認証装置利用者は、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像をより大幅により顕著に推移させる、あるいは、顔画像の表示位置の推移に伴って代替画像をより小幅により小刻みに推移させることが適宜可能であるため、顔位置合わせ用ガイドに顔画像を合わせる操作をより快適に行うことができる。このような効果は、撮影中の画像を顔認証用の顔画像として取得するために、顔位置合わせ用ガイドに対して直接位置合せを行った顔画像を取得する従来の認証装置では、想定しえるものではない。

なお、本発明の第２の実施形態の認証装置では、図７に示すように、顔の形状として特定した領域７３の中心位置座標と原点Ｏとの距離に座標係数（定数）を乗算し、その乗算した位置座標に代替画像７１の中心位置が一致するように代替画像７１を置き換えるように記載したが、座標係数を定数ではなく、顔の形状として特定した領域７３の中心位置座標と原点Ｏとの距離によって算出される変数ｋとしてもよい。座標係数ｋの一例としては、「ｋ＝ａ×（領域７３の中心位置座標と原点Ｏとの距離）×（領域７３の中心位置座標と原点Ｏとの距離）」が挙げられ、この座標係数ｋであれば、顔位置合わせ用ガイド７２から自身の顔画像７３が大きく離れている場合では、顔画像７３のわずかな推移であっても代替画像が大幅に推移し、一方、顔位置合わせ用ガイド７２の間近に自身の顔画像７３が在る場合では、顔画像７３が大幅に推移しても代替画像はほとんど推移しないため、顔位置合わせ用ガイドに顔画像を合わせる操作に対して顔位置合わせ用ガイド７２と顔画像７３の位置関係に応じた好ましい操作性を提供することができる。なお、座標係数ｋの算出方法は、これに限るものではなく、種々の演算方法が考えられる。

（第３の実施形態）
次に、本発明の第３の実施形態の認証装置について詳細に説明する。
本発明の第２の実施形態の認証装置の場合、座標係数を乗算した位置座標に代替画像の中心位置を一致するように代替画像を置き換えると、座標係数の値によっては、座標係数を乗算した位置座標、あるいは置き換えた代替画像の一部が、画像データの範囲外のピクセルを指す場合が考えられる。図１０に、本発明の第３の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例を示す。例えば、図１０（ａ）に示すように、顔の形状として特定した、点線で囲まれる四角形の領域１０３を座標係数を２として代替画像１０１に置き換えて表示装置２３に表示する際、図１０（ｂ）に示すように、画像データを構成するデータの対象外の座標位置に代替画像１０１の一部（図１０（ｂ）における代替画像１０１の点線部分）が位置することになる。以下、本発明の第３の実施形態の認証装置による処理の概要を説明する。

本発明の第３の実施形態の認証装置では、図１０（ｃ）に示すように、顔位置合わせ用ガイド１０２ａにより特定される原点（０、０）（なお、図１０では、顔位置合わせ用ガイド１０２ａの一部である十字が交差する点を原点としている）を顔位置合わせ用ガイド１０２ａにより特定される別の座標に再設定し、原点の移動分に応じて代替画像１０１を平行移動させる。

本発明の第３の実施形態の認証装置では、第２の実施形態と同様、顔の形状として特定した領域１０３の表示位置と代替画像１０１の表示位置が常に一致することにはならない。しかしながら、認証装置利用者は、座標係数を１以上に設定して、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像をより大幅に、より顕著に推移させて上述の調整操作を行う場合であっても、第２の実施形態と比べて座標係数の数値をさらに大きく設定することができる。この結果、顔位置合わせ用ガイドに顔画像を合わせる操作に対して座標係数に応じた好ましい操作性を提供することができる。

以下、本発明の第３の実施形態の認証装置について詳細に説明する。本発明の第３の実施形態の認証装置では、代替画像生成制御部に機能が追加されている（以下、第１、２の実施形態の代替画像生成制御部２５１および第２の実施形態の代替画像生成制御部３５１と区別するために、代替画像生成制御部に４５１を参照符号として割り当てることにする）。なお、本発明の第３の実施形態の認証装置の構成は、第１の実施形態の認証装置の構成と同一の構成であり、図２に示す参照符号と同じ符号のものは、第１の実施形態で説明したとおりであるため、第３の実施形態での説明を省略する。また、本発明の第３の実施形態の認証装置による処理工程は、図３に示すフローチャートのうちＳ３０９およびＳ４０８の処理が異なる以外は共通であるため、第３の実施形態での説明を省略する。

代替画像生成制御部４５１は、ステップＳ４０７の処理後、代替画像に置換すべき部位に対応付けられた代替画像データを顔部品抽出部２５３から入力すると、制御部２１から入力した、撮影装置２２が撮影した画像データのうちの、顔、眉、目、鼻、口の形状として特定した四角形の各領域の中心座標（５０、−７０）に対して座標係数２を乗算する。さらに、代替画像生成制御部４５１は、乗算して得られた位置座標（１００、−１４０）に対して、次の顔位置合わせ用ガイドを配置すべき位置座標（Ｘ、Ｙ）分、乗算して得られた位置座標（１００、−１４０）から減算して、（１００−Ｘ、−１４０−Ｙ）を代替画像の中心位置とすべき座標とする。その後、代替画像生成制御部４５１は、代替画像の中心位置と（１００−Ｘ、−１４０−Ｙ）とを一致させて、その部位に対応する代替画像に置き換える（ステップＳ５０８。第１の実施形態で説明したステップＳ３０８、および第２の実施形態で説明したステップＳ４０８と区別するためにＳ５０８を参照符号として割り当てることにする）。その後、代替画像生成制御部４５１は、一部を代替画像に置き換えた画像データを制御部２１に出力する。なお、次の顔位置合わせ用ガイドを配置すべき位置座標（Ｘ、Ｙ）の設定方法としては、制御部２１が、ステップＳ３０２の処理において、画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、併せて顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する条件（例えば、縦方向（あるいは横方向）のピクセルを表す配列のうち、総ピクセル数の所定の割合の位置にある配列番号により特定されるピクセルを原点とする）を複数読み出しておき、ある一つの条件により指定される１つのピクセルを原点（０、０）とした座標系を設定した場合に、その座標系から算出される、残りの条件により指定されるピクセルの位置座標を位置座標（Ｘ、Ｙ）とすることが考えられる。

制御部２１は、代替画像出力装置２５から受け付けた画像データを表示装置２３に出力し、その画像データに応じた画面を表示装置２３に表示させる。また、制御部２１は、顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する別の条件を基に、画像認証機能を有する画像認証装置２６から読み出した次の顔位置合わせ用ガイドを表示装置２３に表示させる（ステップＳ５０９。第１の実施形態で説明したステップＳ３０９と区別するためにＳ５０９を参照符号として割り当てることにする）。

以上、本発明の第３の実施形態の認証装置によれば、装置利用者が顔認証用の顔画像を取得するためにカメラにより撮影した画像を表示装置に表示する際、その画像における自身の顔に相当する箇所に代替画像を表示するため、装置利用者は、顔認証用の顔画像取得時にその顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。この結果、本発明の認証装置利用者は、顔画像認証をより快適に行うことができるようになる。

また、本発明の第３の実施形態の認証装置によれば、認証装置利用者は、座標係数を１以上に設定して、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像がより大幅に、より顕著に推移させて上述の調整操作を行う場合であっても、第２の実施形態と比べて座標係数の数値をさらに大きく設定することができる。この結果、顔位置合わせ用ガイドに顔画像を合わせる操作に対して座標係数に応じた好ましい操作性を提供することができる。

本発明の認証装置および認証用画像表示方法は、認証装置利用者が顔認証用の自身の顔画像を他者に見られることを気にすること無く取得することを可能にすることによって、顔認証をより快適に行うことができるという効果を奏し、顔認証により個人を識別する認証装置に関する分野において有用である。

本発明は、顔認証により個人を識別する認証装置および認証用画像表示方法に関する。

近年の携帯端末装置には、カメラにより撮影した人間の顔画像により顔認証を行う顔認証機能を備えたものがある（例えば、特許文献１）。携帯端末装置利用者は、自身の顔画像を抽出するためにカメラにより自身の顔を撮影する際、撮影した顔の一部あるいは全体をディスプレイ上の特定の位置に表示することを促す顔位置合わせ用ガイドに、撮影している自身の顔を合わせ、その後ディスプレイに表示されている画像を顔認証用の顔画像として取得することが多い（特許文献１では、ディスプレイに表示された２つの点が顔位置合わせ用ガイドに相当し、携帯端末装置利用者は、撮影した２つの目がこの２つの点に一致するようにカメラによる撮影方向、倍率、カメラと顔との距離などを調整し、その後ディスプレイに表示されている画像を顔認証用の顔画像として取得している）。
特開２００３−３１７１００号公報

特許文献１の携帯端末装置では、装置利用者がカメラにより撮影した自身の顔画像をディスプレイ上の顔位置合わせ用ガイドに合わせるようにしている。しかしながら、この認証方法では、携帯端末装置利用者は、ディスプレイ上に自身の顔画像が表示されてしまい、顔認証用の顔画像を取得時に自身の顔をディスプレイを介して他者に見られてしまうことを気にしなければならない。このことは、特許文献１のような携帯端末装置に備わる小型のディスプレイを利用して顔認証を行う場合よりも、より大型のディスプレイを利用して顔認証を行う場合に顕著になる。

本発明は、上記事情に鑑みてなされたもので、装置利用者が顔認証用の顔画像を取得時に自身の顔画像を他者に見られることを気にすること無く、顔認証を行うことを実現する認証装置および認証用画像表示方法を提供することを目的とする。

本発明の認証装置は、画像認証を行う認証装置であって、画像を撮影する撮像部と、各種画像を記憶する画像記憶部と、前記撮像部により撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定する顔画像特定部と、前記撮像部により撮影した画像のうちの前記第１の領域を、前記画像記憶部に記憶した画像に置き換える画像生成部と、前記画像生成部により生成した画像を表示する表示部と、を備えるものである。

本発明の認証用画像表示方法は、画像認証を行うための認証用画像表示方法であって、画像を撮影するステップと、撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定するステップと、撮影した画像のうちの前記第１の領域を別の画像に置き換えるステップと、別の画像に置き換えられた前記第１の領域を含む画像を表示するステップと、を有するものである。

この構成により、認証装置利用者は、顔認証用の顔画像取得時に自身の顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。

また、本発明の認証装置は、前記画像生成部が、前記撮像部により撮影した画像のうちの、前記第１の領域に基づいて算出される第２の領域を、前記画像記憶部に記憶した画像に置き換える、ものを含む。

また、本発明の認証用画像表示方法は、画像認証を行うための認証用画像表示方法であって、画像を撮影するステップと、撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定するステップと、撮影した画像のうちの、前記第１の領域に基づいて算出される第２の領域を、別の画像に置き換えるステップと、別の画像に置き換えられた前記第２の領域を含む画像を表示するステップと、を有するものである。

この構成により、顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる操作を装置利用者に行わせる場合に、記憶した別の画像を利用者によるその調整操作に好ましい位置に表示することができる

また、本発明の認証装置は、前記画像生成部が、前記撮像部により撮影した画像のうちの、当該画像中の第１の点と前記第１の領域中の第２の点との距離に基づいて算出される第２の領域を、前記画像記憶部に記憶した画像に置き換える、ものを含む。

また、本発明の認証装置は、前記第１の点が、画像認証時に前記撮像部により撮像した画像の位置を合わせべき指標となるガイド点と一致する、ものを含む。

また、本発明の認証装置は、前記第２の点が、前記第１の領域の中心と一致する、ものを含む。

この構成により、記憶した別の画像がディスプレイ上を大幅に移動する、あるいはほとんどディスプレイ上を移動しないことを抑制することができる

また、本発明の認証装置は、前記画像生成部が、前記撮像部により撮影した画像のうちの、当該画像中の第１の点と第３の点との位置関係に応じて前記第２の領域を平行移動させた第３の領域を、前記画像記憶部に記憶した画像に置き換える、ものを含む。

また、本発明の認証装置は、前記第３の点が、前記第１のガイド点とは位置の異なる、画像認証時に前記撮像部により撮像した画像の位置を合わせべき指標となる別のガイド点と一致する、ものを含む。

この構成によれば、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って別の画像をより大幅に、より顕著に推移させて調整操作を行う場合であっても、その別の画像をディスプレイ内に収めることができる。

また、本発明の認証装置は、前記画像生成部が、前記撮像部により撮影した画像のうちの、少なくとも前記第２の領域の中心および前記第３の領域の中心を基点として拡大縮小した第４の領域を、前記画像記憶部に記憶した画像に置き換える、ものである。

この構成によれば、特定した第１の領域のサイズに依らず、別の画像のサイズを任意に設定することによって、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる調整操作を装置利用者がより快適に行うことができる。

また、本発明の認証装置は、画像認証時に参照する画像を記憶する認証画像記憶部と、前記撮像部により撮影した画像と前記認証画像記憶部に記憶した画像とにより、画像認証を行う認証部と、を備えるものである。

この構成によれば、認証装置利用者は、上述のようにして、顔認証用の自身の顔画像を他者に見られることを気にすること無く取得することができるため、顔認証をより快適に行うことができる。

本発明の認証装置および認証用画像表示方法によれば、装置利用者は、顔認証用の顔画像取得時に自身の顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。

以下、本発明の実施の形態の認証装置による処理の概要を説明する。図１（ａ）に、従来の認証装置による顔認証時にディスプレイに表示される表示例を、図１（ｂ）に、本発明の実施の形態の認証装置による顔認証時にディスプレイに表示される表示例を、それぞれ示す。

従来の認証装置では、従来の認証装置を利用する利用者は、図１（ａ）に示すようにカメラにより撮影した自身の顔画像１３をディスプレイ１上の顔位置合わせ用ガイド１２に合わせるように調整した後、撮影中の画像（つまり、ディスプレイ１に表示されている画像）を顔認証用の顔画像として取得する。従来の認証装置では、認証装置利用者は、ディスプレイ１上に自身の顔画像１３が表示されてしまい、顔認証時の自身の顔をディスプレイ１を介して他者に見られてしまうことを気にしなければならない。

一方、本発明の実施の形態の認証装置は、カメラにより撮影した画像から、顔（あるいは、目、鼻、口などの顔の一部の部位）に相当する画像領域（図１（ａ）では、点線で囲まれる領域）を特定し、その特定した画像領域を別の画像１１に置き換えた画像をディスプレイ１に表示させる。本発明の実施の形態の認証装置を利用する利用者は、図１（ｂ）に示すようにカメラにより撮影した場合に自身の顔画像が本来あるべき位置に別の画像１１（以下、代替画像と称する）が表示されたディスプレイ１を見ながら、ディスプレイ１上の顔位置合わせ用ガイド１２に代替画像１１を合わせるように調整した後、撮影中の画像を顔認証用の顔画像として取得する。本発明の実施の形態の認証装置によれば、装置利用者が顔認証用の顔画像を取得するためにカメラにより撮影した画像をディスプレイ１に表示する際、その画像における自身の顔に相当する箇所に代替画像１１を表示するため、装置利用者は、顔認証用の顔画像取得時にその顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。以下、本発明の実施の形態の認証装置について詳細に説明する。

（第１の実施形態）
まず、本発明の第１の実施形態の認証装置について詳細に説明する。図２に、本発明の第１の実施形態の認証装置の構成を示す構成図を示す。

本発明の第１の実施形態の認証装置は、制御部２１、撮影装置２２、表示装置２３、操作キー２４、代替画像出力装置２５、画像認証装置２６を含んで構成される。

制御部２１は、マイクロプロセッサ（ＣＰＵ）によって構成され、撮影装置２２の駆動制御および画像情報の入出力制御、表示装置２３による表示制御、操作キー２４からの信号の入力制御、代替画像出力装置２５との間での画像の入出力制御、および画像認証装置２６による画像認証処理の制御、などを行う。

撮影装置２２は、制御部２１からの駆動制御信号に応じて、ＣＣＤやＣＭＯＳなどの半導体素子を使って入力した色情報を電気信号に変換し、その画像データを制御部２１に出力する。

表示装置２３は、制御部２１から入力する画像データに応じた画面を表示パネルに出力する。表示装置２３は、例えば本発明の認証装置が携帯端末装置に適用される場合には、液晶ディスプレイ（ＬＣＤ）によって構成される。なお、ＣＲＴディスプレイやＰＤＰなど他の表示装置に置き換えても構わない。

操作キー２４は、本発明の認証装置の利用者からの操作を受け付け、その操作に応じた信号を制御部２１に出力する。操作キー２４は、例えばカーソルを任意に動かすパネル、０〜９までの番号キー、ＱＷＥＲＴＹキー、などによって構成され、利用者は、操作キー２４による操作によって各種指示を認証装置に通知する。特に本発明の認証装置が携帯端末装置に適用される場合には、撮影装置２２に撮影を開始させるための撮影キーや顔認証を開始させるための認証開始キーを認証装置に別途設けてもよい。

代替画像出力装置２５は、代替画像生成制御部２５１、代替画像情報記憶部２５２、顔部品抽出部２５３、顔テンプレートデータベース２５４、を含んで構成される。図３に示す本発明の第１の実施形態の認証装置による処理工程を示すフローチャートを参照して、代替画像出力装置２５による代替画像生成処理および制御部２１による画像表示制御処理の流れを説明する。

制御部２１は、操作キー２４により顔認証を開始させる操作を受け付けると、撮影装置２２に撮影を開始させる駆動制御信号を出力する。制御部２１は、撮影装置２２から画像データを受け付けると（ステップＳ３０１）、画像認証機能を有する画像認証装置２６から読み出した顔位置合わせ用ガイドを表示装置２３に表示し（ステップＳ３０２）、その後、代替画像を表示する設定がなされているか否か判定する（ステップＳ３０３）。なお、代替画像を表示する、しないの設定は、撮影装置２２に撮影を開始させる前に予め設定しておいてもよいし、撮影装置２２に撮影を開始させる度に代替画像を表示する、しないを決定する操作を操作キー２４により受け付けるようにしてもよい。制御部２１は、代替画像を表示する設定がなされていないと判定すると（ステップＳ３０３、Ｎｏ）、撮影装置２２から受け付けた画像データを表示装置２３に出力し、その画像データに応じた画面を表示装置２３に表示させる（ステップＳ３１０）。一方、制御部２１は、代替画像を表示する設定がなされていると判定すると（ステップＳ３０３、Ｙｅｓ）、代替画像出力装置２５に撮影装置２２から受け付けた画像データを出力する。

代替画像生成制御部２５１は、制御部２１から画像データを入力すると、人体の顔に相当する領域がその画像データに含まれているか否かを判定し（ステップＳ３０４）、さらに、含まれていると判定した場合（ステップＳ３０５、Ｙｅｓ）にはその顔の形状およびその顔を構成する各部位の形状を特定する（ステップＳ３０６）。この顔に相当する領域の有無の判定方法および顔の形状の特定方法の１例を、以下、図４に示す、データ処理過程における顔画像データの概念図を参照して説明する。

まず、代替画像生成制御部２５１は、制御部２１から入力した画像データに対して、高輝度（もしくは低輝度）の画素が密集する領域ほどヒストグラム値が高くなる処理を施し、そのヒストグラム値の高い領域を構成する位置座標（具体的には、画像データ中の任意の１ピクセルを原点（０、０）とした座標系における該当ピクセルの座標）を抽出する。図４（ａ）は、顔が含まれる画像に対してヒストグラム値の高い領域を抽出して得られる画像の模式図である。図４（ａ）中の黒色もしくは灰色のついた箇所は、ヒストグラム値が高い箇所（つまり、眉、目の虹彩、唇）に相当する。また、代替画像生成制御部２５１は、制御部２１から入力した画像データに対してエッジ抽出を施して強調された画像データの輪郭の位置座標を抽出する。図４（ｂ）は、顔が含まれる画像に対してエッジ抽出を施して得られる画像の模式図である。図４（ｂ）中の実線が強調された輪郭に相当し、隣りあうピクセル間において輝度の差が大きい箇所（つまり、眉、目、鼻、口の輪郭に相当する箇所）が抽出される。

代替画像生成制御部２５１は、この２つの処理によってそれぞれ抽出した位置座標のうち、ヒストグラム値が高い箇所を抽出した位置座標によって形成される幾何学形状および各位置座標におけるヒストグラム値に基づいて、当該画像データが人体の顔に相当する領域を含んでいるか否かを判定する。判定条件は、具体的には、眉および目の虹彩に相当する箇所は同程度のヒストグラム値を有し、また眉および目の虹彩に相当する箇所は唇に相当する箇所よりもヒストグラム値が高くなる傾向にあることから、ヒストグラム値の高いある領域（眉および目の虹彩のうちのいずれか１つに相当）においてその領域のサイズから算出される所定の範囲内にヒストグラム値が同程度に高い別の領域が３個（眉および目の虹彩のうちの残りの３つに相当）有り、かつその４つの領域の位置座標から算出される所定の方向にヒストグラム値がそれら４つの領域よりも低い５つ目の領域（唇に相当）があれば、当該画像データが人体の顔に相当する領域を含んでいると判定する。

この後、代替画像生成制御部２５１は、上述の２つの処理によってそれぞれ抽出した位置座標のうち、エッジ抽出を施した画像データの輪郭の位置座標に基づいて、画像データにおけるその顔の形状およびその顔を構成する各部位の形状を特定する。すなわち、代替画像生成制御部２５１は、上述したヒストグラム値の高い５つの領域をその内部に含む輪郭とその５つの領域の位置関係から、各輪郭を眉、目の虹彩、唇として特定する。目の輪郭を特定する場合には、目の虹彩をその内部に含む輪郭が目の輪郭になる。なお、図４（ｃ）に示す、顔を構成する各部位を特定した領域を示す模式図では、眉では一対の部位を１つの領域としているが、各部位をそれぞれ別の領域にしてもよい（目も同様）。代替画像生成制御部２５１は、これらの輪郭のうちの端部（図４（ｃ）の輪郭上に配置された点）をその線上に含む最小の四角形（図４（ｃ）中の点線で形成される四角形）を、眉、目、唇の形状として算出する。さらに、特定した眉、目、唇の位置関係から鼻の輪郭を特定し、同様に眉、目、唇、鼻をその内部に含む輪郭を顔の輪郭を特定する。代替画像生成制御部２５１は、眉、目、唇の場合と同様に、鼻、顔の輪郭を囲む最小の四角形を特定した鼻、顔の形状として算出する。

また、代替画像生成制御部２５１は、各部位の輪郭ごとに、上述のように算出した四角形のサイズ（四角形で囲まれる領域における、各位置座標方向のピクセル数）および中心位置座標を算出する。図４（ｄ）に示す、顔の形状の算出例では、画像データにおける中央の１ピクセルを原点（０、０）とした座標系において、顔の形状におけるサイズ（１００×１４０）および中心位置座標（５０、−７０）を算出したときの算出例を示している。原点となる位置座標の設定方法としては、顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する条件（例えば、縦方向（あるいは横方向）のピクセルを表す配列のうち、総ピクセル数の所定の割合の位置にある配列番号により特定されるピクセルを原点とする。図４（ｄ）の場合であれば、総ピクセル数の５割の位置にある配列番号により特定されるピクセルが原点）が画像認証装置２６に設定されており、制御部２１が、ステップＳ３０２の処理において、画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、併せてその条件を読み出し、その条件により指定されるピクセルを原点（０、０）とする。なお、図４（ｄ）では、顔の形状として算出した四角形のみについて、サイズおよび中心位置座標を記載しているが、眉、目、唇、鼻についても同様に、四角形のサイズおよび中心位置座標を算出することができる。

以上のようにして、代替画像生成制御部２５１は、人体の顔に相当する領域がその画像データに含まれているか否かを判定し、さらに、含まれていると判定した場合にはその顔の形状およびその顔を構成する各部位の形状を特定する。

さらに、代替画像生成制御部２５１は、人体の顔に相当する領域がその画像データに含まれていると判定した場合、その領域に置き換えるべき画像データを顔テンプレートデータベース２５４から取得する（ステップＳ３０７）。具体的には、代替画像生成制御部２５１は、置き換えるべき代替画像のデータ名と、代替画像に置換すべき部位と、を代替画像情報記憶部２５２から読み取り、顔部品抽出部２５３にそのデータ名と部位を通知する。代替画像情報記憶部２５２には、予め、代替画像として用いるべき画像データを特定可能な情報が登録されている。例えば、図５の代替画像用データ登録例に示すように、代替画像情報記憶部２５２は、代替画像として用いる画像データの名称と、代替画像に置換すべき、顔を構成する部位と、を対応付けて記憶している。

代替画像生成制御部２５１からデータ名と代替画像に置換すべき部位とを通知された顔部品抽出部２５３は、顔テンプレートデータベース２５４から該当するデータを抽出する。顔テンプレートデータベース２５４には、予め、代替画像として用いるべき画像データが記録されている。例えば、図６の記録された代替画像データの概念図に示すように、顔テンプレートデータベース２５４は、顔、眉、目などの顔を構成する部位毎に、複数の代替画像データ（図６では、部位「顔」の代替画像データは、「Facetype_1.bmp」、「Facetype_2.bmp」、・・・「Facetype_N.bmp」と記載）を記録している。顔部品抽出部２５３は、代替画像に置換すべき部位に対応付けて、抽出した代替画像データを代替画像生成制御部２５１に出力する。

代替画像生成制御部２５１は、代替画像に置換すべき部位に対応付けられた代替画像データを顔部品抽出部２５３から入力すると、制御部２１から入力した、撮影装置２２が撮影した画像データのうちの、顔、眉、目、鼻、口の形状として特定した四角形の各領域を、その部位に対応する代替画像に置き換える（ステップＳ３０８）。なお、各部位の形状として特定した四角形の領域のサイズと、代替画像のサイズ（例えば、図６に示す各部位の画像データの基準サイズ）とが一致しない場合が考えられるが、この場合には、その四角形の領域のサイズに合わせて代替画像を拡大縮小することにより、１つのパターンの代替画像を利用して様々なサイズの部位を置き換えることができる。代替画像生成制御部２５１は、一部を代替画像に置き換えた画像データを制御部２１に出力する。

制御部２１は、代替画像出力装置２５から受け付けた画像データを表示装置２３に出力し、その画像データに応じた画面を表示装置２３に表示させる（ステップＳ３０９）。図４（ｅ）には、顔の形状として特定した領域を代替画像に置き換えた画像データの表示例を示す。本発明の第１の実施形態の認証装置を利用する利用者は、図４（ｅ）に示すようにカメラにより撮影した場合に自身の顔画像が本来あるべき位置に代替画像４１が表示された表示装置２３を見ながら、表示装置２３の顔位置合わせ用ガイド４２に代替画像４１を合わせるように調整した後、撮影中の画像を顔認証用の顔画像として取得する操作を実行することになる。操作キー２４により撮影中の画像を顔認証用の顔画像として取得する操作を受け付けるまでステップＳ３０１からＳ３０９の処理を継続する制御部２１は、その操作を受け付けた直後（あるいは直前）に撮影装置２２から受け付けた画像データを画像認証装置２６に出力する（ステップＳ３１１）。

認証部２６１は、制御部２１から入力した画像データと登録画像データベースに登録された画像とを認証し、認証結果を制御部２１に返す（ステップＳ３１２）。

以上、本発明の第１の実施形態の認証装置によれば、装置利用者が顔認証用の顔画像を取得するためにカメラにより撮影した画像を表示装置に表示する際、その画像における自身の顔に相当する箇所に代替画像を表示するため、装置利用者は、顔認証用の顔画像取得時にその顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。この結果、本発明の認証装置利用者は、顔画像認証をより快適に行うことができるようになる。

なお、本発明の第１の実施形態の認証装置では、画像認証装置２６に顔位置合わせ用ガイドに利用する画像を複数個記録させておき、制御部２１が画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、その中のいずれか一つを読み出す構成としてもよい（具体的には、顔位置合わせ用ガイドとして用いるべき画像データを特定可能な情報を画像認証装置２６に登録しておき、その情報を元に制御部２１が画像認証装置２６から顔位置合わせ用ガイドを読み出す）。

（第２の実施形態）
次に、本発明の第２の実施形態の認証装置について詳細に説明する。
本発明の実施の形態の認証装置を利用する利用者は、撮影中の画像を顔認証用の顔画像として取得するために、カメラにより撮影した自身の顔画像が表示されたディスプレイを見ながら、ディスプレイ上の顔位置合わせ用ガイドにその顔画像を合わせるように調整しなければならない。利用者は、利用者がカメラの焦点の位置や倍率を設定したり、カメラによる撮影方向を変えたり、カメラと被撮影者との距離を調節しながら、顔位置合わせ用ガイドに顔画像を合わせる操作を行うが、利用者が行うこれらの操作を手動で行う場合、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせ、その位置に顔画像を固定することは困難である。特に、認証機能が搭載された近年の携帯電話によって、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる場合、携帯電話の向きを変えてカメラによる撮影方向を変えると、携帯電話がカメラの撮影方向を変えるために適した機構では必ずしもないため、顔画像がディスプレイ上を大幅に移動する、あるいはほとんどディスプレイ上を移動しないことが考えられる。

本発明の第２の実施形態の認証装置では、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる調整を装置利用者に行わせる場合、利用者によるその調整操作に好ましい位置に代替画像を表示することができる、つまり、代替画像がディスプレイ上を大幅に移動する、あるいはほとんどディスプレイ上を移動しないことを抑制することができる認証装置について説明する。以下、本発明の第２の実施形態の認証装置による処理の概要を説明する。

図７に、本発明の第２の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例を示す。図７（ａ）から図７（ｃ）は、撮影装置２２による撮影中に表示装置２３に表示される画像の推移を、図７（ｄ）から図７（ｆ）は、撮影装置２２による撮影中に表示装置２３に表示される画像と代替画像の推移を、それぞれ示している。また、図７（ａ）から図７（ｃ）、図７（ｄ）から図７（ｆ）ともに、被撮影者の顔を顔位置合わせ用ガイド７２の中心に推移させながら撮影している場合を示している。

本発明の第１の実施形態の認証装置では、図７（ａ）から図７（ｃ）のように被撮影者の顔を顔位置合わせ用ガイド７２の中心に推移させながら撮影すると、顔の形状として特定した、点線で囲まれる四角形の領域７３を代替画像７１に置き換えて表示装置２３に表示することになる。一方、本発明の第２の実施形態の認証装置では、図７（ａ）から図７（ｃ）のように被撮影者の顔を顔位置合わせ用ガイド７２の中心に推移させながら撮影すると、顔の形状として特定した、点線で囲まれる四角形の領域の中心位置座標を原点（０、０）（なお、図７では、顔位置合わせ用ガイド７２の一部である十字が交差する点を原点としている）を基準点として実数倍（図７では、５／３倍したときを示している）した位置座標と、代替画像７１の中心位置と、が一致するように、代替画像７１を置き換えて表示装置２３に表示することになる。図７（ｄ）から図７（ｆ）では、被撮影者の顔が顔位置合わせ用ガイド７２の中心に推移するにしたがって、顔の形状として特定した領域７３の表示位置と代替画像７１の表示位置とのズレが小さくなり（図７では、図７（ａ）から図７（ｂ）にかけて）、顔の形状として特定した領域７３の表示位置が原点付近になると、顔の形状として特定した領域の表示位置と代替画像７１の表示位置がほぼ一致する（図７では、図７（ｃ））。

本発明の第２の実施形態の認証装置では、顔の形状として特定した領域７３の表示位置と代替画像７１の表示位置が常に一致することにはならない。しかしながら、認証装置利用者は、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像がより大幅に、より顕著に推移するため上述の調整操作を行い易い場合があり、特に、調整操作をそれほど慎重に行う必要の無い、顔位置合わせ用ガイドから自身の顔画像が大きく離れている場合では、顔の形状として特定した領域の表示位置と代替画像の表示位置とのズレが大きくても、代替画像がより顕著に推移するほうがより調整操作を行い易いと考えられる。

また、図７では、顔の形状として特定した領域７３の中心位置座標を原点に対して５／３倍した位置座標に代替画像７１を表示する場合を図示しているが、顔の形状として特定した領域７３の中心位置座標を原点に対して１未満の倍数分を乗算した位置座標に代替画像７１を表示するようにしてもよい。この構成により、認証装置利用者は、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像がより小幅に、より小刻みに推移するため上述の調整操作を行い易い場合があり、特に、調整操作を慎重に行う必要の有る、顔位置合わせ用ガイドの間近に自身の顔画像が在る場合では、代替画像がより小幅に推移するほうがより調整操作を行い易いと考えられる。

以下、本発明の第２の実施形態の認証装置について詳細に説明する。本発明の第２の実施形態の認証装置では、代替画像生成制御部および代替画像情報記憶部に機能が追加されている（以下、第１の実施形態の代替画像生成制御部２５１および代替画像情報記憶部２５２と区別するために、第２の実施形態では代替画像生成制御部に３５１を、代替画像情報記憶部に３５２をそれぞれ参照符号として割り当てることにする）。なお、本発明の第２の実施形態の認証装置の構成は、第１の実施形態の認証装置の構成と同一の構成であり、図２に示す参照符号と同じ符号のものは、第１の実施形態で説明したとおりであるため、第２の実施形態での説明を省略する。また、本発明の第２の実施形態の認証装置による処理工程は、図３に示すフローチャートのうちステップＳ３０７およびＳ３０８の処理が異なる以外は共通であるため、第２の実施形態での説明を省略する。

代替画像生成制御部３５１は、人体の顔に相当する領域がその画像データに含まれていると判定した場合、その領域に置き換えるべき画像データを顔テンプレートデータベース２５４から取得する（ステップＳ４０７。第１の実施形態で説明したステップＳ３０７と区別するためにＳ４０７を参照符号として割り当てることにする）。具体的には、代替画像生成制御部３５１は、置き換えるべき代替画像のデータ名と、代替画像に置換すべき部位と、さらに、各部位の形状として特定した領域の中心位置座標を原点（０、０）を基準点として拡大、縮小する倍率を示す数値（以下、座標係数と称する）と、を代替画像情報記憶部３５２から読み取り、顔部品抽出部２５３にそのデータ名と部位を通知する。代替画像情報記憶部３５２には、予め、代替画像として用いるべき画像データを特定可能な情報、および座標係数が登録されている。例えば、図８の代替画像用データ登録例に示すように、代替画像情報記憶部３５２は、代替画像として用いる画像データの名称と、代替画像に置換すべき、顔を構成する部位と、座標係数５／３と、を対応付けて記憶している。

代替画像生成制御部３５１は、代替画像に置換すべき部位に対応付けられた代替画像データを顔部品抽出部２５３から入力すると、制御部２１から入力した、撮影装置２２が撮影した画像データのうちの、顔の形状として特定した四角形の各領域の中心座標（５０、−７０）に対して座標係数５／３を乗算する。さらに、代替画像生成制御部３５１は、乗算して得られた位置座標（８３、−１１７）と代替画像の中心位置とを一致させて、その部位に対応する代替画像に置き換える（ステップＳ４０８。第１の実施形態で説明したステップＳ３０８と区別するためにＳ４０８を参照符号として割り当てることにする）。その後、代替画像生成制御部３５１は、一部を代替画像に置き換えた画像データを制御部２１に出力する。

なお、本発明の第２の実施形態の認証装置では、図７に示すように、顔の形状として特定した領域７３の表示位置と代替画像７１の表示位置が常に一致することにはならない以上、代替画像７１のサイズは、各部位の形状として特定した四角形の領域７３のサイズと一致させても、させなくてもいずれでも構わない。代替画像生成制御部３５１が、顔位置合わせ用ガイド７２の形状に応じて、代替画像７１のサイズを拡大、縮小することが好ましい。例えば、図９に示す、本発明の第２の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例（図９（ａ）は、撮影した顔画像が大きい場合の代替画像の表示例、図９（ｂ）は、撮影した顔画像が小さい場合の代替画像の表示例、）のように、顔の形状として特定した四角形の領域９３のサイズに依らず、顔位置合わせ用ガイド９２の形状にとって好ましい基準サイズに代替画像９１を一律に設定することによって、ディスプレイ上の顔位置合わせ用ガイドにより指定される所定の位置に顔画像を合わせる調整操作を装置利用者がより快適に行うことができる。なお、この処理を実現するために、この代替画像の基準サイズを代替画像情報記憶部３５２に記憶させておくようにして、代替画像生成制御部３５１は、その基準サイズを代替画像情報記憶部３５２から読み取り（ステップＳ４０７）、各部位に対応する代替画像に置き換えるときに、その基準サイズで拡大、縮小した代替画像によって置き換える（ステップＳ４０８）。

以上、本発明の第２の実施形態の認証装置によれば、装置利用者が顔認証用の顔画像を取得するためにカメラにより撮影した画像を表示装置に表示する際、その画像における自身の顔に相当する箇所に代替画像を表示するため、装置利用者は、顔認証用の顔画像取得時にその顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。この結果、本発明の認証装置利用者は、顔画像認証をより快適に行うことができるようになる。

また、本発明の第２の実施形態の認証装置では、認証装置利用者は、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像をより大幅により顕著に推移させる、あるいは、顔画像の表示位置の推移に伴って代替画像をより小幅により小刻みに推移させることが適宜可能であるため、顔位置合わせ用ガイドに顔画像を合わせる操作をより快適に行うことができる。このような効果は、撮影中の画像を顔認証用の顔画像として取得するために、顔位置合わせ用ガイドに対して直接位置合せを行った顔画像を取得する従来の認証装置では、想定しえるものではない。

なお、本発明の第２の実施形態の認証装置では、図７に示すように、顔の形状として特定した領域７３の中心位置座標と原点Ｏとの距離に座標係数（定数）を乗算し、その乗算した位置座標に代替画像７１の中心位置が一致するように代替画像７１を置き換えるように記載したが、座標係数を定数ではなく、顔の形状として特定した領域７３の中心位置座標と原点Ｏとの距離によって算出される変数ｋとしてもよい。座標係数ｋの一例としては、「ｋ＝ａ×（領域７３の中心位置座標と原点Ｏとの距離）×（領域７３の中心位置座標と原点Ｏとの距離）」が挙げられ、この座標係数ｋであれば、顔位置合わせ用ガイド７２から自身の顔画像７３が大きく離れている場合では、顔画像７３のわずかな推移であっても代替画像が大幅に推移し、一方、顔位置合わせ用ガイド７２の間近に自身の顔画像７３が在る場合では、顔画像７３が大幅に推移しても代替画像はほとんど推移しないため、顔位置合わせ用ガイドに顔画像を合わせる操作に対して顔位置合わせ用ガイド７２と顔画像７３の位置関係に応じた好ましい操作性を提供することができる。なお、座標係数ｋの算出方法は、これに限るものではなく、種々の演算方法が考えられる。

（第３の実施形態）
次に、本発明の第３の実施形態の認証装置について詳細に説明する。
本発明の第２の実施形態の認証装置の場合、座標係数を乗算した位置座標に代替画像の中心位置を一致するように代替画像を置き換えると、座標係数の値によっては、座標係数を乗算した位置座標、あるいは置き換えた代替画像の一部が、画像データの範囲外のピクセルを指す場合が考えられる。図１０に、本発明の第３の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例を示す。例えば、図１０（ａ）に示すように、顔の形状として特定した、点線で囲まれる四角形の領域１０３を座標係数を２として代替画像１０１に置き換えて表示装置２３に表示する際、図１０（ｂ）に示すように、画像データを構成するデータの対象外の座標位置に代替画像１０１の一部（図１０（ｂ）における代替画像１０１の点線部分）が位置することになる。以下、本発明の第３の実施形態の認証装置による処理の概要を説明する。

本発明の第３の実施形態の認証装置では、図１０（ｃ）に示すように、顔位置合わせ用ガイド１０２ａにより特定される原点（０、０）（なお、図１０では、顔位置合わせ用ガイド１０２ａの一部である十字が交差する点を原点としている）を顔位置合わせ用ガイド１０２ａにより特定される別の座標に再設定し、原点の移動分に応じて代替画像１０１を平行移動させる。

本発明の第３の実施形態の認証装置では、第２の実施形態と同様、顔の形状として特定した領域１０３の表示位置と代替画像１０１の表示位置が常に一致することにはならない。しかしながら、認証装置利用者は、座標係数を１以上に設定して、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像をより大幅に、より顕著に推移させて上述の調整操作を行う場合であっても、第２の実施形態と比べて座標係数の数値をさらに大きく設定することができる。この結果、顔位置合わせ用ガイドに顔画像を合わせる操作に対して座標係数に応じた好ましい操作性を提供することができる。

以下、本発明の第３の実施形態の認証装置について詳細に説明する。本発明の第３の実施形態の認証装置では、代替画像生成制御部に機能が追加されている（以下、第１、２の実施形態の代替画像生成制御部２５１および第２の実施形態の代替画像生成制御部３５１と区別するために、代替画像生成制御部に４５１を参照符号として割り当てることにする）。なお、本発明の第３の実施形態の認証装置の構成は、第１の実施形態の認証装置の構成と同一の構成であり、図２に示す参照符号と同じ符号のものは、第１の実施形態で説明したとおりであるため、第３の実施形態での説明を省略する。また、本発明の第３の実施形態の認証装置による処理工程は、図３に示すフローチャートのうちＳ３０９およびＳ４０８の処理が異なる以外は共通であるため、第３の実施形態での説明を省略する。

代替画像生成制御部４５１は、ステップＳ４０７の処理後、代替画像に置換すべき部位に対応付けられた代替画像データを顔部品抽出部２５３から入力すると、制御部２１から入力した、撮影装置２２が撮影した画像データのうちの、顔、眉、目、鼻、口の形状として特定した四角形の各領域の中心座標（５０、−７０）に対して座標係数２を乗算する。さらに、代替画像生成制御部４５１は、乗算して得られた位置座標（１００、−１４０）に対して、次の顔位置合わせ用ガイドを配置すべき位置座標（Ｘ、Ｙ）分、乗算して得られた位置座標（１００、−１４０）から減算して、（１００−Ｘ、−１４０−Ｙ）を代替画像の中心位置とすべき座標とする。その後、代替画像生成制御部４５１は、代替画像の中心位置と（１００−Ｘ、−１４０−Ｙ）とを一致させて、その部位に対応する代替画像に置き換える（ステップＳ５０８。第１の実施形態で説明したステップＳ３０８、および第２の実施形態で説明したステップＳ４０８と区別するためにＳ５０８を参照符号として割り当てることにする）。その後、代替画像生成制御部４５１は、一部を代替画像に置き換えた画像データを制御部２１に出力する。なお、次の顔位置合わせ用ガイドを配置すべき位置座標（Ｘ、Ｙ）の設定方法としては、制御部２１が、ステップＳ３０２の処理において、画像認証装置２６から顔位置合わせ用ガイドを読み出す際に、併せて顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する条件（例えば、縦方向（あるいは横方向）のピクセルを表す配列のうち、総ピクセル数の所定の割合の位置にある配列番号により特定されるピクセルを原点とする）を複数読み出しておき、ある一つの条件により指定される１つのピクセルを原点（０、０）とした座標系を設定した場合に、その座標系から算出される、残りの条件により指定されるピクセルの位置座標を位置座標（Ｘ、Ｙ）とすることが考えられる。

制御部２１は、代替画像出力装置２５から受け付けた画像データを表示装置２３に出力し、その画像データに応じた画面を表示装置２３に表示させる。また、制御部２１は、顔位置合わせ用ガイドの中心を配置すべき画像データ上のピクセルを指定する別の条件を基に、画像認証機能を有する画像認証装置２６から読み出した次の顔位置合わせ用ガイドを表示装置２３に表示させる（ステップＳ５０９。第１の実施形態で説明したステップＳ３０９と区別するためにＳ５０９を参照符号として割り当てることにする）。

以上、本発明の第３の実施形態の認証装置によれば、装置利用者が顔認証用の顔画像を取得するためにカメラにより撮影した画像を表示装置に表示する際、その画像における自身の顔に相当する箇所に代替画像を表示するため、装置利用者は、顔認証用の顔画像取得時にその顔画像を他者に見られることを気にすること無く、顔認証を行うことができる。この結果、本発明の認証装置利用者は、顔画像認証をより快適に行うことができるようになる。

また、本発明の第３の実施形態の認証装置によれば、認証装置利用者は、座標係数を１以上に設定して、認証用の顔画像撮影時に、顔画像の表示位置の推移に伴って代替画像がより大幅に、より顕著に推移させて上述の調整操作を行う場合であっても、第２の実施形態と比べて座標係数の数値をさらに大きく設定することができる。この結果、顔位置合わせ用ガイドに顔画像を合わせる操作に対して座標係数に応じた好ましい操作性を提供することができる。

本発明の認証装置および認証用画像表示方法は、認証装置利用者が顔認証用の自身の顔画像を他者に見られることを気にすること無く取得することを可能にすることによって、顔認証をより快適に行うことができるという効果を奏し、顔認証により個人を識別する認証装置に関する分野において有用である。

顔認証時にディスプレイに表示される表示例。図１（ａ）は、従来の認証装置による顔認証時にディスプレイに表示される表示例、図１（ｂ）は、本発明の実施の形態の認証装置による顔認証時にディスプレイに表示される表示例 本発明の第１の実施形態の認証装置の構成を示す構成図 本発明の第１の実施形態の認証装置による処理工程を示すフローチャート データ処理過程における顔画像データの概念図。図４（ａ）は、顔が含まれる画像に対してヒストグラム値の高い領域を抽出して得られる画像の模式図、図４（ｂ）は、顔が含まれる画像に対してエッジ抽出を施して得られる画像の模式図、図４（ｃ）は、顔を構成する各部位を特定した領域を示す模式図、図４（ｄ）は、顔の形状の算出例、図４（ｅ）は、顔の形状として特定した領域を代替画像に置き換えた画像データの表示例 代替画像用データ登録例 記録された代替画像データの概念図 本発明の第２の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例。図７（ａ）から図７（ｃ）は、撮影装置２２による撮影中に表示装置２３に表示される画像の推移、図７（ｄ）から図７（ｆ）は、撮影装置２２による撮影中に表示装置２３に表示される画像と代替画像の推移 代替画像用データ登録例 本発明の第２の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例。図９（ａ）は、撮影した顔画像が大きい場合の代替画像の表示例、図９（ｂ）は、撮影した顔画像が小さい場合の代替画像の表示例 本発明の第３の実施形態の認証装置による、撮影時に表示される画像および代替画像の表示例。図１０（ａ）から図１０（ｃ）は、撮影装置２２による撮影中に表示装置２３に表示される画像の推移

符号の説明

１ ディスプレイ
１１、４１、７１、９１、１０１ 代替画像
１２、４２、７２、９２、１０２ 顔位置合わせ用ガイド
１３、７３、９３、１０３ 顔画像
２１ 制御部
２２ 撮影装置
２３ 表示装置
２４ 操作キー
２５ 代替画像出力装置
２５１、３５１、４５１ 代替画像生成制御部
２５２、３５２ 代替画像情報記憶部
２５３ 顔部品抽出部
２５４ 顔テンプレートデータベース
２６ 画像認証装置
２６１ 認証部
２６２ 登録画像データベース

Claims (11)

1. 画像認証を行う認証装置であって、
   画像を撮影する撮像部と、
   各種画像を記憶する画像記憶部と、
   前記撮像部により撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定する顔画像特定部と、
   前記撮像部により撮影した画像のうちの前記第１の領域を、前記画像記憶部に記憶した画像に置き換える画像生成部と、
   前記画像生成部により生成した画像を表示する表示部と、
   を備える認証装置。
2. 請求項１記載の認証装置であって、
   前記画像生成部は、前記撮像部により撮影した画像のうちの、前記第１の領域に基づいて算出される第２の領域を、前記画像記憶部に記憶した画像に置き換える、
   認証装置。
3. 請求項２記載の認証装置であって、
   前記画像生成部は、前記撮像部により撮影した画像のうちの、当該画像中の第１の点と前記第１の領域中の第２の点との距離に基づいて算出される第２の領域を、前記画像記憶部に記憶した画像に置き換える、
   認証装置。
4. 請求項３記載の認証装置であって、
   前記第１の点は、画像認証時に前記撮像部により撮像した画像の位置を合わせべき指標となるガイド点と一致する、
   認証装置。
5. 請求項３または４記載の認証装置であって、
   前記第２の点は、前記第１の領域の中心と一致する、
   認証装置。
6. 請求項３から５のいずれか１項に記載の認証装置であって、
   前記画像生成部は、前記撮像部により撮影した画像のうちの、当該画像中の第１の点と第３の点との位置関係に応じて前記第２の領域を平行移動させた第３の領域を、前記画像記憶部に記憶した画像に置き換える、
   認証装置。
7. 請求項６記載の認証装置であって、
   前記第３の点は、前記第１のガイド点とは位置の異なる、画像認証時に前記撮像部により撮像した画像の位置を合わせべき指標となる別のガイド点と一致する、
   認証装置。
8. 請求項２から７のいずれか１項に記載の認証装置であって、
   前記画像生成部は、前記撮像部により撮影した画像のうちの、少なくとも前記第２の領域の中心および前記第３の領域の中心を基点として拡大縮小した第４の領域を、前記画像記憶部に記憶した画像に置き換える、
   認証装置。
9. 請求項１から８のいずれか１項に記載の認証装置であって、
   画像認証時に参照する画像を記憶する認証画像記憶部と、
   前記撮像部により撮影した画像と前記認証画像記憶部に記憶した画像とにより、画像認証を行う認証部と、
   を備える認証装置。
10. 画像認証を行うための認証用画像表示方法であって、
    画像を撮影するステップと、
    撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定するステップと、 撮影した画像のうちの前記第１の領域を別の画像に置き換えるステップと、
    別の画像に置き換えられた前記第１の領域を含む画像を表示するステップと、
    を有する認証用画像表示方法。
11. 画像認証を行うための認証用画像表示方法であって、
    画像を撮影するステップと、
    撮影した画像のうちの、顔の少なくとも一部を含む第１の領域を特定するステップと、 撮影した画像のうちの、前記第１の領域に基づいて算出される第２の領域を、別の画像に置き換えるステップと、
    別の画像に置き換えられた前記第２の領域を含む画像を表示するステップと、
    を有する認証用画像表示方法。

Images