WO2006013669A1

WO2006013669A1 - 瞳孔検出装置および虹彩認証装置

Info

Publication number: WO2006013669A1
Application number: PCT/JP2005/009419
Authority: WO
Inventors: Morio Sugita; Masahiro Wakamori; Takeshi Fujimatsu
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-08-02
Filing date: 2005-05-24
Publication date: 2006-02-09
Also published as: EP1796033A1; US20070071287A1; CN1842818A; JP2006048204A

Abstract

本発明の瞳孔検出装置は、同心円状の複数の円をそれぞれ積分円として目画像上に設定し積分円の円周上に位置する目画像の画像データを抽出する画像データ抽出部（２２０）と、その画像データを積分円の円周に沿って積分する周回積分部と、周回積分部の積分値が積分円の半径に対してステップ状に変化するような積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部とを備え、画像データ抽出部（２２０）は、ランダムアクセス可能な複数のラインメモリ（２２４１～２２４Ｌ）と、ラインメモリ（２２４１～２２４Ｌ）から読出された画像データを順次切替えて積分円のそれぞれに対応する画像データを選択する複数のセレクタ（２２８１～２２８ｎ）とを有する。

Description

明細書

瞳孔検出装置および虹彩認証装置

技術分野

[0001] 本発明は、個人認証等に用いられる虹彩認証装置に関し、特に目を含む画像 (以下、「目画像」と記す)の中から瞳孔の位置を検出する瞳孔検出装置に関する。背景技術

[0002] 近年、目画像の中から瞳孔の位置を検出する様々な方法が提案されている。たとえば、目画像の画像データ（以下、「目画像データ」と記する）を 2値ィ匕し、低輝度領域の中の円形の領域を検出する方法が知られている。また、半径力 Srであり、中心座標が (xO, yO)である円の弧に対して画像強度 I (x, y)の周回積分を計算し、半径 rが増加するにしたがって rに関するこの量の部分的な導関数を計算する方法等が知られている。前述の従来の構成は、例えば、特表平 8— 504979号に開示されている。

[0003] これらの方法を用いて精度よく瞳孔を検出するためには、膨大な画像データを高速に処理する必要があり、処理能力の高い大きな CPUや、大容量メモリを用いても、現状では、目画像の画像データをリアルタイムで処理することが困難であり得る。また、画像データをリアルタイムで処理できる程度に CPUの処理量を減らすと検出精度が低下する等の課題があり得る。発明の開示

[0004] 本発明は、高速にかつ精度よく瞳孔位置の検出が可能な瞳孔検出装置を提供する。

[0005] 本発明の瞳孔検出装置は、画像データ抽出部と、周回積分部と、瞳孔位置検出部とを備える。画像データ抽出部は、同心円状の複数の円をそれぞれ積分円として目画像上に設定し積分円の円周上に位置する目画像の画像データを抽出する。周回積分部は、画像データ抽出部が抽出した画像データを積分円のそれぞれの円周に沿って積分する。瞳孔位置検出部は、周回積分部の積分値が積分円の半径に対してステップ状に変化するような積分円の中心座標を、瞳孔位置座標として検出する。画像データ抽出部は、部分フレームメモリと、マルチプレクサとを有する。部分フレームメモリは、ランダムアクセス可能な複数のラインメモリを有する。マルチプレクサは、部分フレームメモリから読出された画像データを順次切替えて積分円のそれぞれに対応して抽出すべき画像データを選択する。

図面の簡単な説明

[図 1]図 1は本発明の第 1実施例における瞳孔検出装置を用いた虹彩認証装置の回路ブロック図である。

[図 2A]図 2Aは瞳孔を含む画像の一例を示す図である。

[図 2B]図 2Bは積分円の半径に対する積分値を示す図である。

[図 2C]図 2Cは積分値を積分円の半径で微分した値を示す図である。

[図 2D]図 2Dは目画像上を移動する積分円を示す図である。

[図 3A]図 3Aは積分円が虹彩領域に位置する場合の目画像とそのときの輝度の一例を示す図である。

[図 3B]図 3Bは積分円がメガネフレームに位置する場合の目画像とそのときの輝度の一例を示す図である。

[図 4]図 4は同瞳孔検出装置の回路ブロック図である。

[図 5]図 5は同瞳孔検出装置の画像データ抽出部の回路ブロック図である。

[図 6]図 6は同瞳孔検出装置の画像データ抽出部の動作を説明するための図である

[図 7]図 7は同瞳孔検出装置の画像データ抽出部の動作を説明するための図である

[図 8]図 8は同瞳孔検出装置の瞳孔位置検出部の回路ブロック図である。

[図 9]図 9は同瞳孔検出装置の瞳孔選択部の動作を説明するための図である。

[図 10]図 10は同瞳孔検出装置の瞳孔選択部の動作を示すフローチャートである。

[図 11]図 11は同瞳孔検出装置の目画像 1フレーム分の動作を示すフローチャートである。

[図 12]図 12は本発明の第 2実施例における瞳孔検出装置の画像データ抽出部の動作を説明するための図である。

[図 13]図 13は同瞳孔検出装置の画像データ抽出部の動作を説明するための図である。

符号の説明

[0007] 120 撮像部

130 照明部

140 認証処理部

200 瞳孔検出装置

220 画像データ抽出部

222 部分フレームメモリ

224 - -224 ラインメモリ

1 L

225 - -225 メモリ制御部

1 L

226 マノレチプレクサ

228 - -228 セレクタ

1 n

229 セレクタ制御部

230 周回積分部

240 輝度差算出部

250 変化円検出部

260 ポインタ咅

270 瞳孔位置検出部

280 瞳孔候補保持部

290 瞳孔選択部

発明を実施するための最良の形態

[0008] 本発明は、高速にかつ精度よく瞳孔位置の検出が可能な瞳孔検出装置を提供する。

[0009] 本発明の瞳孔検出装置は、画像データ抽出部と、周回積分部と、瞳孔位置検出部とを備える。画像データ抽出部は、同心円状の複数の円をそれぞれ積分円として目画像上に設定し積分円の円周上に位置する目画像の画像データを抽出する。周回積分部は、画像データ抽出部が抽出した画像データを積分円のそれぞれの円周に沿って積分する。瞳孔位置検出部は、周回積分部の積分値が積分円の半径に対してステップ状に変化するような積分円の中心座標を、瞳孔位置座標として検出する。画像データ抽出部は、部分フレームメモリと、マルチプレクサとを有する。部分フレームメモリは、ランダムアクセス可能な複数のラインメモリを有する。マルチプレクサは、部分フレームメモリから読出された画像データを順次切替えて積分円のそれぞれに対応して抽出すべき画像データを選択する。この構成により、高速に、かつ精度よぐ瞳孔位置の検出が可能となる。

[0010] また、本発明の瞳孔検出装置における画像データ抽出部は、積分円のそれぞれに対応する複数の画像データを同時に抽出することが望ましい。この構成により、各積分円に対する演算を並列に行うことができ、高速な瞳孔検出が可能となる。

[0011] また、本発明の瞳孔検出装置は、抽出すべき画像データの位置を、次のように設定することが望ましい。すなわち、部分フレームメモリに目画像の画像データを入力する周期内に複数のラインメモリのそれぞれ力抽出すべき画像データの数が、積分円のそれぞれに対応して抽出すべき画像データの数の最大値以下となるようにする。この構成により、ラインメモリのアクセス回数を減らすことができるので、ある程度、動作速度の遅いラインメモリを用いることができ、部分フレームメモリの設計の自由度が上がる。

[0012] また、本発明の虹彩認証装置は、本発明の瞳孔検出装置を備える。この構成により

、精度よぐかつ高速に、瞳孔位置の検出が可能な虹彩認証装置を提供することができる。

[0013] 以下、本発明の実施例における瞳孔検出装置を用いた虹彩認証装置について、図面を用いて説明する。

[0014] (第 1実施例）

図 1は、本発明の第 1実施例における瞳孔検出装置を用いた虹彩認証装置の回路ブロック図である。図 1は、瞳孔検出装置 200にカ卩えて、虹彩認証装置 100を構成するために必要な撮像部 120、照明部 130、認証処理部 140も示している。

[0015] 第 1実施例における虹彩認証装置 100は、撮像部 120と、瞳孔検出装置 200と、認証処理部 140と、照明部 130とを備えている。撮像部 120は、使用者の目画像を撮像する。瞳孔検出装置 200は、目画像の中力瞳孔位置とその半径を検出する。認証処理部 140は、目画像から得られた虹彩コードを登録されて!ヽる虹彩コードと比較して個人認証を行う。照明部 130は、目画像取得に適した光量の近赤外線を照射し、使用者の目とその周辺部分を照明する。

[0016] 撮像部 120は、誘導ミラー 121と、可視光カットフィルタ 122と、レンズ 123と、撮像素子 124と、前処理部 125とを有する。本実施例においては、レンズ 123として、固定焦点レンズを用いることにより、光学系の小型、軽量化と低コスト化とを実現している。誘導ミラー 121は、使用者が自らの目を映すことにより、目を正しい撮像位置へ誘導する。そして、使用者の目は、レンズ 123、可視光カットフィルタ 122を通して、撮像素子 124で撮像される。前処理部 125は、撮像素子 124の出力信号から画像データ成分を取り出し、ゲイン調整等の画像データとして必要な処理を行った上で、使用者の目画像データとして出力する。

[0017] 瞳孔検出装置 200は、画像データ抽出部 220と、周回積分部 230と、輝度差算出部 240と、変化円検出部 250と、ポインタ部 260と、瞳孔位置検出部 270とを有する。目画像の中から、瞳孔位置とその半径を検出し、認証処理部 140へ出力する。瞳孔検出装置 200の詳細については後述する。

[0018] 認証処理部 140は、瞳孔検出装置 200が検出した瞳孔中心座標および瞳孔半径にもとづき、目画像データの中から虹彩画像を切り出す。そして、虹彩画像を、虹彩の模様を示す固有の虹彩コードに変換し、登録されている虹彩コードと比較することによって認証動作を実行する。

[0019] 次に、瞳孔検出装置 200の瞳孔検出方法について説明する。図 2A〜図 2Dは、本発明の第 1実施例における瞳孔検出装置の瞳孔検出方法を説明するための図である。図 2Aは、瞳孔を含む画像の一例を示す。図 2Bは、積分円の半径に対する積分値を示す。図 2Cは、積分値を積分円の半径で微分した値を示す。図 2Dは、目画像上を移動する積分円を示す。

[0020] 瞳孔を含む画像は、図 2Aに示すように、瞳孔を示す円盤状の低輝度領域と、その外側に虹彩を示す円環状の中輝度領域とが存在する。したがって、瞳孔中心の位置座標 (Xo, Yo)を中心として、半径 Rの積分円 Cの円周に沿って画像データを周回積分すると、図 2Βに示すように、積分値 Iは、瞳孔半径 Roのところで、ステップ状に変ィ匕すること〖こなる。そこで、図 2Cに示すように、積分値 Iを半径 Rで微分した値 dl/d Rが、閾値 (以下、「差分閾値」と記する） A lthを超えるときの積分円の半径を求めることにより、瞳孔半径 Roを知ることができる。

[0021] 以上の考え方にもとづき、瞳孔検出装置 200は、瞳孔の位置座標 (Xo, Yo)と瞳孔半径 Roとを検出する。まず、図 2Dに示すように、中心座標が等しく半径の異なる n個の積分円 C〜Cを目画像上に設定し、各々の積分円 C (i= l〜n)に対して、その円周上に位置する画像データを積分する。現実的には、各々の積分円 Cの円周上に位置する画素の画像データの平均値を計算する。あるいは、円周上に位置する画素の中から一定数 (m個）の画素を選んでその画像データを加算する。

[0022] 本実施例においては、同心円状の積分円の数 nを 20とし、各積分円 Cの円周上に位置する画素の中から m= 8画素を選んで、その画像データを加算し、周回積分の積分値 Iとした。この場合、積分円 C〜Cの中心が、瞳孔中心と一致している場合には、上述したように、各積分円に対する積分値 I力ステップ状に変化する。よって、積分値 Iの半径 Rに対する差分値 Δ Ιを求めると、瞳孔半径 Roに等しいところで大きな極大値を示すことになる。ところが、積分円 C〜Cの中心が、瞳孔中心に一致しない場合は、積分値 Iは緩やかに変化するので、その差分値 Δ Ιは大きな値を示さない。したがって、差分値 Δ Ιが差分閾値 A lthよりも大きな値を示す積分円 Cを求めることで、瞳孔の位置とその半径とを求めることができる。

[0023] そして、目画像上の各位置に積分円 C〜Cを移動させて、上述の動作を繰り返す。こうして、差分値 Δ Ιが大きな値を示すときの積分円 Cの中心座標 (X, Y)とそのときの半径 Rとを求めることにより、瞳孔の位置座標 (Xo, Yo)と瞳孔半径 Roとを求めることができる。

[0024] し力しながら、画像によっては、偶発的に、差分値 Δ Iが大きな値を示す可能性がある。特に、積分円の数 nや各積分円上で選択する画素の数 mを小さくすると、計算量を減らすことができ、高速な瞳孔検出が可能となるが、反面、偶発的に差分値 Δ Ι が大きな値を示す可能性が高くなり、瞳孔検出精度が低下する。そのため、瞳孔検出装置 200に輝度差算出部 240を設け、積分円 Cの各々に対して、円周上における輝度の最大値と最小値の差 Bを求める。その差 Bが、所定の閾値 (以下、「輝度差閾値」と記する) Bthより小さい場合に限り、積分値 ^、あるいはその差分値が有効であるとすることで、瞳孔検出精度の低下を防ヽで、る。

[0025] 図 3A及び図 3Bは、輝度差算出部 240の動作を説明するための図である。図 3A は、積分円が虹彩領域に位置する場合の目画像とそのときの輝度の一例を示す。図 3Bは、積分円がメガネフレームに位置する場合の目画像とそのときの輝度の一例を示す。積分円 C〜Cの中心が瞳孔中心と一致している場合には、各積分円 Cは、瞳孔領域内部や、虹彩領域内部等のような、比較的輝度の均一な領域に位置するため、円周上の画像データの輝度ばらつきは小さい。図 3Aに、円環状の中輝度領域である虹彩領域に位置する積分円を示して!/ヽる。

[0026] この場合、円周上の輝度の最大値と最小値との差 Bは小さぐ輝度差閾値 Bth以下となる。しかし、たとえば図 3Bに示すように、積分円 C〜Cの中心が黒いメガネフレームの一部に位置するときには、円周上の輝度は、メガネフレーム上では低ぐ皮膚の部分では高くなるため、輝度の最大値と最小値との差 Bは大きくなる。このように、各積分円 Cの円周上の輝度の最大値と最小値との差 Bを求め、その差 Bが、輝度差閾値 Bthより小さい場合に限り、積分値 I、あるいはその差分値 Δ Ιが有効であるとする。こうすることで、メガネフレーム等を誤って瞳孔と判定する等の誤判定を防ぐことができ、瞳孔検出精度の低下を防止できる。

[0027] なお、輝度差閾値 Bthとしては、円周上の輝度データの予想されるばらつきより、わずかに大きく設定することが望ましい。すなわち、虹彩の平均輝度と瞳孔の平均輝度との差よりも大きぐ肌の平均輝度と瞳孔の平均輝度との差よりも小さく設定するとよい。たとえば、 256階調の画像信号の場合、瞳孔の平均輝度が 40階調程度、虹彩の平均輝度が 100階調程度、肌の平均輝度が 200階調程度となる。したがって、輝度差閾値 Bthとしては、 60〜160の間で設定するとよい。

[0028] また、積分円が瞳孔上にある場合の積分値 Iは、およそ 40 X 8 = 320であり、積分円が虹彩上にある場合の積分値 Iは、およそ 100 X 8 = 800である。よって、差分閾値 A lthとしては、その差 480の半分程度、すなわち 240程度に設定するとよい。

[0029] 図 4は、本発明の第 1実施例における瞳孔検出装置の回路ブロック図である。瞳孔検出装置 200は、画像データ抽出部 220と、周回積分部 230と、輝度差算出部 240 と、変化円検出部 250と、ポインタ部 260と、瞳孔位置検出部 270とを備えている。画像データ抽出部 220は、目画像上に積分円 C 〜Cを設定し各積分円 ^の円周上の画像データを抽出する。周回積分部 230は、抽出された画像データを積分円 C毎に周回積分する。輝度差算出部 240は、各積分円毎に画像データの最大値と最小値との差 Bを求める。変化円検出部 250は、積分値 Iの半径 Rに対する差分値 Δ Ιを求め差分値の最大値 Δ Iが差分閾値 Δ Ithよりも大き、ときの差分値 Δ Iと積分円の半径 Rを出力する。ポインタ部 260は、積分円 C 〜Cの中心座標 (X, Y)を指示する。瞳孔位置検出部 270は、瞳孔候補保持部 280と瞳孔選択部 290とからなる。

[0030] 瞳孔候補保持部 280は、変化円検出部 250が差分閾値 A lthよりも大きい差分値

Δ を出力したとき、瞳孔候補を検出したものとみなし、複数の瞳孔候補の位置座標（ X, Υ)と半径 Rとを記憶する。瞳孔選択部 290は、複数の瞳孔候補の中から 1つの瞳孔を選び出す。このようにして、瞳孔位置検出部 270は、目画像の中力も瞳孔の位置座標と瞳孔の半径とを検出する。

[0031] 図 5は、画像データ抽出部 220の回路ブロック図である。画像データ抽出部 220は、部分フレームメモリ 222と、マルチプレクサ 226とから構成されている。マルチプレクサ 226は、部分フレームメモリ 222から読出された画像データを各々の積分円 C毎にまとめて出力する。部分フレームメモリ 222は、ランダムアクセス可能なラインメモリ 22 4 〜224を複数個接続して構成されている。メモリ制御部 225 〜225によって、対

1 し 1 し

応するラインメモリ 224 〜224の読出し書込みが制御されている。

1 L

[0032] マルチプレクサ 226は、 η個の積分円 C 〜Cに対応する n個のセレクタ 228 〜22

8と、セレクタ制御部 229と力も構成されている。セレクタ 228は、部分フレームメモリ 222から出力される画像データのうち、対応する積分円 Cの円周上に位置する画像データを選択し出力する。

[0033] 図 6および図 7は、画像データ抽出部 220の動作を説明するための図である。以下では、簡単のために、 7本のラインメモリ 224 〜224が部分フレームメモリ 222を構成し、その上に 3つの同心円状の積分円 C 〜Cを設定するものとする。そして、それ

1 3

ぞれの積分円 C 〜Cの円周上に位置する画素の中からそれぞれ 4画素ずつを選ん

1 3

でその画素データを抽出するものとして説明する。 [0034] 図 6は、部分フレームメモリ 222上に設定された 3つの積分円 C〜Cと、それぞれ

1 3

の積分円上から抽出すべき 12の画像データ D とを示している。ここで、画像データ，

D の iはラインメモリ 224〜224を識別するための添字であり、 jは積分円 C〜Cを i, j 1 7 1 3 識別するための添字である。

[0035] 図 7は、前処理部 125から送られる画像データ Sigとラインメモリ 224〜224力も出力される画像データとを示すタイミングチャートである。ここで、前処理部 125から 1つの画像データが送られる期間 Tsigの間に、ラインメモリ 224〜224が合計 8回の読出し書込み動作を行う期間 T1〜T8が設けられているものとする。

[0036] 最初の期間 T1では、各ラインメモリ 224は書込まれている最も古い画像データを次のラインメモリ 224 に出力する。次の期間 Τ2では、 1つ前のラインメモリ 224 か i+l i-1 ら出力された画像データを空いたデータエリアへ書込む。この場合、最初のラインメモリ 224は、前処理部 125から出力された画像データを、空いたエリアへ書込む。このように、最初の 2つの期間 Tl、 Τ2は、ラインメモリ 224〜224を部分フレームメモリ 222として機能させるために使用する。

[0037] 続く 6つの期間 Τ3〜Τ8は、画像データ D を抽出するために使われる。ラインメモ，

リ 224は、積分円 Cに対応する 1つの画像データ D を出力する。ラインメモリ 224 は、 1つの画像データ D を出力する。ラインメモリ 224は、 1つの画像データ D を

2, 2 3 3, 3 出力する。そして、ラインメモリ 224は、画像データ D 、 D 、 D をそれぞれ 2つ

4 4, 1 4, 2 4, 3

ずつ、合計 6つのデータを出力する。ラインメモリ 224は、 1つの画像データ D を出

5 5, 3 力する。ラインメモリ 224は、 1つの画像データ D を出力する。ラインメモリ 224は

6 6, 2 7

、 1つの画像データ D を出力する。

[0038] 画像データの出力においては、それぞれのラインメモリが、どのタイミングで、どの画像データを出力するかは、ある程度自由に設定できる。しかし、同一の積分円に対応する画像データを、同一タイミングで出力しな、ように決められて、る。

[0039] 次に、各ラインメモリは、図 7に示した順に、それぞれの画像データを出力するものとして、マルチプレクサ 226の動作について説明する。積分円 Cに対応するセレクタ 228は、期間 Τ3において、ラインメモリ 224の出力を選択し、画像データ D を出

1 4 4, 1 力する。期間 Τ4においても、ラインメモリ 224の出力を選択し、もう 1つの画像データ D₄ェを出力する。期間 T5においては、ラインメモリ 22^の出力を選択し、画像データ D を出力する。期間 T6においては、ラインメモリ 224の出力を選択し、画像データ D を出力する。

[0040] 選択すべきラインメモリが存在しない期間 T7、 Τ8では、値「0」（図 5においては接地記号で表示）を選択する。こうして、セレクタ 228からは、積分円 Cの円周上の画像データ D 、 D 、 D 、 D だけが出力される。セレクタ 228は、期間 T3ではラインメモリ 224、期間 Τ4ではラインメモリ 224、期間 Τ5および Τ6ではラインメモリ 22

2 6

4の出力を選択する。そして、積分円 Cの円周上の画像データ D 、 D 、 D 、 D

4 2 2, 2 6, 2 4, 2 を出力する。

4， 2

[0041] セレクタ 228も同様に、期間 Τ5ではラインメモリ 224、期間 Τ6ではラインメモリ 22

3 3

4、期間 Τ7および Τ8ではラインメモリ 224の出力を選択する。そして、積分円 Cの

5 4 3 円周上の画像データ D 、 D 、 D 、 D を出力する。こうして、マルチプレクサ 2

3, 3 5, 3 4, 3 4, 3

26からは、部分フレームメモリ 222から読出された画像データが積分円毎にまとめて同時に抽出され出力される。

[0042] そして、部分フレームメモリ 222へ画像データ Sigを 1画素入力する毎に、出力すベき画像データ D を 1画素分移動するように、メモリ制御部 225 〜225はラインメモリ

1 し

224 〜224のアドレスを制御する。その結果、 1フレーム分の画像データが部分フ

1 し

レームメモリ 222に入力する間に、目画像上では、積分円 C 〜Cが目画像全体を走查すること〖こなる。この場合の積分円の中心座標 (X, Y)は、 Xカウンタ 262および Y カウンタ 264の出力によって示される。

[0043] 以上の説明では、ラインメモリの数 L = 7、積分円の数 n= 3、 1つの積分円の円周上から取り出すべき画像データの数 m=4として説明したが、これらの数は、検出精度、処理時間、回路規模等との兼ね合いで決定することが望ましい。以上が、画像データ抽出部 220の構成とその動作である。

[0044] 周回積分部 230は、積分円 C 〜Cの各々に対して独立な加算器 230 〜230を備え、各積分円 Cの円周上に位置する m個の画像データを加算し、各々の加算結果を積分値 Iとして変化円検出部 250へ出力する。

[0045] 輝度差算出部 240は、積分円 C 〜Cの各々に対して独立な輝度差算出器 240 〜240_nを備える。各々の輝度差算出器 24(^は、積分円 ^の円周上に位置する m個の画素データの最大値と最小値とを検出し、その差 Bと輝度差閾値 Bthとを比較して、 n個の比較結果を変化円検出部 250へ出力する。

[0046] 変ィ匕円検出咅 250は、減算器 252〜252 と、セレクタ 253と、コンノレータ 254 とを備える。減算器 252は、各積分円 Cに対する積分値 Iの、半径 Rに対する差分を求める。すなわち、積分円 C〜Cのうち、半径の 1つ違う積分円 Cとじとに対する積分値 Iと、 I との差分値 Δ Ιを求める。ただし、積分円 Cに対する画像データの最大値と最小値との差 Bが、輝度差閾値 Bthよりも大きい場合には、差分値 Δ Ιを強制的に 0に設定する。

[0047] そして、セレクタ 253およびコンパレータ 254は、差分値 Δ Ιが、差分閾値 A lthより大きくなる積分円 Cの半径 Rを、瞳孔候補保持部 280に出力するとともに、その差分値 Δ Ιも、評価銜として、瞳孔候補保持部 280に出力する。この場合、積分円 Cに

0 i 対する画像データの最大値と最小値との差 Bが、輝度差閾値 Bthよりも大きい場合、減算器 252iは、差分値 Δ Ιを強制的に 0に設定する。従って、差 Bが輝度差閾値 Bt hよりも大きい場合には、半径 Rが瞳孔候補保持部 280に出力されることはない。

[0048] 図 3を用いて説明したように、積分円 C〜Cの中心が瞳孔の中心と一致している場合には、画素データの最大値と最小値との差 Bは、ある限られた値以下となる。しかし、瞳孔の中心と一致していない場合には、差 Bは大きくなる。したがって、差 Bが輝度差閾値 Bthよりも大きい場合の情報を除くことにより、誤検出の可能性を減らすことができ、瞳孔検出精度を上げることができる。

[0049] 図 8は、瞳孔位置検出部 270、すなわち瞳孔候補保持部 280および瞳孔選択部 2 90の回路ブロック図である。瞳孔候補保持部 280は、複数の最大値検出器 280〜 280力それぞれ直列に接続されている。最大値検出器 280の各々は、レジスタ 28 k i

2、 283、 284および 285と、コンノレータ 281と、セレクタ 286、 287、 288および 289とを備えて!/ヽる。レジスタ 282、 283、 284および 285は、睦孑し候ネ ΐの X座標、 Υ座標、半径 Rおよび評価銜の最大値を保持する。コンパレータ 281は、入力した評価街とレジスタ 285に保持してヽる評価ィ直了とを比較する。セレクタ 286、 287. 、 288および 289は、入力した X座標、 Υ座標、半径 Rおよび評価銜と保持している X座標、 Y座標、半径 Rおよび評価銜のいずれかを選択する。

[0050] 先頭の最大値検出器 SSC^には、積分円の座標を示す Xカウンタ 262および Yカウンタ 264の出力 X、 Yが入力され、変化円検出部 250の出力 Rも入力されている。

0 0 0

[0051] そして、変化円検出部 250から出力される評価街 1S レジスタ 285の保持してい

0 1

る評価銜よりも大きい場合には、それまでレジスタ 282〜285に保持していた X座標 X、 Y座標 Y、半径 R、評価銜をセレクタ 286〜289を介して 2番目の最大値検出器 280に出力する。さらに、新しく入力した X座標 X、 Y座標 Y、半径 R、評価

2 0 0 0 銜を、レジスタ 282〜285に保持する。一方、評価銜 1S 評価銜以下の場合

0 1 1 0 1 には、新しく入力した X座標 X、 Y座標 Y、半径 R、評価街を、セレクタ 286〜28

0 0 0 0 1

9を介して、 2番目の最大値検出器 280に出力する。

1 2

[0052] 2番目の最大値検出器 280は、 1番目の最大値検出器 280から出力される評価

2 1

街力レジスタ 285の保持している評価街よりも大きい場合には、それまでレジス

1 2 2

タ 282〜285に保持していた X座標 X、 Y座標 Y、半径 R、評価街を、 3番目の

2 2 2 2 2 2 最大値検出器 280に出力する。さらに、新しく入力した X座標 X、 Y座標 Y、半径 R

3 1 1

、評価街を、レジスタ 282〜285に保持する。一方、評価街 1S 評価街以下

1 1 2 2 1 2 の場合には、新しく入力した X座標 X、 Y座標 Y、半径 R、評価銜を、 3番目の最大値検出器 280に出力する。

3

[0053] 以下同様に、 i番目の最大値検出器 280は、上流側の最大値検出器 280 力も出力される評価街力それまで保持していた評価値 Tよりも大きい場合には、それまで保持していたデータを下流側の最大値検出器 280 に出力するとともに上流側の

i +1

データを保持する。一方、評価街力評価街以下の場合には、上流側のデータを下流側に出力する。

[0054] その結果、先頭の最大値検出器 280には、最も評価値の大きい瞳孔候補に対する X座標 X、 Y座標 Y、半径 R、評価銜が保持される。 2番目の最大値検出器 280 には、 2番目に評価値の大きい瞳孔候補に対する X座標 X、 Y座標 Y、半径 R、評

2 2 2 2 価街が保持される。そして、 i番目の最大値検出器 280には i番目に評価値の大き

2 i

V、瞳孔候補に対する X座標 X、 Y座標 Y、半径 R、評価街が保持される。

[0055] なお、本実施例の変化円検出部 250のセレクタ 253は、差分値 Δ Ιの最大値と、そのときの積分円 Cの半径 Rとを選択する機能をもっている。し力しながら、瞳孔候補保持部 280は、もともと最大値を検出する機能をもっている。したがって、セレクタ 253として、単純に時分割で減算器 252〜252 の出力と、積分円の半径とを出力する構成とすることも可能である。

[0056] 瞳孔選択部 290は、瞳孔候補保持部 280に保持されている複数の瞳孔候補の中力も 1つを選び出し、その位置座標および半径を、瞳孔の位置座標および半径として、認証処理部 140へ出力する。

[0057] 図 9は、瞳孔選択部 290の動作を説明するための図である。瞳孔候補 P、 Pは、ま

1 2 つげを瞳孔と間違って検出したものであり、瞳孔候補 P〜P は、真の瞳孔を検出し

3 11

たものである。このように、一般に、誤検出された瞳孔候補が密集することはほとんどないが、真の瞳孔の周囲には、瞳孔候補が密集する傾向がある。これは、瞳孔候補の検出精度に依存し、検出精度がよくなるほど、密集する瞳孔候補の数は少なくなる

[0058] しかし、精度を上げても、撮像素子に依存する 1画素程度の誤差は残るため、真の瞳孔の中心位置に隣接する画素位置には、他の瞳孔候補の中心が存在する可能性が高い。また、照明光が角膜で反射する等の影響で、真の瞳孔の周囲に、瞳孔候補力 S生じる場合もある。したがって、周囲に他の瞳孔候補の存在する瞳孔候補を、真の瞳孔として選択することにより、まつげ等を瞳孔と間違って検出する等の誤検出をなくし、瞳孔検出精度を向上させることができる。

[0059] 本実施例においては、次のようにして、複数の瞳孔候補の中から、 1つを選び出している。複数の瞳孔候補に対して、互いに距離の近いものを 1つのグループとして、グループ分けする。そして、それぞれのグループに含まれる瞳孔候補の数の多いもの、あるいは、含まれる瞳孔候補の評価値の合計が高いもの、を手がかりにして真の瞳孔を選択している。図 10は、このような考え方にもとづいて、瞳孔候補の中から、瞳孔を選択する動作を示すフローチャートである。

[0060] まず、瞳孔選択部 290は、瞳孔候補を 1つ取り込む。取り込んだ瞳孔候補の X座標、 Y座標、半径および評価値を、それぞれ Xi、 Yi、 Riおよび Jiとする（S71)。次に、 X 座標、 Y座標および半径のそれぞれについて、瞳孔候補の値 Xi、 Yiおよび Riと、グループの平均値 Xgj、 Ygjおよび Rgj (jは正の整数）との差が、所定の閾値 Xth、 Yth および Rthより、小さくなるグループが存在する力調べる。すなわち、 | Xi— Xgj | < Xth、 I Yi-Ygj I <Yth、 I Ri-Rgj I < Rthを満たすグループが存在するか調ベる（S72)。

[0061] 存在する場合には、ステップ S71で取り込んだ瞳孔候補を、そのグループに追カロする（S73)。存在しない場合には、ステップ S71で取り込んだ瞳孔候補だけを含む新たなグループを作成する（S74)。次に、ステップ S 73で瞳孔候補を追加されたグループ、あるいはステップ S74で新たに作成されたグループに対して、平均値 Xgj、 Ygjおよび Rgjの再計算を行う（S75)。グループ分けの終えていない瞳孔候補が残つて、る場合は、ステップ S71に戻る（S76)。

[0062] すべての瞳孔候補のグループ分けを終えると、各々のグループに対して、そのダループに含まれる各瞳孔候補の評価値の合計∑Jを求める（S77)。そして、評価値の合計∑Jが最大のグループの、 X座標、 Y座標および半径の平均値、 Xgj、 Ygjおよび Rgjを、瞳孔の X座標、 Y座標および半径として、認証処理部 140へ出力する（S78)

[0063] 以上の方法によれば、原理的には瞳孔候補の順序によりグループ分けの結果が変わる等の不安定さはある。しかし、誤検出される瞳孔候補は孤立しており、真の瞳孔を含む瞳孔候補の集まりは密集しているため、たとえば、 Xth、 Ythの値を、予想される瞳孔半径の 1Z2程度に設定すれば、事実上問題は発生しない。瞳孔選択部 290 は、以上の動作を行う専用回路を用いて構成することも可能であるが、本実施例にお V、ては、認証処理部 140に設けられて!/、る CPU (図示せず）を用いて上述の処理を行っている。そして、このフローによれば、データ処理が比較的簡単であり、高速動作に適している。

[0064] 次に、瞳孔検出装置 200の動作について説明する。以下の説明では、目画像データが順次走査データであり、 1フレームが、たとえば 480ライン X 640ピクセルのデジタルデータで構成されているものとする。図 11は、本発明の第 1実施例における瞳孔検出装置の目画像 1フレーム分の動作を示すフローチャートである。

[0065] まず、瞳孔検出装置 200は、 1画素分の画像データを取り込む（S51)。取り込んだ画像データが、 1フレームの先頭のデータであれば（S52)、 Yカウンタ 263をリセットするとともに、瞳孔候補保持部 280の各レジスタ 282〜285をリセットする（S53)。取り込んだ画像データが、 1ラインの先頭のデータであれば（S54)、 Xカウンタ 262をリセットし、 Yカウンタ 264をインクリメントする（S55)。そして、 Xカウンタ 262をインクリメントする（S56)。

[0066] 次に、取り込んだ画像データを、部分フレームメモリ 222に取り込む。すると、目画像上で n個の積分円 C〜Cに対応する画素のうち、各々の積分円 C力 m個ずつ、 n X m個の画像データが引出される。そして、各積分円 Cに対応する加算器 230は、それぞれ画像データの積分値 Iを算出する。輝度差算出器 240は、画像データの最大値と最小値との差 Bを算出する。変化円検出部 250は、それぞれの積分値 ^の差分値 Δ Ιを計算する。ただしこの場合、差 B力輝度差閾値 Bthよりも大きい場合には、差分値 Δ Ιを強制的に 0とする（S57)。

[0067] そして、コンパレータ 254力差分値 Δ Iと差分閾値 Δ Ithとを比較する（S58)。差分値 Δ Ιが、差分閾値 Δ Ithより大きい場合には、瞳孔候補保持部 280は、この場合の Xカウンタ 262、 Yカウンタ 264および積分円の半径 Roを、瞳孔候補として保持するとともに、その差分値 Δ Ιも評価銜 oとして保持する。この場合、瞳孔候補保持部 2 80は、評価値の大きい順に瞳孔候補を並べ替え、最大 k個の瞳孔候補を保持する（ S59)。次に、取り込んだ画像データが、 1フレームの末尾のデータであるか否かを判定し（S60)、末尾でなければステップ S 51に戻る。

[0068] 入力される画像データが、 1フレームの最後の画素に到った場合は、瞳孔選択部 2 90は、それぞれの瞳孔候補に対して、その中心座標に隣接する画素位置に存在する他の瞳孔候補の数を計算する。そして、その値が最も大きい瞳孔候補の X座標、 Y 座標および半径の値を、真の瞳孔の X座標 Xo、 Y座標 Yoおよび瞳孔半径 Roとして、認証処理部 140へ出力する（S61)。

[0069] 以上の、ステップ S51からステップ S61までの一連の動作は、部分フレームメモリ 22 2に画像データを 1画素分入力する毎に実行される。たとえば、フレーム周波数が 30 Hzで、目画像力 40 Χ 480画素で構成されている場合、 lZ (30 X 640 X 480)禾少以下の時間で、上記の一連の動作が実行される。そして、部分フレームメモリ 222に 1画素入力されると、積分円は画像上で 1画素分移動するので、 1フレームの画像を入力する間に、積分円が画像上を 1回走査することになる。このようにして、比較的小規模な回路を用いて、撮像部 120で撮像された画像データに対して、リアルタイムで瞳孔検出することができる。

[0070] (第 2実施例）

本発明の第 2実施例における瞳孔検出装置の回路ブロックは、第 1実施例と同様であるので、それぞれに第 1実施例と同一の符号を付して説明を省略する。第 2実施例における瞳孔検出装置が、第 1実施例のそれと大きく異なるところは、画像データ抽出部 220において、それぞれの積分円に対応して選び出す画像データの選び方と、各ラインメモリ 224〜224のアクセスのタイミングである。

1 L

[0071] 図 12、図 13は、本発明の第 2実施例における画像データ抽出部 220の動作を説明するための図である。ここでも、第 1実施例と同様、説明を簡単にするために、 7本のラインメモリ 224〜224が部分フレームメモリ 222を構成し、その上に 3つの同心円状の積分円 C〜Cを設定する。そして、それぞれの積分円 C〜Cの円周上に位

1 3 1 3

置する画素の中から、それぞれ 4画素ずつを選んでその画素データを抽出するものとして説明する。第 1実施例においては、図 6に示したように、抽出すべき画像データ力ラインメモリ 224に集中していた。

4

[0072] しかし、第 2実施例においては、抽出すべき画像データが、 1つのラインメモリに集中しないように選択されている。特に、 1つのラインメモリから抽出すべき画像データの数が、 1つの積分円から抽出すべき画像データの数 m (ここでは m=4)を超えないように、画像データを選択している。すなわち、最もアクセス回数の多いラインメモリ 2 24から抽出すべき画像データの数は、 4であり、 1つの積分円から抽出すべき画像

4

データの数 m= 4を超えない。

[0073] 図 13は、前処理部 125から送られる画像データ Sig ラインメモリ 224〜224力ら出力される画像データとを示すタイミングチャートである。第 2実施例においては、前処理部 125から 1つの画像データが送られる期間 Tsigの間に、ラインメモリ 224〜 224が合計 6回の読出し書込み動作を行う期間 T1〜T6が設けられている。第 2実施例におけるラインメモリのアクセス回数は、 m+ 2回（ここでは 6回）であり、第 1実施例におけるアクセス回数よりも少なくなつている。

[0074] 最初の期間 T1では、各ラインメモリ 22 は、書込まれている最も古い画像データを、次のラインメモリ 224 に出力する。次の期間 T2では、 1つ前のラインメモリ 224 i+1 i-1 から出力された画像データを、空いたデータエリアへ書込む。この場合、最初のラインメモリ 224は、前処理部 125から出力された画像データを、空いたエリアへ書込む。このように、最初の 2つの期間 Tl、 Τ2は、第 1実施例と同じぐラインメモリ 224〜2 24を部分フレームメモリ 222として機能させるために使用する。

[0075] 続く 4つの期間 Τ3〜Τ6は、画像データ D を取り出すために使われる。ラインメモリ，

224は、積分円 Cに対応する 1つの画像データ D を出力する。ラインメモリ 224 は、 1つの画像データ D を出力する。ラインメモリ 224は、 2つの画像データ D と

2, 2 3 3, 2

D とを出力する。そして、ラインメモリ 224は、画像データ D 、 D をそれぞれ 2

3, 3 4 4, 1 4, 3

つずつ、合計 4つのデータを出力する。ラインメモリ 224は、 2つの画像データ D 、

5 5, 3

D を出力する。ラインメモリ 224は、 1つの画像データ D を出力し、ラインメモリ 2

5, 2 6 6, 2

24₇は、 1つの画像データ D を出力する。

[0076] 画像データの出力にお、ては、それぞれのラインメモリがどのタイミングでどの画像データを出力するかは、ある程度自由に設定できるが、同一の積分円に対応する画像データを、同一タイミングで出力しな、ように決められて、る。

[0077] 次に、各ラインメモリは、図 13に示した順に、それぞれの画像データを出力するものとして、マルチプレクサ 226の動作について説明する。積分円 Cに対応するセレクタ 228は、期間 Τ3において、ラインメモリ 224の出力を選択し、画像データ D を

1 4 4, 1 出力する。期間 Τ4においても、ラインメモリ 224の出力を選択し、もう 1つの画像デ

4

ータ D を出力する。期間 Τ5においては、ラインメモリ 224の出力を選択し、画像データ D を出力する。期間 Τ6においては、ラインメモリ 224の出力を選択し、画像データ D を出力する。

[0078] こうして、セレクタ 228力は、積分円 Cの円周上の画像データ D 、D 、D 、 D だけが出力される。セレクタ 228は、期間 T3ではラインメモリ 224、期間 T4で

7, 1 2 3

はラインメモリ 224、期間 T5ではラインメモリ 224、期間 T6ではラインメモリ 224の

5 2 6 出力を選択する。そして、積分円 Cの円周上の画像データ D 、D 、D 、D を出力する。

[0079] セレクタ 228も同様に、期間 T3ではラインメモリ 224、期間 T4ではラインメモリ 22

3 5

4、期間 T5および T6ではラインメモリ 224の出力を選択する。そして、積分円 Cの

3 4 3 円周上の画像データ D 、 D 、 D 、 D を出力する。こうして、マルチプレクサ 2

5, 3 3, 3 4, 3 4, 3

26からは、部分フレームメモリ 222から読出された画像データ力積分円毎にまとめて出力される。

[0080] そして、部分フレームメモリ 222へ画像データ Sigを 1画素入力する毎に、出力すベき画像データ D を 1画素分移動するように、メモリ制御部 225 〜225は、ラインメモ

1 し

リ 224 〜224のアドレスを制御する。その結果、 1フレーム分の画像データを部分フ

1 し

[0081] 以上の説明では、ラインメモリの数 L = 7、積分円の数 n= 3、 1つの積分円の円周上から取り出すべき画像データの数 m=4として説明した。しかし、本実施例においては、ラインメモリの数 L=41、積分円の数 n= 20、 1つの積分円の円周上から取り出すべき画像データの数 m= 8と設定している。このように、画像データ抽出部 220 力取り出すべき画像データの総数は多いが、これらの画像データ力特定のラインメモリに集中しないように、配置されている。これは、 1つの画像データが送られる期間 Tsigの間に、ラインメモリをアクセスできる回数には上限があり、すべてのラインメモリのアクセス回数を、それ以下に抑えるためである。

[0082] ここで、ラインメモリのアクセス回数および取り出すべき画像データの配置についての考え方を説明する。ラインメモリ 224 〜224を部分フレームメモリとして機能させる

1 し

ために、 2回のアクセスが必要である。したがって、 1つの積分円の円周上から取り出すべき画像データの数を mとするとき、期間 Tsigの間に、各ラインメモリをアクセスすべき回数は、少なくとも m+ 2回必要である。

[0083] したがって、ラインメモリのアクセス回数を少なくするためには、 1つのラインメモリから取り出すべき画像データの数も、 m個以下にすることが望ましい。本実施例においては、 m=8と設定しているので、期間 Tsigにおけるラインメモリのアクセス回数を 10 回と設定する。そして、 1つのラインメモリあたりの画像データの数も、 8個以下となるように、取り出すべき画像データを配置している。

[0084] このように、ラインメモリの最大アクセス回数を制限することにより、 1回あたりのァクセス期間を長く設定できるので、ある程度動作速度の遅いラインメモリを用いることができ、部分フレームメモリの設計の自由度が上がる。

[0085] なお、本発明の第 1実施例および第 2実施例においては、同心円状の積分円の数を 20、 1つの積分円から引出す画像データの数を 8個とした力これらの数は、検出精度、処理時間、回路規模等との兼ね合いで決定することが望ましい。また、 1つの積分円から引出す画像データの数を、すべての積分円に対して同じにする必要はない。この場合には、正規化するために、各積分円の積分値を、その積分円から引出す画像データの数で除しておくとょ、。

[0086] 本発明によれば、精度よぐかつ高速に、瞳孔位置の検出が可能な瞳孔検出装置および虹彩認証装置を提供することができる。

産業上の利用可能性

[0087] 本発明は、精度よぐかつ高速に、瞳孔位置検出可能な瞳孔検出装置を提供することができるので、個人認証等に用いられる虹彩認証装置等として有用である。

Claims

請求の範囲

[1] 同心円状の複数の円をそれぞれ積分円として目画像上に設定し、前記積分円の円周上に位置する目画像の画像データを抽出する画像データ抽出部と、

前記画像データ抽出部が抽出した画像データを前記積分円のそれぞれの円周に沿つて積分する周回積分部と、

前記周回積分部の積分値が前記積分円の半径に対してステップ状に変化するような積分円の中心座標を瞳孔位置座標として検出する瞳孔位置検出部とを備え、前記画像データ抽出部は、ランダムアクセス可能な複数のラインメモリを有する部分フレームメモリと、前記部分フレームメモリから読出された画像データを順次切替えて前記積分円のそれぞれに対応して抽出すべき画像データを選択するマルチプレクサとを有する瞳孔検出装置。

[2] 前記画像データ抽出部は、前記積分円のそれぞれに対応する複数の画像データを同時に抽出する請求項 1に記載の瞳孔検出装置。

[3] 前記部分フレームメモリに目画像の画像データを入力する周期内に、前記複数のラインメモリのそれぞれから抽出すべき画像データの数が前記積分円のそれぞれに対応して抽出すべき画像データの数の最大値以下となるように、前記抽出すべき画像データの位置が設定されて、る請求項 1に記載の瞳孔検出装置。

[4] 請求項 1から請求項 3までのいずれかに記載の瞳孔検出装置を備えた虹彩認証装置。