JP3813043B2

JP3813043B2 - 眼鏡反射検出装置及び眼鏡反射検出方法

Info

Publication number: JP3813043B2
Application number: JP34668499A
Authority: JP
Inventors: 晃二 ▲高▼木; 明利塚本; 孝弘渡辺; 康宏頂; 明宏藤井
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1999-12-06
Filing date: 1999-12-06
Publication date: 2006-08-23
Anticipated expiration: 2019-12-06
Also published as: JP2001167284A

Description

【０００１】
【発明の属する技術分野】
本発明は、眼鏡を装着した被撮影者の撮影画像から、眼鏡での照明反射部分を検出する眼鏡反射検出装置及び眼鏡反射検出方法に関するものである。
【０００２】
【従来の技術】
眼球中のアイリス（虹彩）のパターンは、個人によって異なることが知られている。このアイリスを個人認識の特徴パラメータとするものに、例えば次の文献に記載された個人認識装置がある。
文献；特開平８−５０４９７９号公報
前記文献に記載された個人認識装置では、カメラによって撮影された眼の画像からアイリス領域を抽出してアイリスコードを作成し、該コードに基づき個人を認識している。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のアイリスを利用する個人認識装置等では、次のような課題があった。
より精度の高いアイリスの認識を行う場合には、顔に対して照明を当てる必要がある。ところが、被撮影者が眼鏡１を装着していると、その照明が眼鏡１で反射する。
【０００４】
図２は、眼鏡での照明反射部分を示す図である。
眼鏡１で照明の反射が起り、その反射部分２と瞳孔３の周囲のアイリス４の領域とが図２のように重なると、瞳孔３の周囲のアイリス４のパターンが正確に取得できなくなる。そのため、現在では、例えば眼鏡１を外してもらったり、顔を傾ける等を行ってもらい、不憫なものになっている。
【０００５】
【課題を解決するための手段】
前記課題を解決するために、本発明のうちの請求項１に係る発明は、被撮影者に光を照射する照明と、前記被撮影者の眼の画像を取得するカメラとを有し、前記カメラで取得した前記画像から、前記被撮影者が装着した眼鏡に前記照明が反射した照明反射部分が存在するか否かを検出する眼鏡反射検出装置であって、前記カメラで取得した前記画像から、眼位置として瞳孔の中心とこの瞳孔及び周囲のアイリスの大きさを検出する眼位置検出部と、前記眼位置検出部で検出された前記アイリス及び前記アイリスの近傍を含む領域を設定する領域設定部と、前記領域設定部で設定された前記領域について輝度を測定すると共に、この測定された輝度値が閾値よりも高い画素の度数を前記領域内の一方向に計数し、この計数結果を前記一方向に対して直交する方向に順に出力してヒストグラムを検出するヒストグラム検出部と、前記ヒストグラム検出部で検出された前記ヒストグラムの変化量に基づいてこの変化量が閾値を越えたときに前記照明反射部分が存在すると判定するグラフ解析部とを有している。
【０００６】
請求項２に係る発明では、請求項１の眼鏡反射検出装置において、前記グラフ解析部は、前記ヒストグラムの変化量が前記閾値を越えたときの度数が或る閾値の回数よりも連続する場合に前記照明反射部分が存在すると判定する構成にしている。
【０００７】
請求項３に係る発明は、被撮影者に光を照射する照明と、前記被撮影者の眼の画像を取得するカメラとを用い、前記カメラで取得した前記画像から、前記被撮影者が装着した眼鏡に前記照明が反射した照明反射部分が存在するか否かを検出する眼鏡反射検出方法であって、前記カメラで取得した前記画像から、眼位置として瞳孔の中心とこの瞳孔及び周囲のアイリスの大きさを検出し、前記検出されたアイリス及びこのアイリスの近傍を含む領域を設定し、前記設定された領域について輝度を測定すると共に、この測定された輝度値が閾値よりも高い画素の度数を前記領域内の一方向に計数し、この計数結果を前記一方向に対して直交する方向に順に出力してヒストグラムを検出し、グラフ解析処理により、前記検出されたヒストグラムの変化量に基づいてこの変化量が閾値を越えたときに前記照明反射部分が存在すると判定している。
【０００８】
請求項４に係る発明は、請求項３の眼鏡反射検出方法において、前記グラフ解析処理では、前記ヒストグラムの変化量が前記閾値を越えたときの度数が或る閾値の回数よりも連続する場合に前記照明反射部分が存在すると判定している。
【００１２】
請求項１〜４に係る発明によれば、照明が眼鏡に反射してアイリス個人認識装置等のカメラから入力される画像に照明反射部分があっても、それが検出される。そのため、例えば、照明反射が同時にアイリスに重ならないような複数の照明を備えておき、その照明を切り替えるようにすれば、照明反射部分の無い画像を得ることが可能である。従って、前記課題を解決できるのである。
【００１３】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１の実施形態を示す眼鏡反射検出装置の構成図である。
この眼鏡反射検出装置は、眼鏡の照明反射を検出する装置であり、アイリス個人認識装置のカメラ１０から与えられた撮影画像から被撮影者の眼位置を検出する眼位置検出部１１を備えている。眼位置検出部１１の出力側には、領域設定部１２が接続され、該領域設定部１２の出力側には、輝度測定部１３が接続されている。領域設定部１２は、輝度値を測定するための領域を設定する機能を持ち、輝度値測定部１３がその輝度値を測定する手段である。輝度測定部１３の出力側には、測定面積判定部１４が接続されている。測定面積判定部１４から眼鏡による照明反射の有無が検出結果として出力されるようになっている。なお、輝度値測定部１３及び測定面積判定部１４は、検出手段を構成するものであり、これらには、データベース（ＤＢ）１５が接続されている。
【００１４】
図３は、図１の眼鏡反射検出装置の処理手順を示すフローチャートである。図４は、眼近傍の第１の画像例を示す図であり、従来の図２中の要素と共通の要素には共通の符号が付されている。これらの図３及び図４を参照しつつ、図１の眼鏡反射検出装置の動作を説明する。
図１の眼鏡反射検出装置は、図３のステップＳ１〜Ｓ７を行い、眼鏡１での照明の反射があるか否かを検出する。
【００１５】
まず、ステップＳ１において、アイリス個人認識装置のカメラ１０から、被撮影者の画像が、眼位置検出部１１に入力される。この入力画像には、眼鏡１を装着した被撮影者の眼付近が、図４のように写っており、眼鏡１による照明反射部分２が瞳孔３の周囲のアイリス４の一部にかかっているものとする。
ステップＳ２において、眼位置検出部１１は、入力画像における眼の位置を検出する。この検出により、瞳孔３の中心位置、該瞳孔３の大きさ及びアイリス４の大きさが眼位置情報として求められ、該眼位置情報が領域設定部１２に伝達される。ステップＳ３において、領域設定部１２は、与えられた眼位置情報に基づき、入力画像中のアイリス４に外接する矩形の領域５を設定する。
【００１６】
ステップＳ４において、輝度値測定部１３は、ステップＳ３で設定された領域５における各画素の輝度を測定する。アイリス認識装置では照明として近赤外光が用いられるので、モノクログレスケールで画像を取得したときには、眼鏡１での照明反射部分２は、限りなく白に近い色で撮影されている。これに対し、瞳孔３は黒に近く、アイリス４は、グレーである。これらの照明反射部分２と瞳孔３とアイリス４とでの輝度値が異なることを利用し、照明反射部分２に対応すると推定される画素を抽出し、該画素で占める面積を求める。具体的には、データベース１５から照明の反射に近い輝度値閾値Ｔ_whiteを読出し、領域５内の画素のうち、輝度値ｐが次の（１）式を満たす画素を抽出し、その画素数を面積Ｓとする。
ｐ＞Ｔ_white ・・・（１）
【００１７】
ステップＳ５において、測定面積判定部１４は、ステップＳ４で求められた面積Ｓと、データベース１５から読出された面積閾値Ｔ_areaとの比較を行う。このステップＳ５の比較結果が次の（２）式を満たすとき、ステップＳ６で照明反射部分２があると判定し、（３）式を満たすとき、ステップＳ７で照明反射部分２が無いとす判定する。
Ｓ＞Ｔ_area ・・・（２）
Ｓ≦Ｔ_area ・・・（３）
【００１８】
以上のように、この第１の実施形態では、眼位置検出部１１と、領域設定部１２と、輝度値測定部１３と、測定面積判定部１４とを設けたので、カメラ１０から入力された画像から眼鏡１に照明反射部分２があるかないかを判定することができる。また、入力画像に領域５を設定してその輝度を測定することで、少ない処理量で眼鏡１に照明反射部分２があるかないかを判定できる。
【００１９】
（第２の実施形態）
図５は、本発明の第２の実施形態を示す眼鏡反射検出装置の構成図である。
前記第１の実施形態では、入力画像のアイリス４の部分に照明反射部分２があるときに適した眼鏡反射検出装置を示したが、カメラ等の特性により、アイリス４から外れても、アイリス４の近傍に照明反射部分２があるときには、入力画像のアイリス４の部分にノイズが残り、個体認識の精度が劣化することがある。そのため、照明反射部分２がアイリス４からずれた場合でも、該照明反射部分２の有無を検出する必要がある。
【００２０】
本実施形態の眼鏡反射検出装置は、照明反射部分２がアイリス４からずれた場合でも、該照明反射部分２の有無が可能な眼鏡反射検出装置であり、アイリス認識装置のカメラ２０に接続された第１の実施形態と同様の眼位置検出部２１を備えている。眼位置検出部２１の出力側には、第１の実施形態とは異なる領域設定部２２が接続され、該領域設定部２２の出力側にヒストグラム検出部２３が接続されている。ヒストグラム検出部２３の出力側にグラフ解析部２４が接続されている。ヒストグラム検出部２３とグラフ解析部２４は、検出手段を構成するものであり、これらにデータベース（ＤＢ）２５が接続されている。グラフ解析部２４から検出結果がアイリス個人認識装置に出力されるようになっている。
【００２１】
図６は、図５の眼鏡反射検出装置の処理手順を示すフローチャートである。図７は、眼近傍の第２の画像例を示す図であり、第１の実施形態の図４中の要素と共通の要素には共通の符号が付されている。
この眼鏡反射検出装置は、図６のステップＳ１１〜Ｓ１８を行うことにより、眼鏡１の照明反射部分２の有無を検出する。以下に、その詳細を示す。
【００２２】
まず、ステップＳ１１において、アイリス個人認識装置の持つカメラ２０で撮影した画像が入力され、眼位置検出部２１に与えられる。今、カメラ２０から与えられた画像には、例えば図７のように、照明反射部分２を有する眼鏡１と、瞳孔３、アイリス４及び顔面の皮膚等が撮影されており、該照明反射部分２はアイリス４の下方にずれているものとする。
【００２３】
ステップＳ１２において、眼位置検出分２１は第１の実施形態と同様に、入力画像における瞳孔３の中心位置と大きさを検出すると共に、その瞳孔３の周囲ののアイリス４の大きさ等を検出し、これらの検出結果を領域設定部２２に与える。ステップＳ１３において、領域設定部２２は、輝度を測定するための領域２６を入力画像に設定する。ここで、通常のＣＣＤ等を用いたカメラ２０等では、アイリス４の下方に照明反射部分２が存在するときに、ノイズがそのアイリス４の画像に残りやすい。そのため、領域設定部２２は、アイリス４の幅を有すると共に、下方が入力画像の下端となるような領域２６を設定する。
【００２４】
図８は、ヒストグラム検出部２３が求めるヒストグラムを示す図である。
ステップＳ１４において、ヒストグラム検出部２３は、ステップＳ１３で設定された領域２６の輝度を測定すると共にそのヒストグラム２７を求める。具体的には、データベース２５から照明に近い輝度閾値Ｔ_whiteを読出し、輝度値が前記（１）式を満たす画素を抽出し、該画素の度数を領域２６内のｘ（横）軸方向にカウントし、カウント結果をｙ（縦）軸方向に順に出力してグラフ解析部２４へ与える。
【００２５】
ヒストグラム２７では、照明反射部分２に対応する位置の度数が高くなるばかりでなく、他の位置でも度数が高くなる部分がある。これは、顔面に正面から照明を当てると、眼の下方で皮膚が照明を反射する部分（以下、この部分を皮膚反射部分という）２８があるからである。この皮膚反射部分２８と照明反射部分２とは、輝度値からは区別がつかないが、ヒストグラム２７の照明反射部分２の度数の立上がりは急激に変化するのに対し、皮膚反射部分２８の度数の変化は緩やかである。
【００２６】
ステップＳ１５において、グラフ解析部２４は、ヒストグラム２７の解析を行う。具体的には、グラフ解析部２４は、ｙ軸方向の増分（ライン数）をαとし、次の（４）式からヒストグラム２７の度数ｈ_m（但し、ｍ＝１，２，…）の変化量Ｈを計算する。
Ｈ＝ｈ_m+ _α −ｈ_m ・・・（４）
【００２７】
さらに、グラフ解析部２４は、データベース２５から変化量閾値Ｔ_histを読出し、次の（５）式を用いることにより、ヒストグラム２７の変化量Ｈが変化量閾値Ｔ_histを越えたときのヒストグラム２７の度数ｈ_nと同じ、度数が連続する回数をＮとして検出する。ただし、度数ｈ_nに対する誤差をβとする。
ｉｆ（ｈ_n+m−ｈ_n＜β）Ｎ →Ｎ＋１・・・（５）
【００２８】
ステップＳ１６において、グラフ解析部２４は、変化量Ｈ及びヒストグラム２７の度数連続出現回数Ｎとを用いて眼鏡１の照明反射部分２の存在を判定する。具体的には、次の（６）及び（７）式を満たすときに照明反射部分２があると判定し、その他の場合には照明反射部分２が無いと判定する。
Ｈ＞Ｔ_hist ・・・（６）
Ｎ＞Ｔ_count ・・・（７）
但し、Ｔ_count；度数連続出現回数Ｎの閾値
【００２９】
この判定は、ヒストグラム２７を解析することで、照明の形状により、該ヒストグラム２７の度数が急峻に立ち上がり、その度数が連続するときに照明反射部分２があることを判定している。ヒストグラム２７での変化量Ｈの変化が小さい皮膚反射部分２８は、検出されない。ステップＳ１６での判定結果が、眼鏡１に照明反射部分２があることを示す場合、グラフ解析部２４は、ステップＳ１７でその検出結果をアイリス個人認識装置に出力し、ステップＳ１６での判定結果が眼鏡１に照明反射部分２が無いことを示す場合、ステップＳ１８で該判定結果をアイリス個人認識装置に出力する。
【００３０】
以上のように、この第２の実施形態では、眼位置検出部２１と、領域設定部２２と、ヒストグラム検出部２３と、グラフ解析部２４とで眼鏡反射検出装置を構成したので、眼付近の皮膚に皮膚反射部分２８がある場合でも、照明反射部分２が検出できる。その上、（７）式で度数連続出現回数Ｎを検定するので、瞬間的にヒストグラム２７の度数が上がるようなノイズが入っても、誤検出することが無い。
【００３１】
（第３の実施形態）
図９は、本発明の第３の実施形態を示す眼鏡反射検出装置の構成図である。
この眼鏡反射検出装置は、第２の実施形態と同様に、照明反射部分２がアイリス４からずれた場合でも、該照明反射部分２の有無が検出可能な眼鏡反射検出装置であり、アイリス認識装置のカメラ３０に接続された第２の実施形態と同様の眼位置検出部３１と領域設定部３２とを備えている。領域設定部３２の出力側にエッジ検出部３３が接続されている。エッジ検出部３３の出力側に形状判定部３４が接続されている。エッジ検出部３３と形状判定部３４とは、検出手段を構成するものであり、これらにデータベース（ＤＢ）３５が接続されている。形状判定部３４から、検出結果がアイリス個人認識装置に出力されるようになっている。
【００３２】
図１０は、図９の眼鏡反射検出装置の処理手順を示すフローチャートである。この図１０を参照しつつ、図９の眼鏡反射検出装置の動作を説明する。
この眼鏡反射検出装置は、図１０のステップＳ２１〜Ｓ２８を行うことにより、眼鏡１の照明反射部分２の有無を検出する。以下に、その詳細を示す。
【００３３】
まず、ステップＳ２１において、アイリス個人認識装置の持つカメラ３０で撮影した画像が入力され、眼位置検出部３１に与えられる。今、カメラ３０から与えられた画像には、第２の実施形態の図７のように、照明反射部分２を有する眼鏡１と、瞳孔３、アイリス４及び顔面の皮膚等が撮影されており、該照明反射部分２はアイリス４の下方にずれているものとする。
ステップＳ２２において、眼位置検出分３１は第２の実施形態と同様に、入力画像における瞳孔３の中心位置と大きさを検出すると共に、その瞳孔３の周囲のアイリス４の大きさ等を検出し、これらの検出結果を領域設定部３２に与える。ステップＳ２３において、領域設定部３２は、輝度を測定するための領域２６を、第２の実施形態と同様に入力画像に設定する。
【００３４】
図１１は、エッジ検出例を示す図である。
ステップＳ２４において、エッジ検出部３３は、ステップＳ２３で設定された領域２６におけるエッジを検出する。ここでのエッジ検出は、領域２６に対して行えばよく、ラプラシアンフィルタ等の一般的なフィルタを使用することが可能である。エッジ検出を行うことにより、皮膚反射部分２８のように輝度変化がなだらかな部分のエッジは、図１１のように検出されない。
【００３５】
ステップＳ２５において、形状判定部３４は、予めデータベース３５に保存されている照明の形状に対応するテンプレートを読出し、領域２６に対してこのテンプレートを用いて一致度を求める。つまり、テンプレートを領域２６の端部から順に画素をずらしながら、マッチングを行う。そして、最も高い値を示した一致度をＤとする。
【００３６】
ステップＳ２６において、形状判定部３４は、一致度Ｄが次の（８）式を満たすとき、眼鏡１に照明反射部分２があると判定し、一致度Ｄが次の（９）式を満たすとき、照明反射部分２が無い判定する。
Ｄ＞Ｔ_dist ・・・（８）
Ｄ≦Ｔ_dist ・・・（９）
但し、Ｔ_dist；一致度Ｄの閾値
形状判定部３４は、ステップＳ２６での判定結果が、眼鏡１に照明反射部分２があることを示す場合、ステップＳ２７でその検出結果をアイリス個人認識装置に出力し、ステップＳ２６での判定結果が眼鏡１に照明反射部分２が無いことを示す場合、ステップＳ２８で該判定結果をアイリス個人認識装置に出力する。
【００３７】
以上のように、この第３の実施形態では、眼位置検出部３１と、領域設定部３２と、エッジ検出部３３と、形状判定部３４とで眼鏡反射検出装置を構成したので、エッジ検出により、眼付近の皮膚に皮膚反射部分２８がある場合でも、該皮膚反射部分２８を消し照明反射部分２のみが検出できる。また、テンプレートを用いた判定によって、照明反射部分２を検出するので、照明の形状に対応するテンプレートを予めデータベース３５に保存しておけば、種々の形状の照明にも対応が取れて、照明反射部分２の有無を検出できる。
【００３８】
なお、本発明は、上記実施形態に限定されず種々の変形が可能である。その変形例としては、例えば次のようなものがある。
（ｉ）第１〜第３の実施形態では、アイリス個人認識装置における眼鏡反射検出装置を示したが、他のカメラ１０，２０，３０で撮影した画像からアイリス以外の他の情報を取得する処理装置に適用することも可能である。
（ii）第１及び第２の実施形態では、照明反射部分２を白画素として面積測定やヒストグラム検出を行っているが、カラー画像の場合でも、輝度値に基づいて同様に行うことができる。
【００３９】
（iii) 輝度値に関する閾値判定の（１）式は、カラーパレットが昇順（黒画素が“０”、白画素が例えば“２５５”）の場合を想定しているが、降順の場合にも、不等号の向きを逆にすれば、適用できる。
（iv）第１〜第３の実施形態では、図４或いは図７の領域５，２６を設定しているが、該領域５，２６は、これらに限定されず、任意に広げることができる。
【００４０】
【発明の効果】
以上詳細に説明したように、請求項１〜４に係る発明によれば、アイリスの近傍の皮膚に皮膚反射がある場合でもこの皮膚反射部分を識別して照明反射部分を検出するために、アイリス及びこのアイリスの近傍を含む領域を設定し、この設定された領域について輝度を測定すると共にそのヒストグラムを求め、このヒストグラムの変化量に基づいてこの変化量が閾値を超えたときに照明反射部分が存在すると判定している。これにより、眼の近傍の皮膚に皮膚反射がある場合であっても、これと区別して照明反射部分を検出できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す眼鏡反射検出装置の構成図である。
【図２】眼鏡での照明反射部分を示す図である。
【図３】図１の眼鏡反射検出装置の処理手順を示すフローチャートである。
【図４】眼近傍の第１の画像例を示す図である。
【図５】本発明の第２の実施形態を示す眼鏡反射検出装置の構成図である。
【図６】図５の眼鏡反射検出装置の処理手順を示すフローチャートである。
【図７】眼近傍の第２の画像例を示す図である。
【図８】ヒストグラム検出部２３が求めるヒストグラムを示す図である。
【図９】本発明の第３の実施形態を示す眼鏡反射検出装置の構成図である。
【図１０】図９の眼鏡反射検出装置の処理手順を示すフローチャートである。
【図１１】エッジ検出例を示す図である。
【符号の説明】
１眼鏡
２照明反射部分
３瞳孔
４アイリス
５，２６領域
２７ヒストグラム
２８皮膚反射部分
１０，２０，３０カメラ
１１，２１，３１眼位置検出部
１２，２２，３２領域設定部
１３輝度値測定部
１４測定面積判定部
２３ヒストグラム検出部
２４グラフ解析部
３３エッジ検出部
３４形状判定部

Claims

被撮影者に光を照射する照明と、前記被撮影者の眼の画像を取得するカメラとを有し、前記カメラで取得した前記画像から、前記被撮影者が装着した眼鏡に前記照明が反射した照明反射部分が存在するか否かを検出する眼鏡反射検出装置であって、
前記カメラで取得した前記画像から、眼位置として瞳孔の中心とこの瞳孔及び周囲のアイリスの大きさを検出する眼位置検出部と、
前記眼位置検出部で検出された前記アイリス及び前記アイリスの近傍を含む領域を設定する領域設定部と、
前記領域設定部で設定された前記領域について輝度を測定すると共に、この測定された輝度値が閾値よりも高い画素の度数を前記領域内の一方向に計数し、この計数結果を前記一方向に対して直交する方向に順に出力してヒストグラムを検出するヒストグラム検出部と、
前記ヒストグラム検出部で検出された前記ヒストグラムの変化量に基づいてこの変化量が閾値を越えたときに前記照明反射部分が存在すると判定するグラフ解析部と、
を有することを特徴とする眼鏡反射検出装置。
前記グラフ解析部は、前記ヒストグラムの変化量が前記閾値を越えたときの度数が或る閾値の回数よりも連続する場合に前記照明反射部分が存在すると判定する構成にしたことを特徴とする請求項１記載の眼鏡反射検出装置。
被撮影者に光を照射する照明と、前記被撮影者の眼の画像を取得するカメラとを用い、前記カメラで取得した前記画像から、前記被撮影者が装着した眼鏡に前記照明が反射した照明反射部分が存在するか否かを検出する眼鏡反射検出方法であって、
前記カメラで取得した前記画像から、眼位置として瞳孔の中心とこの瞳孔及び周囲のアイリスの大きさを検出し、
前記検出されたアイリス及びこのアイリスの近傍を含む領域を設定し、
前記設定された領域について輝度を測定すると共に、この測定された輝度値が閾値よりも高い画素の度数を前記領域内の一方向に計数し、この計数結果を前記一方向に対して直交する方向に順に出力してヒストグラムを検出し、
グラフ解析処理により、前記検出されたヒストグラムの変化量に基づいてこの変化量が閾値を越えたときに前記照明反射部分が存在すると判定することを特徴とする眼鏡反射検出方法。
前記グラフ解析処理では、前記ヒストグラムの変化量が前記閾値を越えたときの度数が或る閾値の回数よりも連続する場合に前記照明反射部分が存在すると判定することを特徴とする請求項３記載の眼鏡反射検出方法。