JPH1166317A - 顔映像の目位置検出装置及び方法 - Google Patents
顔映像の目位置検出装置及び方法Info
- Publication number
- JPH1166317A JPH1166317A JP10106009A JP10600998A JPH1166317A JP H1166317 A JPH1166317 A JP H1166317A JP 10106009 A JP10106009 A JP 10106009A JP 10600998 A JP10600998 A JP 10600998A JP H1166317 A JPH1166317 A JP H1166317A
- Authority
- JP
- Japan
- Prior art keywords
- window
- histogram
- face image
- eye position
- peak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 5
- 241001469893 Oxyzygonectes dovii Species 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 2
- 241001504424 Zosteropidae Species 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 ヒストグラムを用いて、顔映像における目
の位置を効果的且つ高い信頼性をもって検出する目位置
検出装置及び方法を提供する。 【解決手段】 顔映像を取り囲むようなウィンドウを
生成するウィンドウ生成部１２０と、顔映像からヒスト
グラムを抽出するヒストグラム取出部１３０と、ヒスト
グラムからピークを検出し、検出したピークの個数を所
定の数と比較するピーク検出部１４０と、両個数が一致
した場合、各顔映像に対するヒストグラムのエリアを計
算するエリア計算部１５０と、各エリアのうち最大のエ
リアを選択し、その最大のエリアを用いて目の位置を決
定する選択部１７０とを含む。
の位置を効果的且つ高い信頼性をもって検出する目位置
検出装置及び方法を提供する。 【解決手段】 顔映像を取り囲むようなウィンドウを
生成するウィンドウ生成部１２０と、顔映像からヒスト
グラムを抽出するヒストグラム取出部１３０と、ヒスト
グラムからピークを検出し、検出したピークの個数を所
定の数と比較するピーク検出部１４０と、両個数が一致
した場合、各顔映像に対するヒストグラムのエリアを計
算するエリア計算部１５０と、各エリアのうち最大のエ
リアを選択し、その最大のエリアを用いて目の位置を決
定する選択部１７０とを含む。
Description
【０００１】
【発明の属する技術分野】本発明は、人の顔の映像にお
ける目の位置を検出する装置及びその方法に関し、特
に、ヒストグラムを用いて、顔映像における目の位置を
検出する目位置検出装置及びその方法に関する。
ける目の位置を検出する装置及びその方法に関し、特
に、ヒストグラムを用いて、顔映像における目の位置を
検出する目位置検出装置及びその方法に関する。
【０００２】
【従来の技術】周知のように、顔映像は目、鼻、口、及
び顔の輪郭のような特徴によって区別できる。このよう
な特徴のうち、目は顔のなかで最も重要な特徴を有して
いる。しかし、映像上の目の位置を正確に検出すること
は非常に難しい作業である。
び顔の輪郭のような特徴によって区別できる。このよう
な特徴のうち、目は顔のなかで最も重要な特徴を有して
いる。しかし、映像上の目の位置を正確に検出すること
は非常に難しい作業である。
【０００３】そのような問題を解決するために、赤外線
を用いる目位置検出システムが提案されてきた。
を用いる目位置検出システムが提案されてきた。
【０００４】図１は、従来の目位置検出システム１０の
概略的なブロック図であって、米国特許第５，２９３，
４２７号明細書に、ＥＹＥ ＰＯＳＩＴＩＯＮ ＤＥＴ
ＥＣＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ
ＴＨＥＲＥＦＯＲなる名称で開示されている。この、車
の運転者等の目の位置を検出するための目位置検出シス
テム１０は、赤外線ストローブ１２、ＴＶカメラ１４、
Ａ／Ｄコンバーター１６、イメージメモリ１８、目ウィ
ンドウ検出部２０、虹彩検出部２２、運転者状態判別部
２４、及びタイミング回路２６を備えている。システム
１０において、赤外線ストローブ１２は赤外線を運転者
の顔に照射する。ＴＶカメラ１４は赤外線により照射さ
れる顔の映像を撮像する。タイミング回路２６は、赤外
線ストローブ１２から放射された赤外線のタイミングと
ＴＶカメラにより撮像された顔映像のタイミングとを一
致させる。Ａ／Ｄコンバーター１６はＴＶカメラ１４に
よって得られた顔映像のアナログ信号（アナログ顔信
号）を、顔映像のデジタル信号（デジタル顔信号）に変
換する。イメージメモリ１８はＡ／Ｄコンバータ１６か
らデジタル顔信号を受け取り、それを格納する。目ウィ
ンドウ検出部２０はイメージメモリ１８内に格納されて
いる映像信号に基づいて、二つの目を含む領域を検出す
る。虹彩検出部２２は、目ウィンドウ検出部２０によっ
て検出された領域内の映像信号を処理して、虹彩位置を
検出する。運転者状態判別部２４は虹彩検出部２２によ
って検出された結果に基づいて、例えば、運転者が居眠
りしているか、または他の所を見ているかを判別する。
概略的なブロック図であって、米国特許第５，２９３，
４２７号明細書に、ＥＹＥ ＰＯＳＩＴＩＯＮ ＤＥＴ
ＥＣＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ
ＴＨＥＲＥＦＯＲなる名称で開示されている。この、車
の運転者等の目の位置を検出するための目位置検出シス
テム１０は、赤外線ストローブ１２、ＴＶカメラ１４、
Ａ／Ｄコンバーター１６、イメージメモリ１８、目ウィ
ンドウ検出部２０、虹彩検出部２２、運転者状態判別部
２４、及びタイミング回路２６を備えている。システム
１０において、赤外線ストローブ１２は赤外線を運転者
の顔に照射する。ＴＶカメラ１４は赤外線により照射さ
れる顔の映像を撮像する。タイミング回路２６は、赤外
線ストローブ１２から放射された赤外線のタイミングと
ＴＶカメラにより撮像された顔映像のタイミングとを一
致させる。Ａ／Ｄコンバーター１６はＴＶカメラ１４に
よって得られた顔映像のアナログ信号（アナログ顔信
号）を、顔映像のデジタル信号（デジタル顔信号）に変
換する。イメージメモリ１８はＡ／Ｄコンバータ１６か
らデジタル顔信号を受け取り、それを格納する。目ウィ
ンドウ検出部２０はイメージメモリ１８内に格納されて
いる映像信号に基づいて、二つの目を含む領域を検出す
る。虹彩検出部２２は、目ウィンドウ検出部２０によっ
て検出された領域内の映像信号を処理して、虹彩位置を
検出する。運転者状態判別部２４は虹彩検出部２２によ
って検出された結果に基づいて、例えば、運転者が居眠
りしているか、または他の所を見ているかを判別する。
【０００５】しかしながら、従来の目位置検出システム
１０においては、赤外線を放射する赤外線ストローブ１
２が必要であるため、システムの構造が複雑となり、更
に、目の位置を検出するには映像データを２値化する必
要があるので、検出プロセスが複雑となるという不都合
があった。
１０においては、赤外線を放射する赤外線ストローブ１
２が必要であるため、システムの構造が複雑となり、更
に、目の位置を検出するには映像データを２値化する必
要があるので、検出プロセスが複雑となるという不都合
があった。
【０００６】
【発明が解決しようとする課題】従って、本発明の主な
目的は、ヒストグラムを用いて、顔映像における目の位
置を効果的且つ高い信頼性をもって検出する目位置検出
装置及び目位置検出方法を提供することにある。
目的は、ヒストグラムを用いて、顔映像における目の位
置を効果的且つ高い信頼性をもって検出する目位置検出
装置及び目位置検出方法を提供することにある。
【０００７】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、各々がグレーレベル値を有する
複数の画素で表現される、人の顔の像である顔映像にお
ける目の位置を検出する目位置検出装置であって、前記
顔映像を取り囲むようなウィンドウを生成するウィンド
ウ生成手段と、前記ウィンドウ顔映像からヒストグラム
を抽出するヒストグラム抽出手段と、前記ヒストグラム
からピークを検出し、前記検出したピークの個数と予め
定められた数とを比較するピーク検出手段と、前記ピー
クの個数と前記予め定められた数とが一致する場合、前
記ウィンドウ顔映像の各々に対するヒストグラムにおけ
る、ピーク値を含む最低画素値または０画素値点間の範
囲の画素数であるエリアを計算するエリア計算手段と、
前記計算されたエリアのうち最大のエリアを選択し、前
記最大のエリアを用いて目の位置を決定する最大エリア
選択手段とを含むことを特徴とする目位置検出装置が提
供される。
めに、本発明によれば、各々がグレーレベル値を有する
複数の画素で表現される、人の顔の像である顔映像にお
ける目の位置を検出する目位置検出装置であって、前記
顔映像を取り囲むようなウィンドウを生成するウィンド
ウ生成手段と、前記ウィンドウ顔映像からヒストグラム
を抽出するヒストグラム抽出手段と、前記ヒストグラム
からピークを検出し、前記検出したピークの個数と予め
定められた数とを比較するピーク検出手段と、前記ピー
クの個数と前記予め定められた数とが一致する場合、前
記ウィンドウ顔映像の各々に対するヒストグラムにおけ
る、ピーク値を含む最低画素値または０画素値点間の範
囲の画素数であるエリアを計算するエリア計算手段と、
前記計算されたエリアのうち最大のエリアを選択し、前
記最大のエリアを用いて目の位置を決定する最大エリア
選択手段とを含むことを特徴とする目位置検出装置が提
供される。
【０００８】
【発明の実施の形態】以下、本発明の好適実施例につい
て図面を参照しながらより詳しく説明する。
て図面を参照しながらより詳しく説明する。
【０００９】図２は、本発明による目位置検出装置１０
０の概略的なブロック図であって、この装置は、フィル
タ１１０、ウィンドウ生成部１２０、ヒストグラム取出
部１３０、ピーク検出部１４０、エリア計算部１５０、
スイッチ１６０、及び選択部１７０から構成される。
０の概略的なブロック図であって、この装置は、フィル
タ１１０、ウィンドウ生成部１２０、ヒストグラム取出
部１３０、ピーク検出部１４０、エリア計算部１５０、
スイッチ１６０、及び選択部１７０から構成される。
【００１０】本発明は主に顔映像に関するものであっ
て、この顔映像は例えば、ＴＶカメラ（図示せず）によ
って撮像される。図３には、一例として顔映像２００が
示されており、Ｘ軸の方向の５２０個の画素及びＹ軸の
方向の５００個の画素よりなる。顔映像２００のフィー
ルドのアングルは顔全体が顔映像２００内に丁度収まる
ように調整される。顔映像２００が入力顔信号としてフ
ィルター１１０に入力される前、顔映像２００はＡ／Ｄ
コンバータ（図示せず）によってデジタル顔映像信号に
変換される。
て、この顔映像は例えば、ＴＶカメラ（図示せず）によ
って撮像される。図３には、一例として顔映像２００が
示されており、Ｘ軸の方向の５２０個の画素及びＹ軸の
方向の５００個の画素よりなる。顔映像２００のフィー
ルドのアングルは顔全体が顔映像２００内に丁度収まる
ように調整される。顔映像２００が入力顔信号としてフ
ィルター１１０に入力される前、顔映像２００はＡ／Ｄ
コンバータ（図示せず）によってデジタル顔映像信号に
変換される。
【００１１】フィルター１１０は受け取ったデジタル顔
映像信号を前処理して、次のプロセッサに供給する。詳
述すると、フィルター１１０は入力映像信号に含まれた
ノイズ、例えば、インパルスノイズを取り除いてフィル
タリング済みの映像信号を生成する。微少量のノイズを
取り除くには十字形のメジアンフィルターを用いてもよ
い。ここで、フィルタリング処理は画素単位で行われ、
また多様な公知のローパスフィルターがノイズ除去のた
めに用いられてもよい。
映像信号を前処理して、次のプロセッサに供給する。詳
述すると、フィルター１１０は入力映像信号に含まれた
ノイズ、例えば、インパルスノイズを取り除いてフィル
タリング済みの映像信号を生成する。微少量のノイズを
取り除くには十字形のメジアンフィルターを用いてもよ
い。ここで、フィルタリング処理は画素単位で行われ、
また多様な公知のローパスフィルターがノイズ除去のた
めに用いられてもよい。
【００１２】フィルター１１０からのフィルタリング済
みの映像はウィンドウ生成部１２０に供給される。この
ウィンドウ生成部１２０はフィルタリング済みの映像内
に複数のサーチウィンドウを順次生成する。本発明の好
適な実施例において、サーチウィンドウ２２０は図３に
示すような長方形である。ウィンドウ生成部１２０はラ
スタスキャニング方法（ｒａｓｔｅｒ ｓｃａｎｎｉｎ
ｇ ｍｅｔｈｏｄ）を用いてフィルタリング済みの映像
の全体をスキャニングし、各サーチウィンドウの位置を
表す位置ベクトルＰＶをラインＬ１０を通じてスイッチ
１６０に供給する。
みの映像はウィンドウ生成部１２０に供給される。この
ウィンドウ生成部１２０はフィルタリング済みの映像内
に複数のサーチウィンドウを順次生成する。本発明の好
適な実施例において、サーチウィンドウ２２０は図３に
示すような長方形である。ウィンドウ生成部１２０はラ
スタスキャニング方法（ｒａｓｔｅｒ ｓｃａｎｎｉｎ
ｇ ｍｅｔｈｏｄ）を用いてフィルタリング済みの映像
の全体をスキャニングし、各サーチウィンドウの位置を
表す位置ベクトルＰＶをラインＬ１０を通じてスイッチ
１６０に供給する。
【００１３】ヒストグラム取出部１３０は、ウィンドウ
生成部１２０により生成された各サーチウィンドウ内に
含まれるフィルタリング済みの映像のヒストグラムを取
出す。サーチウィンドウのヒストグラムは、サーチウィ
ンドウ内においてフィルタリング済みの映像の画素の周
波数をグレーレベル値の関数としてプロットすることに
より求められる。また、このヒストグラム取出部１３０
は、各画素のグレーレベル値が０〜２５５である時、サ
ーチウィンドウ内の画素の個数をカウントして各グレー
レベル値に対する周波数を計算する。図５には、本発明
によるヒストグラムの一例が示されている。このヒスト
グラムにおいて、水平軸はグレーレベルを表し、垂直軸
はサーチウィンドウにおける各グレーレベルを有する画
素の周波数を表す。
生成部１２０により生成された各サーチウィンドウ内に
含まれるフィルタリング済みの映像のヒストグラムを取
出す。サーチウィンドウのヒストグラムは、サーチウィ
ンドウ内においてフィルタリング済みの映像の画素の周
波数をグレーレベル値の関数としてプロットすることに
より求められる。また、このヒストグラム取出部１３０
は、各画素のグレーレベル値が０〜２５５である時、サ
ーチウィンドウ内の画素の個数をカウントして各グレー
レベル値に対する周波数を計算する。図５には、本発明
によるヒストグラムの一例が示されている。このヒスト
グラムにおいて、水平軸はグレーレベルを表し、垂直軸
はサーチウィンドウにおける各グレーレベルを有する画
素の周波数を表す。
【００１４】その後、ヒストグラム取出部１３０は取出
してヒストグラムをピーク検出部１４０に供給する。こ
のピーク検出部１４０は受け取ったヒストグラムに基づ
いて、図５に示したように、０〜２５５のグレーレベル
領域内で例えば、３つのピークＰ１、Ｐ２、Ｐ３を検出
する。これらのピークを検出する前に、ヒストグラムは
平滑化、即ち、ヒストグラムの各値を平均してヒストグ
ラム上の小さい揺れ（ｆｌｕｃｔｕａｔｉｏｎ）を除去
する。ヒストグラム上のピークはピーク点（例えば、Ｐ
１）を取囲むグレーレベルのクラスタとして定義され
得、またヒストグラムの局部最大値であり、そのピーク
に対応する周波数は予め定められたしきい値より大き
い。図５に示したように、予め定められたしきい値ＴＨ
はヒストグラム内の各画素の平均周波数として決定して
もよい。即ち、ピークとは、入力映像において他のグレ
ーレベルよりも頻繁に現れるグレーレベルのクラスタを
表す。
してヒストグラムをピーク検出部１４０に供給する。こ
のピーク検出部１４０は受け取ったヒストグラムに基づ
いて、図５に示したように、０〜２５５のグレーレベル
領域内で例えば、３つのピークＰ１、Ｐ２、Ｐ３を検出
する。これらのピークを検出する前に、ヒストグラムは
平滑化、即ち、ヒストグラムの各値を平均してヒストグ
ラム上の小さい揺れ（ｆｌｕｃｔｕａｔｉｏｎ）を除去
する。ヒストグラム上のピークはピーク点（例えば、Ｐ
１）を取囲むグレーレベルのクラスタとして定義され
得、またヒストグラムの局部最大値であり、そのピーク
に対応する周波数は予め定められたしきい値より大き
い。図５に示したように、予め定められたしきい値ＴＨ
はヒストグラム内の各画素の平均周波数として決定して
もよい。即ち、ピークとは、入力映像において他のグレ
ーレベルよりも頻繁に現れるグレーレベルのクラスタを
表す。
【００１５】ピーク検出部１４０は図４に示すように、
瞳孔２２３及び白目２２１を取囲むか、またはカバーし
ているサーチウィンドウ（例えば、２２０）を候補ウィ
ンドウとして検出する。この候補ウィンドウは白目２２
１、皮膚２２２、瞳孔２２３の間の異なるコントラスト
によって、３つの領域に分けられ得る。よって、ピーク
検出部１４０により検出されたピークの個数が３である
場合、ピーク検出部１４０は、３個のピークを有するサ
ーチウィンドウ２２０を候補ウィンドウとして取り決
め、該当候補ウィンドウのヒストグラム及びピーク情報
をエリア計算部１５０に供給し、サーチウィンドウが候
補ウィンドウ２２０であることを表すスイッチ信号をラ
インＬ２０を通じてスイッチ１６０に供給する。ここ
で、ピーク情報はヒストグラム内のピークに対応する画
素値を有する。スイッチ１６０はピーク検出部１４０か
らのスイッチ信号に応じて、ウィンドウ生成部１２０と
選択部１７０との間の接続を行って選択部１７０に候補
ウィンドウに対応する位置ベクトルが供給されるように
する。
瞳孔２２３及び白目２２１を取囲むか、またはカバーし
ているサーチウィンドウ（例えば、２２０）を候補ウィ
ンドウとして検出する。この候補ウィンドウは白目２２
１、皮膚２２２、瞳孔２２３の間の異なるコントラスト
によって、３つの領域に分けられ得る。よって、ピーク
検出部１４０により検出されたピークの個数が３である
場合、ピーク検出部１４０は、３個のピークを有するサ
ーチウィンドウ２２０を候補ウィンドウとして取り決
め、該当候補ウィンドウのヒストグラム及びピーク情報
をエリア計算部１５０に供給し、サーチウィンドウが候
補ウィンドウ２２０であることを表すスイッチ信号をラ
インＬ２０を通じてスイッチ１６０に供給する。ここ
で、ピーク情報はヒストグラム内のピークに対応する画
素値を有する。スイッチ１６０はピーク検出部１４０か
らのスイッチ信号に応じて、ウィンドウ生成部１２０と
選択部１７０との間の接続を行って選択部１７０に候補
ウィンドウに対応する位置ベクトルが供給されるように
する。
【００１６】続いて、エリア計算部１５０は図５に示し
たように、最初、候補ウィンドウに対するヒストグラム
上の３つのピークのうち、２つのピーク（例えば、最大
の画素値を有する第１ピークＰ1と、最少の画素値を有
する第２ピークＰ2）を検出する。その後、エリア計算
部１５０は、第１ピークＰ1を有するエリアＡ1と第３ピ
ークＰ3を有するエリアＡ3とを計算する。エリアＡ1は
０〜Ｌ1の間に存在する画素の数を表し、エリアＡ3はＬ
2〜２５５の間に存在する画素の数を表す。Ｌ1はＰ1と
Ｐ2との間の最も小さい周波数を有する画素値に対応
し、Ｌ2はＰ2とＰ3の間の最も小さい周波数を有する画
素値に対応する。その後、エリア計算部１５０は両エリ
アＡ1とＡ3の和エリアＡTを計算して、ラインＬ５０を
通じて選択部１７０に供給する。ここで、エリアＡ1は
瞳孔２２３内の画素の数、エリアＡ3は白目２２１内の
画素の数を各々表す。
たように、最初、候補ウィンドウに対するヒストグラム
上の３つのピークのうち、２つのピーク（例えば、最大
の画素値を有する第１ピークＰ1と、最少の画素値を有
する第２ピークＰ2）を検出する。その後、エリア計算
部１５０は、第１ピークＰ1を有するエリアＡ1と第３ピ
ークＰ3を有するエリアＡ3とを計算する。エリアＡ1は
０〜Ｌ1の間に存在する画素の数を表し、エリアＡ3はＬ
2〜２５５の間に存在する画素の数を表す。Ｌ1はＰ1と
Ｐ2との間の最も小さい周波数を有する画素値に対応
し、Ｌ2はＰ2とＰ3の間の最も小さい周波数を有する画
素値に対応する。その後、エリア計算部１５０は両エリ
アＡ1とＡ3の和エリアＡTを計算して、ラインＬ５０を
通じて選択部１７０に供給する。ここで、エリアＡ1は
瞳孔２２３内の画素の数、エリアＡ3は白目２２１内の
画素の数を各々表す。
【００１７】選択部１７０は、入力顔映像から得られた
全ての候補ウィンドウに対する和エリアＡtのうち最大
の和エリアを選択して、この最大の和エリアを有する候
補ウィンドウに対応する位置ベクトルＰＶを入力顔映像
の目の位置として出力する。
全ての候補ウィンドウに対する和エリアＡtのうち最大
の和エリアを選択して、この最大の和エリアを有する候
補ウィンドウに対応する位置ベクトルＰＶを入力顔映像
の目の位置として出力する。
【００１８】図６及び図７には、本発明によって目位置
決定方法を説明するためのフローチャートが示されてい
る。
決定方法を説明するためのフローチャートが示されてい
る。
【００１９】ＴＶカメラから入力された顔映像は目位置
検出装置１００に入力され（ステップＳ１０）、この顔
映像はフィルター１０によりフィルタリングされ（ステ
ップＳ２０）、フィルター１１０からのフィルタリング
済みの顔映像はウィンドウ生成部１２０に入力され、こ
こでラスタスキャニング法にてフィルタリング済みの映
像全体を走査して、サーチウィンドウと該当サーチウィ
ンドウの位置ベクトルＰＶとを順次生成する（ステップ
Ｓ３０）。ステップＳ４０にて、ヒストグラム取出部１
３０によって各サーチウィンドウ内のフィルタリング済
みの映像からヒストグラムが取出される。その後、ピー
ク検出部１４０によってヒストグラム上でピークが検出
される（ステップＳ５０）。
検出装置１００に入力され（ステップＳ１０）、この顔
映像はフィルター１０によりフィルタリングされ（ステ
ップＳ２０）、フィルター１１０からのフィルタリング
済みの顔映像はウィンドウ生成部１２０に入力され、こ
こでラスタスキャニング法にてフィルタリング済みの映
像全体を走査して、サーチウィンドウと該当サーチウィ
ンドウの位置ベクトルＰＶとを順次生成する（ステップ
Ｓ３０）。ステップＳ４０にて、ヒストグラム取出部１
３０によって各サーチウィンドウ内のフィルタリング済
みの映像からヒストグラムが取出される。その後、ピー
ク検出部１４０によってヒストグラム上でピークが検出
される（ステップＳ５０）。
【００２０】ステップＳ６０にて、ピーク検出部１４０
によってヒストグラム内のピークの個数が３個であるか
否かが判別され、判別の結果が真である場合は該当サー
チウィンドウは候補ウィンドウとして決定され、プロセ
スはステップＳ７０に進み、そうでない場合にはステッ
プＳ１００に進む。
によってヒストグラム内のピークの個数が３個であるか
否かが判別され、判別の結果が真である場合は該当サー
チウィンドウは候補ウィンドウとして決定され、プロセ
スはステップＳ７０に進み、そうでない場合にはステッ
プＳ１００に進む。
【００２１】ステップＳ７０にて、エリア計算部１５０
は各候補ウィンドウに対する三つのピーク点のうち、最
大及び最小画素値に対応する二つのピーク点を検出す
る。ステップＳ８０にて、エリア計算部１５０は和エリ
アＡT、即ち、ステップＳ７０で求められた２つのピー
ク点を含むピーク内における画素の総数を計算する。ス
テップＳ９０にて、各候補ウィンドウに対する和エリア
ＡT及び位置ベクトルＰＶが選択部１７０に格納され、
プロセスはステップＳ１００に進む。
は各候補ウィンドウに対する三つのピーク点のうち、最
大及び最小画素値に対応する二つのピーク点を検出す
る。ステップＳ８０にて、エリア計算部１５０は和エリ
アＡT、即ち、ステップＳ７０で求められた２つのピー
ク点を含むピーク内における画素の総数を計算する。ス
テップＳ９０にて、各候補ウィンドウに対する和エリア
ＡT及び位置ベクトルＰＶが選択部１７０に格納され、
プロセスはステップＳ１００に進む。
【００２２】ステップＳ１００にて、プロセスは全ての
顔映像に対するサーチウィンドウが全て処理されたか否
かが判別され、全てのサーチウィンドウが処理されない
場合、プロセスはステップＳ４０に戻る。全て処理され
た場合には、選択部１７０は全ての顔映像に対する候補
ウィンドウの和エリアＡTのうち最大の和エリアを選択
する（ステップＳ１２０）。続いて、ステップＳ１３０
にて、選択部１７０は最大の和エリアＡTを有する候補
ウィンドウに対応する位置ベクトルを出力し、プロセス
は終了する。
顔映像に対するサーチウィンドウが全て処理されたか否
かが判別され、全てのサーチウィンドウが処理されない
場合、プロセスはステップＳ４０に戻る。全て処理され
た場合には、選択部１７０は全ての顔映像に対する候補
ウィンドウの和エリアＡTのうち最大の和エリアを選択
する（ステップＳ１２０）。続いて、ステップＳ１３０
にて、選択部１７０は最大の和エリアＡTを有する候補
ウィンドウに対応する位置ベクトルを出力し、プロセス
は終了する。
【００２３】上記において、本発明の好適な実施の形態
について説明したが、本発明の請求範囲を逸脱すること
なく、当業者は種々の改変をなし得るであろう。
について説明したが、本発明の請求範囲を逸脱すること
なく、当業者は種々の改変をなし得るであろう。
【００２４】
【発明の効果】従って、本発明によれば、顔映像の目の
位置を検出するために赤外線を放射する赤外線ストロー
ブを備える必要がなくなり、システムの構造が単純化さ
れ、且つ取出された顔映像のヒストグラムを用いて目の
位置を高い信頼性をもって検出することが可能となる。
位置を検出するために赤外線を放射する赤外線ストロー
ブを備える必要がなくなり、システムの構造が単純化さ
れ、且つ取出された顔映像のヒストグラムを用いて目の
位置を高い信頼性をもって検出することが可能となる。
【図１】従来の目位置検出装置の概略的なブロック図で
ある。
ある。
【図２】本発明による目位置検出装置の概略的なブロッ
ク図である。
ク図である。
【図３】本発明のサーチウィンドウを含む顔映像の概略
図である。
図である。
【図４】図３に示す瞳孔及び白目を含むサーチウィンド
ウを示す概略図である。
ウを示す概略図である。
【図５】図４中のサーチウィンドウのヒストグラムを示
す模式図である。
す模式図である。
【図６】本発明による目位置検出方法を説明するための
フローチャートである。
フローチャートである。
【図７】本発明による目位置検出方法を説明するための
フローチャートである。
フローチャートである。
【符号の説明】 １０、１００ 目位置検出装置 １２ 赤外線ストローブ １４ ＴＶカメラ １６ Ａ／Ｄコンバーター １８ イメージメモリ ２０ 目ウィンドウ検出部 ２２ 虹彩検出部 ２４ 運転者状態判別部 ２６ タイミング回路 １１０ フィルター １２０ ウィンドウ生成部 １３０ ヒストグラム取出部 １４０ ピーク検出部 １５０ エリア計算部 １６０ スイッチ １７０ 選択部 ２００ 顔映像 ２２０ サーチウィンドウ ２２１ 白目 ２２２ 皮膚 ２２３ 瞳孔
Claims (10)
- 【請求項１】 各々がグレーレベル値を有する複数の
画素で表現される、人の顔の像である顔映像における目
の位置を検出する目位置検出装置であって、 前記顔映像を取り囲むようなウィンドウを生成するウィ
ンドウ生成手段と、 前記ウィンドウ顔映像からヒストグラムを抽出するヒス
トグラム抽出手段と、 前記ヒストグラムからピークを検出し、前記検出したピ
ークの個数と予め定められた数とを比較するピーク検出
手段と、 前記ピークの個数と前記予め定められた数とが一致する
場合、前記ウィンドウ顔映像の各々に対するヒストグラ
ムにおける、ピーク値を含む最低画素値または０画素値
点間の範囲の画素数であるエリアを計算するエリア計算
手段と、 前記計算されたエリアのうち最大のエリアを選択し、前
記最大のエリアを用いて目の位置を決定する最大エリア
選択手段とを含むことを特徴とする目位置検出装置。 - 【請求項２】 前記顔映像をフィルタリングして前記
顔映像における雑音を除去することによって、フィルタ
リング済みの顔映像を得るフィルタリング手段を更に含
むことを特徴とする請求項１に記載の目位置検出装置。 - 【請求項３】 前記フィルタリング手段が、メジアン
フィルタであることを特徴とする請求項２に記載の目位
置検出装置。 - 【請求項４】 前記予め定められた数が３であること
を特徴とする請求項１に記載の目位置検出装置。 - 【請求項５】 前記ウィンドウ生成手段から生成され
たウィンドウが長方形であることを特徴とする請求項１
に記載の目位置検出装置。 - 【請求項６】 前記ウィンドウ生成手段が、ラスタス
キャニング方法を用いて前記顔映像全体をスキャニング
することを特徴とする請求項５に記載の目位置検出装
置。 - 【請求項７】 前記ヒストグラムが、前記ウィンドウ
顔映像における画素の周波数をグレーレベル値の関数と
してプロットすることにより得られ、前記ヒストグラム
の水平軸はグレーレベルを表し、垂直軸は前記ウィンド
ウ顔映像における各グレーレベルに対応する周波数を表
すことを特徴とする請求項１に記載の目位置検出装置。 - 【請求項８】 前記ピーク検出手段が、予め定められ
たしきい値より大きいヒストグラムの局部最大値をピー
クとして見なすことを特徴とする請求項１に記載の目位
置検出装置。 - 【請求項９】 各々がグレーレベル値で表現される複
数の画素を有する顔映像における目の位置を、ヒストグ
ラムを用いて検出する目位置検出方法装置であって、 前記顔映像をフィルタリングして、フィルタリング済み
の顔映像を得る第１過程と、 前記フィルタリング済みの顔映像内のウィンドウを生成
する第２過程と、 前記ウィンドウからヒストグラムを抽出する第３過程
と、 前記ヒストグラムのピークを検出する第４過程と、 前記ピークの個数が３であるかを判別して、個数が３個
であると前記ウィンドウを候補ウィンドウとして決定す
る第５過程と、 前記候補ウィンドウの３つのピークのうち、最小のピー
ク値と最大のピーク値を有する２つのピークを決定する
第６過程と、 前記候補ウィンドウにおいて、前記最小のピーク値を有
するピークを取囲む領域における画素の個数を表すエリ
アＡMAXと、前記最大のピーク値を有するピークを取囲
む領域における画素の個数を表すエリアＡMINとの和を
とり、和エリアＡTを計算する第７過程と、 前記候補ウィンドウに対する前記和エリアＡTとそれに
対応する位置ベクトルとを格納する第８過程と、 前記格納された和エリアＡTのうち、最も大きいＡTを選
択して、それに対応する位置ベクトルを前記目の位置と
して出力する第９過程とを含むことを特徴とする目位置
検出方法。 - 【請求項１０】 ２つの目の位置を検出する場合、前
記和エリアＡTのうち、２つの最大の和エリアＡTを選択
して、それに対応する位置ベクトルを両側の目の位置と
して出力することを特徴とする請求項９に記載の目位置
検出方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019970039611A KR19990016896A (ko) | 1997-08-20 | 1997-08-20 | 얼굴영상에서 눈영역 검출방법 |
| KR1997-39611 | 1997-08-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1166317A true JPH1166317A (ja) | 1999-03-09 |
| JP4004634B2 JP4004634B2 (ja) | 2007-11-07 |
Family
ID=19517901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10600998A Expired - Fee Related JP4004634B2 (ja) | 1997-08-20 | 1998-04-16 | 顔映像の目位置検出装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6072892A (ja) |
| JP (1) | JP4004634B2 (ja) |
| KR (2) | KR19990016896A (ja) |
| GB (1) | GB2328504B (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007200289A (ja) * | 2005-12-28 | 2007-08-09 | Kao Corp | 目の位置の検出方法 |
| JP2009015599A (ja) * | 2007-07-04 | 2009-01-22 | Kao Corp | 目の位置の検出方法および検出システム |
| US8131013B2 (en) | 2005-12-28 | 2012-03-06 | Kao Corporation | Method and detecting system for positions of facial parts |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6496594B1 (en) * | 1998-10-22 | 2002-12-17 | Francine J. Prokoski | Method and apparatus for aligning and comparing images of the face and body from different imagers |
| JP3969894B2 (ja) * | 1999-05-24 | 2007-09-05 | 三菱電機株式会社 | 顔画像処理装置 |
| EP1211640A3 (en) * | 2000-09-15 | 2003-10-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face and other objects in an image |
| US6920237B2 (en) * | 2000-12-19 | 2005-07-19 | Eastman Kodak Company | Digital image processing method and computer program product for detecting human irises in an image |
| US6792134B2 (en) | 2000-12-19 | 2004-09-14 | Eastman Kodak Company | Multi-mode digital image processing method for detecting eyes |
| US7092554B2 (en) * | 2001-05-01 | 2006-08-15 | Eastman Kodak Company | Method for detecting eye and mouth positions in a digital image |
| US6895103B2 (en) * | 2001-06-19 | 2005-05-17 | Eastman Kodak Company | Method for automatically locating eyes in an image |
| US7058209B2 (en) * | 2001-09-20 | 2006-06-06 | Eastman Kodak Company | Method and computer program product for locating facial features |
| US20040052418A1 (en) * | 2002-04-05 | 2004-03-18 | Bruno Delean | Method and apparatus for probabilistic image analysis |
| US7369685B2 (en) * | 2002-04-05 | 2008-05-06 | Identix Corporation | Vision-based operating method and system |
| CN100465985C (zh) * | 2002-12-31 | 2009-03-04 | 佳能株式会社 | 人眼探测方法及设备 |
| JP4407243B2 (ja) * | 2003-11-10 | 2010-02-03 | ソニー株式会社 | 照合処理装置とその方法 |
| US20060018522A1 (en) * | 2004-06-14 | 2006-01-26 | Fujifilm Software(California), Inc. | System and method applying image-based face recognition for online profile browsing |
| US7248720B2 (en) * | 2004-10-21 | 2007-07-24 | Retica Systems, Inc. | Method and system for generating a combined retina/iris pattern biometric |
| KR100590572B1 (ko) * | 2004-12-15 | 2006-06-19 | 삼성전자주식회사 | 눈 위치 검출 방법 및 장치 |
| WO2006087791A1 (ja) * | 2005-02-17 | 2006-08-24 | Fujitsu Limited | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
| GB2448050A (en) * | 2007-03-22 | 2008-10-01 | Artnix Inc | A method and apparatus for extracting face images from video data and performing recognition matching for identification of people. |
| US8055072B2 (en) * | 2007-11-27 | 2011-11-08 | Himax Technologies Limited | Image display panel and driving method thereof |
| KR101032660B1 (ko) * | 2009-11-30 | 2011-05-06 | 재단법인대구경북과학기술원 | 장애물체 검출 방법 |
| EP2498583B1 (fr) | 2011-03-07 | 2017-05-03 | Zedel | Lampe LED dotée d' un dispositif de sécurité |
| US8781187B2 (en) * | 2011-07-13 | 2014-07-15 | Mckesson Financial Holdings | Methods, apparatuses, and computer program products for identifying a region of interest within a mammogram image |
| TWI471808B (zh) * | 2012-07-20 | 2015-02-01 | Pixart Imaging Inc | 瞳孔偵測裝置 |
| US9323053B2 (en) * | 2013-09-30 | 2016-04-26 | Nghia Trong Lam | Active shielding against intense illumination (ASAII) system for direct viewing |
| US9626476B2 (en) | 2014-03-27 | 2017-04-18 | Change Healthcare Llc | Apparatus, method and computer-readable storage medium for transforming digital images |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2541688B2 (ja) * | 1990-05-21 | 1996-10-09 | 日産自動車株式会社 | 眼位置検出装置 |
| US5261007A (en) * | 1990-11-09 | 1993-11-09 | Visidyne, Inc. | Frequency division, energy comparison signal processing system |
| JPH07504056A (ja) * | 1992-02-18 | 1995-04-27 | ネオパス，インク． | データ処理技術を使用して物体を識別するための方法 |
| US5481622A (en) * | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
| JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
-
1997
- 1997-08-20 KR KR1019970039611A patent/KR19990016896A/ko active Search and Examination
-
1998
- 1998-04-03 US US09/054,687 patent/US6072892A/en not_active Expired - Lifetime
- 1998-04-08 GB GB9807620A patent/GB2328504B/en not_active Expired - Fee Related
- 1998-04-16 JP JP10600998A patent/JP4004634B2/ja not_active Expired - Fee Related
- 1998-08-13 KR KR1019980032866A patent/KR19990023570A/ko not_active Application Discontinuation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007200289A (ja) * | 2005-12-28 | 2007-08-09 | Kao Corp | 目の位置の検出方法 |
| US8131013B2 (en) | 2005-12-28 | 2012-03-06 | Kao Corporation | Method and detecting system for positions of facial parts |
| JP2009015599A (ja) * | 2007-07-04 | 2009-01-22 | Kao Corp | 目の位置の検出方法および検出システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6072892A (en) | 2000-06-06 |
| KR19990023570A (ko) | 1999-03-25 |
| JP4004634B2 (ja) | 2007-11-07 |
| KR19990016896A (ko) | 1999-03-15 |
| GB2328504A (en) | 1999-02-24 |
| GB9807620D0 (en) | 1998-06-10 |
| GB2328504B (en) | 2001-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4004634B2 (ja) | 顔映像の目位置検出装置及び方法 | |
| JP3761059B2 (ja) | ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| JP3143819B2 (ja) | まぶたの開度検出装置 | |
| US8154591B2 (en) | Eyelid opening level determination device and computer readable medium storing computer program thereof | |
| JP2003526841A (ja) | 生物測定学に基づく顔の抽出システム及び方法 | |
| JPH11288459A (ja) | 顔のような領域を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| JP2006259900A (ja) | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム | |
| JPH11250267A (ja) | 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体 | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| WO2018233637A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| JP2003150942A (ja) | 目位置追跡方法 | |
| JP2000331159A (ja) | 顔画像処理装置 | |
| JP3774495B2 (ja) | 画像情報抽出装置および方法 | |
| KR20170088315A (ko) | 깊이정보 기반의 안면인식 자동차제어방법 | |
| JP3980464B2 (ja) | 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置 | |
| JP5128454B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
| JP4151624B2 (ja) | 瞳孔検出装置、虹彩認証装置及び瞳孔検出方法 | |
| JP3963789B2 (ja) | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 | |
| JP4636314B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JPH11185026A (ja) | 顔領域抽出装置 | |
| JP2001331795A (ja) | 画像正規化装置及び方法 | |
| JP4687955B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2004213589A (ja) | 特定部分姿勢推定装置 | |
| WO2005093656A1 (ja) | 特定部分姿勢推定装置、特定部分姿勢推定方法及び特定部分姿勢推定プログラム | |
| JPH07220095A (ja) | 被写体像抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070822 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |