JP5296458B2 - 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム - Google Patents
瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム Download PDFInfo
- Publication number
- JP5296458B2 JP5296458B2 JP2008218039A JP2008218039A JP5296458B2 JP 5296458 B2 JP5296458 B2 JP 5296458B2 JP 2008218039 A JP2008218039 A JP 2008218039A JP 2008218039 A JP2008218039 A JP 2008218039A JP 5296458 B2 JP5296458 B2 JP 5296458B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- line
- value
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
特許文献1および特許文献2では、被検者を撮影した画像データについて、輝度値を縦方向でスムージング処理してから微分演算を行い、抽出特徴点(微分値が大きい値を取る点)の隣り合う横方向のラインで連続データを生成して、抽出特徴点が横方向で比較的長く続くものを眼の位置として抽出している。
また、特許文献2では、顔画像を縦方向に走査して、濃度値の片方向のピーク前の微分値が所定値を超えることを条件に抽出点を出し、その抽出点に近接した他の抽出点と連結して曲線群を抽出し、メガネの有無の判断、鼻の位置、左右対称性などから、眼の位置を特定している。
また、特許文献2に記載された技術によれば、鼻の穴の影(暗い部分)によって鼻の位置を特定しているが、鼻の穴の影がしっかり映りこむためにはカメラをやや下方に設置する必要があり、被験者と正対してカメラを設置した場合では、被検者の鼻の穴の影が写り込みにくく、眼の位置を特定することが困難となる。
また、本発明第5の構成による瞼開度検出方法では、被検者の右眼部分、左眼部分あるいは両眼部分を抽出した画像データを取得する手順S101と、前記画像データの各画素について、濃度値をその上の画素(またはその下の画素)と比較して、その濃度値が増加(またはその画素値が減少)しているときはその濃度値の差の値を、その濃度値が増加(またはその画素値が減少)していないときは0の値を、それぞれ該画素の濃度値に変換した正エッジ画像として生成する手順S102と、前記画像データの各画素について、濃度値をその上の画素(またはその下の画素)と比較して、その濃度値が減少(またはその画素値が増加)しているときはその濃度値の差の値を、その濃度値が減少(またはその画素値が増加)していないときは0の値を、それぞれ該画素の濃度値に変換した負エッジ画像として生成する手順S103と、前記正エッジ画像の各画素について、その画素値を横方向で積算して得られるヒストグラムを正エッジ画像ヒストグラムとして生成する手順S104と、前記負エッジ画像の各画素について、その画素値を横方向で積算して得られるヒストグラムを負エッジ画像ヒストグラムとして生成する手順S105と、前記正エッジ画像ヒストグラムの最大値または極大値に対応する、前記正エッジ画像の横方向のラインを上瞼ラインとして指定する手順S106と、前記負エッジ画像ヒストグラムの最大値または極大値に対応する、前記負エッジ画像の横方向のラインを下瞼ラインとして指定する手順S107と、前記上瞼ラインと、前記下瞼ラインの位置の差から前記被検者の瞼の開度を推定する手順S108と、によって、前記被検者の瞼の開度を測定する
ことを特徴としている。
図1は、実施例1にかかる瞼開度検出装置の構成を示す説明図である。
図1において、瞼開度検出装置10は、計算機11と、ビデオカメラ16を備える。計算機11は外部装置としてディスプレイ11fとキーボード11gを備えており、検査者2は、ディスプレイ11fとキーボード11gにより瞼開度検出装置10を制御し、あるいは、検出結果等の観察等を行う。
また、ビデオカメラ16は被検者1の顔部を撮影するものであり、計算機11の内部に備えるビデオキャプチャ11eによって映像を取得する。ビデオカメラ16のフレームレートは30〜60FPS程度である。
計算機11は、このほか、CPU(中央演算処理装置)11aと、クロック11bと、ディスプレイ11fに画像信号を送信するグラフィックカード11cと、キーボード11gからの入力信号を受信する入力端子11dと、プログラム記憶領域13および画像データ記憶領域14の記憶領域が確保された記憶装置12と、メモリ15をその内部に備える。
メモリ15には、眼部領域を抽出する過程で生成される各種のデータ(たとえば、元画像データ15a、縦方向微分第1画像15b、横方向第1ヒストグラム15c、縦方向微分第2画像15d、縦方向第1ヒストグラム15e、第1領域15f、第2領域15gなど)が一時的に記憶される。これらの各データの内容については、後で説明する。
そして、プログラム記憶領域13は、ビデオキャプチャ11eによって取得された画像を元画像データ14aとして記録するビデオ画像取得プログラム13bと、元画像データ14aから被検者の左眼部分および右眼部分を画像処理によって抽出して、左眼部分画像データ14bと右眼部分画像データ14cとして記録する眼部領域検出プログラム13aが記録されている。眼部領域検出プログラム13aの処理内容については後で説明する。
ビデオ画像取得プログラム13bにより、被検者1の新たな顔画像が元画像データ14aとして記録されると、眼部領域検出プログラム13aが起動する。すなわち、眼部領域検出プログラム13aは、ビデオカメラ16のフレームレートと同じ間隔で繰り返し起動することとなる。
図5は、縦方向微分第1画像15bと横方向第1ヒストグラム15cの関係を示す説明図である。縦方向微分第1画像15bの画素値を横方向(積算方向51)で積算すると、そのヒストグラム(横方向第1ヒストグラム15c)は、上瞼の部分で最大値52を取る。この最大値52に対応する横方向ラインを53とする。
図6は、縦方向微分第1画像15bから縦方向微分第2画像15dを切り出した結果を示す説明図である。図6では、横方向ライン53を基準として、上40ピクセル分、下100ピクセル分の領域を縦方向微分第1画像15bから切り出して、縦方向微分第2画像15dとしている。
このように、横方向第1ヒストグラム15cが被検者1の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
なお、図5や図6では、横方向第1ヒストグラム15cの最大値を用いて横方向ライン53を抽出しているが、こういった形態に限る必要はなく、たとえば、横方向第1ヒストグラム15cの極大値を用いて横方向ライン53を抽出するようにしてもよい。
図7は縦方向第1ヒストグラム15eおよび縦方向微分第2画像15dの関係を示す説明図である。縦方向微分第2画像15dの画素値を縦方向(積算方向71)で積算すると、そのヒストグラム(縦方向第1ヒストグラム15e)は、被検者1のプルキンエ像の現れる部分で極大値72、73を取る。
このように、ステップS1〜ステップS3で、横方向での画像の切り出しを先に行うことで被検者1の眉毛や鼻等の領域を取り除くことができる。特に、被検者がまばたきをしたときにはその両眼のプルキンエ像が撮影されなくなるが、先に横方向での画像が切り出されていることから、瞼の特徴から両眼の中心部分を推定しやすくなる。
図8は、縦方向微分第2画像15dと第1領域15fおよび第2領域15gの関係を示す説明図である。実施例1では、縦方向ライン74を基準として、右100ピクセル分、左100ピクセルの領域を第2領域15gとしている。また、縦方向ライン75を基準として、右100ピクセル分、左100ピクセルの領域を第1領域15fとしている。
このように縦方向第1ヒストグラム15eが被検者1のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者1の眼の位置を縦方向で絞り込むことができる。
なお、図7や図8では、縦方向第1ヒストグラム15eの極大値を用いて縦方向ライン74および縦方向ライン75を抽出しているが、こういった形態に限る必要はなく、たとえば、縦方向第1ヒストグラム15eの左右それぞれの最大値を用いて縦方向ライン74および縦方向ライン75を抽出するようにしてもよい。
図9は、実施例2にかかる瞼開度検出装置の構成を示す説明図である。
図9において、メモリ15は、第1領域15f、第2領域15gにかえて、縦方向微分第3画像15h、縦方向微分第4画像15i、横方向第2ヒストグラム15j、横方向第3ヒストグラム15k、第3領域15l、第4領域15mの記憶領域が確保され、眼部領域を抽出する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
ステップS1からS4までの各ステップは、実施例1と同じ手順・内容で処理される。
実施例2における元画像データ14aは図12(a)に示すとおりであり、被検者1が顔をやや左側に傾けたような状態で撮影されている。こういった場合、図12(b)に示すように、被検者1の上瞼は、左右で水平となっていないことがわかる。また、図13は、縦方向微分第1画像15bと横方向第1ヒストグラム15cの関係を示す説明図である。縦方向微分第1画像15bの画素値を横方向(積算方向131)で積算すると、そのヒストグラム(横方向第1ヒストグラム15c)は、上瞼の左右の部分で二つの極大値132および133を取る。この極大値132および133にそれぞれ対応する横方向ラインを134および135とする。
図14は、縦方向微分第1画像15bから縦方向微分第2画像15dを切り出した結果を示す説明図である。図14では、横方向ライン134から上15ピクセル分、横方向ライン135から下100ピクセル分の領域を縦方向微分第1画像15bから切り出して、縦方向微分第2画像15dとしている。
このように、横方向第1ヒストグラム15cが被検者1の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
図15は縦方向第1ヒストグラム15eおよび縦方向微分第2画像15dの関係を示す説明図である。縦方向微分第2画像15dの画素値を縦方向(積算方向151)で積算すると、そのヒストグラム(縦方向第1ヒストグラム15e)は、被検者1のプルキンエ像の現れる部分で極大値152および153を取る。
図16は、縦方向微分第2画像15dから縦方向微分第3画像15hおよび縦方向微分第4画像15iを切り出した結果を示す説明図である。図16では、縦方向ライン154を基準として左100ピクセル分、右100ピクセル分の領域を縦方向微分第2画像15dから切り出して縦方向微分第3画像15hとし、縦方向ライン155を基準として左100ピクセル分、右100ピクセル分の領域を縦方向微分第2画像15dから切り出して縦方向微分第4画像15iとしている。
このように縦方向第1ヒストグラム15eが被検者1のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者1の眼の位置を縦方向で絞り込むことができる。
図17は、横方向第2ヒストグラム15jと縦方向微分第3画像15hの関係および横方向第3ヒストグラム15kと縦方向微分第4画像15iの関係を示す説明図である。縦方向微分第3画像15hの画素値を横方向(積算方向171)で積算すると、そのヒストグラム(横方向第2ヒストグラム15j)は、上瞼の部分で最大値173を取る。また、縦方向微分第4画像15iの画素値を横方向(積算方向172)で積算すると、そのヒストグラム(横方向第3ヒストグラム15k)は、上瞼の部分で最大値174を取る。この最大値173および174にそれぞれ対応する、横方向ラインを175および176とする。
図18は、縦方向微分第3画像15hと第3領域15lの関係および縦方向微分第4画像15iと第4領域15mの関係を示す説明図である。実施例2では、横方向ライン175を基準として、上15ピクセル分、下100ピクセルの領域を第3領域15lとしている。また、横方向ライン176を基準として、上15ピクセル分、下100ピクセルの領域を第4領域15mとしている。
このように、横方向第2ヒストグラム15jや横方向第3ヒストグラム15kが被検者1の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向でさらに絞り込むことができる。
図19は、実施例3にかかる瞼開度検出装置の構成を示す説明図である。
図19において、メモリ15は、横方向第1ヒストグラム15c、縦方向微分第2画像15d、縦方向第1ヒストグラム15e、第1領域15f、第2領域15g、縦方向微分第3画像15h、縦方向微分第4画像15i、横方向第2ヒストグラム15j、横方向第3ヒストグラム15k、第3領域15l、第4領域15mにかえて、縦方向第2ヒストグラム15n、縦方向微分第5画像15o、縦方向微分第6画像15p、横方向第4ヒストグラム15q、横方向第5ヒストグラム15r、第5領域15s、第6領域15tの記憶領域が確保され、眼部領域を抽出する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
ステップS1は、実施例1および実施例2と同じ手順・内容で処理される。
実施例3における元画像データ14aは実施例2で使用したもの(図12(a))と同じであり、被検者1が顔をやや左側に傾けたような状態で撮影されている。こういった場合、図12(b)に示すように、被検者1の上瞼は、左右で水平となっていないことがわかる。
図22は縦方向第2ヒストグラム15nおよび縦方向微分第1画像15bの関係を示す説明図である。縦方向微分第1画像15bの画素値を縦方向(積算方向221)で積算すると、そのヒストグラム(縦方向第2ヒストグラム15n)は、被検者1のプルキンエ像の現れる部分で極大値222、223を取る。この極大値222および223にそれぞれ対応する、縦方向ラインを224および225とする。
図23では、縦方向ライン224を基準として左100ピクセル分、右100ピクセル分の領域を縦方向微分第5画像15oとし、縦方向ライン225を基準として左100ピクセル分、右100ピクセル分の領域を縦方向微分第6画像15pとしている。
このように縦方向第2ヒストグラム15nが被検者1のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者の眼の位置を縦方向で絞り込むことができる。
図24は、横方向第4ヒストグラム15qと縦方向微分第5画像15oの関係および横方向第5ヒストグラム15rと縦方向微分第6画像15pの関係を示す説明図である。縦方向微分第5画像15oの画素値を横方向(積算方向241)で積算すると、そのヒストグラム(横方向第4ヒストグラム15q)は、上瞼の部分で最大値243を取る。また、縦方向微分第6画像15pの画素値を横方向(積算方向242)で積算すると、そのヒストグラム(横方向第5ヒストグラム15r)は、上瞼の部分で最大値244を取る。この最大値243および244にそれぞれ対応する、横方向ラインを245および246とする。
図25は、縦方向微分第5画像15oと第5領域15sの関係および縦方向微分第6画像15pと第6領域15tの関係を示す説明図である。実施例3では、横方向ライン245を基準として、上15ピクセル分、下100ピクセル分の領域を第5領域15sとしている。また、横方向ライン246を基準として、上15ピクセル分、下100ピクセル分の領域を第6領域15tとしている。
このように、横方向第4ヒストグラム15qや横方向第5ヒストグラム15rが被検者1の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
実施例4は、図26に示すように、縦方向微分第1画像15bの横方向第1ヒストグラム15cで、二つ以上の極大値261および262が存在するときでも、横方向ラインを確実に抽出するための技術に関するものである。
ステップS3を例にとると、具体的には、2つの極大値261および262に対して、その直前のフレーム画像を元画像としたときに得られた横方向ラインである前フレーム横方向ライン263と、極大値261および262に対応する横方向ライン264および265との位置関係を比較し、前フレーム横方向ライン263と物理的に近い位置にある横方向ラインを指定する。図26でいえば、前フレーム横方向ライン263に近いラインは横方向ライン265であるため、この横方向ライン265が指定されることになる。
ステップS3を例に取ると、具体的には、図27において、横方向第1ヒストグラム15cのとる値の大きさに応じて(たとえば4個の)粒子x1(t)、x2(t),…,x4(t)を、縦方向微分第1画像15bの上端から下端の範囲で確率的に発生させる。粒子x1(t)、x2(t),…,x4(t)は、横方向第1ヒストグラム15cの大きさに応じて確率的に発生させるので、結果として、極大値261や262の付近に集中して発生しやすくなっている。そして、各粒子x1(t)、x2(t),…,x4(t)の発生させた位置に応じて仮想ライン274a〜274dを取って、図27(c)に示すように、各仮想ライン274a〜274dに対応する縦方向微分第1画像15bの画素パターンを取る。なお、図27(c)では仮想ライン274a〜274dを縦方向に拡大して表示しているが、実際には、縦1ピクセル、横640ピクセルの画像データと等価である。また、同じように、図27(b)に示すように前フレーム横方向ライン263に対応する縦方向微分第1画像15bの画素パターン(すなわち、前に取得したフレーム画像を元画像としたときに得られた縦方向微分第1画像15bの画素パターン)を取る。続いて、各画素パターン(仮想ライン274a〜274d)と、前フレーム横方向ライン263とをそれぞれ比較して、両者の画素パターンの類似性が最も高い仮想ライン274a〜274dを一つ抽出する。類似性の評価にあたっては、数1に示す尤度R(i)を用いる方法などが考えられる。
なお、第2の方法では、前フレーム横方向ライン263を、その直前のフレーム画像を元画像としたときに得られた横方向ラインとしなくともよく、たとえば、前フレーム横方向ライン263を、被検者1について最初に取得したフレーム画像を元画像としたときに得られた横方向ラインから定めるようにしもよい。このように、最初のフレーム画像を用いることで、参照される前フレーム横方向ライン263が変わることがなく、誤検出を少なくさせることができる。
パーティクルフィルタ法は、各時刻における状態ベクトルを逐次的に推定する手法であり、独立な実現値とみなせる多数のパーティクル(=状態ベクトル)を発生させ、各パーティクルについて、次の状態を近似によって推定し(手順a)、更に次の状態として残すべきパーティクルを、そのパーティクルを確率分布に従ってリサンプリングし(手順b)、この手順aと手順bを繰り返すことで、各時刻における状態が逐次的に推定されるというものである(非特許文献2参照)。
そして、各粒子iに対して、対応する尤度R(i)と、対応する横方向第1ヒストグラム15cのとる値f(xi(t))との積R(i)×f(xi(t))を算出し、積R(i)×f(xi(t))をもって、パーティクルフィルタ法にて発生させる次世代の粒子i=i(t+Δt)を決定する。
次世代の粒子を決定するにあたっては、タイミングtにおける各粒子iについて積R(i)×f(xi(t))を算出し、この積の値が高い粒子が次タイミングにおける候補に採用されやすいような方法で再発生させる。
ここで、次タイミングt+Δtにおける粒子は、数2にて決定する。
ただし、Nは粒子の個数である。
図29において、瞼開度検出装置10は、被検者1の顔部を撮影するビデオカメラ16と、ビデオカメラ16によって撮影された被検者1の顔部の映像を取得するビデオキャプチャ11eと、ビデオキャプチャ11eによって取得された画像を元画像データ14aとして被検者1の左眼部分および右眼部分を画像処理によって抽出する眼部領域検出プログラム13aと、右眼部分、左眼部分あるいは両眼部分を抽出した画像データをもとに被検者1の瞼の開度を測定する瞼開度検出プログラム13cを備える。
なお、瞼開度検出装置10には、被検者1に赤外領域の光を照射する赤外照明17を備え、ビデオカメラ16は赤外領域を撮影する赤外カメラとすることが好ましい。
瞼開度検出プログラム13cは、眼部領域検出プログラム13aによる右眼部分画像データ14cの生成が終了するたびに起動する。すなわち、瞼開度検出プログラム13cは、ビデオカメラ16のフレームレートと同じ間隔で繰り返し起動することとなる。
2 検査者
10 瞼開度検出装置
11 計算機
11a CPU
11b クロック
11c グラフィックカード
11d 入力端子
11e ビデオキャプチャ
11f ディスプレイ
11g キーボード
12 記憶装置
13 プログラム記憶領域
13a 眼部領域検出プログラム
13b ビデオ画像取得プログラム
13c 瞼開度検出プログラム
14 画像データ記憶領域
14a 元画像データ
14b 左眼部分画像データ
14c 右眼部分画像データ
14d 瞼開度データ
15 メモリ
15a 元画像データ
15b 縦方向微分第1画像
15c 横方向第1ヒストグラム
15d 縦方向微分第2画像
15e 縦方向第1ヒストグラム
15f 第1領域
15g 第2領域
15h 縦方向微分第3画像
15i 縦方向微分第4画像
15j 横方向第2ヒストグラム
15k 横方向第3ヒストグラム
15l 第3領域
15m 第4領域
15n 縦方向第2ヒストグラム
15o 縦方向微分第5画像
15p 縦方向微分第6画像
15q 横方向第4ヒストグラム
15r 横方向第5ヒストグラム
15s 第5領域
15t 第6領域
15u 正エッジ画像
15v 負エッジ画像
15w 正エッジ画像ヒストグラム
15x 負エッジ画像ヒストグラム
15y 上瞼ライン
15z 下瞼ライン
16 ビデオカメラ
17 赤外照明
51 積算方向
52 最大値
53 横方向ライン
71 積算方向
72、73 極大値
74、75 縦方向ライン
131 積算方向
132、133 極大値
134、135 横方向ライン
151 積算方向
152、153 極大値
154、155 縦方向ライン
171、172 積算方向
173、174 最大値
175、176 横方向ライン
221 積算方向
222、223 極大値
224、225 縦方向ライン
241、242 積算方向
243、244 最大値
245、246 横方向ライン
261、262 極大値
263 前フレーム横方向ライン
264、265 横方向ライン
274a〜274d 仮想ライン
281〜283 粒子
311、313 積算方向
312、314 最大値
x1(t)、x2(t),…,x4(t) 粒子
Claims (7)
- 被検者の右眼部分、左眼部分あるいは両眼部分を抽出した画像データを取得するステップS101と、
前記画像データの各画素について、濃度値をその上の画素(またはその下の画素)と比較して、その濃度値が増加(またはその画素値が減少)しているときはその濃度値の差の値を、その濃度値が増加(またはその画素値が減少)していないときは0の値を、該画素の濃度値に変換した正エッジ画像として生成するステップS102と、
前記画像データの各画素について、濃度値をその上の画素(またはその下の画素)と比較して、その濃度値が減少(またはその画素値が増加)しているときはその濃度値の差の値を、その濃度値が減少(またはその画素値が増加)していないときは0の値を、該画素の濃度値に変換した負エッジ画像として生成するステップS103と、
前記正エッジ画像の各画素について、その画素値を横方向で積算して得られるヒストグラムを正エッジ画像ヒストグラムとして生成するステップS104と、
前記負エッジ画像の各画素について、その画素値を横方向で積算して得られるヒストグラムを負エッジ画像ヒストグラムとして生成するステップS105と、
前記正エッジ画像ヒストグラムの最大値または極大値に対応する、前記正エッジ画像の横方向のラインを上瞼ラインとして指定するステップS106と、
前記負エッジ画像ヒストグラムの最大値または極大値に対応する、前記負エッジ画像の横方向のラインを下瞼ラインとして指定するステップS107と、
前記上瞼ラインと、前記下瞼ラインの位置の差から前記被検者の瞼の開度を推定するステップS108と、
によって、前記被検者の瞼の開度を測定する瞼開度検出プログラム。 - 前記ステップS106またはステップS107において、該ヒストグラムの極大値に対応する横方向のラインが2本以上存在するときには、その直前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインと最も近い位置にあるラインを前記上瞼ラインまたは前記下瞼ラインとして指定することを特徴とする請求項1に記載の瞼開度検出プログラム。
- 前記ステップS106またはステップS107において、該ヒストグラムの最大値または極大値に対応する横方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向の仮想ラインを複数本生成させ、前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインに対応する前記正エッジ画像または前記負エッジ画像の画素パターンと、前記仮想ラインに対応する前記正エッジ画像または前記負エッジ画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い前記仮想ラインを前記上瞼ラインまたは前記下瞼ラインとして指定することを特徴とする請求項1に記載の瞼開度検出プログラム。
- 前記ステップS106またはステップS107において、該ヒストグラムの最大値または極大値に対応する横方向のラインを指定する代わりに、
横方向の仮想ラインに相当するパーティクルフィルタ法による粒子i=i(t)を複数個生成させ、
前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインに対応する前記正エッジ画像または前記負エッジ画像の画素パターンと、
前記仮想ラインに対応する前記正エッジ画像または前記負エッジ画像の画素パターンと、をそれぞれ比較して尤度R(i)を算出し、
前記各粒子iついて、対応するラインの取る座標をxi(t)としたとき、該ヒストグラムのとる値f(xi(t))と、前記尤度R(i)との積R(i)×f(xi(t))を算出し、
前記積R(i)×f(xi(t))をもって、前記パーティクルフィルタ法にて発生させる次世代の粒子i=i(t+Δt)を決定すると共に、
前記尤度R(i)または前記積R(i)×f(xi(t))の値が最も高い粒子に対応する前記仮想ラインを前記横方向のラインとして指定し、
または、各粒子iに対応するラインがとる座標xi(t)について、前記積R(i)×f(xi(t))の値に応じて重みづけ平均をとった座標に対応するラインを前記横方向のラインとして指定することを特徴とする請求項1に記載の瞼開度検出プログラム。 - 被検者の右眼部分、左眼部分あるいは両眼部分を抽出した画像データを取得する手順S101と、
前記画像データの各画素について、濃度値をその上の画素(またはその下の画素)と比較して、その濃度値が増加(またはその画素値が減少)しているときはその濃度値の差の値を、その濃度値が増加(またはその画素値が減少)していないときは0の値を、それぞれ該画素の濃度値に変換した正エッジ画像として生成する手順S102と、
前記画像データの各画素について、濃度値をその上の画素(またはその下の画素)と比較して、その濃度値が減少(またはその画素値が増加)しているときはその濃度値の差の値を、その濃度値が減少(またはその画素値が増加)していないときは0の値を、それぞれ該画素の濃度値に変換した負エッジ画像として生成する手順S103と、
前記正エッジ画像の各画素について、その画素値を横方向で積算して得られるヒストグラムを正エッジ画像ヒストグラムとして生成する手順S104と、
前記負エッジ画像の各画素について、その画素値を横方向で積算して得られるヒストグラムを負エッジ画像ヒストグラムとして生成する手順S105と、
前記正エッジ画像ヒストグラムの最大値または極大値に対応する、前記正エッジ画像の横方向のラインを上瞼ラインとして指定する手順S106と、
前記負エッジ画像ヒストグラムの最大値または極大値に対応する、前記負エッジ画像の横方向のラインを下瞼ラインとして指定する手順S107と、
前記上瞼ラインと、前記下瞼ラインの位置の差から前記被検者の瞼の開度を推定する手順S108と、
によって、前記被検者の瞼の開度を測定する瞼開度検出方法。 - 被検者の顔部を撮影するビデオカメラと、前記ビデオカメラによって撮影された被検者の顔部の映像を取得するビデオキャプチャと、前記ビデオキャプチャによって取得された画像を元画像として前記被検者の左眼部分および右眼部分を画像処理によって抽出する眼部領域検出プログラムと、前記右眼部分、左眼部分あるいは両眼部分を抽出した画像データをもとに前記被検者の瞼の開度を測定する請求項1ないし請求項4のいずれか1項に記載の瞼開度検出プログラムと、を備えた瞼開度検出装置。
- さらに、前記被検者に赤外領域の光を照射する赤外照明を備え、前記ビデオカメラは赤外領域を撮影する赤外カメラであることを特徴とする請求項6に記載の瞼開度検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008218039A JP5296458B2 (ja) | 2008-08-27 | 2008-08-27 | 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008218039A JP5296458B2 (ja) | 2008-08-27 | 2008-08-27 | 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010051446A JP2010051446A (ja) | 2010-03-11 |
JP5296458B2 true JP5296458B2 (ja) | 2013-09-25 |
Family
ID=42068001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008218039A Expired - Fee Related JP5296458B2 (ja) | 2008-08-27 | 2008-08-27 | 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5296458B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5435013B2 (ja) * | 2011-11-17 | 2014-03-05 | 沖電気工業株式会社 | 目開閉判定装置およびプログラム |
CN105279764B (zh) * | 2014-05-27 | 2020-09-11 | 北京三星通信技术研究有限公司 | 眼睛图像处理设备和方法 |
CN108245154B (zh) * | 2018-01-24 | 2020-10-09 | 福州大学 | 利用异常值检测精确确定脑电或眼电中眨眼区间的方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3143819B2 (ja) * | 1994-05-20 | 2001-03-07 | 株式会社豊田中央研究所 | まぶたの開度検出装置 |
JP2000137792A (ja) * | 1998-10-30 | 2000-05-16 | Toyota Motor Corp | 眼部検出装置 |
JP4082203B2 (ja) * | 2002-12-13 | 2008-04-30 | 日産自動車株式会社 | 開閉眼判定装置 |
JP4506250B2 (ja) * | 2004-04-12 | 2010-07-21 | 日産自動車株式会社 | 上瞼検出装置 |
JP4331197B2 (ja) * | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
JP4137969B2 (ja) * | 2006-12-04 | 2008-08-20 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
JP4895847B2 (ja) * | 2007-02-08 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
-
2008
- 2008-08-27 JP JP2008218039A patent/JP5296458B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010051446A (ja) | 2010-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
CN106022209B (zh) | 一种基于人脸检测的距离估算和处理的方法及装置 | |
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
CN104834901B (zh) | 一种基于双目立体视觉的人脸检测方法、装置及系统 | |
JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
CN102375970B (zh) | 一种基于人脸的身份认证方法和认证装置 | |
KR101322168B1 (ko) | 실시간 얼굴 인식 장치 | |
TWI603293B (zh) | 眨眼偵測方法及裝置 | |
CN108268864A (zh) | 人脸识别方法、系统、电子设备和计算机程序产品 | |
KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
JP6007523B2 (ja) | 生成装置、生成プログラムおよび生成方法 | |
CN108615014B (zh) | 一种眼睛状态的检测方法、装置、设备和介质 | |
WO2018078857A1 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
TW201832182A (zh) | 動作學習裝置、技能判別裝置以及技能判別系統 | |
JP6043933B2 (ja) | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム | |
WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
WO2019061659A1 (zh) | 人脸图像眼镜去除方法、装置及存储介质 | |
CN107862298B (zh) | 一种基于红外摄像装置下眨眼的活体检测方法 | |
JP5296458B2 (ja) | 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム | |
KR101350882B1 (ko) | 영상 분석 서버 | |
TWI466070B (zh) | 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置 | |
Raman et al. | Fatigue monitoring based on yawning and head movement | |
JP5276381B2 (ja) | 眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム | |
KR20200049936A (ko) | 생체 인식 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130613 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |