JP6463975B2 - 眼の開閉状態の判定方法、画像処理装置、および判定システム - Google Patents

Description

本発明は、対象者の眼の開閉状態を判定する判定方法、画像処理装置、および判定システムに関する。

従来、車両などの移動体の運転者の眼の開閉状態を判断し、例えば居眠り運転を防止するための警報を発生する装置が知られている。例えば、特許文献１には、運転者の眼球をカメラで撮像し、撮像画像上の瞳孔の形状変化に基づいて眼の開閉状態を判断する手法が開示されている。

特開平６−２７０７１１号公報

しかしながら、従来技術において、眼の開閉状態の判定精度は必ずしも十分でない。例えば、運転者の眼周辺を撮像した撮像画像の全領域の面積と比較して瞳孔領域の面積は小さい。また、明るい環境において瞳孔は縮径するため、撮像画像上の瞳孔領域の面積はさらに減少する。撮像画像上の瞳孔領域の面積が小さい場合には、瞳孔形状の判定精度が低下するため、運転者の眼の開閉状態を必ずしも高精度に判定できなかった。

かかる事情に鑑みてなされた本発明の目的は、対象者の眼の開閉状態の判定精度が向上された判定方法、画像処理装置、および判定システムを提供することにある。

上記課題を解決するために本発明に係る眼の開閉状態の判定方法は、
対象者に対してそれぞれ基準形状を有する複数のドットを含むパターン光を照射する照射ステップと、
前記パターン光が照射された前記対象者を撮像した複数フレームの撮像画像を取得する第１取得ステップと、
前記第１取得ステップで取得された各撮像画像上の、前記基準形状に略一致するドットおよび前記基準形状と異なるドットを識別する第１識別ステップと、
前記第１識別ステップで識別された、前記基準形状に略一致する前記ドットの数または前記基準形状と異なる前記ドットの数の、前記複数フレームにおける経時変化に基づいて、前記対象者の眼の開閉状態を判定する判定ステップとを含む
ことを特徴とする。

また、本発明に係る画像処理装置は、
それぞれ基準形状を有する複数のドットを含むパターン光が照射された対象者を撮像した複数フレームの撮像画像を取得し、取得された各撮像画像上の、前記基準形状に略一致するドットおよび前記基準形状と異なるドットを識別し、前記基準形状に略一致する前記ドットの数または前記基準形状と異なる前記ドットの数の、前記複数フレームにおける経時変化に基づいて、前記対象者の眼の開閉状態を判定する制御部を備える
ことを特徴とする。

また、本発明に係る眼の開閉状態の判定システムは、
それぞれ基準形状を有する複数のドットを含むパターン光が照射された対象者を撮像した複数フレームの撮像画像を取得し、取得された各撮像画像上の、前記基準形状に略一致するドットおよび前記基準形状と異なるドットを識別し、前記基準形状に略一致する前記ドットの数または前記基準形状と異なる前記ドットの数の、前記複数フレームにおける経時変化に基づいて、前記対象者の眼の開閉状態を判定する制御部を備える画像処理装置と、
前記パターン光が照射された前記対象者を撮像して前記複数フレームの撮像画像を生成する撮像装置とを備える
ことを特徴とする。

本発明に係る眼の開閉状態の判定方法、画像処理装置、および判定システムによれば、対象者の眼の開閉状態の判定精度が向上される。

本発明の一実施形態に係る判定システムの概略構成を示すブロック図である。 図１の判定システムを備える移動体を示す概略図である。 パターン光が照射された対象者を示す図である。 図３の対象者を撮像した撮像画像を示す図である。 眼の開閉状態に応じた撮像画像上のドットを示す図である。 撮像画像上の識別されたドットの数の経時変化の例を示す図である。 図１の判定システムの動作を説明するフローチャートである。 撮像画像上の識別されたドットの数の経時変化の例を示す図である。 本発明の第１の変形例に係る判定システムの動作を説明するフローチャートである。 本発明の第２の変形例に係る判定システムの動作を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

はじめに、本発明の一実施形態に係る判定システムおよび画像処理装置について説明する。図１は、本実施形態に係る判定システム１０の概略構成を示す機能ブロック図である。

図１に示すように、判定システム１０は、撮像装置１１および画像処理装置１２を備える。判定システム１０は、警告装置１３をさらに備えてもよい。判定システム１０の各構成要素は、無線、有線、またはＣＡＮなどのネットワーク１４を介して情報を送受信可能である。

図２に示すように、撮像装置１１は、運転者などの対象者１５の顔を撮像可能となるように、例えば移動体１６のダッシュボード１７に配置される。また、このように配置された撮像装置１１は、後述するパターン光を対象者１５の顔に照射可能である。

次に、判定システム１０の各構成について説明する。撮像装置１１は（図１参照）、発光部１８と、パターンマスク１９と、照明光学系２０と、撮像光学系２１と、撮像素子２２と、画像処理部２３と、入出力部２４と、カメラ制御部２５とを備える。

発光部１８は、例えばＬＥＤなどの光源であって、所定の波長帯域の光を発する。本実施形態において、発光部１８は赤外帯域の拡散光を発する赤外ＬＥＤであるが、発せられる光の波長帯域および指向性は任意のものを採用可能である。

パターンマスク１９は、例えば略格子状に、複数のピンホールが設けられたマスクである。パターンマスク１９は、撮像装置１１の筐体内における、発光部１８の光の出射方向に配置される。発光部１８から発せられた光のうち、パターンマスク１９のピンホールを通過しない光は、遮蔽されて撮像装置１１の筐体の外部に射出されない。一方、発光部１８から発せられた光のうち、パターンマスク１９のピンホールを通過する光は、撮像装置１１の筐体の外部に射出される。したがって、撮像装置１１の筐体の外部に射出される光は、ピンホールを通過した複数の光線束を含むパターン（ドットパターン）を有するパターン光である。ドットパターンは、パターンマスク１９に設けられた複数のピンホールの形状、大きさ、および配置に応じて異なる。本実施形態において、パターンマスク１９には直径がマイクロメートルオーダーの複数の円形ピンホールが略格子状に設けられる。このため、略格子状に整列した複数の光線束を含むパターン（格子状のドットパターン）を有するパターン光が撮像装置１１の筐体の外部に射出される。パターンマスク１９に設けられる複数のピンホールの形状、大きさ、および配置は任意に定めてもよい。

照明光学系２０は、例えば画角が調整されたレンズを含んで構成され、照明光学系２０を透過する光を照射面に照射する。本実施形態において、照明光学系２０を透過したパターン光は、対象者１５の顔全体に照射される。

撮像光学系２１は、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。また、撮像光学系２１は、所定の波長帯域の光、本実施形態では赤外帯域の光のみを通過させるフィルタをさらに含む。撮像光学系２１は、パターン光の照射先からの反射光を取り込み可能となるように、撮像装置１１の筐体に配置される。本実施形態において、撮像光学系２１は、パターン光が照射された対象者１５の顔を含む被写体の像、すなわち、パターン光が対象者１５および背景（例えば、座席）で反射された反射光による像を結像可能である。本実施形態において、撮像光学系２１は照明光学系２０の近傍に設けられるが、撮像光学系２１と照明光学系２０との距離が離れて設けられてもよい。

撮像素子２２は、例えばＣＭＯＳ撮像素子であって、撮像光学系２１によって結像する被写体像を撮像する。また、撮像素子２２は、撮像によって生成したアナログの画像信号を、画像処理部２３に出力する。

画像処理部２３は、例えばＤＳＰなどの画像処理専用のプロセッサであって、撮像素子２２から取得した画像信号に対して、ＣＤＳ、ゲイン調整（ＡＧＣ）、およびＡＤ変換（ＡＤＣ）などの画像処理を行う。画像処理部２３は、画像処理を施した画像信号（撮像画像）を、ネットワーク１４を介して画像処理装置１２に出力する。

入出力部２４は、ネットワーク１４を介して情報の入力（取得）および出力を行うインターフェースである。

カメラ制御部２５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読込むことによって特定の機能を実行する汎用のＣＰＵである。カメラ制御部２５は、撮像装置１１の各部位の動作を制御する。例えば、カメラ制御部２５は、発光部１８の動作を制御して、赤外帯域の光をパルス発光させる。また、カメラ制御部２５は、撮像素子２２の動作を制御して、周期的に、例えば３０ｆｐｓで被写体を撮像させる。また、カメラ制御部２５は、画像処理部２３の動作を制御して、複数フレームの撮像画像を画像処理装置１２に出力する。

ここで、図３乃至図５を参照して、撮像装置１１が生成する撮像画像について説明する。図３は、パターン光が照射された対象者１５の顔を示す。図３の対象者１５の顔を撮像すると、撮像光学系２１に含まれるフィルタによって、対象者１５の顔および背景２６からの、所定の波長帯域の反射光による像のみが撮像される。このため、撮像画像は、図４に示すように複数のドットを含む。説明のため、図４においてはパターン光が対象者１５の顔および背景２６で反射された反射光による像のみを示している。撮像画像上のドットの輝度、形状、および位置は、パターン光が照射された被写体に応じて異なる。以下、具体的に説明する。

まず、被写体が対象者１５（図３参照）の顔である場合について説明する。照射されたパターン光は、対象者１５の顔の表面で乱反射される。乱反射された一部の反射光は、撮像装置１１に到達する。また、対象者１５の顔は、例えば輪郭部などを除き、略平面とみなし得る。略平面である被写体で乱反射され撮像装置１１に到達した反射光は、略格子状のドットパターンを維持した状態で撮像光学系２１によって結像される。したがって、撮像画像は、対象者１５の顔に対応する撮像画像上の領域２８（図４参照）において、一定の間隔（第１の間隔）で略格子状に整列し一定の輝度を有する略円形状のドット（第１のドット）を含む。換言すると、第１のドットは、対象者１５の顔に対応する撮像画像上の領域２８内に存在するドットである。

次に、被写体が対象者１５の背景２６（図３参照）である場合について説明する。照射されたパターン光は、背景２６の表面で乱反射される。乱反射された一部の反射光は、撮像装置１１に到達する。ここで、撮像装置１１と背景２６との距離は、撮像装置１１と対象者１５との距離よりも長い（図２参照）。また、上述したように、発光部１８が発する赤外光は拡散する。このため、背景２６で乱反射され撮像装置１１に到達した反射光は、対象者１５の顔で乱反射され撮像装置１１に到達した反射光と比較して間隔が長い略格子状のドットパターンを維持した状態で、撮像光学系２１によって結像される。また、背景２６で乱反射され撮像装置１１に到達した反射光の輝度は、対象者１５の顔で乱反射され撮像装置１１に到達した反射光の輝度よりも低い。したがって、撮像画像は、背景２６に対応する撮像画像上の領域２９（図４参照）において、第１の間隔よりも長い間隔（第２の間隔）で略格子状に整列し第１のドットよりも輝度が低い略円形状のドット（第２のドット）を含む。換言すると、第２のドットは、背景２６に対応する撮像画像上の領域２９内に存在するドットである。

次に、被写体が対象者１５の眼球３０（図３参照）である場合について説明する。眼球３０に照射されたパターン光は、角膜から入射し、前眼房、後眼房、水晶体、および硝子体などを通過し、網膜で反射される。網膜で反射された一部の反射光は、入射時と同一の経路を経て、撮像装置１１に到達する。一般に、前眼房、後眼房、水晶体、および硝子体などを通過する光の強さは減衰する。このため、網膜で反射され撮像装置１１に到達した反射光の輝度は、対象者１５の顔で乱反射され撮像装置１１に到達した反射光の輝度よりも低い。したがって、撮像画像は、眼球３０に対応する撮像画像上の領域３１において（図４参照）、第１のドットよりも輝度が低いドット（第３のドット）を含む。換言すると、第３のドットは、眼球３０に対応する撮像画像上の領域３１内に存在するドットである。

また、眼球３０（図３参照）は略球体であるため、眼球３０の中心から放射方向外側に離れるほど、入射するパターン光の入射角が増加する。入射角が大きいほど、撮像装置１１に到達する反射光の輝度は低い。また、入射角が増加するほど、照射された略円形状の光線束が、眼球３０の中心から放射方向に長軸を有する略楕円形状の光線束となって撮像装置１１に到達し、撮像光学系２１によって結像される。したがって、図５（ａ）に示すように、撮像画像上の第３のドット３２は、眼球３０の中心から放射方向外側に離れるほど、輝度が低下しかつ放射方向に長軸の長さが増加する略楕円形状のドットである。図５においては説明のため、第３のドット３２の長軸の長さを一定として示している。

画像処理装置１２は（図１参照）、入出力部３３と、記憶部３４と、制御部３５とを備える。

入出力部３３は、ネットワーク１４を介して情報の入力（取得）および出力を行うインターフェースである。

記憶部３４は、画像処理装置１２の動作に必要な種々の情報およびプログラムを記憶する。

制御部３５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読込むことによって特定の機能を実行する汎用のＣＰＵである。制御部３５は、画像処理装置１２の各部位の動作を制御する。

例えば、制御部３５は、複数フレームの撮像画像を撮像装置１１から取得する。

また、制御部３５は、取得した各撮像画像上の所定の条件（識別条件）を満たすドットを識別する。ここで識別条件は、撮像画像上のドットの輝度および形状の少なくとも一方に関する条件である。以下、具体的に説明する。

例えば、識別条件は、撮像画像上のドットの輝度が所定閾値以上である条件（第１の条件）であってもよい。上述したように、撮像画像上の第１のドットの輝度は、第２のドットの輝度および第３のドットの輝度よりも高い。例えば、制御部３５は、撮像画像に対して、第１のドットの輝度以下であって他のドットの輝度よりも大きい値を閾値に定めて２値化処理を行い、撮像画像上の第１のドットを識別する。換言すると、制御部３５は、ドットの輝度に関する第１の条件を用いて、第１のドットを識別する。

また、識別条件は、撮像画像上のドットの形状が基準形状に略一致する条件（第２の条件）であってもよい。基準形状は、対象者１５の顔に対応する撮像画像上の領域２８（図４参照）に含まれる第１のドットに対応する形状である。本実施形態において、基準形状は円形状である。上述したように、撮像画像上の第３のドットは、眼球３０の中心から放射方向外側に離れるほど輝度が低下する略楕円形状のドットである。例えば、輝度閾値を所定下限値から所定上限値まで増加させて２値化処理を行うと、略楕円形状である第３のドットの撮像画像上の位置が移動（変化）する。一方、輝度閾値を所定下限値から所定上限値まで増加させて２値化処理を行っても、略円形状である第１のドットおよび第２のドットの撮像画像上の位置は変化しない。制御部３５は、撮像画像に対して、輝度閾値を所定下限値から所定上限値まで増加させて２値化処理を行い、撮像画像上の位置が変化しないとみなし得るドット、すなわち形状が基準形状（円形状）に略一致する第１のドットおよび第２のドットを識別する。ここで、位置が変化しないとみなし得るドットとは、例えば位置の変化が所定の範囲内であるドットである。このように、制御部３５は、ドットの形状に関する第２の条件を用いて、第１のドットおよび第２のドットを識別する。

制御部３５は、第１の条件および第２の条件の双方を満たすドット、すなわち第１のドットを識別してもよい。

同様に、識別条件は、撮像画像上のドットの輝度が所定閾値未満である条件（第３の条件）であってもよい。制御部３５は、ドットの輝度に関する第３の条件を用いて、第２のドットおよび第３のドットを識別する。また、所定条件は、撮像画像上のドットの形状が基準形状と異なる条件（第４の条件）であってもよい。制御部３５は、ドットの形状に関する第４の条件を用いて、第３のドットを識別する。制御部３５は、第３の条件および第４の条件の双方を満たすドット、すなわち第３のドットを識別してもよい。

また、制御部３５は、識別されたドットの数を、複数フレームの各撮像画像について計上して記憶部３４に記憶させる。制御部３５は、識別されたドットの数の複数フレームにおける経時変化に基づいて、対象者１５の眼の開閉状態を判定する。以下、具体的に説明する。

対象者１５の眼が開状態である場合には、図５（ａ）に示すように、眼球３０に対応する撮像画像上の領域３１ａは比較的大きい。かかる場合には、撮像画像上の第３のドットの数は最大となり、第１のドットの数、または第１のドットおよび第２のドットの合計数は最小となる。

対象者１５の眼が開閉途中である場合には、すなわち眼が閉じかけている場合または開きかけている場合には、図５（ｂ）に示すように、眼球３０に対応する撮像画像上の領域３１ｂは、対象者１５の眼が開状態である場合（図５（ａ）参照）と比較して小さい。かかる場合には、対象者１５の眼が開状態である場合と比較して、撮像画像上の第３のドットの数は減少し、第１のドットの数、または第１のドットおよび第２のドットの合計数は増加する。

そして、対象者１５の眼が閉状態である場合には、図５（ｃ）に示すように、撮像画像には眼球３０が含まれない。かかる場合には、撮像画像上の第３のドットの数はゼロであり、第１のドットの数、または第１のドットおよび第２のドットの合計数は最大となる。

このように、眼の開閉状態に応じて、第１のドット数、または第１のドットおよび第２のドットの合計数、ならびに第３のドットの数は変化する。まず、識別条件が第１の条件および第２の条件の少なくとも一方である場合について説明する。図６（ａ）は、識別条件に基づいて識別されたドット、例えば第１の条件および第２の条件を満たす第１のドットの数の経時変化の例を示す図であって、横軸を時間（フレーム）、縦軸を第１のドットの数としたグラフである。制御部３５は、識別されたドットの数が比較的短い時間（少ないフレーム）において急激に変化するとき（図６（ａ）のＡ）、対象者１５が瞬きをしていると判定する。制御部３５は、識別されたドットの数が所定時間（所定数の複数フレーム）において単調増加するとき（図６（ａ）のＢ）、対象者１５の眼が閉じかけていると判定する。制御部３５は、識別されたドットの数が所定時間継続して（所定数の複数フレームのそれぞれにおいて）所定の範囲内（図６（ａ）のＣ）であるとき（図６（ａ）のＤ）、対象者１５の眼が閉状態であると判定する。ここで、対象者１５の眼が閉状態であると判定する所定の範囲は、実験またはシミュレーションなどに基づいて予め決定される。

次に、識別条件が第３の条件および第４の条件の少なくとも一方である場合について説明する。図６（ｂ）は、識別条件に基づいて識別されたドット、例えば第３の条件および第４の条件を満たす第３のドットの数の経時変化の例を示す図であって、横軸を時間（フレーム）、縦軸を第３のドットの数としたグラフである。制御部３５は、識別されたドットの数が比較的短い時間（少ないフレーム）において急激に変化するとき（図６（ｂ）のＥ）、対象者１５が瞬きをしていると判定する。制御部３５は、識別されたドットの数が所定時間（所定数の複数フレーム）において単調減少するとき（図６（ｂ）のＦ）、対象者１５の眼が閉じかけていると判定する。制御部３５は、識別されたドットの数が所定時間継続して（所定数の複数フレームのそれぞれにおいて）所定の範囲内（図６（ｂ）のＧ）であるとき（図６（ａ）のＨ）、対象者１５の眼が閉状態であると判定する。

また、制御部３５は（図１参照）、対象者１５の眼の開閉状態の判定結果に応じて、警告装置１３に制御信号を出力する。本実施形態において、制御部３５は、対象者１５の眼が閉じかけていると判定したとき、および対象者１５の眼が閉状態であると判定したとき、警告装置１３に制御信号を出力する。好適には、制御部３５は、対象者１５の眼が閉じかけていると判定したときに第１の制御信号を出力し、対象者１５の眼が閉状態であると判定したときに第２の制御信号を出力する。

警告装置１３は、例えばスピーカおよびバイブレータなどを備える。警告装置１３は、画像処理装置１２から制御信号を取得すると、対象者１５に対して警告を行う。警告は、例えば音および振動の少なくとも一方によって行われる。好適には、警告装置１３は、第１の制御信号を取得したときと、第２の制御信号を取得したときとで異なる警告を行う。具体的には、警告装置１３は、第２の制御信号を取得したときに、第１の制御信号を取得したときと比較して強い警告、例えば比較的大きな音による警告または比較的強い振動による警告などを行う。

次に、本実施形態に係る判定システム１０が実行する処理について、図７のフローチャートを用いて説明する。本処理は、例えば対象者１５が移動体１６を走行させたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。

はじめに、撮像装置１１は、対象者１５に対してパターン光を照射する（ステップＳ１００）。

続いて、撮像装置１１は、パターン光が照射された対象者１５を撮像して撮像画像を生成する（ステップＳ１０１）。

次に、画像処理装置１２は、ステップＳ１０１で生成された撮像画像を取得する（ステップＳ１０２）。

続いて、画像処理装置１２は、ステップＳ１０２で取得された撮像画像上の識別条件を満たすドットを識別する（ステップＳ１０３）。ここで、識別条件は、第１の条件および第２の条件を含むものとする。

続いて、画像処理装置１２は、ステップＳ１０３で識別されたドットの数を計上して記憶する（ステップＳ１０４）。

続いて、画像処理装置１２は、所定数の複数フレームについてドットの数を記憶したか否かを判定する（ステップＳ１０５）。所定数の複数フレームについてドットの数を記憶していないとき（ステップＳ１０５−Ｎｏ）、ステップＳ１００に戻る。

一方、所定数の複数フレームについてドットの数を記憶しているとき（ステップＳ１０５−Ｙｅｓ）、画像処理装置１２は、記憶されたドットの数が、比較的短い時間（少ないフレーム）において急激に変化するときを除き、最新の所定数の複数フレームにおいて単調増加するか否かを判定する（ステップＳ１０６）。ドットの数が単調増加するとき（ステップＳ１０６−Ｙｅｓ）、画像処理装置１２は対象者１５の眼が閉じかけていると判定し、ステップＳ１０８に進む。

一方、ドットの数が単調増加しないとき（ステップＳ１０６−Ｎｏ）、画像処理装置１２は、記憶されたドットの数が最新の所定数の複数フレームのそれぞれにおいて所定範囲内であるか否かを判定する（ステップＳ１０７）。ドットの数が所定範囲内でないとき（ステップＳ１０７−Ｎｏ）、ステップＳ１００に戻る。一方、ドットの数が所定範囲内であるとき（ステップＳ１０７−Ｙｅｓ）、画像処理装置１２は対象者１５の眼が閉状態であると判定し、ステップＳ１０８に進む。

ステップＳ１０６においてドットの数が単調増加するとき（ステップＳ１０６−Ｙｅｓ）、またはステップＳ１０７においてドットの数が所定範囲内であるとき（ステップＳ１０７−Ｙｅｓ）、画像処理装置１２は、警告装置１３に対して制御信号を出力する（ステップＳ１０８）。

そして、警告装置１３は、画像処理装置１２から制御信号を取得すると、対象者１５に対する警告を行う（ステップＳ１０９）。

このように、本実施形態に係る判定システム１０の画像処理装置１２は、複数のドットを含むパターン光が照射された対象者１５を撮像した複数フレームの撮像画像を取得し、取得された各撮像画像上の識別条件を満たすドットを識別し、識別されたドットの数の複数フレームにおける経時変化に基づいて対象者１５の眼の開閉状態を判定する。ここで、眼の開閉状態の判定は、撮像画像上の対象者１５の眼を含む領域全体を用いて行われるため、例えば瞳孔に対応する領域のみを用いて眼の開閉状態を判定する手法と比較して、判定精度が向上する。また、識別されるドットの数は、眼の開閉状態に応じて連続的に変化するため、例えば眼が閉じかかっている状態など、開閉の途中の状態が判定可能である。

また、画像処理装置１２は、撮像画像上のドットの輝度および形状の少なくとも一方に関する条件を満たすドットを識別する。上述したように、撮像画像上のドットの輝度、形状、および位置は、パターン光が照射された被写体に応じて異なる。このため、撮像画像上のドットの輝度および形状の少なくとも一方に関する条件を用いることによって、撮像画像上の被写体に応じたドットが識別可能である。

例えば、画像処理装置１２は、上述した第１の条件および第２の条件の少なくとも一方を用いることによって、第１のドット、または第１のドットおよび第２のドットを識別可能である。

また、画像処理装置１２は、第１のドット、または第１のドットおよび第２のドットを識別し、識別されたドットの数が複数フレームにおいて単調増加するとき、対象者１５の眼が閉じかかっていると判定可能である。かかる場合には、警告装置１３が警告を行うことによって、例えば居眠り運転の発生が低減される。

また例えば、画像処理装置１２は、上述した第３の条件および第４の条件の少なくとも一方を用いることによって、第３のドット、または第２のドットおよび第３のドットを識別可能である。

また、画像処理装置１２は、第３のドット、または第２のドットおよび第３のドットを識別し、識別されたドットの数が複数フレームにおいて単調減少するとき、対象者１５の眼が閉じかかっていると判定可能である。かかる場合には、警告装置１３が警告を行うことによって、例えば居眠り運転の発生が低減される。

また、画像処理装置１２は、識別されたドットの数が複数フレームのそれぞれにおいて所定の範囲内であるとき、対象者１５の眼が閉状態であると判定可能である。かかる場合には、警告装置１３が警告を行うことによって、例えば居眠り運転の発生が低減される。

（第１の変形例）
次に、本発明の実施形態の第１の変形例について説明する。第１の変形例に係る判定システム１０の構成は、上述した実施形態と同様である（図１参照）。上述した実施形態において、対象者１５の眼が閉状態であると判定されるドットの数の範囲は、実験などに基づいて予め決定される。一方、第１の変形例に係る判定システム１０は、例えば対象者１５が移動体１６を走行させる前に眼の開閉状態に関するキャリブレーションを行い、キャリブレーションの結果に基づいて、対象者１５の眼が閉状態であると判定されるドットの数の範囲などが決定される。以下、詳細に説明する。

撮像装置１１は、例えば対象者１５が移動体１６を走行させる前に、対象者１５の操作に応じて対象者１５を撮像可能である。対象者１５の操作によって、パターン光が照射され眼が開状態である対象者１５を撮像した第１の撮像画像と、パターン光が照射され眼が閉状態である対象者１５を撮像した第２の撮像画像とが生成される。好適には、撮像装置１１は、対象者１５に対して所定の着座姿勢を促し、眼を開状態または閉状態としたうえで撮像の操作を行うように対象者１５に通知する。撮像装置１１は、生成した第１の撮像画像および第２の撮像画像を画像処理装置１２に出力する。

画像処理装置１２は、上述した実施形態と同様にして、撮像装置１１から取得した第１の撮像画像および第２の撮像画像それぞれについて、撮像画像上の識別条件を満たすドットを識別する。以下、所定条件が第１の条件および第２の条件を含む場合を例示して説明する。かかる場合には、画像処理装置１２は、各撮像画像について、第１の条件および第２の条件の双方を満たすドット、すなわち第１のドットを識別する。

画像処理装置１２は、各撮像画像上で識別されたドットの数をそれぞれ計上し、計上されたドットの数に基づく基準情報を記憶する。基準情報は、例えば第１の撮像画像上で識別された第１のドットの数および第２の撮像画像上で識別された第１のドットの数を示す。後述するように、基準情報は、対象者１５の眼が閉状態であると判定されるドットの数の範囲の決定などに用いられる。

そして、画像処理装置１２は、例えば対象者１５が移動体１６を走行させると、上述した実施形態と同様にして、パターン光が照射された対象者１５を撮像した複数フレームの撮像画像を取得する。画像処理装置１２は、取得された各撮像画像上の識別条件、ここでは第１の条件および第２の条件を満たすドット、すなわち第１のドットを識別する。

画像処理装置１２は、基準情報と、識別されたドットの数の複数フレームにおける経時変化とに基づいて、対象者１５の眼の開閉状態を判定する。ここで、対象者１５が瞬きをしていると判定する画像処理装置１２の処理、および、対象者１５の眼が閉じかかっていると判定する画像処理装置１２の処理については、上述した実施形態と同一である。

対象者１５の眼が閉状態であると判定する画像処理装置１２の処理について説明する。制御部３５は、基準情報に基づいて、対象者１５の眼が閉状態であると判定するドットの数の範囲を定める。図８は、識別された第１のドットの数の経時変化の例を示す図であって、横軸を時間（フレーム）、縦軸を第１のドットの数としたグラフである。例えば、制御部３５は、対象者１５の眼が閉状態である第２の撮像画像上で識別された第１のドットの数を含む範囲を、対象者１５の眼が閉状態であると判定するドットの数の範囲（図８のＩ）に定める。そして、制御部３５は、取得された複数フレームの撮像画像上で識別された第１のドットの数が、所定時間継続して上述のように定めた範囲内であるとき（図８のＪ）、対象者１５の眼が閉状態であると判定する。

次に、対象者１５が眼を細めている状態（対象者１５の眼が不完全な開状態）であると判定する画像処理装置１２の処理について説明する。制御部３５は、基準情報に基づいて、対象者１５の眼が不完全な開状態であると判定するドットの数の範囲を定める。例えば、制御部３５は、対象者１５の眼が開状態である第１の撮像画像上で識別された第１のドットの数を下限値とし、対象者１５の眼が閉状態であると判定するドットの数の範囲（図８のＩ）の下限値を上限値とする範囲（図８のＫ）を定める。そして、制御部３５は、取得された複数フレームの撮像画像上で識別された第１のドットの数が、所定時間継続して上述のように定めた範囲内で略一定の値であるとき（図８のＬ）、対象者１５の眼が不完全な開状態であると判定する。

次に、第１の変形例に係る判定システム１０が基準情報を生成する処理について、図９のフローチャートを用いて説明する。本処理は、例えば対象者１５が移動体１６を走行させる前に開始される。

はじめに、撮像装置１１は、対象者１５に対してパターン光を照射する（ステップＳ２００）。

続いて、撮像装置１１は、対象者１５の操作に応じて、パターン光が照射された対象者１５を撮像して撮像画像を生成する（ステップＳ２０１）。このようにして生成された撮像画像は、第１の撮像画像および第２の撮像画像である。

次に、画像処理装置１２は、生成された第１の撮像画像および第２の撮像画像を取得する（ステップＳ２０２）。

続いて、画像処理装置１２は、取得された撮像画像上の識別条件を満たすドットを識別する（ステップＳ２０３）。

続いて、画像処理装置１２は、各撮像画像上で識別されたドットの数をそれぞれ計上し、計上されたドットの数に基づく基準情報を記憶する（ステップＳ２０４）。

このように、本発明の第１の変形例に係る判定システム１０の画像処理装置１２は、基準情報と、識別されたドットの数の複数フレームにおける経時変化とに基づいて、対象者１５の眼の開閉状態を判定する。ここで、撮像画像上において識別されるドットの数は、眼の開閉状態が一定であっても、例えば対象者１５の着座姿勢および眼の大きさの個人差に応じて異なる。基準情報は、座席に着座した対象者１５を実際に撮像した第１の撮像画像および第２の撮像画像に基づいて生成されるので、対象者１５の着座姿勢および眼の大きさの個人差などによる撮像画像上のドットの数の変動が抑制され、眼の開閉状態の判定精度が向上する。また、基準情報に基づいて、眼の開閉状態を段階的に判定するドットの数の範囲が決定可能である。このようにして、例えば眼の閉状態と不完全な開状態とが区別可能となるため、眼の閉状態の判定精度が向上する。

（第２の変形例）
次に、本発明の実施形態の第２の変形例について説明する。第２の変形例に係る判定システム１０の構成は、上述した実施形態と同様である（図１参照）。上述した実施形態において、画像処理装置１２は、対象者１５の顔を撮像した撮像画像の全領域において識別したドットの数の経時変化に基づいて、眼の開閉状態を判定する。ここで、撮像画像上の対象者１５の眼の位置は、運転中に変化する着座姿勢に応じて異なる。第２の変形例に係る判定システム１０の画像処理装置１２は、撮像画像上の対象者１５の眼を含む所定面積の領域（眼周辺領域）において識別したドットの数の経時変化に基づいて、眼の開閉状態を判定する。以下、詳細に説明する。

撮像装置１１は（図１参照）、上述した実施形態と同様に、パターン光が照射された対象者１５を撮像した複数フレームの撮像画像を生成して、画像処理装置１２に出力する。

画像処理装置１２は、撮像装置１１から取得された各撮像画像上の眼周辺領域を、撮像画像上のドットパターンに基づいて決定する。上述したように、撮像画像は、対象者１５の眼球３０（図３参照）に対応する領域３１内（図４参照）において、眼球３０の中心から放射方向外側に離れるほど、輝度が低下しかつ放射方向に長軸の長さが増加する略楕円形状の第３のドットを含む。例えば、画像処理装置１２は、撮像画像上で識別された全ての第３のドットを少なくとも含む所定の形状および面積の領域を、眼周辺領域に定める。あるいは、画像処理装置１２は、パターン光が眼球３０で反射された反射光による像を示す基準画像、例えば中心点から放射方向に長軸を有する複数の楕円形状のドットを含む画像を予め記憶しておき、基準画像を用いるパターンマッチングによって撮像画像上の眼の位置および眼周辺領域を決定してもよい。

好適には、画像処理装置１２は、例えば任意の１つのフレームの撮像画像上で十分な数の第３のドットが識別されない場合には、当該１つのフレームの撮像画像上における眼周辺領域を、当該１つのフレームよりも前のフレームの撮像画像上の眼周辺領域および当該１つのフレームよりも後のフレームの撮像画像上の眼周辺領域の少なくとも一方に基づいて決定する。換言すると、画像処理装置１２は、任意の１つのフレームの撮像画像上の眼周辺領域を、他のフレームの撮像画像上の眼周辺領域に基づいて推定する。例えば、画像処理装置１２の制御部３５は、１つのフレームの撮像画像上における眼周辺領域を、前フレームまたは後フレームにおける眼周辺領域の撮像画像上の位置と同一の位置に決定してもよい。あるいは、制御部３５は、１つのフレームの撮像画像上における眼周辺領域を、前フレームにおける眼周辺領域の撮像画像上の位置と前フレームにおける眼周辺領域の撮像画像上の位置との中間の位置に決定してもよい。

画像処理装置１２の制御部３５は、取得した各撮像画像について、決定された眼周辺領域内で識別条件を満たすドットを識別する。そして、制御部３５は、上述した実施形態と同様に、識別されたドットの数の複数フレームにおける経時変化に基づいて、対象者１５の眼の開閉状態を判定する。

次に、第２の変形例に係る判定システム１０が実行する処理について、図１０のフローチャートを用いて説明する。本処理は、例えば対象者１５が移動体１６を走行させたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。

はじめに、ステップＳ３００乃至ステップＳ３０２において、上述した実施形態におけるステップＳ１００乃至ステップＳ１０２（図７参照）と同様の処理が行われる。

次に、画像処理装置１２は、ステップＳ３０２（図１０参照）で取得された各撮像画像上の眼周辺領域を決定する（ステップＳ３０３）。

続いて、画像処理装置１２は、取得された各撮像画像上の眼周辺領域において識別条件を満たすドットを識別する（ステップＳ３０４）。ここで、識別条件は、第１の条件および第２の条件を含むものとする。

そして、ステップＳ３０５乃至ステップＳ３１０において、上述した実施形態におけるステップＳ１０４乃至ステップＳ１０９（図７参照）と同様の処理が行われる。

このように、本発明の第２の変形例に係る判定システム１０の画像処理装置１２は、撮像画像上の眼周辺領域において識別条件を満たすドットを識別する。このため、撮像画像上の全領域においてドットを識別する場合と比較して、ドットを識別する処理負担が軽減される。また、眼球３０に対応する撮像画像上の領域が眼周辺領域に占める割合は、眼球３０に対応する撮像画像上の領域が撮像画像上の全領域に占める割合よりも大きい。したがって、識別されたドットの数の複数フレームにおける経時変化が相対的に大きく検出されるため、眼の開閉状態の判定精度が向上する。

また、画像処理装置１２は、１つのフレームの撮像画像上の眼周辺領域を、当該１つのフレームよりも前のフレームの撮像画像上の眼周辺領域および当該１つのフレームよりも後のフレームの撮像画像上の眼周辺領域の少なくとも一方に基づいて決定する。このようにして、画像処理装置１２は、例えば瞬きの途中で眼が閉状態となった対象者１５を撮像した撮像画像についても、前後フレームの撮像画像を用いて眼周辺領域を決定可能である。

また、画像処理装置１２は、撮像画像上の眼周辺領域を、撮像画像上のドットパターンに基づいて決定する。このようにして、画像処理装置１２は、運転中に変化する着座姿勢に応じて撮像画像上の対象者１５の眼の位置が変化する場合であっても、眼の位置の変化に追従して眼周辺領域を決定可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。

また、上述した実施形態の第２の変形例において、基準情報は第１の撮像画像上で識別された第１のドットの数および第２の撮像画像上で識別された第１のドットの数を示すが、基準情報の内容はこれに限られない。例えば、基準情報は、第１の撮像画像上で識別されたドットの数および第２の撮像画像上で識別されたドットの数に基づいて定められる、眼の開閉状態を段階的に判定するドットの数の範囲であってもよい。

また、上述した実施形態において、画像処理装置１２は、例えば対象者１５の眼が閉状態であると判定するドットの数の範囲を、複数フレームにおいて識別されたドットの数の経時変化に基づいて定めてもよい。例えば、画像処理装置１２の制御部３５は、例えば第１の条件および第２の条件に基づいて識別された第１のドットの数が比較的短い時間（少ないフレーム）において急激に変化するとき（例えば、図６（ａ）のＡ参照）、当該時間内におけるドットの数の最大値（または複数のピーク値の平均値）、すなわち瞬きにおいて眼が閉状態であると判定し得るときのドットの数を検出する。同様に、制御部３５は、当該時間内におけるドットの数の最小値（または複数のピーク間の最小値の平均値）、すなわち瞬きにおいて眼が開状態であると判定し得るときのドットの数を検出する。制御部３５は、検出された最大値に基づいて決定される範囲、例えば最大値を含む範囲を、対象者１５の眼が閉状態であると判定するドットの数の範囲に定める。また、制御部３５は、例えば検出された最小値を下限値とし、検出された最大値を上限値とする範囲を定める。そして、制御部３５は、取得された複数フレームの撮像画像上で識別された第１のドットの数が、所定時間継続して上述のように定めた範囲内で略一定の値であるとき、対象者１５の眼が不完全な開状態であると判定する。このようにして、眼の閉状態と不完全な開状態とを区別できるので、眼の閉状態の判定精度が向上される。

また、上述の実施形態に係る判定システム１０の構成要素の一部は、移動体１６の外部に設けられてもよい。例えば、画像処理装置１２などは、携帯電話または外部サーバなどの通信機器として実現され、判定システム１０の他の構成要素と有線または無線によって接続されてもよい。

１０ 判定システム
１１ 撮像装置
１２ 画像処理装置
１３ 警告装置
１４ ネットワーク
１５ 対象者
１６ 移動体
１７ ダッシュボード
１８ 発光部
１９ パターンマスク
２０ 照明光学系
２１ 撮像光学系
２２ 撮像素子
２３ 画像処理部
２４ 入出力部
２５ カメラ制御部
２６ 背景
２８ 顔に対応する撮像画像上の領域
２９ 背景に対応する撮像画像上の領域
３０ 眼球
３１、３１ａ、３１ｂ 眼球に対応する撮像画像上の領域
３１ａ 領域
３１ｂ 領域
３２ 第３のドット
３３ 入出力部
３４ 記憶部
３５ 制御部

Claims (10)

1. 対象者に対してそれぞれ基準形状を有する複数のドットを含むパターン光を照射する照射ステップと、
   前記パターン光が照射された前記対象者を撮像した複数フレームの撮像画像を取得する第１取得ステップと、
   前記第１取得ステップで取得された各撮像画像上の、前記基準形状に略一致するドットおよび前記基準形状と異なるドットを識別する第１識別ステップと、
   前記第１識別ステップで識別された、前記基準形状に略一致する前記ドットの数または前記基準形状と異なる前記ドットの数の、前記複数フレームにおける経時変化に基づいて、前記対象者の眼の開閉状態を判定する判定ステップと
   を含む、眼の開閉状態の判定方法。
2. 請求項１に記載の判定方法であって、
   前記第１識別ステップで識別された、前記基準形状に略一致する前記ドットの数が前記複数フレームにおいて単調増加するとき、前記対象者に対する警告を行う第１警告ステップをさらに含む、判定方法。
3. 請求項１に記載の判定方法であって、
   前記第１識別ステップで識別された、前記基準形状と異なる前記ドットの数が前記複数フレームにおいて単調減少するとき、前記対象者に対する警告を行う第２警告ステップをさらに含む、判定方法。
4. 請求項１乃至３の何れか一項に記載の判定方法であって、
   前記第１識別ステップで識別された、前記基準形状に略一致する前記ドットの数または前記基準形状と異なる前記ドットの数が、前記複数フレームのそれぞれにおいて所定範囲内であるとき、前記対象者に対する警告を行う第３警告ステップをさらに含む、判定方法。
5. 請求項１乃至４の何れか一項に記載の判定方法であって、
   前記パターン光が照射され眼が開状態である前記対象者を撮像した撮像画像と、前記パターン光が照射され眼が閉状態である前記対象者を撮像した撮像画像とを取得する第２取得ステップと、
   前記第２取得ステップで取得された各撮像画像上の、前記基準形状に略一致するドットおよび前記基準形状と異なるドットを識別する第２識別ステップと、
   前記第２識別ステップで識別された、前記基準形状に略一致する前記ドットの数および前記基準形状と異なる前記ドットの数の少なくとも一方に基づく基準情報を記憶する記憶ステップとをさらに含み、
   前記判定ステップにおいて、前記基準情報と、前記第１識別ステップで識別された、前記基準形状に略一致する前記ドットの数または前記基準形状と異なる前記ドットの数の、複数フレームにおける経時変化とに基づいて、前記対象者の眼の開閉状態を判定する、判定方法。
6. 請求項１乃至５の何れか一項に記載の判定方法であって、
   前記第１取得ステップで取得された各撮像画像上の、前記対象者の眼を含む眼周辺領域を決定する決定ステップをさらに含み、
   前記判定ステップにおいて、前記第１取得ステップで取得された各撮像画像上の前記眼周辺領域における、前記基準形状に略一致する前記ドットの数または前記基準形状と異なる前記ドットの数の、前記複数フレームにおける経時変化に基づいて、前記対象者の眼の開閉状態を判定する、判定方法。
7. 請求項６に記載の判定方法であって、
   前記決定ステップにおいて、１つのフレームの撮像画像上の前記眼周辺領域を、該１つのフレームよりも前のフレームの撮像画像上の眼周辺領域および該１つのフレームよりも後のフレームの撮像画像上の眼周辺領域の少なくとも一方に基づいて決定する、判定方法。
8. 請求項６または７に記載の判定方法であって、
   前記決定ステップにおいて、少なくとも１つの撮像画像上の前記眼周辺領域を、該撮像画像上のドットパターンに基づいて決定する、判定方法。
9. それぞれ基準形状を有する複数のドットを含むパターン光が照射された対象者を撮像した複数フレームの撮像画像を取得し、取得された各撮像画像上の、前記基準形状に略一致するドットおよび前記基準形状と異なるドットを識別し、前記基準形状に略一致する前記ドットの数または前記基準形状と異なる前記ドットの数の、前記複数フレームにおける経時変化に基づいて、前記対象者の眼の開閉状態を判定する制御部を備える、画像処理装置。
10. 請求項９に記載の画像処理装置と、
    前記パターン光が照射された前記対象者を撮像して前記複数フレームの撮像画像を生成する撮像装置と
    を備える、眼の開閉状態の判定システム。

Images