JP6514651B2 - 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム - Google Patents

Description

本発明は開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラムに関する。

車両の運転者の居眠りを検知するための開眼度検出システムが開発されている。例えば、特許文献１には、閉眼を判断するための閾値を個人や環境にかかわらず設定する開閉眼モニタ装置が記載されている。

特開２００４−０４１４８５号公報

背景技術に係る開眼度検出システムでは、カメラが撮影した画像に基づいて開眼度を検出するときに、光環境が悪い状況では開閉眼を判断するための閾値を変化させて瞬きを判断している。しかしながら、光環境が悪い状況で撮影した画像を用いて検出した開眼度は、開閉眼を判断するための閾値を変化させても正確でない可能性があり、居眠りの判断は不安定になる。

そこで、開眼度を精度良く安定して算出することができる開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラムが望まれていた。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、開眼度検出システムは、対象者の両方の目の領域を少なくとも含む撮像画像を互いに時間をずらして撮像する複数の撮像装置と、第１の撮像画像の左右の目の片側開眼度をそれぞれ算出する片側開眼度算出部、左右の片側開眼度が略一致しないときに、左右の目のそれぞれの領域の画素値ヒストグラムを作成し、画素値ヒストグラムに基づいて正しく算出されている片側開眼度を選択する開眼度選択部、左右の片側開眼度が略一致するときに左右の片側開眼度に基づいて開眼度を算出し、左右の片側開眼度が略一致しないときに開眼度選択部が選択した片側開眼度に基づいて開眼度を算出する開眼度算出部、及び、第１の撮像画像に基づいて算出した開眼度と、第１の撮像画像よりも前の第２の撮像画像に基づいて算出した開眼度とを比較して、第１の撮像画像に基づいて算出した開眼度の可否を決定する開眼度決定部を有する開眼度検出装置とを備えるものである。

なお、上記実施の形態のシステムを装置、方法又は他のシステム（例えば、居眠り検知システム、自動シャッタシステム）に置き換えて表現したもの、該システムまたは該システムの一部の処理をコンピュータに実行せしめるプログラム、該システムを備えた撮像装置、自動車なども、本発明の態様としては有効である。

上記一実施の形態によれば、開眼度を精度良く安定して算出する開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラムを提供することができる。

実施の形態１に係る居眠り検知システム１の概略構成を示す図である。 実施の形態１に係る居眠り検知方法の処理手順を示すフローチャートである。 実施の形態１に係る片側開眼度αの算出方法を説明するための図である。 実施の形態１に係る輝度値ヒストグラムの例である。 実施の形態１に係るカメラ特性の判断方法を説明するための図である。 実施の形態１に係る開眼度推移グラフの例である。 実施の形態１に係る開眼度推移グラフの別の例である。 実施の形態１に係る居眠り検知システム１を自動車６の内部に取り付けたときの状態を示す図である。 実施の形態２に係る自動シャッタシステム２の概略構成を示す図である。 実施の形態２に係る自動シャッタ方法の処理手順を示すフローチャートである。 実施の形態２に係る開眼度推移グラフの例である。

説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。
また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

（実施の形態１）
本実施の形態１に係る居眠り検知システムは、自動車などの車両に搭載されて、複数台のカメラが互いに時間をずらして対象者である運転者を撮像し、複数の撮像画像でそれぞれ算出した運転者の目の開眼度に基づいて、運転者の居眠りを検知するものである。

まず、本実施の形態１に係る居眠り検知システム１の構成について説明する。
図１は、本実施の形態１に係る居眠り検知システム１の概略構成を示す図である。
居眠り検知システム１は、２台のカメラ１１、１２、開眼度検出部２０、グラフ作成部３０、居眠り検知部４０、警報装置５０などを備える。

カメラ１１、１２は運転者の左右斜め前方にそれぞれ配置されて、運転者を交互に撮像し、撮像画像を開眼度検出部２０に出力する。
開眼度検出部２０は、複数の撮像画像に基づいて、撮像画像が撮像されたそれぞれのタイミングでの開眼度を検出する。このために、開眼度検出部２０は、片側開眼度算出部２１、開眼度選択部２２、開眼度算出部２３、開眼度決定部２４などを備える。

片側開眼度算出部２１は、各撮像画像から左右の目の領域をそれぞれ抽出し、特徴量を算出し、左右の目のそれぞれの開眼度（以下、「片側開眼度」という。）を算出する。また、片側開眼度算出部２１は、算出した左右の片側開眼度が略一致するか否かを判定し、その結果を開眼度選択部２２及び開眼度算出部２３に出力する。

開眼度選択部２２は、片側開眼度算出部２１が算出した左右の片側開眼度が略一致しないときに、左右の目のそれぞれの領域の画素値ヒストグラムを作成し、画素値ヒストグラムに基づいて正しく算出されている片側開眼度を選択し、その結果を開眼度算出部２３に出力する。

開眼度算出部２３は、片側開眼度算出部２１が算出した左右の片側開眼度が略一致するときは、左右の片側開眼度に基づいて開眼度を算出する。また、左右の片側開眼度が略一致しないときは、開眼度選択部２２が選択した片側開眼度に基づいて開眼度を算出する。そして、算出した開眼度を開眼度決定部２４に出力する。

開眼度決定部２４は、あるタイミングで撮像された撮像画像の開眼度と、それよりも前のタイミングで撮像された撮像画像の開眼度とを比較して、あるタイミングでの開眼度が正しいと判断したときは当該タイミングでの開眼度をグラフ作成部３０に出力する。

グラフ作成部３０は、各撮像画像の撮像のタイミングと開眼度との関係を示す開眼度推移グラフを作成し、居眠り検知部４０に出力する。
居眠り検知部４０は、開眼度推移グラフから運転者が開眼している時間（以下、「開眼時間」という。）と閉眼している時間（以下、「閉眼時間」という。）とを決定し、所定の時間内の開眼時間と閉眼時間との比率に基づいて、運転者の居眠りを検知する。また、居眠り検知部４０は、運転者の居眠りを検知したときに、その結果をスピーカなどの警報装置５０に出力し、警報装置５０は運転者に警告を発する。

このような構成により、居眠り検知システム１は、開眼度を精度良く安定して検出することができ、検出した開眼度に基づいて運転者の居眠りを適切に検知することができる。

なお、居眠り検知システム１が実現する各構成要素は、例えば、コンピュータである居眠り検知システム１（カメラ１１、１２及び警報装置５０を除く）が備える演算装置（図示せず）の制御によって、プログラムを実行させることにより実現できる。

より具体的には、居眠り検知システム１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、居眠り検知システム１に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって居眠り検知システム１に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムを居眠り検知システム１に供給できる。

次に、本実施の形態１に係る居眠り検知システム１の動作、すなわち、居眠り検知方法について具体的に説明する。
図２は、本実施の形態１に係る居眠り検知方法の処理手順を示すフローチャートである。

居眠り検知システム１が動作を開始すると、カメラ１１、１２が交互に運転者を撮像する（ステップＳ１０）。このとき、カメラ１１、１２のシャッタースピードを、例えば、約３０ｍｓ（３０ｆｐｓ）にそれぞれ設定する。

次に、片側開眼度算出部２１が、１枚の撮像画像から左右の目の領域をそれぞれ抽出する（ステップＳ２０）。左右の目の領域を抽出する方法は、公知のどのような方法であっても良いが、例えば、特開２００８−１９１７８５号公報に記載された方法を用いる。

次に、片側開眼度算出部２１が、抽出した左右の目の領域において、それぞれ片側開眼度αを算出する（ステップＳ３０）。
図３は、本実施の形態１に係る片側開眼度αの算出方法を説明するための図である。図３（ａ）は普通に開いているときの目の形状、図３（ｂ）は瞬き途中の目の形状をそれぞれ示す。開眼幅Ｋは、上下の瞼の最上部と最下部との間の画素数（又は、寸法）で定義する。

片側開眼度算出部２１は、普通に開いているときの目の開眼幅Ｋｍａｘをあらかじめ算出しておき、ステップ２０で抽出した目の開眼幅Ｋを算出して、片側開眼度α（＝Ｋ／Ｋｍａｘ）を算出する。このとき、右目の片側開眼度をαＲ、左目の片側開眼度αＬとする。

そして、片側開眼度算出部２１は、左右の片側開眼度αＲ、αＬが略一致するか判断する（ステップＳ４０）。ここでは、例えば、左右の片側開眼度αＲ、αＬの差分が、値が大きい方の片側開眼度αの所定の割合以内に入っているか否かで判断することもできる。

次に、片側開眼度算出部２１が左右の片側開眼度αＲ、αＬは略一致しないと判断したとき（ステップＳ４０のＮｏ）は、太陽光や夜間のヘッドライトなどによって、左右の目のどちらかの領域の光環境、又は、カメラ１１、 １２のどちらかの光環境が異常になり、開眼度が不安定になっているとして、開眼度選択部２２が、光環境の状態を判断するために、左右の目の領域の画素値ヒストグラム、例えば、輝度値ヒストグラムを作成する（ステップＳ５０）。

図４は、本実施の形態１に係る輝度値ヒストグラムの例である。
右目の領域のヒストグラムＲはその大部分が正常値領域に入っており、左目の領域のヒストグラムＬはその大部分が異常（明るい）領域に入っている。つまり、太陽光などの強い光が左方向から射していると想定することができる。

そこで、開眼度選択部２２は、左目の光環境は異常で片側開眼度αＬが正しく算出できていないが、右目の光環境は正常で片側開眼度αＲは正しく算出できていると判断する（ステップＳ６０）。

そして、開眼度選択部２２が左右どちらかの目の光環境は正常である、ここでは、右目の光環境は正常であると判断したとき（ステップＳ６０のＹｅｓ）は、開眼度算出部２３は次の式（１）（開眼度算出式）に基づいて、開眼度βＡを算出する（ステップＳ７０）。

βＡ ＝ ＡＲ × αＲ ＋ ＡＬ × αＬ ・・・式（１）

具体的には、開眼度算出部２３は、右目の光環境が正常で左目の光環境が異常のときは次の式（２）のように、開眼度算出式の右目の開眼度状態係数ＡＲを１に、不安定要素となる左目の開眼度状態係数ＡＬを０に設定する。

βＡ ＝ １ × αＲ ＋ ０ × αＬ ＝ αＲ ・・・式（２）

つまり、開眼度βＡに片側開眼度αＲを設定して開眼度βＡを安定させる。

一方、片側開眼度算出部２１が左右の片側開眼度αＲ、αＬが略一致すると判断したとき（ステップＳ４０のＹｅｓ）は、両目の光環境が正常で、開眼度が安定していると考えて、開眼度算出部２３は、次の式（３）のように、開眼度算出式の左右の開眼度状態係数ＡＬ、ＡＲをそれぞれ０．５に設定して開眼度βＡを算出する。

βＡ ＝ ０．５ × αＲ ＋ ０．５ × αＬ ・・・式（３）

そして、両目の光環境が正常でなかったとき（ステップＳ６０のＮｏ）、又は、開眼度βＡを算出したとき（ステップＳ７０、ステップＳ８０）は、開眼度算出部２３が開眼度βＡを算出でき、かつ、今回算出した開眼度βＡと直前に算出した開眼度βＢとの差分絶対値｜βＡ−βＢ｜が０．３以下かを判断する（ステップＳ９０）。

本実施の形態１に係る居眠り検知方法では、上述したように、カメラ１１、１２が交互に多くの画像を撮像し、より短い時間間隔で開眼度βを算出している。今回算出した開眼度をβＡとし、今回の開眼度βＡを算出した撮像画像の直前の撮像画像から算出した開眼度をβＢとすると、以下に述べる理由から、これらの開眼度βＡ、βＢを比較してカメラの特性異常を検出することができる。

図５は、本実施の形態１に係るカメラ特性の判断方法を説明するための図である。図中のグラフの横軸は時間ｔを、縦軸は開眼度βを示している。
人間の瞬き速度は一般に１００〜１５０ｍｓ程度とされており、仮に１００ｍｓとしたときに、瞼が開いた状態から閉じた状態になるまでの時間は約５０ｍｓとなり、そのときの開眼度βの変化は約１．０となる。そして、シャッタースピードが約３０ｍｓ（３０ｆｐｓ）であるカメラ１１とカメラ１２とのシャッタ時間差の約１５ｍｓの間に変化する開眼度βは、瞬きが速い人でも約０．３（＝ １．０ × １５/５０）以下となる。つまり、今回の開眼度βＡと直前の開眼度βＢとの差分絶対値｜βＡ−βＢ｜が０．３以下であれば、今回の撮像画像のカメラ特性及び光環境は正常であり、差分絶対値｜βＡ−βＢ｜が０．３よりも大きければ、今回の撮像画像のカメラ特性又は光環境が異常であると判断することができる。

開眼度算出部２３は、開眼度βＡを算出できていない、又は、差分絶対値｜βＡ−βＢ｜が０．３以下ではないと判断したとき（ステップＳ９０のＮｏ）は、開眼度βＡが異常であるとして、今回の開眼度βＡを０に設定して（ステップＳ１００）、ステップＳ１０に戻る。また、開眼度算出部２３は、開眼度βＡを算出できている、かつ、差分絶対値｜βＡ−βＢ｜が０．３以下であると判断したとき（ステップＳ９０のＹｅｓ）は、開眼度βＡが正常であるとして、今回の開眼度βＡをその値に決定し（ステップＳ１１０）、開眼度βＡを記憶する。

次に、グラフ作成部３０は、グラフを作成するための一定時間が経過したか判断する（ステップＳ１２０）。グラフ作成部３０が一定時間が経過していないと判断したとき（ステップＳ１２０のＮｏ）は、ステップＳ１０に戻る。グラフ作成部３０は、一定時間が経過したと判断したとき（ステップＳ１２０のＹｅｓ）は、開眼度推移グラフを作成する（ステップＳ１３０）。

図６は、本実施の形態１に係る開眼度推移グラフの例である。グラフの横軸は時間ｔを、縦軸は開眼度βを示している。
次に、居眠り検知部４０は、所定の開閉眼閾値βｔｈを用いて、開眼度推移グラフを開眼時間Ｎａと閉眼時間Ｎｂとに分ける（ステップＳ１４０）。図５では、開眼時間Ｎａを点線で、閉眼時間Ｎｂを実線で示している。

次に、居眠り検知部４０は、所定の期間における開眼時間Ｎａと閉眼時間Ｎｂとの比率である開眼比率Ｘ（＝Ｎａ／Ｎｂ）を算出する（ステップＳ１５０）。
次に、居眠り検知部４０は、開眼比率Ｘが所定の範囲内（Ｘｔｈ１＜Ｘ＜Ｘｔｈ２）にあるかないかにより、目の開き過ぎ（Ｘ≒∞）、閉まり過ぎ（Ｘ≒０）も含めて判断し（ステップＳ１６０）、開眼比率Ｘが所定の範囲内にあると判断したとき（ステップＳ１６０のＹｅｓ）は運転者が覚醒状態にあると判断し（ステップＳ１７０）、ステップＳ１０に戻る。

また、居眠り検知部４０は、開眼比率Ｘが所定の範囲内にないと判断したとき（ステップＳ１６０のＮｏ）は、運転者が居眠り状態にあると判断し（ステップＳ１８０）、警報装置５０から警報を出力させて（ステップＳ１９０）、ステップＳ１０に戻る。

このように、本実施の形態１に係る居眠り検知システム１又は居眠り検知方法は、２台のカメラ１１、１２を用いて対象者を撮像することにより、光環境が正常な場合の開眼度βだけを用いることができるようにして、光環境に対して開眼度βを安定させることができる。また、カメラ１１、１２は撮影時刻をずらして対象者を撮影することにより時系列的に開眼度βを検出することができる。前回算出した開眼度βＢと、今回算出した開眼度βＡとの間の変化を、環境変化と合せて総合的に判断することで、開眼度βを精度良く安定して検出することができる。

なお、本実施の形態１に係る居眠り検知システム又は居眠り検知方法は、３台以上のカメラを用いて、居眠りを検知するようにしても良い。

例えば、シャッタースピードが約３０ｍｓ（３０ｆｐｓ）の３台のカメラで時間をずらして撮影する居眠り検知システムは、図１に示した居眠り検知システム１にカメラを一台追加するだけで構成できる。そして、居眠り検知方法も図２に示した手順を３台のカメラを用いたものに変更するだけで良い。

つまり、３台のカメラを用いると、カメラ間のシャッタ時間差が約１０ｍｓとなり、その間に変化する開眼度βは、瞬きが速い人でも約０．２（＝ １．０ × １０/５０）以下となる。そこで、今回の開眼度βＡと直前の開眼度βＢとの差分絶対値｜βＡ−βＢ｜が０．２以下であれば、今回の撮像画像のカメラ特性及び光環境は正常であり、差分絶対値｜βＡ−βＢ｜が０．２よりも大きければ、今回の撮像画像のカメラ特性又は光環境が異常であると判断すれば良い。

また、直前の開眼度βＢが０であるような場合には、今回の開眼度βＡと前々回の開眼度βＣとの差分絶対値｜βＡ−βＣ｜が０．４以下であれば、今回の撮像画像のカメラ特性及び光環境は正常であり、差分絶対値｜βＡ−βＣ｜が０．４よりも大きければ、今回の撮像画像のカメラ特性又は光環境が異常であると判断すれば良い。

カメラが３台以上あれば１台のカメラに問題が生じたような場合であっても、残りのカメラで安定的に開眼度βを算出することができる。また、問題が生じた１台のカメラの開眼度βを残りのカメラの開眼度βで補間するようなこともできる。

図７は、本実施の形態１に係る開眼度推移グラフの別の例である。３台のカメラを用いて開眼度βを算出したときの推移グラフである。
図７（Ａ）は、３台のカメラから算出した開眼度βがいずれも正常であったときの開眼度推移グラフの例である。

これに対し、図７（Ｂ）は算出した開眼度βに異常があったときの開眼度推移グラフの例である。開眼度βが異常な場合としては、片側開眼度αＲ、αＬが略一致せず（ステップＳ４０のＮｏ）、両目の光環境が正常でない（ステップＳ６０のＮｏ）場合や、差分絶対値｜βＡ−βＢ｜が０．２以下ではない（ステップＳ９０のＮｏ）場合をあげることができる。図２に示した処理手順では、これらのように開眼度βＡに異常があったときは、開眼度βＡ＝０に設定されるので、図７（Ｂ）に示すグラフが実際に作成されることはない。

図７（Ｃ）は、図７（Ｂ）に示したような場合に、開眼度βＡ＝０に設定したときの開眼度推移グラフの例である。このような場合であっても、本実施の形態１に係る居眠り検知システムは、開眼度推移グラフを適切に作成することができる。

図８は、本実施の形態１に係る居眠り検知システム１を自動車６の内部に取り付けたときの状態を示す図である。バックミラー７にカメラ１１、１２を設置し、自動車６の天井に警報装置（スピーカ）５０を設置している。カメラ１１、１２と運転者との距離は例えば６０ｃｍである。

カメラ１１、１２は、広角カメラ(視野角の広いカメラ)でも良く、その場合には、左右の目の横幅が変わってくるので、片側開眼度算出部２１は、撮像画像から左右の目の領域をそれぞれ抽出したとき（ステップＳ２０）に横幅伸張補正（歪み補正）をすることもできる。

また、本実施の形態１に係る居眠り検知システム１又は居眠り検知方法は、所定の期間における開眼比率Ｘを用いて居眠りを検知する代わりに、開眼度推移グラフの瞬きのときの傾き、すなわち、開閉眼速度を用いて居眠りを検知しても良い。開閉眼速度は運転者が覚醒状態にあるときの値に比べて眠い状態にあるときの値が小さくなることを用いれば、運転者の居眠りを簡単に検知することができる。

以上、説明したように、本実施の形態１に係る開眼度検出システムは、対象者の両方の目の領域を少なくとも含む撮像画像を互いに時間をずらして撮像する複数の撮像装置１１、１２と、第１の撮像画像の左右の目の片側開眼度αＲ、αＬをそれぞれ算出する片側開眼度算出部２１、左右の片側開眼度αＲ、αＬが略一致しないときに、左右の目のそれぞれの領域の画素値ヒストグラムを作成し、画素値ヒストグラムに基づいて正しく算出されている片側開眼度αを選択する開眼度選択部２２、左右の片側開眼度αＲ、αＬが略一致するときに左右の片側開眼度αＲ、αＬに基づいて開眼度βを算出し、左右の片側開眼度αＲ、αＬが略一致しないときに開眼度選択部が選択した片側開眼度αに基づいて開眼度βを算出する開眼度算出部２３、及び、第１の撮像画像に基づいて算出した開眼度βＡと、第１の撮像画像よりも前の第２の撮像画像に基づいて算出した開眼度βＢとを比較して、第１の撮像画像に基づいて算出した開眼度βＡの可否を決定する開眼度決定部２４を有する開眼度検出装置２０とを備えるものである。

また、本実施の形態１に係る開眼度検出システムは、開眼度決定部２４が、第１の撮像画像に基づいて算出した開眼度βＡと第２の撮像画像に基づいて算出した開眼度βＢとの差分が、第１の撮像画像と第２の撮像画像との撮像タイミング差に基づいて算出した閾値（例えば、０．３）以下であったときに、第１の撮像画像に基づいて算出した開眼度βＡを可と判断することが好ましい。

また、本実施の形態１に係る居眠り検知システム１は、上記開眼度検出システムと、開眼度決定部２４で決定された開眼度βＡに基づいて、開眼度推移グラフを作成するグラフ作成部３０と、開眼度推移グラフに基づいて、開眼時間Ｎａと閉眼時間Ｎｂとを決定し、所定の期間における開眼時間Ｎａと閉眼時間Ｎｂとの比率Ｘに基づいて、対象者の居眠りを検知する居眠り検知部４０とを備えるものである。

また、本実施の形態１に係る居眠り検知システム１は、居眠り検知部４０が、比率Ｘが、０を除く所定の下限しきい値Ｘｔｈ１と、無限大を除く所定の上限しきい値Ｘｔｈ２との範囲の外にあるときに、対象者の居眠りを検知することが好ましい。

また、本実施の形態１に係る開眼度検出方法は、複数の撮像装置１１、１２が、対象者の両方の目の領域を少なくとも含む撮像画像を互いに時間をずらして撮像するステップＳ１０と、第１の撮像画像の左右の目の片側開眼度αＲ、αＬをそれぞれ算出するステップＳ２０〜Ｓ３０と、左右の片側開眼度αＲ、αＬが略一致しないときに、左右の目のそれぞれの領域の画素値ヒストグラムを作成し、画素値ヒストグラムに基づいて正しく算出されている片側開眼度αを選択するステップＳ４０〜Ｓ７０と、左右の片側開眼度αＲ、αＬが略一致するときに左右の片側開眼度αＲ、αＬに基づいて開眼度βを算出し、左右の片側開眼度αＲ、αＬが略一致しないときに上記選択した片側開眼度αに基づいて開眼度βを算出するステップＳ７０、Ｓ８０と、第１の撮像画像に基づいて算出した開眼度βＡと、第１の撮像画像よりも前の第２の記撮像画像に基づいて算出した開眼度βＢとを比較して、第１の撮像画像に基づいて算出した開眼度βＡの可否を決定するステップＳ９０〜Ｓ１１０とを有するものである。

また、本実施の形態１に係る開眼度検出プログラムは、コンピュータに、複数の撮像装置１１、１２が、対象者の両方の目の領域を少なくとも含み、互いに時間をずらして撮像した撮像画像を記憶する手順Ｓ１０と、第１の撮像画像の左右の目の片側開眼度αＲ、αＬをそれぞれ算出する手順Ｓ２０〜Ｓ３０と、左右の片側開眼度αＲ、αＬが略一致しないときに、左右の目のそれぞれの領域の画素値ヒストグラムを作成し、画素値ヒストグラムに基づいて正しく算出されている片側開眼度αを選択する手順Ｓ４０〜Ｓ７０と、左右の片側開眼度αＲ、αＬが略一致するときに左右の片側開眼度αＲ、αＬに基づいて開眼度βを算出し、左右の片側開眼度αＲ、αＬが略一致しないときに上記選択した片側開眼度αに基づいて開眼度βを算出する手順Ｓ７０、Ｓ８０と、第１の撮像画像に基づいて算出した開眼度βＡと、第１の撮像画像よりも前の第２の記撮像画像に基づいて算出した開眼度βＢとを比較して、第１の撮像画像に基づいて算出した開眼度βＡの可否を決定する手順Ｓ９０〜Ｓ１１０とを実行させるためのものである。

（実施の形態２）
実施の形態１では、開眼度検出部２０を用いた居眠り検知システム１について説明したが、本実施の形態２では、開眼度検出部２０を用いた自動シャッタシステムについて説明する。
まず、本実施の形態２に係る自動シャッタシステムの構成について説明する。

図９は、本実施の形態２に係る自動シャッタシステム２の概略構成を示す図である。
自動シャッタシステム２は、１台のカメラ１６、開眼度検出部２０、グラフ作成部３０、タイミング予測部７０などを備える。自動シャッタシステム２は、例えば、カメラ２台を搭載した複眼デジタルカメラシステムを構成する。

開眼度検出部２０及びグラフ作成部３０は、実施の形態１に係るものと同様であって良く、ここではその構成及び動作の説明を省略する。
カメラ１６は、２つの撮像部１７、１８を備える。撮像部１７、１８は交互に対象者を撮像し、撮像画像を開眼度検出部２０に出力する。１台のカメラ１６に２つの撮像部１７、１８を備えるシステムの方が、２台のカメラにそれぞれ１つの撮像部を備えるシステムよりも安定して瞬きを撮影できる場合がある。

タイミング予測部７０は、グラフ作成部３０が作成、出力した開眼度推移グラフに基づいて、過去複数回の瞬きの間の平均開眼時間を算出し、次回の瞬きの開始時刻を予測し、閉眼している時間を外したシャッタ時刻を決定し、当該シャッタ時刻に基づいてカメラ１６が自動的にシャッタを切り対象者を撮影する。

次に、本実施の形態２に係る自動シャッタシステム２の動作、すなわち、自動シャッタ方法について具体的に説明する。
図１０は、本実施の形態２に係る自動シャッタ方法の処理手順を示すフローチャートである。

自動シャッタシステム２が動作を開始すると、撮像部１７、１８が交互に対象者を撮像し、開眼度検出部２０が開眼度βを検出し、グラフ作成部３０が開眼度推移グラフを作成する（ステップＳ２１０）。このステップＳ２１０は、実施の形態１に係る居眠り検知方法の処理手順のうちのステップＳ１０〜ステップＳ１３０に相当するので、ここではその詳細な説明を省略する（図２参照）。

図１１は、本実施の形態２に係る開眼度推移グラフの例である。
次に、タイミング予測部７０が、過去の瞬きの間の開眼時間Ｎａの平均値（以下、「平均開眼時間」という。）を算出する（ステップＳ２２０）。図１１に示した開眼度推移グラフの例では、タイミング予測部７０は、５つの開眼時間Ｎａ１〜Ｎａ５の平均開眼時間ＴＮａを算出する。

次に、タイミング予測部７０は、現在の時刻Ｔを更新する（ステップＳ２３０）。
次に、タイミング予測部７０は、シャッタ時刻ＴＳが決定しているか判断する（ステップＳ２４０）。
タイミング予測部７０は、シャッタ時刻ＴＳが決定していないと判断したとき（ステップＳ２４０のＮｏ）は、今回の開眼度βＡを取得する（ステップＳ２５０）。

次に、タイミング予測部７０は、前回及び今回の開眼度βＢ、βＡが正常値で、かつ、開眼閾値Ｘｔｈより大きいか判断する（ステップＳ２６０）。
タイミング予測部７０は、前回及び今回の開眼度βＢ、βＡが正常値でない、又は、開眼閾値Ｘｔｈより大きくないと判断したとき（ステップＳ２６０のＮｏ）は、今回の撮像画像は瞬き状態にあると判断して（ステップＳ２７０）、ステップＳ２３０に戻る。

一方、タイミング予測部７０は、前回及び今回の開眼度βＢ、βＡが正常値で、かつ、開眼閾値Ｘｔｈより大きいと判断したとき（ステップＳ２６０のＹｅｓ）は、今回の撮像画像の撮像タイミングを瞬き終了時刻ＴＡに設定する（ステップＳ２８０）。

そして、タイミング予測部７０は、瞬き終了時刻ＴＡと平均開眼時間ＴＮａとを加算して次回の瞬き開始時刻ＴＢ（ＴＢ ＝ ＴＡ ＋ ＴＮａ）を予測し（ステップＳ２９０）、閉眼している時間を外したシャッタ時刻ＴＳ（ＴＢ ＝ ＴＡ + （ＴＮａ/２））を決定し（ステップＳ３００）、ステップＳ２３０に戻る。

また、タイミング予測部７０は、シャッタ時刻ＴＳが決定していると判断したとき（ステップＳ２４０のＹｅｓ）は、現在時刻Ｔがシャッタ時刻ＴＳであるか否か判断する（ステップＳ３１０）。

タイミング予測部７０は、現在時刻Ｔがシャッタ時刻ＴＳでないと判断したとき（ステップＳ３１０のＮｏ）は、ステップＳ２３０に戻る。
一方、タイミング予測部７０は、現在時刻Ｔがシャッタ時刻ＴＳであると判断したとき（ステップＳ３１０のＹｅｓ）は、カメラ１６にシャッタを切るように指示し、カメラ１６が対象者を自動で撮影して（ステップＳ３２０）、処理を終了する。

このように、本実施の形態２に係る自動シャッタシステム２又は自動シャッタ方法は、瞬き状態を監視して、光環境が悪い状況でも自動的にシャッタを切ることができるようにするものである。

なお、本実施の形態２に係る自動シャッタシステム又は自動シャッタ方法は、１台のカメラ１６の２つの撮像部１７、１８が交互に対象者を撮像し、撮像画像を開眼度検出部２０に出力したが、実施の形態１と同様に、２台のカメラ１１、１２を備えて、２台のカメラ１１、１２が対象者を交互に撮像し、撮像画像を開眼度検出部２０に出力するようにしても良い。

以上、説明したように、本実施の形態２に係る自動シャッタシステムは、上記開眼度検出システムと、開眼度決定部２４で算出された開眼度βＡに基づいて、開眼度推移グラフを作成するグラフ作成部３０と、開眼度推移グラフに基づいて平均開眼時間ＴＮａを算出し、平均開眼時間ＴＮａと開眼度βＡとに基づいてシャッタ時刻ＴＳを決定して、撮像装置１１、１２に撮像させるタイミング予測部７０とを備えるものである。

以上、本発明者によってなされた発明を各実施の形態に基づき具体的に説明したが、本発明は既に述べた各実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

１ 居眠り検知システム
６ 自動車
７ バックミラー
１１、１２、１６ カメラ
１７、１８ 撮像部
２０ 開眼度検出部
２１ 片側開眼度算出部
２２ 開眼度選択部
２３ 開眼度算出部
２４ 開眼度決定部
３０ グラフ作成部
４０ 居眠り検知部
５０ 警報装置
７０ タイミング予測部

Claims (7)

1. 対象者の両方の目の領域を少なくとも含む撮像画像を互いに時間をずらして撮像する複数の撮像装置と、
   第１の前記撮像画像の左右の目の片側開眼度をそれぞれ算出する片側開眼度算出部、
   前記左右の片側開眼度が略一致しないときに、前記左右の目のそれぞれの領域の画素値ヒストグラムを作成し、前記画素値ヒストグラムに基づいて正しく算出されている片側開眼度を選択する開眼度選択部、
   前記左右の片側開眼度が略一致するときに前記左右の片側開眼度に基づいて開眼度を算出し、前記左右の片側開眼度が略一致しないときに前記開眼度選択部が選択した片側開眼度に基づいて開眼度を算出する開眼度算出部、及び、
   前記第１の撮像画像に基づいて算出した前記開眼度と、前記第１の撮像画像よりも前の第２の前記撮像画像に基づいて算出した開眼度とを比較して、前記第１の撮像画像に基づいて算出した開眼度の可否を決定する開眼度決定部を有する開眼度検出装置と
   を備えた開眼度検出システム。
2. 前記開眼度決定部は、
   前記第１の撮像画像に基づいて算出した開眼度と前記第２の撮像画像に基づいて算出した開眼度との差分が、前記第１の撮像画像と前記第２の撮像画像との撮像タイミング差に基づいて算出したしきい値以下であったときに、前記第１の撮像画像に基づいて算出した開眼度を可と判断する
   請求項１記載の開眼度検出システム。
3. 請求項１記載の開眼度検出システムと、
   前記開眼度決定部で決定された開眼度に基づいて、開眼度推移グラフを作成するグラフ作成部と、
   前記開眼度推移グラフに基づいて、開眼時間と閉眼時間とを決定し、所定の期間における前記開眼時間と前記閉眼時間との比率に基づいて、前記対象者の居眠りを検知する居眠り検知部
   とを備えた居眠り検知システム。
4. 前記居眠り検知部は、前記比率が、０を除く所定の下限しきい値と、無限大を除く所定の上限しきい値との範囲の外にあるときに、前記対象者の居眠りを検知する
   請求項３記載の居眠り検知システム。
5. 請求項１記載の開眼度検出システムと、
   前記開眼度決定部で算出された開眼度に基づいて、開眼度推移グラフを作成するグラフ作成部と、
   前記開眼度推移グラフに基づいて平均開眼時間を算出し、前記平均開眼時間と前記開眼度とに基づいてシャッタ時刻を決定して、前記撮像装置に撮像させるタイミング予測部
   とを備えた自動シャッタシステム。
6. 複数の撮像装置が、対象者の両方の目の領域を少なくとも含む撮像画像を互いに時間をずらして撮像するステップと、
   第１の前記撮像画像の左右の目の片側開眼度をそれぞれ算出するステップと、
   前記左右の片側開眼度が略一致しないときに、前記左右の目のそれぞれの領域の画素値ヒストグラムを作成し、前記画素値ヒストグラムに基づいて正しく算出されている片側開眼度を選択するステップと、
   前記左右の片側開眼度が略一致するときに前記左右の片側開眼度に基づいて開眼度を算出し、前記左右の片側開眼度が略一致しないときに前記選択した片側開眼度に基づいて開眼度を算出するステップと、
   前記第１の撮像画像に基づいて算出した前記開眼度と、前記第１の撮像画像よりも前の第２の記撮像画像に基づいて算出した開眼度とを比較して、前記第１の撮像画像に基づいて算出した開眼度の可否を決定するステップと
   を有する開眼度検出方法。
7. コンピュータに、
   複数の撮像装置が、対象者の両方の目の領域を少なくとも含み、互いに時間をずらして撮像した複数の撮像画像を記憶する手順と、
   第１の前記撮像画像の左右の目の片側開眼度をそれぞれ算出する手順と、
   前記左右の片側開眼度が略一致しないときに、前記左右の目のそれぞれの領域の画素値ヒストグラムを作成し、前記画素値ヒストグラムに基づいて正しく算出されている片側開眼度を選択する手順と、
   前記左右の片側開眼度が略一致するときに前記左右の片側開眼度に基づいて開眼度を算出し、前記左右の片側開眼度が略一致しないときに前記選択した片側開眼度に基づいて開眼度を算出する手順と、
   前記第１の撮像画像に基づいて算出した前記開眼度と、前記第１の撮像画像よりも前の第２の前記撮像画像に基づいて算出した開眼度とを比較して、前記第１の撮像画像に基づいて算出した開眼度の可否を決定する手順と
   とを実行させるための開眼度検出プログラム。

Images