WO2024057356A1

WO2024057356A1 - 開瞼度検出装置、開瞼度検出方法、および眠気判定システム

Info

Publication number: WO2024057356A1
Application number: PCT/JP2022/033982
Authority: WO
Inventors: 和樹國廣
Original assignee: 三菱電機株式会社
Priority date: 2022-09-12
Filing date: 2022-09-12
Publication date: 2024-03-21

Abstract

開瞼度検出装置は、車両の内部の乗員の映像を取得する車内映像取得部（３１１）と、前記乗員の映像に基づいて、前記映像に含まれる複数のフレーム画像について前記乗員の目の開き具合を示す開瞼度を算出する開瞼度算出部（３１２）と、その算出された開瞼度に基づいて、前記乗員の開眼状態での開瞼度のヒストグラムを作成するヒストグラム作成部（３１３）と、その作成されたヒストグラムに誤検出データが含まれるかどうかを評価して、評価の結果をヒストグラム評価結果として出力するヒストグラム評価部（３１４）と、その出力されたヒストグラム評価結果に応じて、前記乗員の個人特徴量を算出する個人特徴量算出部（３１５）と、を備える。

Description

開瞼度検出装置、開瞼度検出方法、および眠気判定システム

　本開示は、開瞼度検出技術に関する。

　運転者等の乗員が車両の運転に適した状態であるかどうかを判定するために、乗員の目の開き具合を示す指標の値を算出して、算出した指標の値を用いて判定を行う技術がある。例えば、特許文献１には、居眠り判定装置、および居眠り判定装置を構成する瞼検出装置が開示されており、瞼検出装置の一実施形態は開眼度算出部を備えている。特許文献１のセクション００５４には、開眼度算出部が、通常状態の運転者の目の情報を用いて、通常状態の眼領域の縦方向の距離を算出し、この距離を開眼度１００％の基準距離とすることが記載されている。なお、開眼度は開瞼度とも称され、本開示においては開瞼度の用語を用いる。

国際公開第２０１８／１３４８７５号

　しかしながら、従来技術によれば、乗員の目領域の縦方向の距離を算出する際、乗員の目の付近に施された化粧等により誤検出が生じ、標準として用いる開瞼度を適切に算出することができないという課題があった。

　本開示は、このような課題を解決するためになされたものであり、標準として用いる開瞼度を適切に算出できる開瞼度検出技術を提供することを目的とする。

　本開示の実施形態の一側面による開瞼度検出装置は、車両の内部の乗員の映像を取得する車内映像取得部と、前記乗員の映像に基づいて、前記映像に含まれる複数のフレーム画像について前記乗員の目の開き具合を示す開瞼度を算出する開瞼度算出部と、その算出された開瞼度に基づいて、前記乗員の開眼状態での開瞼度のヒストグラムを作成するヒストグラム作成部と、その作成されたヒストグラムに誤検出データが含まれるかどうかを評価して、評価の結果をヒストグラム評価結果として出力するヒストグラム評価部と、その出力されたヒストグラム評価結果に応じて、前記乗員の個人特徴量を算出する個人特徴量算出部と、を備える。

　本開示の実施形態による開瞼度検出技術によれば、標準として用いる開瞼度を適切に算出できる。

開瞼度検出装置および眠気判定システムの構成例を示すブロック図である。開瞼度検出装置および眠気判定システムのハードウェアの構成例を示す図である。開瞼度検出装置および眠気判定システムのハードウェアの構成例を示す図である。開瞼度検出装置の動作を示すフローチャートである。開瞼度を説明するための目の模式図である。開瞼度としての扁平率のヒストグラムの例である。

　以下、添付の図面を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものであり、そのような構成要素についての重複する説明は省略する。

実施の形態１．
＜構成＞
（眠気判定システム）
　図１を参照して、本開示の実施の形態１による開瞼度検出装置および眠気判定システムについて説明する。図１は、本開示の実施の形態１による開瞼度検出装置３１および眠気判定システム３０の構成例を示すブロック図である。図１に示されているように、車両Ｖは、撮像装置１０、車両情報取得装置２０、および眠気判定システム３０を備える。また、眠気判定システム３０は、開瞼度検出装置３１および眠気判定装置３２を備える。眠気判定装置３２は、開瞼度検出装置３１が算出した乗員の標準としての開瞼度を用いて、乗員が眠気を現在有するかどうかを判定する。例えば、眠気判定装置３２は、乗員の標準としての開瞼度に対する乗員の現在の開瞼度の割合が予め定められたしきい値以下の場合に、乗員は眠気を有すると判定する。なお、乗員の現在の開瞼度は、例えば、後述する開瞼度算出部３１２が算出し、開瞼度算出部３１２により算出された現在の開瞼度を眠気判定装置３２が取得する。

（撮像装置）
　撮像装置１０は、車両Ｖの乗員を撮像するための装置である。撮像装置１０は、例えば車両Ｖの車室内の前方部に設置され、車両Ｖのドライバ等の乗員の顔を含む範囲を前方から撮像する。撮像装置１０は、１個の可視光カメラ、複数個の可視光カメラ、１個の赤外線カメラまたは複数個の赤外線カメラによって構成されている。撮像装置１０が赤外線カメラにより構成されている場合、ドライバの顔を含む範囲に対して撮像用の赤外線を照射する光源（不図示）が設けられている。この光源は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）により構成されている。撮像装置１０は、撮像した複数のフレーム画像からなる映像を、眠気判定システム３０が備える開瞼度検出装置３１に出力する。

（車両情報取得装置）
　車両情報取得装置２０は、車両Ｖの走行状態を取得するセンサである。走行状態の例には、車速、ハンドル舵角、またはシフト情報が含まれる。車両情報取得装置２０は、取得した走行状態に関する情報を、眠気判定システム３０が備える開瞼度検出装置３１に出力する。

（開瞼度検出装置）
　開瞼度検出装置３１は、乗員の標準としての開瞼度を算出するための装置である。目の開き具合には個人差があるため、眠気判定システム３０が監視する対象の乗員の開眼状態での開瞼度を算出する必要がある。そこで、開瞼度検出装置３１は、眠気判定システム３０が用いる開眼状態での開瞼度、即ち標準としての開瞼度を算出する。このような機能を実現するために、開瞼度検出装置３１は、車内映像取得部３１１、開瞼度算出部３１２、ヒストグラム作成部３１３、ヒストグラム評価部３１４、および個人特徴量算出部３１５を備える。また、開瞼度検出装置３１は、開瞼度検出装置３１の全体の動作を制御する機能部として、不図示の制御部を備える。

（車内映像取得部）
　車内映像取得部３１１は、撮像装置１０により出力された映像を取得する。

（開瞼度算出部）
　開瞼度算出部３１２は、車内映像取得部３１１により取得された映像に含まれる各フレーム画像について、開瞼度を算出する。ここで、開瞼度とは、目の開き具合を示す指標である。一例として、開瞼度は、図４に示されているように、目頭座標と目尻座標を結ぶ直線と上まぶたの最高点との間の距離Ｅｖを、目頭座標と目尻座標の間の距離Ｅｈで除算することにより算出する扁平率である。なお、上瞼の最高点とは、目頭座標と目尻座標を結ぶ直線から最も離れている上瞼の点（頂点）である。

　開瞼度算出部３１２は、目頭座標、目尻座標および上瞼頂点座標を、例えば、機械学習の結果を用いて取得する。すなわち、開瞼度算出部３１２は、顔を含む画像と、目頭、目尻および上瞼の特徴点との関係を機械学習した学習済みモデルに、各フレーム画像を入力することで、目頭座標等の位置情報を取得する。開瞼度算出部３１２は、Ｈａａｒ－Ｌｉｋｅ等の公知のアルゴリズムを用いて顔領域を検出して、検出した顔領域から公知の画像処理技術を用いてプログラムベースで特徴点を算出してもよい。

　また、開瞼度算出部３１２は、機械学習モデルとプログラムベースモデルを組み合わせて目頭座標等の位置情報を取得してもよい。例えば、目頭および目尻については機械学習モデルを用いて目頭座標および目尻座標の位置情報を取得し、上瞼頂点については画像処理を用いて上瞼頂点を取得してもよい。上瞼頂点は、例えば、微分フィルタを用いた画像処理により上瞼のエッジ検出を行い、検出点に曲線フィッティングを行って上瞼のラインを検出し、上瞼頂点座標を算出することにより行う。

　開瞼度として、上瞼と下瞼の間の距離である瞼間距離を用いてもよい。例えば、上瞼頂点と下瞼頂点の間の距離を用いてもよい。この場合、下瞼頂点は、上瞼頂点を算出した手法と同様の手法により算出してよい。

　開瞼度のサンプルとして適当でないサンプルに係るフレームについては、開瞼度算出部３１２は開瞼度を算出しなくてもよい。例えば、乗員が眼鏡を着用している場合、眼鏡のレンズに風景反射像が映り、その風景反射像が開瞼度の算出の阻害要因となりうる。そのため、風景反射等の阻害要因があるフレームについては、開瞼度算出部３１２は開瞼度を算出しなくてもよい。このような風景反射の検出を行うため、開瞼度算出部３１２は、例えば、車内映像取得部３１１から乗員の両目を取得するように構成され、乗員の片目しか取得できない場合に、風景反射があると判定してもよい。一般的には乗員は車両の左右のドアの何れかの側に着座しているので、風景反射は眼鏡の両レンズのうちの一方にのみ生じる場合が多い。したがって、乗員の片目しか取得できない場合、他方の目の前にある眼鏡のガラス上で風景反射が生じたと推定することができる。以上で説明をした風景反射以外の阻害要因により開瞼度の信頼度が低いと考えられるサンプルについても、開瞼度算出部３１２は開瞼度を算出しなくてもよい。

（ヒストグラム作成部）
　ヒストグラム作成部３１３は、車両が走行中であると判断する場合、開瞼度算出部３１２により算出された開瞼度から、乗員の開眼状態における開瞼度のヒストグラムを作成する。作成された開瞼度のヒストグラムに基づいて、標準として用いる開瞼度が後段の処理において算出される。

　ヒストグラム作成の目的は標準として用いる開瞼度の算出であるので、乗員が開眼状態でない場合のサンプルは作成するヒストグラムにとって不適切または不要である。そこで、ヒストグラム作成部３１３は、あるフレームの開瞼度の値が予め定められたしきい値以下の場合には、そのフレームの開瞼度を用いないで開瞼度のヒストグラムを作成する。例えば、開瞼度の値が予め定められたしきい値である０．０５以下の場合には、その開瞼度の値を用いないで開瞼度のヒストグラムを作成する。このように開瞼度についてしきい値処理を行うことにより、開眼状態での開瞼度のヒストグラムを作成することができる。

　ヒストグラム作成部３１３は、車両が走行中であるか否かの判断を、車両情報取得装置２０により取得された走行状態に関する情報に基づいて行う。例えば、車速が、例えば１０ｋｍ／ｈ、１５ｋｍ／ｈまたは２０ｋｍ／ｈなどの予め定められたしきい値以上である場合、車両が走行中であると判断してよい。ハンドル舵角については、例えば、車両の前方を基準としてハンドル舵角がその基準から±１０度のような予め定められた範囲内である場合、車両が走行中であると判断してよい。また、シフト情報については、ドライブモードであるかである場合、車両が走行中であると判断してよい。車速、ハンドル舵角およびシフト情報に係る条件のうちの２つ以上の条件が満たされた場合に車両が走行中であると判断してもよい。

　図５に、ヒストグラム作成部３１３により作成されるヒストグラムの一例を示す。図５には、開瞼度として扁平率を採用した場合のヒストグラムの例が示されている。すなわち、横軸を扁平率、縦軸を頻度とするヒストグラムが示されている。図５のヒストグラムには、扁平率の値が０．２１および０．４２の２つの位置にピークが形成されている。なお、開瞼度として瞼間距離を用いる場合には、瞼間距離を変数とするヒストグラムが作成される。

　このようにピークが２つ形成されるのは、ヒストグラムの作成に用いたサンプルの中に、上瞼が正しく検出されなかった誤検出のサンプルが含まれているからである。誤検出の要因の例には、まつ毛、まつ毛のエクステンション、アイメイク、上瞼領域の膨らみ、および目の深い彫りが含まれる。これらの要因のうちの少なくとも１つの要因により、誤検出が生じる。

（ヒストグラム評価部）
　ヒストグラム評価部３１４は、ヒストグラム作成部３１３により作成されたヒストグラムに、誤検出データが含まれているかどうかを評価する。この評価は、ヒストグラムに含まれるピークの数が１つであるか否かにより行う。ヒストグラムに含まれるピークの数が１つである場合、ヒストグラム評価部３１４は、ヒストグラムに、誤検出データが含まれていないと評価する。他方、ヒストグラムに含まれるピークの数が１つでない場合、即ちヒストグラムに含まれるピークの数が２つである場合、ヒストグラム評価部３１４は、ヒストグラムに、誤検出データが含まれていると評価する。ヒストグラム評価部３１４は、ヒストグラムに誤検出データが含まれているかどうかの評価の結果を示す評価結果をヒストグラム評価結果として出力する。

（個人特徴量算出部）
　個人特徴量算出部３１５は、ヒストグラム作成部３１３により作成されたヒストグラムに基づいて、ヒストグラム評価部３１４のヒストグラム評価結果に応じて、乗員の個人特徴量を算出する。乗員の個人特徴量とは、乗員の開瞼度の標準の意味である。

　ヒストグラム評価結果が作成されたヒストグラムに誤検出データが含まれないことを示す場合、個人特徴量算出部３１５は、頻度が最大の最頻開瞼度の値を乗員の個人特徴量として算出する。

　他方、ヒストグラム評価結果が作成されたヒストグラムに誤検出データが含まれることを示す場合、個人特徴量算出部３１５は、最頻開瞼度のピークと最頻でない開瞼度のピークとの関係に応じて、乗員の個人特徴量を算出する。具体的には、最頻開瞼度の値より開瞼度の値が大きいピークがあるときは、個人特徴量算出部３１５は、最頻開瞼度の値を乗員の個人特徴量として算出する。これに対し、最頻開瞼度の値より開瞼度の値が小さいピークがあるときは、個人特徴量算出部３１５は、開瞼度の値が小さいピークの開瞼度の値を乗員の個人特徴量として算出する。

　先に述べた誤検出要因により生じる誤検出は、いずれも、本来の上瞼のラインよりも上側の領域で生じる。したがって、作成されたヒストグラムに２つのピークが含まれている場合、開瞼度の値がより小さいピークが上瞼の開瞼度のピークであり、開瞼度の値がより大きいピークが誤検出によるピークであると考えられる。そこで、個人特徴量算出部３１５は、ヒストグラムに２つのピークが含まれている場合、２つのピークを形成する開瞼度の値のうち、より小さい開瞼度の値を乗員の個人特徴量として算出する。このようにして乗員の個人特徴量を算出することにより、標準として用いる開瞼度を適切に算出することができる。

　個人特徴量算出部３１５により算出された個人特徴量を用いて、眠気判定装置３２は乗員が眠気を現在有するかどうかを判定する。

　次に、図２Ａおよび図２Ｂを参照して、開瞼度検出装置３１のハードウェアの構成例について説明する。開瞼度検出装置３１の各機能部は、処理回路（processing　circuitry）により実現される。処理回路（processing　circuitry）は、図２Ａに示されているような専用の処理回路（processing　circuit）１００ａであっても、図２Ｂに示されているようなメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂであってもよい。

　処理回路（processing　circuitry）が専用の処理回路１００ａである場合、専用の処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（application　specific　integrated　circuit）、ＦＰＧＡ（field-programmable　gate　array）、またはこれらを組み合わせたものが該当する。各機能部を別個の複数の処理回路（processing　circuits）で実現してもよいし、各機能部をまとめて単一の処理回路（processing　circuit）で実現してもよい。

　処理回路（processing　circuitry）がプロセッサ１００ｂの場合、各機能部は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリに記憶されたプログラムを読み出して実行することにより、各機能部を実現する。メモリ１００ｃの例には、ＲＡＭ（random　access　memory）、ＲＯＭ（read-only　memory）、フラッシュメモリ、ＥＰＲＯＭ（erasable　programmable　read　only　memory）、ＥＥＰＲＯＭ（electrically　erasable　programmable　read-only　memory）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。

　なお、複数の機能部の一部を専用のハードウェアで実現し、他の一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、各機能部を実現することができる。

　眠気判定装置３２のハードウェアも、開瞼度検出装置３１のハードウェアと同様に構成しうる。

＜動作＞
　次に、図３のフローチャートを用いて、開瞼度検出装置３１の動作について説明する。

　ステップＳＴ０において、車内映像取得部３１１は、撮像装置１０が撮像した車両Ｖの内部の乗員の映像を、撮像装置１０より取得する。

　ステップＳＴ１において、開瞼度検出装置３１の不図示の制御部は、個人特徴量の算出が完了しているかどうかを判定する。すなわち、個人特徴量算出部３１５により個人特徴量の算出がなされたかを判定する。個人特徴量の算出が完了している場合、処理は終了する。個人特徴量の算出が完了していない場合、処理はステップＳＴ２へ進む。

　ステップＳＴ２において、開瞼度算出部３１２が取得された映像に含まれる複数のフレームについて開瞼度を算出し、ヒストグラム作成部３１３は開瞼度算出部３１２により算出された複数の開瞼度から開瞼度のヒストグラムを作成する。

　ステップＳＴ３おいて、ヒストグラム作成部３１３は、開瞼度の蓄積が完了したかどうかを判定する。すなわち、ヒストグラム作成部３１３は、開瞼度のヒストグラムの作成を終了するか否かを判定する。ヒストグラムの作成の終了条件は、予め定められたサンプル数、例えば数百件のサンプルが得られたことである。開瞼度の蓄積が完了していない場合、処理はステップＳＴ０へ戻って開瞼度を算出するための映像が取得される。開瞼度の蓄積が完了した場合、処理はステップＳＴ４に進む。

　ステップＳＴ４おいて、ヒストグラム評価部３１４は、ヒストグラム作成部３１３により作成された開瞼度のヒストグラムのピークを探索する。すなわち、ヒストグラム評価部３１４は、ピークを探索してピークの数を数える。

　ステップＳＴ５おいて、ヒストグラム評価部３１４は、探索により得られたピークの数が１つかどうかを判定する。この判定により、作成された開瞼度のヒストグラムに誤検知データが含まれているかどうかが評価される。ピークが１つでない場合、即ちピークが２つの場合、ヒストグラム評価部３１４はヒストグラムに誤検知データが含まれていると評価し、処理はステップＳＴ６に進む。他方、ピークが１つの場合、ヒストグラム評価部３１４はヒストグラムに誤検知データが含まれていないと評価し、処理はステップＳＴ７に進む。

　ステップＳＴ６おいて、個人特徴量算出部３１５は、最頻扁平率（最頻開瞼度）より扁平率（開瞼度）が小さい側にピークがあるかどうかを判定する。すなわち、ヒストグラム評価部３１４は、最頻扁平率の値よりも、扁平率の値が小さい位置に他の最頻でないピークが形成されているかどうかを判定する。判定の結果がＮｏの場合、処理はステップＳＴ７に進む。判定の結果がＹｅｓの場合、処理はステップＳＴ８に進む。

　ステップＳＴ７おいて、個人特徴量算出部３１５は、最頻扁平率の値を個人特徴量として算出する。

　ステップＳＴ８おいて、個人特徴量算出部３１５は、他ピークの扁平率の値を個人特徴量として算出する。すなわち、個人特徴量算出部３１５は、頻度最大でない他ピークの扁平率の値を乗員の個人特徴量として算出する。

＜付記＞
　以上で説明した種々の実施形態のいくつかの側面について、以下のとおりまとめる。

（付記１）
　付記１の開瞼度検出装置（１００）は、車両の内部の乗員の映像を取得する車内映像取得部（３１１）と、前記乗員の映像に基づいて、前記映像に含まれる複数のフレーム画像について前記乗員の目の開き具合を示す開瞼度を算出する開瞼度算出部（３１２）と、その算出された開瞼度に基づいて、前記乗員の開眼状態での開瞼度のヒストグラムを作成するヒストグラム作成部（３１３）と、その作成されたヒストグラムに誤検出データが含まれるかどうかを評価して、評価の結果をヒストグラム評価結果として出力するヒストグラム評価部（３１４）と、その出力されたヒストグラム評価結果に応じて、前記乗員の個人特徴量を算出する個人特徴量算出部（３１５）と、を備える。

（付記２）
　付記２の開瞼度検出装置は、付記１に記載された開瞼度検出装置であって、前記開瞼度は、前記乗員の目の目頭および目尻を結ぶ直線と上瞼の頂との距離を、前記前記目頭および目尻を結ぶ直線の距離により除算した扁平率である。

（付記３）
　付記３の開瞼度検出装置は、付記１に記載された開瞼度検出装置であって、前記開瞼度は、前記乗員の目の上瞼および下瞼の間の瞼間距離である、
請求項１に記載された開瞼度検出装置。

（付記４）
　付記４の開瞼度検出装置は、付記１から３のいずれか１つに記載された開瞼度検出装置であって、前記ヒストグラム作成部は、車両情報取得装置により取得される前記車両の車速、ハンドル舵角またはシフト情報に基づいて前記車両が走行中であると判断する場合に前記ヒストグラムを作成する。

（付記５）
　付記５の開瞼度検出装置は、付記１から４のいずれか１つに記載された開瞼度検出装置であって、前記ヒストグラム評価部は、前記ヒストグラムにピークが１つしか存在しない場合、前記作成されたヒストグラムに誤検出データが含まれないと評価し、前記個人特徴量算出部は、前記作成されたヒストグラムに誤検出データが含まれないと評価された場合、その算出された開瞼度のうち、頻度が最大の最頻開瞼度を前記乗員の個人特徴量として算出する。

（付記６）
　付記６の開瞼度検出装置は、付記１から４のいずれか１つに記載された開瞼度検出装置であって、前記ヒストグラム評価部は、前記ヒストグラムに２つのピークが存在する場合、前記作成されたヒストグラムに誤検出データが含まれると評価し、前記個人特徴量算出部は、前記作成されたヒストグラムに誤検出データが含まれると評価された場合、その算出された開瞼度において、頻度が最大の最頻開瞼度より開瞼度が大きいピークがあるときは、前記最頻開瞼度を前記乗員の個人特徴量として算出し、前記最頻開瞼度より開瞼度が小さいピークがあるときは、前記開瞼度が小さいピークの開瞼度を前記乗員の個人特徴量として算出する。

（付記７）
　付記７の眠気判定システムは、付記１から６のいずれか１つに記載された開瞼度検出装置（３１）と、前記算出された前記乗員の個人特徴量に基づいて前記乗員の眠気を判定する眠気判定装置（３２）と、を備える。

（付記８）
　付記８の開瞼度検出方法は、車内映像取得部（３１１）、開瞼度算出部（３１２）、ヒストグラム作成部（３１３）、ヒストグラム評価部（３１４）、および個人特徴量算出部（３１５）を備える開瞼度検出装置（３１）が行う開瞼度検出方法であって、前記車内映像取得部が、車両の内部の乗員の映像を取得するステップ（ＳＴ０）と、前記開瞼度算出部が、前記乗員の映像に基づいて、前記映像に含まれる複数のフレーム画像について前記乗員の目の開き具合を示す開瞼度を算出するステップ（ＳＴ２）と、前記ヒストグラム作成部が、その算出された開瞼度に基づいて、前記乗員の開眼状態での開瞼度のヒストグラムを作成するステップ（ＳＴ２）と、前記ヒストグラム評価部が、その作成されたヒストグラムに誤検出データが含まれるかどうかを評価して、評価の結果をヒストグラム評価結果として出力するステップ（ＳＴ４～ＳＴ６）と、前記個人特徴量算出部が、その出力されたヒストグラム評価結果に応じて、前記乗員の個人特徴量を算出するステップ（ＳＴ７～ＳＴ８）と、を備える。

　なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。

　本開示の開瞼度検出技術は、ＰＭＳ（Passenger　Monitoring　System）で用いる運転手等の乗員の開瞼度の標準を取得するための技術として用いることができる。

　１０　撮像装置、２０　車両情報取得装置、３０　眠気判定システム、３１　開瞼度検出装置、３２　眠気判定装置、１００ａ　処理回路、１００ｂ　プロセッサ、１００ｃ　メモリ、３１１　車内映像取得部、３１２　開瞼度算出部、３１３　ヒストグラム作成部、３１４　ヒストグラム評価部、３１５　個人特徴量算出部。

Claims

　車両の内部の乗員の映像を取得する車内映像取得部と、
　前記乗員の映像に基づいて、前記映像に含まれる複数のフレーム画像について前記乗員の目の開き具合を示す開瞼度を算出する開瞼度算出部と、
　その算出された開瞼度に基づいて、前記乗員の開眼状態での開瞼度のヒストグラムを作成するヒストグラム作成部と、
　その作成されたヒストグラムに誤検出データが含まれるかどうかを評価して、評価の結果をヒストグラム評価結果として出力するヒストグラム評価部と、
　その出力されたヒストグラム評価結果に応じて、前記乗員の個人特徴量を算出する個人特徴量算出部と、
を備える開瞼度検出装置。
　前記開瞼度は、前記乗員の目の目頭および目尻を結ぶ直線と上瞼の頂との距離を、前記前記目頭および目尻を結ぶ直線の距離により除算した扁平率である、
請求項１に記載された開瞼度検出装置。
　前記開瞼度は、前記乗員の目の上瞼および下瞼の間の瞼間距離である、
請求項１に記載された開瞼度検出装置。
　前記ヒストグラム作成部は、車両情報取得装置により取得される前記車両の車速、ハンドル舵角またはシフト情報に基づいて前記車両が走行中であると判断する場合に前記ヒストグラムを作成する、
請求項１から３のいずれか１項に記載された開瞼度検出装置。
　前記ヒストグラム評価部は、前記ヒストグラムにピークが１つしか存在しない場合、前記作成されたヒストグラムに誤検出データが含まれないと評価し、
　前記個人特徴量算出部は、前記作成されたヒストグラムに誤検出データが含まれないと評価された場合、その算出された開瞼度のうち、頻度が最大の最頻開瞼度を前記乗員の個人特徴量として算出する、
請求項１から４のいずれか１項に記載された開瞼度検出装置。
　前記ヒストグラム評価部は、前記ヒストグラムに２つのピークが存在する場合、前記作成されたヒストグラムに誤検出データが含まれると評価し、
　前記個人特徴量算出部は、前記作成されたヒストグラムに誤検出データが含まれると評価された場合、その算出された開瞼度において、頻度が最大の最頻開瞼度より開瞼度が大きいピークがあるときは、前記最頻開瞼度を前記乗員の個人特徴量として算出し、前記最頻開瞼度より開瞼度が小さいピークがあるときは、前記開瞼度が小さいピークの開瞼度を前記乗員の個人特徴量ととして算出する、
請求項１から４のいずれか１項に記載された開瞼度検出装置。
　請求項１から請求項６のいずれか１項に記載された開瞼度検出装置と、
　前記算出された前記乗員の個人特徴量に基づいて前記乗員の眠気を判定する眠気判定装置と、
を備える眠気判定システム。
　車内映像取得部、開瞼度算出部、ヒストグラム作成部、ヒストグラム評価部、および個人特徴量算出部を備える開瞼度検出装置が行う開瞼度検出方法であって、
　前記車内映像取得部が、車両の内部の乗員の映像を取得するステップと、
　前記開瞼度算出部が、前記乗員の映像に基づいて、前記映像に含まれる複数のフレーム画像について前記乗員の目の開き具合を示す開瞼度を算出するステップと、
　前記ヒストグラム作成部が、その算出された開瞼度に基づいて、前記乗員の開眼状態での開瞼度のヒストグラムを作成するステップと、
　前記ヒストグラム評価部が、その作成されたヒストグラムに誤検出データが含まれるかどうかを評価して、評価の結果をヒストグラム評価結果として出力するステップと、
　前記個人特徴量算出部が、その出力されたヒストグラム評価結果に応じて、前記乗員の個人特徴量を算出するステップと、
を備える開瞼度検出方法。