JP6887578B2 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関する。

近年、運転手の体調が急変することによる交通事故を防ぐために、ドライバーモニタリングシステム（ＤＭＳ）の開発が進んでいる。ＤＭＳでは、運転手が急病等により意識を失い、運転不能に陥ったような異常状態の発生を検出して、警報の出力又は自動運転による安全な停止等を行うといった機能に対する期待が高まっている。例えば，特許文献１には、運転手の画像から検出された、運転手の眼の位置に基づき、運転手の脇見状態又は居眠り状態を検出して警報を鳴らす運転状態検出装置が記載されている。

特開平１１−１９５２００号公報

しかしながら、特許文献１に記載されている運転状態検出装置は、運転手を撮像した画像から検出された眼の位置を基に運転手の状態を判定するため、サングラス若しくはマスクを着用している場合、顔が髪で隠れている場合、又は、外光の影響がある場合には、眼の位置の検出の精度が悪くなり、運転手の状態を正しく判定することができない。

そこで、本発明の一又は複数の態様は、運転手の画像から検出される顔パーツの検出性能が低下してしまうような悪条件下においても、運転手の状態を正しく判定できるようにすることを目的とする。

本発明の一態様に係る情報処理装置は、運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出する検出信頼度算出部と、前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定する顔向き判定部と、前記顔向き判定部が、前記運転手が正面を向いていると判定した際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部と、前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を、複数の前記対象検出信頼度の代表値からオフセット値を減算することで算出する閾値算出部と、前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部と、を備えることを特徴とする。

本発明の一態様に係るプログラムは、コンピュータを、運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出する検出信頼度算出部、前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定する顔向き判定部、前記顔向き判定部が、前記運転手が正面を向いていると判定した際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部、前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を、複数の前記対象検出信頼度の代表値からオフセット値を減算することで算出する閾値算出部、及び、前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部、として機能させることを特徴とする。

本発明の一態様に係る情報処理方法は、運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出し、前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定し、前記運転手が正面を向いていると判定された際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶し、前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を、複数の前記対象検出信頼度の代表値からオフセット値を減算することで算出し、前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定することを特徴とする。

本発明の一又は複数の態様によれば、運転手の画像から検出される顔パーツの検出性能が低下してしまうような悪条件下においても、運転手の状態を正しく判定することができる。

実施の形態に係る姿勢崩れ検出装置の構成を概略的に示すブロック図である。 撮影時の環境と、顔パーツの検出信頼度との関係を説明するための表である。 （Ａ）及び（Ｂ）は、姿勢崩れ検出装置のハードウェア構成例を示すブロック図である。 姿勢崩れ検出装置の動作を示すフローチャートである。 顔向き判定部が、運転手の顔の向きを判定する動作を示すフローチャートである。 検出信頼度処理部での動作を示すフローチャートである。 閾値算出部での動作を示すフローチャートである。 通常環境時及びサングラス着用時において、運転手の姿勢が正常な場合の対象検出信頼度の代表値と、運転手の姿勢が崩れた場合の対象検出信頼度の代表値と、オフセット値との関係を説明するためのグラフである。 オフセット値を算出する動作を示すフローチャートである。 姿勢崩れ判定部での動作を示すフローチャートである。 運転手が正常な姿勢であり、かつ、外光の影響がある等の悪環境下における検出信頼度の推移と、閾値とを示すグラフである。

図１は、実施の形態に係る情報処理装置としての姿勢崩れ検出装置１００の構成を概略的に示すブロック図である。
姿勢崩れ検出装置１００は、画像取得部１０１と、検出信頼度算出部１０２と、車両状態取得部１０３と、顔向き判定部１０４と、検出信頼度処理部１０５と、検出信頼度記憶部１０６と、閾値算出部１０７と、姿勢崩れ判定部１０８と、判定結果出力部１０９とを備える。

姿勢崩れ検出装置１００には、撮影デバイス１２０、車両状態取得装置１３０及び出力インタフェース装置１４０が接続されている。
撮影デバイス１２０は、車両の運転手の画像を撮影する。撮影デバイス１２０は、撮像された画像を示す画像情報を姿勢崩れ検出装置１００に与える。撮影デバイス１２０は、例えば、カメラである。なお、撮影デバイス１２０で撮影される画像は、静止画像であっても、動画像であってもよい。また、撮影デバイス１２０は、赤外光を用いて撮影を行う赤外線カメラでもよく、撮影対象までの距離を取得できる三次元距離画像カメラであってもよい。

車両状態取得装置１３０は、車両の状態を取得して、取得された車両の状態である車両状態を示す車両状態情報を姿勢崩れ検出装置１００に与える。ここで、車両状態情報は、車両の車速及びハンドル角を示すものとする。
出力インタフェース装置１４０は、姿勢崩れ検出装置１００での姿勢崩れの検出結果に応じて、警報を出力する。出力インタフェース装置１４０は、例えば、警報装置である。警報装置は、車内に音を出力するスピーカでもよく、警報を示す文字又は図形等を表示する車載モニタ又はヘッドアップディスプレイ等の表示デバイスでもよい。また、警報装置は、図示しない管理センターに、図示しないネットワークを介して、警報を通知してもよい。

画像取得部１０１は、撮影デバイス１２０と通信を行う通信インタフェースである。例えば、画像取得部１０１は、撮影デバイス１２０が撮影した画像を示す画像情報を取得し、その画像情報を検出信頼度算出部１０２に与える。

検出信頼度算出部１０２は、画像取得部１０１から与えられた画像情報で示される画像から、画像処理により、運転手の顔にある予め定められたパーツである顔パーツの検出を行う。また、検出信頼度算出部１０２は、検出された顔パーツが予め定められたパーツである信頼度を示す検出信頼度を算出する。そして、検出信頼度算出部１０２は、算出された検出信頼度を検出信頼度処理部１０５及び姿勢崩れ判定部１０８に与える。

ここで、顔パーツは、人間の眼、鼻及び口の少なくとも１つ以上を指す。眼、鼻及び口以外でも、運転手の姿勢を検出する際に利用できる特徴点であれば、耳又は眉毛等の他のパーツも顔パーツとしてもよい。
顔パーツの検出方法及び顔パーツの検出信頼度の算出方法については、例えば、下記の文献に示された方法等を用いることができる。下記の文献では、事前に大量の顔画像から学習しておいた顔パーツの特徴と、運転手を撮影した画像から抽出された顔パーツの特徴とのマッチングを行うことで顔パーツの検出が行われる。また、そのマッチングにおけるマッチ度合いから、顔パーツの検出信頼度が算出される。
“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，２００１，Ｐａｕｌ Ｖｉｏｌａ，ｅｔ ａｌ．

なお、上記文献に記載の方法ではなくても、顔パーツに相当する特定の対象物を画像から検出し、その検出信頼度を算出することができる方法であれば、検出信頼度算出部１０２でその方法を利用することができる。

ここで、運転手の顔の向きが正面を向いていない場合、運転手がサングラス又はマスクを装着している場合、又は、外光の影響がある場合には、画像から顔パーツを検出するのが困難となり、顔パーツの検出信頼度が低下する。

図２は、撮影時の環境と、顔パーツの検出信頼度との関係を説明するための表である。
図２に示されている「正常姿勢時の検出信頼度」の列は、運転手が正面を向いている場合における顔パーツの検出信頼度を示している。
また、「姿勢崩れ時の検出信頼度」の列は、運転手の姿勢が崩れた場合における顔パーツの検出信頼度を示している。

図２の表の１行目に示されているように、サングラス、髪型及び外光に影響されていない通常環境においても、顔パーツの検出信頼度は、正常姿勢時よりも姿勢崩れ時の方が低下する。このため、予め定められた閾値を用いることで、運転手の姿勢崩れを検出することができる。

図２に示されている例では、通常環境時において、正常姿勢時の検出信頼度が「１００」、姿勢崩れ時の検出信頼度が「６０」であるため、これらの間の値「８０」を閾値として用いることで、運転手の姿勢崩れを検出することができる。

しかしながら、例えば、運転手がサングラスを着用しているという悪条件下では、サングラスによる顔パーツの検出信頼度の低下の影響により、正常姿勢時でも、姿勢崩れ時でも、顔パーツの検出信頼度は、通常環境時よりも低下する。
このため、例えば、図２に示されているように、サングラス着用時に、正常姿勢時の検出信頼度が「７５」で、姿勢崩れ時の検出信頼度が「３５」である場合には、通常環境時の閾値「８０」では、運転手の姿勢崩れを検出することができない。従って、サングラス着用時において、運転手の姿勢崩れを検出するためには、サングラス着用時の閾値を、別途設定する必要がある。

しかしながら、髪型の影響時又は外光影響時等の他の悪条件下では、顔パーツの検出信頼度の低下量がそれぞれ異なる可能性がある。このため、他の悪条件下では、サングラス着用時の閾値では、運転手の姿勢崩れを検出することができない。従って、図２に示されているように、髪型の影響時及び外光影響時にも、それぞれの閾値を設定する必要がある。

しかしながら、考え得る悪条件の種類毎に、閾値を設定するのは、条件毎に様々な姿勢で画像を撮影して検出信頼度を算出し、その閾値を算出しなければならず、大きな手間が掛かる。また、閾値を予め用意しておく方法では、未知の悪条件には対応することができない。さらに、悪条件が重なった場合にも、閾値の算出が複雑となる。加えて、どの条件で検出されたのかを判定する必要も生ずる。
そこで、本実施の形態に係る姿勢崩れ検出装置１００は、現環境を反映した適切な閾値を動的に算出する。

図１に戻り、車両状態取得部１０３は、車両状態取得装置１３０と通信する通信インタフェースである。例えば、車両状態取得部１０３は、車両状態取得装置１３０から車両状態情報を取得して、顔向き判定部１０４へ車両状態情報を与える。

顔向き判定部１０４は、車両状態取得部１０３から車両状態情報を取得し、取得された車両状態情報で示される車両状態から、運転者が正面を向いているか否かを判定する。例えば、顔向き判定部１０４は、その車両状態が予め決められた条件を満たすか否かにより、運転者が正面を向いているか否かを判定する。ここでの条件は、運転手が正面を向いていると考えられる車両状態を設定すればよい。例えば、顔向き判定部１０４は、車速が閾値となる予め定められた速度以上、かつ、ハンドル角が閾値となる予め定められた角度範囲内という条件を用いることができる。

顔向き判定部１０４は、車両状態が予め定められた条件を満たす場合には、運転手の顔が正面を向いていると判定する。一方、顔向き判定部１０４は、車両状態が予め定められた条件を満たさない場合には、運転手が正面を向いていないと判定する。そして、顔向き判定部１０４は、その判定結果である顔向き判定結果を検出信頼度処理部１０５に与える。

検出信頼度処理部１０５は、検出信頼度算出部１０２から検出信頼度を取得し、顔向き判定部１０４から顔向き判定結果を取得する。そして、検出信頼度処理部１０５は、取得された顔向き判定結果が、運転手が正面を向いていることを示している場合には、そのように判断された車両状態において撮影された画像を用いて算出された検出信頼度を、検出信頼度記憶部１０６に記憶させる。なお、検出信頼度記憶部１０６に記憶させる検出信頼度を、対象検出信頼度ともいう。

ここでは、運転手がサングラスを着用している場合、又は、外光が差し込んでいるような場合でも、運転手が正面を向いていると判断されると、対応する検出信頼度が記憶される。従って、後述の閾値算出部１０７は、サングラスを着用している等、現在の環境が反映された状態で、姿勢崩れを判定するための閾値を算出することができる。

ここで、撮影デバイス１２０から得られる画像情報には、その画像情報で示される画像が撮影された時刻を示す画像時刻情報が含まれているものとする。
また、車両状態取得装置１３０から得られる車両状態情報にも、その車両状態が取得された時刻を示す車両状態時刻情報が含まれているものとする。
そして、検出信頼度算出部１０２は、検出信頼度に画像時刻情報を添付して、検出信頼度処理部１０５に与え、顔向き判定部１０４も判定結果に車両状態時刻情報を添付することで、検出信頼度処理部１０５は、検出信頼度と、判定結果とを同期させることができる。
なお、検出信頼度と、判定結果とを同期させる方法については、このような例に限定されない。例えば、画像情報と、車両状態情報とが同期されて、姿勢崩れ検出装置１００に入力されるようになっていてもよい。

閾値算出部１０７は、検出信頼度記憶部１０６に記憶されている検出信頼度を用いて、運転手の姿勢が崩れているか否かを判定するための閾値を算出する。ここで算出される閾値は、上述のように、悪条件がある場合には、その悪条件による影響が加味されている。そして、閾値算出部１０７は、算出された閾値を姿勢崩れ判定部１０８に与える。

姿勢崩れ判定部１０８は、検出信頼度算出部１０２から取得した検出信頼度と、閾値算出部１０７から取得した閾値とを用いて、運転手の姿勢が崩れているか否かを判定する。具体的には、姿勢崩れ判定部１０８は、取得された検出信頼度が閾値以上である場合には、運転手の姿勢が崩れていないと判定し、取得された検出信頼度が閾値よりも小さい場合には、運転手の姿勢が崩れていると判定する。そして、姿勢崩れ判定部１０８は、その判定結果を、姿勢判定結果として判定結果出力部１０９に与える。

判定結果出力部１０９は、姿勢崩れ判定部１０８から取得した姿勢判定結果を出力インタフェース装置１４０へ出力する。

図３（Ａ）及び（Ｂ）は、姿勢崩れ検出装置１００のハードウェア構成例を示すブロック図である。

以上に記載された検出信頼度算出部１０２、顔向き判定部１０４、検出信頼度処理部１０５、閾値算出部１０７及び姿勢崩れ判定部１０８は、例えば、図３（Ａ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路１５０で構成することができる。

また、画像取得部１０１は、撮影デバイス１２０を接続するための第１のインタフェース（Ｉ／Ｆ）１５１、車両状態取得部１０３は、車両状態取得装置１３０を接続するための第２のＩ／Ｆ１５２、判定結果出力部１０９は、出力インタフェース装置１４０を接続するための第３のＩ／Ｆ１５３により構成することができる。
なお、検出信頼度記憶部１０６は、図示しない不揮発性メモリ又は揮発性メモリにより構成することができる。

また、検出信頼度算出部１０２、顔向き判定部１０４、検出信頼度処理部１０５、閾値算出部１０７及び姿勢崩れ判定部１０８は、例えば、図３（Ｂ）に示されているように、メモリ１５４と、メモリ１５４に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１５５とにより構成することができる。言い換えると、姿勢崩れ検出装置１００は、プログラムを実行するコンピュータにより実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
なお、検出信頼度記憶部１０６は、図示しない不揮発性メモリ又は揮発性メモリにより構成することができ、メモリ１５４により構成することもできる。

次に動作について説明する。
図４は、姿勢崩れ検出装置１００の動作を示すフローチャートである。
まず、画像取得部１０１は、撮影デバイス１２０が撮影した画像を示す画像情報を取得する（Ｓ１０）。画像取得部１０１は、撮影デバイス１２０から取得した画像情報を検出信頼度算出部１０２に与える。

検出信頼度算出部１０２は、画像取得部１０１から与えられた画像情報で示される画像に対して画像処理を行うことで、顔パーツの検出を行い、検出された顔パーツの検出信頼度を算出する（Ｓ１１）。検出信頼度算出部１０２は、算出された検出信頼度を、検出信頼度処理部１０５及び姿勢崩れ判定部１０８に与える。

車両状態取得部１０３は、車両状態取得装置１３０から車両状態を示す車両状態情報を取得する（Ｓ１２）。車両状態取得部１０３は、取得した車両状態情報を顔向き判定部１０４に与える。

顔向き判定部１０４は、車両状態取得部１０３から与えられた車両状態情報で示される車両状態に基づき、運転手の顔が正面向きであるか否かを判定する（Ｓ１３）。そして、顔向き判定部１０４は、その判定結果を顔向き判定結果として、検出信頼度処理部１０５に与える。ステップＳ１３については、図５を用いて詳細に説明する。

検出信頼度処理部１０５は、顔向き判定部１０４から与えられた顔向き判定結果に応じて、検出信頼度算出部１０２から与えられた検出信頼度を検出信頼度記憶部１０６に記憶させるか否かを判断する（Ｓ１４）。具体的には、検出信頼度処理部１０５は、顔向き判定結果が、運転手の顔が正面向きであることを示す場合には、検出信頼度算出部１０２から与えられた検出信頼度を対象検出信頼度として検出信頼度記憶部１０６に記憶させる。一方、検出信頼度処理部１０５は、顔向き判定結果が、運転手の顔が正面向きではないことを示す場合には、検出信頼度算出部１０２から与えられた検出信頼度を破棄する。ステップＳ１４については、図６を用いて詳細に説明する。

閾値算出部１０７は、検出信頼度記憶部１０６に記憶されている対象検出信頼度を用いて、運転手の姿勢崩れを判定するための閾値を算出する（Ｓ１５）。閾値算出部１０７は、算出された閾値を姿勢崩れ判定部１０８に与える。ステップＳ１５については、図７を用いて詳細に説明する。

姿勢崩れ判定部１０８は、検出信頼度算出部１０２から与えられた検出信頼度と、閾値算出部１０７から与えられた閾値とを比較し、運転手の姿勢崩れの有無を判定する（Ｓ１６）。姿勢崩れ判定部１０８は、その判定結果を示す姿勢判定結果を判定結果出力部１０９に与える。ステップＳ１６については、図９を用いて詳細に説明する。

判定結果出力部１０９は、姿勢崩れ判定部１０８から与えられる姿勢判定結果を出力インタフェース装置１４０へ出力する（Ｓ１７）。出力インタフェース装置１４０は、出力された姿勢判定結果に応じて、警報を出力する。

以上のように、姿勢崩れ検出装置１００は、撮影デバイス１２０が撮影した画像から、その画像に写っている人物の姿勢崩れを検出することができる。

図５は、顔向き判定部１０４が、運転手の顔の向きを判定する動作を示すフローチャートである。
顔向き判定部１０４は、車両状態取得部１０３から車両状態情報を取得する（Ｓ２０）。
顔向き判定部１０４は、取得された車両状態情報で示される車両状態が予め定められた条件を満たすか否かを判定する（Ｓ２１）。ここでは、顔向き判定部１０４は、「車速が予め定められた速度以上」かつ「ハンドル角が予め定められた角度範囲内」である場合に、車両状態が予め定められた条件を満たすと判定する。車両状態が予め定められた条件を満たす場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進み、車両状態が予め定められた条件を満たさない場合（Ｓ２１でＮｏ）には、処理はステップＳ２３に進む。

ステップＳ２２では、顔向き判定部１０４は、運転手の顔が正面向きであると判定する。そして、処理はステップＳ２４に進む。
一方、ステップＳ２３では、顔向き判定部１０４は、運転手の顔が正面向きではないと判定する。そして、処理はステップＳ２４に進む。

ステップＳ２４では、顔向き判定部１０４は、ステップＳ２２又はステップＳ２３の判定結果を、顔向き判定結果として、検出信頼度処理部１０５に与える（Ｓ２４）。

図６は、検出信頼度処理部１０５での動作を示すフローチャートである。
検出信頼度処理部１０５は、検出信頼度算出部１０２から検出信頼度を取得する（S３０）。
検出信頼度処理部１０５は、顔向き判定部１０４から顔向き判定結果を取得する（S３１）。

検出信頼度処理部１０５は、取得された顔向き判定結果が運転手の顔が正面向きであることを示しているか否かを判断する（Ｓ３２）。取得された顔向き判定結果が運転手の顔が正面向きであることを示している場合（Ｓ３２でＹｅｓ）には、処理はステップＳ３３に進む。取得された顔向き判定結果が運転手の顔が正面向きであることを示していない場合（Ｓ３２でＮｏ）には、検出信頼度処理部１０５は、取得された検出信頼度を破棄して、動作を終了する。

ステップＳ３３では、検出信頼度処理部１０５は、取得された検出信頼度を対象検出信頼度として、検出信頼度記憶部１０６に記憶させる。

図７は、閾値算出部１０７での動作を示すフローチャートである。
閾値算出部１０７は、検出信頼度記憶部１０６に記憶されている対象検出信頼度を読み出す（Ｓ４０）。ここで、検出信頼度記憶部１０６には、複数の対象検出信頼度が記憶されており、複数の対象検出信頼度が読み出されるものとする。

閾値算出部１０７は、読み出された対象検出信頼度の代表値を算出する（Ｓ４１）。ここでは、閾値算出部１０７は、読み出された対象検出信頼度の平均値を算出する。
閾値算出部１０７は、算出された代表値から、予め定められたオフセット値を減算することで、閾値を算出する（Ｓ４２）。
ここで、オフセット値は、閾値を算出するために、ベース値とする対象検出信頼度から引き下げる引き下げ幅である。

図８は、通常環境時及びサングラス着用時において、運転手の姿勢が崩れていない正常な場合の対象検出信頼度の代表値（ここでは、平均値）と、運転手の姿勢が崩れた場合の対象検出信頼度の代表値と、オフセット値との関係を説明するためのグラフである。

図８に示されているように、通常環境時における対象検出信頼度の代表値は、「１００」となっている。ここで、運転手の姿勢崩れを判定するための閾値として、その代表値「１００」を用いてしまうと、検出信頼度算出部１０２で算出された検出信頼度が、閾値である代表値「１００」をわずかにでも下回ることで、運転手の姿勢が崩れたと判定されてしまう。これは、サングラス着用時でも同様である。

そこで、正常な姿勢であると判断される検出信頼度に幅を持たせるため、運転手の姿勢崩れを判定するための閾値は、図８に示されているように、対象検出信頼度の代表値からオフセット値を減算することで求められる。このようにすることで、通常環境時でもサングラス着用時でも、対象検出信頼度の値に応じて、閾値を算出することができる。
なお、オフセット値については、例えば、図９に示されているフローチャートで算出されるものとするが、このような例に限定されるものではない。

図９は、オフセット値を算出する動作を示すフローチャートである。
撮影デバイス１２０は、通常環境において、姿勢を崩した運転手又は姿勢を崩した運転手を模擬した物（例えば、人形）を対象として撮影し、撮影された画像を示す画像情報を生成し、画像取得部１０１は、その画像情報を取得する（Ｓ５０）。画像取得部１０１は、取得された画像情報を検出信頼度算出部１０２に与える。

検出信頼度算出部１０２は、画像取得部１０１から与えられた画像情報で示される画像から、顔パーツを検出し、検出された顔パーツの検出信頼度を算出する（Ｓ５１）。ここで算出される検出信頼度は、運転手の姿勢崩れと判断されるべき値である。検出信頼度算出部１０２は、算出した検出信頼度を閾値算出部１０７に与える。

閾値算出部１０７は、検出信頼度算出部１０２から与えられた検出信頼度を下回らないように、基準値を特定する（Ｓ５２）。ここでは、閾値算出部１０７は、検出信頼度算出部１０２から与えられた検出信頼度と、「１００」との平均値を基準値とするが、基準値の特定方法は、このような例に限定されない。

閾値算出部１０７は、「１００」から、特定された基準値を減算することで、オフセット値を算出する（Ｓ５３）。なお、閾値算出部１０７は、算出されたオフセット値を保持しておく。

なお、ここでは、図９に示されている動作は、姿勢崩れ検出装置１００で行う例を示したが、他の装置で図９に示されている動作が行われ、算出されたオフセット値が、姿勢崩れ検出装置１００に与えられてもよい。

図１０は、姿勢崩れ判定部１０８での動作を示すフローチャートである。
姿勢崩れ判定部１０８は、検出信頼度算出部１０２から算出された検出信頼度を取得する（Ｓ６０）。
姿勢崩れ判定部１０８は、閾値算出部１０７で算出された閾値を取得する（Ｓ６１）。

姿勢崩れ判定部１０８は、取得された検出信頼度が取得された閾値を下回っているか否かを判定する（Ｓ６２）。検出信頼度が閾値を下回っている場合（Ｓ６２でＹｅｓ）には、処理はステップＳ６３に進み、検出信頼度が閾値以上である場合（Ｓ６２でＮｏ）には、処理はステップＳ６４に進む。

ステップＳ６３では、姿勢崩れ判定部１０８は、運転手の姿勢崩れありと判定する。そして、処理はステップＳ６５に進む。
一方、ステップＳ６４では、姿勢崩れ判定部１０８は、運転手の姿勢崩れなしと判定する。そして、処理はステップＳ６５に進む。

ステップＳ６５では、姿勢崩れ判定部１０８は、ステップＳ６３又はステップＳ６４での判定結果を、姿勢判定結果として、判定結果出力部１０９に与える。

例えば、サングラス又はマスクの着用時、髪型の影響時、又は、外光の影響時等、顔パーツの検出精度が低下する悪条件下では、運転手が正常な姿勢であっても、顔パーツの検出信頼度が低下する。このような場合に、通常環境時に対応した閾値が使用されてしまうと、運転手の状態検出を誤ってしまう可能性がある。

これに対し、本実施の形態に係る姿勢崩れ検出装置１００は、現在の環境が反映されるように、現環境下の正面向きの顔パーツの検出信頼度である対象検出信頼度を用いて閾値を動的に算出する。そして、姿勢崩れ検出装置１００は、顔パーツの検出信頼度と、動的に算出された閾値とを比較することで、運転手の姿勢崩れを検出する。
このため、図２に示されているような、状況毎に閾値を設定する必要がなくなり、現環境に応じた閾値を用いることができるようになる。

なお、以上に記載した閾値算出部１０７は、対象検出信頼度の代表値と、オフセット値に基づき閾値を算出していたが、代表値は、直近の予め定められた期間、言い換えると、現在までの予め定められた期間に記憶された対象検出信頼度のみを用いて算出されてもよい。この場合、直近の環境のみが反映されているため、外光の入射のように短い時間で変化しやすい環境にも対応した閾値を算出することができる。

また、対象検出信頼度の代表値として、平均値ではなく最頻値が用いられてもよい。この場合、顔パーツの検出信頼度の外れ値にも頑健な閾値を算出することができる。

また、姿勢崩れ判定部１０８は、顔パーツの検出信頼度と閾値とを比較して、運転手の姿勢崩れの有無を判定しているが、外光の影響等の悪環境により、顔パーツの検出信頼度が不安定となってしまう場合には、運転手が正常な姿勢であるにも関わらず、検出信頼度が閾値を下回ってしまい、誤判定を引き起こしてしまうことがある。

図１１は、運転手が正常な姿勢であり、かつ、外光の影響がある等の悪環境下における検出信頼度の推移と、閾値とを示すグラフである。
図１１では、符号１６０で示されている線は、検出信頼度の推移を示している。符号１６１で示されている線は、閾値を示している。符号１６２は、直近の予め定められた期間に得られた検出信頼度の平均値を示している。

図１１の線１６０で示されているように、悪環境下では、検出信頼度が不安定となる。このため、線１６１で示されている閾値を下回ってしまう場合がある。
これに対して、例えば、姿勢崩れ判定部１０８が、検出信頼度算出部１０２で算出された検出信頼度を、現在までの予め定められた期間蓄積し、蓄積された検出信頼度の平均値を算出することで、図１１の線１６２に示されているように、検出信頼度の揺れを軽減することができる。このため、姿勢崩れ判定部１０８は、線１６２で示されている平均値と、線１６１で示されている閾値とを比較することで、不安定な検出信頼度による誤判定を軽減することができる。

なお、図４に示されているフローチャートでは、ステップＳ１１において、顔パーツの検出信頼度が算出された後に、ステップＳ１２において、車両状態情報が取得されているが、本実施の形態は、このような例に限定されない。例えば、車両状態情報が取得されてから、顔パーツの検出信頼度が算出されてもよい。また、顔パーツの検出信頼度の算出と、車両状態情報の取得とが並行しておこなわれてもよい。

また、以上の実施の形態では、車両状態として、車速とハンドル角とが用いられているが、実施の形態は、このような例に限定されない。車両状態としては、ペダルの踏み込み有無又はペダルの踏み込み量が用いられてもよく、ペダルの踏み込み有無又はペダルの踏み込み量の少なくとも何れか一方が、車速及びハンドル角の少なくとも何れか一方とともに用いてもよい。

１００ 姿勢崩れ検出装置、 １０１ 画像取得部、 １０２ 検出信頼度算出部、 １０３ 車両状態取得部、 １０４ 顔向き判定部、 １０５ 検出信頼度処理部、 １０６ 検出信頼度記憶部、 １０７ 閾値算出部、 １０８ 姿勢崩れ判定部、 １０９ 判定結果出力部、 １２０ 撮影デバイス、 １３０ 車両状態取得装置、 １４０ 出力インタフェース装置。

Claims (10)

1. 運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出する検出信頼度算出部と、
   前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定する顔向き判定部と、
   前記顔向き判定部が、前記運転手が正面を向いていると判定した際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部と、
   前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を、複数の前記対象検出信頼度の代表値からオフセット値を減算することで算出する閾値算出部と、
   前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部と、を備えること
   を特徴とする情報処理装置。
2. 前記代表値は、平均値であること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記代表値は、最頻値であること
   を特徴とする請求項１に記載の情報処理装置。
4. 前記閾値算出部は、現在までの予め定められた期間に、前記検出信頼度記憶部に記憶された前記複数の対象検出信頼度を用いて、前記閾値を算出すること
   を特徴とする請求項１から３の何れか一項に記載の情報処理装置。
5. 前記顔向き判定部は、前記車両状態が予め定められた条件を満たす場合に、前記運転手が正面を向いていると判定すること
   を特徴とする請求項１から４の何れか一項に記載の情報処理装置。
6. 前記車両状態は、前記車両の速度である車速及び前記車両のハンドル角であり、
   前記条件は、前記車速が予め定められた速度以上、かつ、前記ハンドル角が予め定められた角度範囲内であること
   を特徴とする請求項５に記載の情報処理装置。
7. 前記姿勢崩れ判定部は、前記検出信頼度と、前記閾値とを比較することで、前記運転手の姿勢が崩れているか否かを判定すること
   を特徴とする請求項１から６の何れか一項に記載の情報処理装置。
8. 前記姿勢崩れ判定部は、現在までの予め定められた期間に算出された複数の前記検出信頼度の平均値と、前記閾値とを比較することで、前記運転手の姿勢が崩れているか否かを判定すること
   を特徴とする請求項１から６の何れか一項に記載の情報処理装置。
9. コンピュータを、
   運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、前記顔パーツの検出信頼度を算出する検出信頼度算出部、
   前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定する顔向き判定部、
   前記顔向き判定部が、前記運転手が正面を向いていると判定した際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶する検出信頼度記憶部、
   前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を、複数の前記対象検出信頼度の代表値からオフセット値を減算することで算出する閾値算出部、及び、
   前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定する姿勢崩れ判定部、として機能させること
   を特徴とするプログラム。
10. 運転手を撮影した画像から、前記運転手の顔にある予め定められたパーツである顔パーツを検出し、
    前記顔パーツの検出信頼度を算出し、
    前記運転手が運転を行っている車両の状態である車両状態から、前記運転手が正面を向いているか否かを判定し、
    前記運転手が正面を向いていると判定された際における前記車両状態において撮影された前記画像を用いて算出された前記検出信頼度を、対象検出信頼度として記憶し、
    前記対象検出信頼度を用いて、前記運転手の姿勢が崩れているか否かを判定するための閾値を、複数の前記対象検出信頼度の代表値からオフセット値を減算することで算出し、
    前記閾値を用いて、前記検出信頼度から前記運転手の姿勢が崩れているか否かを判定すること
    を特徴とする情報処理方法。

Images