JP7420277B2

JP7420277B2 - 運転状態判定装置、方法、及びプログラム

Info

Publication number: JP7420277B2
Application number: JP2022551488A
Authority: JP
Inventors: 康則二木; 康博水越
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-09-24
Filing date: 2020-09-24
Publication date: 2024-01-23
Anticipated expiration: 2040-09-24
Also published as: US20230311899A1; JPWO2022064592A1; WO2022064592A1

Description

本開示は、運転状態判定装置、方法、及びコンピュータ可読媒体に関する。

関連技術として、特許文献１は、運転者画像に基づいて運転者の状態を検出する運転状態監視装置を開示する。特許文献１に記載の運転状態監視装置は、運転者の顔の向きを検出し、顔の向きに基づいて運転者が運転に集中しているかどうかを決定する。顔の向き（頭部姿勢）は、頭部の正規化球面座標における水平偏向角度（ヨー角）及び垂直偏向角度（ピッチ角）で表される。運転状態監視装置は、水平偏向角度及び／又は垂直偏向角度が角度しきい値より大きく、かつその持続時間が時間しきい値より長い場合、運転者が散漫状態であることを検出する。

監視状態装置は、上記に加えて、運転者の手、及び目標物体などを検出する。運転状態監視装置は、目標物体のタイプが容器又は食物の場合で、かつ目標物体の検出ボックスと口の検出ボックスとが重なる場合、運転者は飲食していると判定する。運転状態監視装置は、目標物体のタイプが電子機器である場合は、手の検出ボックスと目標物体の検出ボックスが重なり、かつ目標物体の検出ボックスと口又は目の検出ボックスとの最小距離が所定距離より短い場合、運転者は電子機器を使用していると判定する。

別の関連技術として、特許文献２は、別のタイプの運転状態監視装置を開示する。特許文献２に記載の運転状態監視装置は、運転者の顔画像から、運転者の顔の状態を示す顔情報を検出する。運転状態監視装置は、運転者の顔に変化が生じた場合、あらかじめ設定された時間区間での顔情報の頻度分布を作成する。運転状態監視装置は、顔情報の頻度分布から顔情報の最頻値を算出し、顔情報の最頻値に基づいて、運転者の定常状態を示す基準値を算出する。運転状態監視装置は、算出した基準値と、運転者の顔情報とを比較し、運転者の運転状態を判定する。運転状態監視装置は、算出した基準値に基づいて、運転者ごとの正常視認範囲を設定し、その正常視認範囲と現在の視認範囲とを比較することで、運転者の脇見状態を判定する。

特表２０１９－５３６６７３号公報国際公開第２０１８／１５０４８５号

特許文献１では、顔の水平偏向角度及び垂直偏向角度が角度しきい値より大きい場合に、運転者が散漫状態であると判定される。しかしながら、カメラや車両に依存して画角や焦点距離が異なり得るため、運転者画像における運転者の大きさや向きは、カメラや車両に応じて変化し得る。特許文献１では、角度しきい値などに所定の固定値が使用されており、そのような固定のしきい値を使用して運転者が散漫状態であるか否かを正確に判定することは困難である。

特許文献２では、顔情報の最頻値に基づいて基準値が設定され、基準値に基づいて正常視認範囲が設定される。特許文献２において、正常視認範囲の上限及び下限は、基準値からある値だけずれた値に設定されると考えられる。このため、特許文献２は、運転者画像における運転者の大きさが相互に異なる複数の運転者を考えた場合、各運転者の脇見状態を正確に判定できない可能性がある。

本開示は、上場事情に鑑み、運転者画像における運転者の大きさが一定ではない場合でも、運転者の運転状態を精度よく判定可能な運転状態判定装置、方法、及びコンピュータ可読媒体を提供することを目的とする。

上記目的を達成するために、本開示は、第１の態様として、運転状態判定装置を提供する。運転状態判定装置は、運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出する位置検出手段と、前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出する肩幅算出手段と、前記算出された肩幅に基づいて１以上の判定しきい値を決定するしきい値決定手段と、前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する判定手段とを備える。

本開示は、第２の態様として、運転状態判定方法を提供する。運転状態判定方法は、運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、前記算出された肩幅に基づいて１以上の判定しきい値を決定し、前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定することを含む。

本開示は、第３の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、前記算出された肩幅に基づいて１以上の判定しきい値を決定し、前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する処理をプロセッサに実行させるためのプログラムを格納する。

本開示に係る運転状態判定装置、方法、及びコンピュータ可読媒体は、運転者画像における運転者の大きさが一定ではない場合でも、運転者の運転状態を精度よく判定することができる。

本開示に係る運転状態判定装置の概略的な構成を示すブロック図。本開示の第１実施形態に係る運転状態判定装置を示すブロック図。運転者画像から検出される部位を模式的に示す図。運転状態判定装置の動作手順を示すフローチャート。本開示の第２実施形態に係る運転状態判定装置を示すブロック図。運転者画像から検出される頭部及び手を模式的に示す図。ながら運転の判定の動作手順を示すフローチャート。電子機器のハードウェア構成を示すブロック図。

本開示の実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る運転状態判定装置の概略的な構成を示す。運転状態判定装置１０は、位置検出手段１１、肩幅算出手段１２、しきい値決定手段１３、及び判定手段１４を有する。位置検出手段１１は、カメラ２０から画像を取得する。カメラ２０は、車両の運転者を撮影し、運転者画像を位置検出手段１１に出力する。位置検出手段１１は、取得した運転者画像から、運転者の右肩及び左肩の位置を検出する。さらに、位置検出手段１１は、２以上の身体部位の位置を検出する。

肩幅算出手段１２は、位置検出手段１１で検出された右肩及び左肩の位置に基づいて、運転者の肩幅を算出する。しきい値決定手段１３は、肩幅算出手段１２で算出された肩幅に基づいて、１以上の判定しきい値を決定する。判定手段１４は、位置検出手段１１で検出された２以上の部位の位置と、しきい値決定手段１３で決定された１以上の判定しきい値とを用いて、運転者の運転状態を判定する。

本開示では、しきい値決定手段１３は、判定手段１４で使用される判定しきい値を、運転者の肩幅に基づいて決定する。肩幅は、運転者画像における運転者の大きさを表すと考えられる。判定手段１４は、運転者が大きい場合と、運転者が小さい場合とで、適切に設定された判定しきい値を用いて、運転状態を判定することができる。このように、本開示に係る運転状態判定装置１０は、カメラ２０の画角や画像中の運転者の大きさに依存せずに、運転者の運転状態を精度よく判定できる。

以下、本開示の実施の形態を詳細に説明する。図２は、本開示の第１実施形態に係る運転状態判定装置を示す。運転状態判定装置１００は、位置検出部１０１、肩幅推定部１０２、しきい値決定部１０３、及び脇見運転判定部１０４を有する。

運転状態判定装置１００は、例えば、車両に後から取り付け可能な電子機器として構成される。運転状態判定装置１００は、車両に取り付けられる電子機器に内蔵されていてもよい。例えば、運転状態判定装置１００は、例えば車両の外部を撮影するカメラと、撮影した映像を記録媒体に記録するコントローラとを含むドライブレコーダに内蔵される。運転状態判定装置１００は、図１に示される運転状態判定装置１０に対応する。

運転状態判定装置１００は、カメラ２００から運転者画像を含む映像を取得する。カメラ２００は、例えば、車両の幅方向において運転席の中心よりも助手席側の位置で、かつ運転者の顔の位置より車両の前方側の位置から運転席（運転者）を撮影する。一例として、カメラ２００は、ウィンドシールドのルームミラーの根元などの位置に設置され、車両の中央部から運転席に座る運転者を斜め方向から撮影する。例えば、車両が右ハンドル車である場合、カメラ２００は、運転者をその左前方から撮影する。

カメラ２００は、車両の内部の映像だけでなく、車両の外部の映像を撮影してもよい。例えば、カメラ２００は、車両の前方、後方、右側面、左側面、及び車室を撮影する３６０度カメラであってもよい。カメラ２００は、撮影した映像を、動画像として運転状態判定装置１００に出力する。カメラ２００は、運転状態判定装置１００の一部であってもよい。カメラ２００は、図１に示されるカメラ２０に対応する。

運転状態判定装置１００は、カメラ２００から取得した運転者画像に基づいて、運転者の運転状態を判定する。運転状態判定装置１００は、例えば、運転者が運転に集中していない運転状態であるか否かを判定する。本実施形態において、運転状態判定装置１００は、運転者が脇見運転している状態を、運転者が運転に集中していない運転状態として判定するものとする。

位置検出部１０１は、カメラ２００から取得した運転者画像から、運転者の右肩及び左肩の位置を検出する。位置検出部１０１は、例えば、運転者画像から、運転者の２次元骨格構造を推定し、推定した２次元骨格構造に基づいて右肩及び左肩の位置を検出してもよい。位置検出部１０１は、検出した右肩及び左肩の位置を肩幅推定部１０２に出力する。

位置検出部１０１は、更に、運転者の２以上の身体部位の位置を検出する。本実施形態において、位置検出部１０１は、運転者の右目、左目、右耳、及び左耳の位置を検出する。運転者の右目、左目、右耳、及び左耳の位置の検出には、任意のアルゴリズムが用いられ得る。位置検出部１０１は、検出した右目、左目、右耳、及び左耳の位置を脇見運転判定部１０４に出力する。位置検出部１０１は、身体部位以外の任意の物の位置を検出してもよい。位置検出部１０１は、図１に示される位置検出手段１１に対応する。

図３は、運転者画像から検出される部位を模式的に示す。位置検出部１０１は、運転者の骨格構造を推定し、運転者の右肩３０５Ｒ、及び左肩３０５Ｌの位置を検出する。また、位置検出部１０１は、運転者の右目３０１Ｒ、左目３０１Ｌ、右耳３０２Ｒ、及び左耳３０２Ｌの位置を検出する。

肩幅推定部１０２は、位置検出部１０１において検出された右肩及び左肩の位置に基づいて、運転者の肩幅を算出する。肩幅推定部１０２は、例えば、図３に示される、検出された右肩３０５Ｒと左肩３０５Ｌとの間の距離を、肩幅として算出する。肩幅推定部１０２は、図１に示される肩幅算出手段１２に対応する。

しきい値決定部１０３は、肩幅推定部１０２において算出された肩幅に基づいて、運転状態の判定に使用される１以上の判定しきい値を決定する。判定しきい値は、例えば、人体の特定の部位間の距離のしきい値を示す。

本実施形態において、しきい値決定部１０３は、運転者が右方向に脇見をしている状態を判定するために使用される第１及び第２の判定しきい値と、運転者が左方向に脇見をしている状態を判定するために使用される第３及び第４の判定しきい値とを決定する。第１及び第３の判定しきい値は、それぞれ、右目と左目との間の距離のしきい値を示す。第２の判定しきい値は、左目と左耳との間の距離のしきい値を示す。第４の判定しきい値は、右目と右耳との間の距離のしきい値を示す。

例えば、しきい値決定部１０３は、各判定しきい値について、基準肩幅と、基準判定しきい値との組を記憶する。しきい値決定部１０３は、例えば肩幅推定部１０２が算出した肩幅と基準肩幅とを比較し、比較結果に基づいて判定しきい値を決定する。例えば、しきい値決定部１０３は、肩幅推定部１０２が算出した肩幅と、基準肩幅との差又は比を計算する。しきい値決定部１０３は、計算した差又は比に応じて、基準判定しきい値を増加又は減少させることで、判定しきい値を決定する。しきい値決定部１０３は、肩幅推定部１０２が算出した肩幅が基準肩幅より狭い場合、判定しきい値を、基準判定しきい値より小さい値に決定する。しきい値決定部１０３は、肩幅推定部１０２が算出した肩幅が基準肩幅より広い場合は、判定しきい値を、基準判定しきい値より大きい値に決定する。しきい値決定部１０３は、図１に示されるしきい値決定手段１３に対応する。

脇見運転判定部１０４は、位置検出部１０１で検出された右目、左目、右耳、及び左耳の位置に基づいて、特定部位間の距離を計算する。本実施形態において、脇見運転判定部１０４は、右目及び左目の位置に基づいて、運転者画像における右目と左目との間の距離を計算する。また、脇見運転判定部１０４は、左目及び左耳の位置に基づいて、運転者画像における左目と左耳との間の距離を計算する。脇見運転判定部１０４は、右目及び右耳の位置に基づいて、運転者画像における右目と右耳との間の距離を計算する。

脇見運転判定部１０４は、上記計算した右目と左目との間の距離と、しきい値決定部１０３で決定された第１の判定しきい値とを比較する。また、脇見運転判定部１０４は、上記計算した左目と左耳との間の距離と、第２の判定しきい値とを比較する。脇見運転判定部１０４は、右目と左目との間の距離と第１の判定しきい値との比較結果、及び、左目と左耳との間の距離と第２の判定しきい値との比較結果に基づいて、運転者が脇見運転しているか否かを判定する。車両が右ハンドル車の場合、脇見運転判定部１０４は、右目と左目との間の距離が第１の判定しきい値以下で、かつ、左目と左耳との間の距離が第２の判定しきい値以上の場合、運転者は右方向に脇見をしていると判定する。

また、脇見運転判定部１０４は、上記計算した右目と左目との間の距離と、しきい値決定部１０３で決定された第３の判定しきい値とを比較する。脇見運転判定部１０４は、上記計算した右目と右耳との間の距離と、第４の判定しきい値とを比較する。脇見運転判定部１０４は、右目と左目との間の距離と第３の判定しきい値との比較結果、及び、右目と右耳との間の距離と第４の判定しきい値との比較結果に基づいて、運転者が脇見運転しているか否かを判定する。車両が右ハンドル車の場合、脇見運転判定部１０４は、右目と左目との間の距離が第３の判定しきい値より大きく、かつ、右目と右耳との間の距離が第４の判定しきい値より小さい場合、運転者は左方向に脇見をしていると判定する。脇見運転判定部１０４は、図１に示される判定手段１４に対応する。

次いで、動作手順を説明する。図４は、運転状態判定装置１００における動作手順（運転状態判定方法）を示す。位置検出部１０１は、カメラ２００から運転者画像を取得する。位置検出部１０１は、運転者画像から、運転者の両肩、両目、及び両耳の位置を検出する（ステップＡ１）。肩幅推定部１０２は、ステップＡ１で検出された運転者の両肩の位置から、運転者の肩幅を推定する（ステップＡ２）。

しきい値決定部１０３は、ステップＡ２で推定された肩幅に基づいて、判定しきい値を決定する（ステップＡ３）。しきい値決定部１０３は、ステップＡ３では、両目の間の距離に関する第１の判定しきい値、及び第３の判定しきい値を決定する。また、しきい値決定部１０３は、左耳と左目との間の距離に関する第２の判定しきい値、及び右目と右耳との間の距離に関する第４の判定しきい値を決定する。

脇見運転判定部１０４は、ステップＡ１で検出された両目及び両耳の位置に基づいて、両目間の距離、左目と左耳との間の距離、及び右目と右耳との間の距離を計算する。脇見運転判定部１０４は、計算した両目間の距離、左目と左耳との間の距離、及び右目と右耳との間の距離と、それぞれの判定しきい値とを比較する（ステップＡ４）。脇見運転判定部１０４は、ステップＡ４では、両目間の距離と第１の判定しきい値とを比較し、左目と左耳との間の距離を第２の判定しきい値と比較する。また、脇見運転判定部１０４は、両目間の距離と第３の判定しきい値とを比較し、右目と右耳との間の距離を第４の判定しきい値と比較する。

脇見運転判定部１０４は、ステップＡ４での比較結果に基づいて、運転者が脇見運転しているか否かを判定する（ステップＡ５）。脇見運転判定部１０４は、ステップＡ５では、例えば、両目間の距離が第１の判定しきい値以下であり、かつ左目と左耳との間の距離が第２の判定しきい値以上の場合、運転者は右方向に脇見しながら運転していると判定する。脇見運転判定部１０４は、両目間の距離が第３の判定しきい値以上であり、かつ右目と右耳との間の距離が第４の判定しきい値以下の場合、運転者は左方向に脇見しながら運転していると判定する。

本実施形態では、位置検出部１０１は運転者の右肩及び左肩の位置を検出し、肩幅推定部１０２は、検出された右肩及び左肩の位置に基づいて運転者の肩幅を算出する。しきい値決定部１０３は、算出された肩幅に基づいて、脇見運転判定部１０４で使用される判定しきい値を決定する。本実施形態では、脇見運転判定部１０４は、固定のしきい値ではなく、しきい値決定部１０３において肩幅に応じて決定された判定しきい値を用いて、運転者が脇見運転しているか否かの判定を行う。このため、運転状態判定装置１００は、運転者画像における運転者の大きさに依存せずに、運転者が脇見運転しているか否かを判定できる。このように、本実施形態では判定しきい値が肩幅に応じて決定されるため、運転状態判定装置１００は、カメラ２００の画角や焦点距離が異なる場合でも、脇見運転を精度よく検出することができる。

続いて、本開示の第２実施形態を説明する。図５は、本開示の第２実施形態に係る運転状態判定装置を示す。本実施形態において、運転状態判定装置１００ａは、図２に示される第１実施形態に係る運転状態判定装置１００の構成要素に加えて、ながら運転判定部１０５を有する。運転状態判定装置１００ａは、運転者が脇見運転しているか否かを判定することに加えて、運転者がながら運転しているか否かを判定する。本実施形態において、運転者が脇見運転しているか否かを判定する場合の運転状態判定装置１００ａの動作は、第１実施形態で説明した動作と同様でよい。

本実施形態において、運転者がながら運転をしている状態とは、運転者が車両の運転以外の動作をしながら運転している状態を示す。運転者がながら運転している状態は、運転者が電話しながら運転している状態の少なくとも一方を含み得る。これに加えて、又はこれに代えて、運転者がながら運転している状態は、運転者が何かを食べながら運転している状態、運転者が飲み物を飲みながら運転している状態、及び運転者がたばこを吸いながら運転している状態の少なくとも１つを含んでいてもよい。

本実施形態において、位置検出部１０１は、右肩、左肩、右目、左目、右耳、及び左耳の位置に加えて、運転者の頭部、右手、及び左手の位置を検出する。位置検出部１０１は、検出した運転者の頭部、右手、及び左手の位置をながら運転判定部１０５に出力する。しきい値決定部１０３は、脇見運転判定部１０４で使用される判定しきい値に加えて、ながら運転判定部１０５で使用される判定しきい値（第５の判定しきい値）を決定する。第５の判定しきい値は、運転者の頭部と手との間の距離のしきい値を示す。しきい値決定部１０３は、決定した第５の判定しきい値をながら運転判定部１０５に出力する。

ながら運転判定部１０５は、運転者の頭部と手との間の距離を計算する。ながら運転判定部１０５は、頭部と右手との間の距離、及び頭部と左手との間の距離のうち、距離が短い方を頭部と手との間の距離として使用する。ながら運転判定部１０５は、頭部と手との間の距離と、第５の判定しきい値とを比較する。ながら運転判定部１０５は、頭部と手との間の距離が第５の判定しきい値以下の場合、運転者がながら運転していると判定する。

図６は、運転者画像から検出される頭部及び手を模式的に示す。位置検出部１０１は、運転者画像から、頭部３０３、右手３０６Ｒ、及び左手３０６Ｌの位置を検出する。ながら運転判定部１０５は、頭部３０３と右手３０６Ｒとの間の距離、及び頭部３０３と左手３０６Ｌとの間の距離を計算する。図６の例では、頭部３０３と左手３０６Ｌとの間の距離の方が、頭部３０３と右手３０６Ｒとの間の距離より短い。ながら運転判定部１０５は、頭部３０３と左手３０６Ｌとの間の距離と第５の判定しきい値とを比較する。図６の例では、頭部３０３と左手３０６Ｌとが重なっているため、ながら運転判定部１０５は、運転者がながら運転していると判定する。

次いで、動作手順を説明する。図７は、ながら運転を判定する場合の運転状態判定装置１００ａの動作手順を示す。運転状態判定装置１００ａが、運転者が脇見運転している状態を判定する場合の動作手順は、図４に示される動作手順と同様である。

位置検出部１０１は、カメラ２００から取得した運転者画像から、運転者の両肩、頭部、及び両手の位置を検出する（ステップＢ１）。肩幅推定部１０２は、ステップＢ１で検出された運転者の両肩の位置から、運転者の肩幅を推定する（ステップＢ２）。しきい値決定部１０３は、ステップＢ２で推定された肩幅に基づいて、頭部と手との間の距離に関する判定しきい値を決定する（ステップＢ３）。

ながら運転判定部１０５は、ステップＢ１で検出された頭部と両手の位置に基づいて、頭部と手との間の距離を計算する。ながら運転判定部１０５は、計算した頭部と手との間の距離と、ステップＢ３で決定された判定しきい値とを比較する（ステップＢ４）。ながら運転判定部１０５は、ながら運転判定部１０５は、ステップＢ４での比較結果に基づいて、運転者がながら運転しているか否かを判定する（ステップＢ５）。ながら運転判定部１０５は、ステップＢ５では、例えば、頭部と手との距離が判定しきい値以下の場合、運転者はながら運転していると判定する。

本実施形態では、しきい値決定部１０３は、運転者の肩幅に基づいて、ながら運転判定部１０５で使用される判定しきい値を決定する。ながら運転判定部１０５は、肩幅に応じて決定された判定しきい値を用いて、運転者がながら運転しているか否かを判定する。本実施形態においても、判定しきい値は運転者の肩幅に応じて決定される。このため、運転状態判定装置１００ａは、運転者画像における運転者の大きさに依存せずに、運転者がながら運転しているか否かを判定でき、カメラ２００の画角や焦点距離が異なる場合でも、ながら運転を精度よく検出することができる。

なお、上記第２実施形態では、運転状態判定装置１００ａが脇見運転判定部１０４とながら運転判定部１０５とを有する例を説明したが、本開示はこれには限定されない。運転状態判定装置１００ａは、運転者の運転状態を少なくとも１つ判定すればよく、脇見運転判定部１０４を有していなくてもよい。あるいは、運転状態判定装置１００ａは、脇見運転及びながら運転以外の運転状態を判定する判定部を有していてもよい。

本開示において、運転状態判定装置１００はプロセッサを有する電子機器として構成され得る。図８は、運転状態判定装置１００に使用され得る電子機器のハードウェア構成を示す。電子機器５００は、プロセッサ５０１、ＲＯＭ（read only memory）５０２、及びＲＡＭ（random access memory）５０３を有する。電子機器５００において、プロセッサ５０１、ＲＯＭ５０２、及びＲＡＭ５０３は、バス５０４を介して相互に接続される。電子機器５００は、図示は省略するが、周辺回路、及びインタフェース回路などの他の回路を含み得る。

ＲＯＭ５０２は、不揮発性の記憶装置である。ＲＯＭ５０２には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＲＯＭ５０２は、プロセッサ５０１が実行するプログラムを格納する。

上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、電子機器５００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いて電子機器に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムを電子機器に供給できる。

ＲＡＭ５０３は、揮発性の記憶装置である。ＲＡＭ５０３には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ５４０は、データなどを一時的に格納する内部バッファとして用いられ得る。

プロセッサ５０１は、ＲＯＭ５０２に格納されたプログラムをＲＡＭ５０３に展開し、プログラムを実行する。プロセッサ５０１がプログラムを実行することで、運転状態判定装置１００の各部の機能が実現され得る。

以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出する位置検出手段と、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出する肩幅算出手段と、
前記算出された肩幅に基づいて１以上の判定しきい値を決定するしきい値決定手段と、
前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する判定手段とを備える運転状態判定装置。

［付記２］
前記位置検出手段は、前記運転者画像に基づいて前記運転者の骨格構造を推定し、該推定した骨格構造に基づいて前記右肩及び左肩の位置を検出する付記１に記載の運転状態判定装置。

［付記３］
前記しきい値決定手段は、基準肩幅と基準判定しきい値との組を記憶し、前記算出された肩幅と前記基準肩幅との差又は比に応じて、前記基準判定しきい値を増加又は減少させることで、前記判定しきい値を決定する付記１又は２に記載の運転状態判定装置。

［付記４］
前記判定手段は、前記運転者が運転に集中していない運転状態を、前記運転者の運転状態として判定する付記１から３何れか１つに記載の運転状態判定装置。

［付記５］
前記判定しきい値は、人体の特定の部位間の距離のしきい値を示す付記１から４何れか１つに記載の運転状態判定装置。

［付記６］
前記２以上の身体部位は、前記運転者の頭部、及び前記運転者の手を含み、
前記しきい値決定手段は、前記頭部と前記手との間の距離のしきい値を前記判定しきい値として決定し、
前記判定手段は、前記頭部と前記手の間の距離が前記判定しきい値以下の場合、前記運転者は運転以外の動作をしながら運転していると判定する付記５に記載の運転状態判定装置。

［付記７］
前記２以上の身体部位は、前記運転者の右目、左目、及び左耳を含み、
前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第１の判定しきい値、及び前記左目と前記左耳との間の距離のしきい値を示す第２の判定しきい値を決定し、
前記判定手段は、前記右目と前記左目との間の距離と前記第１の判定しきい値とを比較し、かつ前記左目と前記左耳との間の距離と前記第２の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第１の判定しきい値との比較結果、及び前記左目と前記左耳との間の距離と前記第２の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしている否かを判定する付記５又は６に記載の運転状態判定装置。

［付記８］
前記２以上の身体部位は、前記運転者の右目、左目、及び右耳を含み、
前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第３の判定しきい値、及び前記右目と前記右耳との間の距離のしきい値を示す第４の判定しきい値を決定し、
前記判定手段は、前記右目と前記左目との間の距離と前記第３の判定しきい値とを比較し、かつ、前記右目と前記右耳との間の距離と前記第４の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第３の判定しきい値との比較結果、及び、前記右目と前記右耳との間の距離と前記第４の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしているか否かを判定する付記５から７何れか１つに記載の運転状態判定装置。

［付記９］
前記運転者画像は、車両の幅方向において運転席の中心よりも助手席側の位置で、かつ前記運転者の顔の位置より前記車両の前方側の位置から前記運転席を撮影することで得られた画像である付記１から８何れか１つに記載の運転状態判定装置。

［付記１０］
運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
前記算出された肩幅に基づいて１以上の判定しきい値を決定し、
前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する運転状態判定方法。

［付記１１］
運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
前記算出された肩幅に基づいて１以上の判定しきい値を決定し、
前記検出された２以上の部位の位置と、前記１以上の判定しきい値とを用いて、前記運転者の運転状態を判定する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

１０：運転状態判定装置
１１：位置検出手段
１２：肩幅算出手段
１３：しきい値決定手段
１４：判定手段
２０：カメラ
１００：運転状態判定装置
１０１：位置検出部
１０２：肩幅推定部
１０３：しきい値決定部
１０４：脇見運転判定部
１０５：ながら運転判定部
２００：カメラ

Claims

運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出する位置検出手段と、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出する肩幅算出手段と、
前記算出された肩幅に基づいて、人体の特定の部位間の距離のしきい値を示す１以上の判定しきい値を決定するしきい値決定手段と、
前記検出された２以上の部位の位置の間の距離を計算し、該計算した距離と、前記１以上の判定しきい値とを比較し、該比較の結果に応じて、前記運転者の運転状態を判定する判定手段とを備える運転状態判定装置。
前記位置検出手段は、前記運転者画像に基づいて前記運転者の骨格構造を推定し、該推定した骨格構造に基づいて前記右肩及び左肩の位置を検出する請求項１に記載の運転状態判定装置。
前記しきい値決定手段は、基準肩幅と基準判定しきい値との組を記憶し、前記算出された肩幅と前記基準肩幅との差又は比に応じて、前記基準判定しきい値を増加又は減少させることで、前記判定しきい値を決定する請求項１又は２に記載の運転状態判定装置。
前記判定手段は、前記運転者が運転に集中していない運転状態を、前記運転者の運転状態として判定する請求項１から３何れか１項に記載の運転状態判定装置。
前記２以上の身体部位は、前記運転者の頭部、及び前記運転者の手を含み、
前記しきい値決定手段は、前記頭部と前記手との間の距離のしきい値を前記判定しきい値として決定し、
前記判定手段は、前記頭部と前記手の間の距離が前記判定しきい値以下の場合、前記運転者は運転以外の動作をしながら運転していると判定する請求項１から４何れか１項に記載の運転状態判定装置。
前記２以上の身体部位は、前記運転者の右目、左目、及び左耳を含み、
前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第１の判定しきい値、及び前記左目と前記左耳との間の距離のしきい値を示す第２の判定しきい値を決定し、
前記判定手段は、前記右目と前記左目との間の距離と前記第１の判定しきい値とを比較し、かつ前記左目と前記左耳との間の距離と前記第２の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第１の判定しきい値との比較結果、及び前記左目と前記左耳との間の距離と前記第２の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしている否かを判定する請求項１から５何れか１項に記載の運転状態判定装置。
前記２以上の身体部位は、前記運転者の右目、左目、及び右耳を含み、
前記しきい値決定手段は、前記右目と前記左目との間の距離のしきい値を示す第３の判定しきい値、及び前記右目と前記右耳との間の距離のしきい値を示す第４の判定しきい値を決定し、
前記判定手段は、前記右目と前記左目との間の距離と前記第３の判定しきい値とを比較し、かつ、前記右目と前記右耳との間の距離と前記第４の判定しきい値とを比較し、前記右目と前記左目との間の距離と前記第３の判定しきい値との比較結果、及び、前記右目と前記右耳との間の距離と前記第４の判定しきい値との比較結果に基づいて、前記運転者が脇見運転をしているか否かを判定する請求項１から６何れか１項に記載の運転状態判定装置。
運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
前記算出された肩幅に基づいて、人体の特定の部位間の距離のしきい値を示す１以上の判定しきい値を決定し、
前記検出された２以上の部位の位置の間の距離を計算し、該計算した距離と、前記１以上の判定しきい値とを比較し、該比較の結果に応じて、前記運転者の運転状態を判定する運転状態判定方法。
運転者を撮影した運転者画像から該運転者の右肩及び左肩の位置と、２以上の身体部位の位置とを検出し、
前記検出された右肩及び左肩の位置に基づいて前記運転者の肩幅を算出し、
前記算出された肩幅に基づいて、人体の特定の部位間の距離のしきい値を示す１以上の判定しきい値を決定し、
前記検出された２以上の部位の位置の間の距離を計算し、該計算した距離と、前記１以上の判定しきい値とを比較し、該比較の結果に応じて、前記運転者の運転状態を判定する処理をプロセッサに実行させるためのプログラム。