JP6930765B2

JP6930765B2 - Ｖ２ｖ連結によって人の状態認識を活用して検出された運転者の異常状態を警告するための方法及び装置｛ｍｅｔｈｏｄａｎｄｄｅｖｉｃｅｆｏｒａｌｅｒｔｉｎｇａｂｎｏｒｍａｌｄｒｉｖｅｒｓｉｔｕａｔｉｏｎｄｅｔｅｃｔｅｄｂｙｕｓｉｎｇｈｕｍａｎｓ’ ｓｔａｔｕｓｒｅｃｏｇｎｉｔｉｏｎｖｉａｖ２ｖｃｏｎｎｅｃｔｉｏｎ｝

Info

Publication number: JP6930765B2
Application number: JP2020010700A
Authority: JP
Inventors: 金桂賢; 金鎔重; 金鶴京; 南雲鉉; 夫碩▲くん▼; 成明哲; 申東洙; 呂東勳; 柳宇宙; 李明春; 李炯樹; 張泰雄; 鄭景中; 諸泓模; 趙浩辰
Original assignee: Stradvision Inc
Current assignee: Stradvision Inc
Priority date: 2019-01-31
Filing date: 2020-01-27
Publication date: 2021-09-01
Anticipated expiration: 2040-01-27
Also published as: EP3690729A1; US10713948B1; KR102321011B1; CN111507170B; EP3690729B1; KR20200095383A; CN111507170A; JP2020126644A; EP3690729C0; US20200250982A1

Description

本発明は、ディープラーニング（ｄｅｅｐｌｅａｒｎｉｎｇ）に基づいて車両運転手の居眠り状態及び異常状態を検出して、前記居眠り状態及び異常状態を警告する方法及び装置に関し、より詳細には、前記車両の室内イメージから前記運転者の目の瞬き状態に基づいて前記運転者の前記居眠り状態を検出し、前記運転者のポーズを参照にして前記運転者の前記異常状態を検出することにより警告を与える方法及び装置に関する。

車両事故の中でも最も大きな被害を引き起こす事故は、走行中に発生し、このうちのほとんどは、居眠り運転・飲酒運転・注意力分散などによって引き起こされる。

このような事故を事前に防止する方法として、従来は運転者自らが自覚し、気をつけるしかなかったが、最近は技術を活用して運転者の状態を監視し、これを運転者に警告することで安全運行を誘導している。その代表的な技術として、運転者状態監視装置（Ｄｒｉｖｅｎ−ＳｔａｔｅＭｏｎｉｔｏｒｉｎｇＤｅｖｉｃｅ，ＤＳＭ）が挙げられる。

運転者状態監視装置は、ＮＩＲ（ＮｅａｒＩｎｆｒａ−Ｒｅｄ）カメラを用いて運転者の顔部位に近赤外線を投射し、それによって運転者の顔のイメージを取得して運転者の顔を監視する。瞬き頻度や回数など、瞬きの特性に対して優先順位を決め、居眠りに近い要素に重み付け値を与えるアルゴリズムを活用して運転者が居眠りをしているかを判断する。また、注意力分散状態は、顔の向き、目の状態を認識して判断し、運転者が予め設定された時間の間に前方を注視しないと判断されると、運転者は警告を受ける。

しかし、このような従来の方法では、運転者がこのような警告に対応できない状態に陥った場合には、運転者への警告が無意味になるという問題点がある。

また、このような従来の方法では、運転者のポーズが変わった場合、カメラを利用して運転者の異常状態を検出することに限界がある。

したがって、本発明は、運転手の居眠り運転や異常状態等を示す危険状態を効果的に検出し、交通事故を事前に防止することができる方法を提案したい。

本発明は、前述した問題点を全て解決することを目的とする。

本発明は、特定運転者の少なくとも一つの異常状態を効果的に検出できるようにすることを他の目的とする。

本発明は、特定運転者の周辺車両の運転者に特定運転者の異常状態を警告するようにすることをまた他の目的とする。

本発明は、特定運転者の異常状態により発生し得る交通事故を防止できるようにすることをまた他の目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、ディープラーニングに基づいて特定車両の特定運転者の居眠り状態及び異常状態を検出して警告する方法において、（ａ）前記特定車両の室内の少なくとも一つの室内イメージが取得されると、運転者状態検出装置が、（ｉ）前記室内イメージを居眠り検出ネットワークに入力して、前記居眠り検出ネットワークをもって、前記室内イメージから前記特定運転者の少なくとも一つの顔部分を検出し、前記顔部分から前記特定運転者の少なくとも一つの目の部分を検出し、前記特定運転者の少なくとも一つの目の瞬き状態を検出するようにすることにより、前記特定運転者の前記居眠り状態を判断するようにするプロセス、及び（ｉｉ）前記室内イメージをポーズマッチングネットワークに入力して、前記ポーズマッチングネットワークをもって、前記室内イメージから前記特定運転者のボディに対応する一つ以上のボディキーポイント（ｂｏｄｙｋｅｙｐｏｉｎｔ）を検出するようにし、前記ボディキーポイントが予め設定された走行ポーズのうちの一つとマッチングするかを判断するようにすることにより、前記特定運転者の前記異常状態を判断するようにするプロセスのうちの少なくとも一部を遂行する段階；及び（ｂ）前記居眠り検出ネットワークから出力された前記特定運転者の前記居眠り状態及び前記ポーズマッチングネットワークから出力された前記特定運転者の前記異常状態のうちの少なくとも一部を参照にして、前記特定運転者が危険状態であると判断されると、前記運転者状態検出装置は、Ｖ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信によって、前記特定運転者の前記危険状態に対する情報を一つ以上の周辺車両に伝送して前記周辺車両の一つ以上の周辺運転者をもって、前記特定運転者の前記危険状態を認識するようにするプロセスを遂行する段階；を含むことを特徴とする方法が開示される。

一実施例として、前記（ａ）段階で、前記運転者状態検出装置は、前記居眠り検出ネットワークをもって、（ｉ）（ｉ−１）顔検出器のコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）レイヤによって少なくとも一つのコンボリューション演算を前記室内イメージに適用して少なくとも一つの特徴マップを生成し、（ｉ−２）前記顔検出器のＲＰＮ（ＲｅｇｉｏｎＰｒｏｐｏｓａｌＮｅｔｗｏｒｋ）によって前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成し、（ｉ−３）前記顔検出器のプーリングレイヤによって前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成し、（ｉ−４）前記顔検出器のＦＣ（ｆｕｌｌｙｃｏｎｎｅｃｔｅｄ）レイヤによって前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成し、（ｉ−５）前記ＦＣレイヤの前記ＦＣ出力値に少なくとも一つの分類演算及び少なくとも一つのリグレッション演算を適用して、それぞれの前記物体に対するクラス情報及びリグレッション情報を出力した後、前記顔検出器の分類レイヤ及びリグレッションレイヤによって前記室内イメージ上の前記特定運転者の前記顔部分を検出するようにし、前記物体それぞれは、前記プロポーザルボックスそれぞれに対応し、（ｉｉ）目検出器によって前記顔部分を少なくとも一つのＭＣＴ（ＭｏｄｉｆｉｅｄＣｅｎｓｕｓＴｒａｎｓｆｏｒｍ）イメージに変換し、前記顔部分の明るさと局部部分の明るさの平均との間の差が前記ＭＣＴイメージにエンコードされ、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを利用して前記ＭＣＴイメージから取得された目検出用特徴データから前記特定運転者の前記目の部分を検出し、前記目の開閉状態を参照して前記目の部分の前記目の瞬き状態を検出するようにすることを特徴とする。

一実施例として、前記（ａ）段階で、前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、（ｉ）特徴抽出器によって前記室内イメージから一つ以上の特徴を抽出して生成された一つ以上の特徴テンソル（ｔｅｎｓｏｒ）を生成し、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔａｆｆｉｎｉｔｙｆｉｅｌｄ）抽出器によって前記特徴テンソルそれぞれに対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールドを生成し、（ｉｉｉ）前記キーポイントヒートマップそれぞれにおける一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドそれぞれを参照にして前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、キーポイントグルーピングレイヤによって、前記室内イメージに位置する前記特定運転者に対応する前記ボディキーポイントを生成するようにすることを特徴とする。

一実施例として、前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤによって、前記室内イメージに少なくとも一つのコンボリューション演算を適用することで、前記特徴テンソルを生成するようにすることを特徴とする。

一実施例として、前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１ｘ１コンボリューションレイヤによって、前記特徴テンソルに少なくとも一つのフルコンボリューション演算または少なくとも一つの１ｘ１コンボリューション演算を適用することにより、前記特徴テンソルそれぞれに対応する前記キーポイントヒートマップ及び前記パートアフィニティフィールドを生成するようにすることを特徴とする。

一実施例として、前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記キーポイントグルーピングレイヤによって、前記キーポイントヒートマップそれぞれの最も高い地点それぞれを前記キーポイントヒートマップそれぞれに対応する前記キーポイントそれぞれとして抽出するようにすることを特徴とする。

一実施例として、前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記キーポイントグルーピングレイヤによって、前記パートアフィニティフィールドを参照にして、前記抽出されたキーポイントの各ペアのうちの、互いにつながる確率の最も高い各ペアそれぞれをつなげることで、前記抽出されたキーポイントをグルーピングするようにすることを特徴とする。

一実施例として、前記（ａ）段階で、前記特定運転者の前記目が閉じていて、前記目を閉じている時間が予め設定された第１閾値以上ならば、前記運転状態検出装置は、前記居眠り検出ネットワークをもって、前記特定運転者を前記居眠り状態であると判断するようにするプロセスを遂行することを特徴とする。

一実施例として、前記（ａ）段階で、前記ボディキーポイントが前記すべての走行ポーズとマッチングされず、前記ボディキーポイントと前記すべての走行ポーズとがマッチングされない状態が維持される時間が予め設定された第２閾値以上であれば、前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記運転者が前記異常状態であると判断するようにすることを特徴とする。

本発明の他の態様によれば、ディープラーニングに基づいて特定車両の特定運転者の居眠り状態及び異常状態を検出して警告する運転者状態検出装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記特定車両の室内の少なくとも一つの室内イメージが取得されると、（ｉ）前記室内イメージを居眠り検出ネットワークに入力して、前記居眠り検出ネットワークをもって、前記室内イメージから前記特定運転者の少なくとも一つの顔部分を検出し、前記顔部分から前記特定運転者の少なくとも一つの目の部分を検出し、前記特定運転者の少なくとも一つの目の瞬き状態を検出するようにすることにより、前記特定運転者の前記居眠り状態を判断するようにするプロセス、及び（ｉｉ）前記室内イメージをポーズマッチングネットワークに入力して、前記ポーズマッチングネットワークをもって、前記室内イメージから前記特定運転者のボディに対応する一つ以上のボディキーポイント（ｂｏｄｙｋｅｙｐｏｉｎｔ）を検出するようにし、前記ボディキーポイントが予め設定された走行ポーズのうちの一つとマッチングするかを判断するようにすることにより、前記特定運転者の前記異常状態を判断するようにするプロセスのうちの少なくとも一部を遂行するプロセス；及び（ＩＩ）前記居眠り検出ネットワークから出力された前記特定運転者の前記居眠り状態及び前記ポーズマッチングネットワークから出力された前記特定運転者の前記異常状態のうちの少なくとも一部を参照にして、前記特定運転者が危険状態であると判断されると、Ｖ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信によって、前記特定運転者の前記危険状態に対する情報を一つ以上の周辺車両に伝送して前記周辺車両の一つ以上の周辺運転者をもって、前記特定運転者の前記危険状態を認識するようにするプロセスを遂行するプロセス；を遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする運転者状態検出装置が開示される。

一実施例として、前記（Ｉ）プロセスで、前記プロセッサは、前記居眠り検出ネットワークをもって、（ｉ）（ｉ−１）顔検出器のコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）レイヤによって少なくとも一つのコンボリューション演算を前記室内イメージに適用して少なくとも一つの特徴マップを生成し、（ｉ−２）前記顔検出器のＲＰＮ（ＲｅｇｉｏｎＰｒｏｐｏｓａｌＮｅｔｗｏｒｋ）によって前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成し、（ｉ−３）前記顔検出器のプーリングレイヤによって前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成し、（ｉ−４）前記顔検出器のＦＣ（ｆｕｌｌｙｃｏｎｎｅｃｔｅｄ）レイヤによって前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成し、（ｉ−５）前記ＦＣレイヤの前記ＦＣ出力値に少なくとも一つの分類演算及び少なくとも一つのリグレッション演算を適用して、それぞれの前記物体に対するクラス情報及びリグレッション情報を出力した後、前記顔検出器の分類レイヤ及びリグレッションレイヤによって前記室内イメージ上の前記特定運転者の前記顔部分を検出するようにし、前記物体それぞれは、前記プロポーザルボックスそれぞれに対応し、（ｉｉ）目検出器によって前記顔部分を少なくとも一つのＭＣＴ（ＭｏｄｉｆｉｅｄＣｅｎｓｕｓＴｒａｎｓｆｏｒｍ）イメージに変換し、前記顔部分の明るさと局部部分の明るさの平均との間の差が前記ＭＣＴイメージにエンコードされ、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを利用して前記ＭＣＴイメージから取得された目検出用特徴データから前記特定運転者の前記目の部分を検出し、前記目の開閉状態を参照して前記目の部分の前記目の瞬き状態を検出するようにすることを特徴とする。

一実施例として、前記（Ｉ）プロセスで、前記プロセッサは、前記ポーズマッチングネットワークをもって、（ｉ）特徴抽出器によって前記室内イメージから一つ以上の特徴を抽出して生成された一つ以上の特徴テンソル（ｔｅｎｓｏｒ）を生成し、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔａｆｆｉｎｉｔｙｆｉｅｌｄ）抽出器によって前記特徴テンソルそれぞれに対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールドを生成し、（ｉｉｉ）前記キーポイントヒートマップそれぞれにおける一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドそれぞれを参照にして前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、キーポイントグルーピングレイヤによって、前記室内イメージに位置する前記特定運転者に対応する前記ボディキーポイントを生成するようにすることを特徴とする。
一実施例として、前記プロセッサは、前記ポーズマッチングネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤによって、前記室内イメージに少なくとも一つのコンボリューション演算を適用することで、前記特徴テンソルを生成するようにすることを特徴とする。

一実施例として、前記プロセッサは、前記ポーズマッチングネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１ｘ１コンボリューションレイヤによって、前記特徴テンソルに少なくとも一つのフルコンボリューション演算または少なくとも一つの１ｘ１コンボリューション演算を適用することにより、前記特徴テンソルそれぞれに対応する前記キーポイントヒートマップ及び前記パートアフィニティフィールドを生成するようにすることを特徴とする。

一実施例として、前記プロセッサは、前記ポーズマッチングネットワークをもって、前記キーポイントグルーピングレイヤによって、前記キーポイントヒートマップそれぞれの最も高い地点それぞれを前記キーポイントヒートマップそれぞれに対応する前記キーポイントそれぞれとして抽出するようにすることを特徴とする。

一実施例として、前記プロセッサは、前記ポーズマッチングネットワークをもって、前記キーポイントグルーピングレイヤによって、前記パートアフィニティフィールドを参照にして、前記抽出されたキーポイントの各ペアのうちの、互いにつながる確率の最も高い各ペアそれぞれをつなげることで、前記抽出されたキーポイントをグルーピングするようにすることを特徴とする。

一実施例として、前記（Ｉ）プロセスで、前記特定運転者の前記目が閉じていて、前記目を閉じている時間が予め設定された第１閾値以上ならば、前記プロセッサは、前記居眠り検出ネットワークをもって、前記特定運転者を前記居眠り状態であると判断するようにするプロセスを遂行することを特徴とする。

一実施例として、前記（Ｉ）プロセスで、前記ボディキーポイントが前記すべての走行ポーズとマッチングされず、前記ボディキーポイントと前記すべての走行ポーズとがマッチングされない状態が維持される時間が予め設定された第２閾値以上であれば、前記プロセッサは、前記ポーズマッチングネットワークをもって、前記運転者が前記異常状態であると判断するようにすることを特徴とする。

この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。

本発明は、特定運転者の瞬き状態及び走行ポーズをそれぞれ評価して前記特定運転者の居眠り状態及び異常状態を効果的に検出できるようにする効果がある。

本発明は、前記特定運転者の危険状態に対する情報をＶ２Ｖ通信によって周辺車両に伝送して、前記周辺運転者に前記特定運転者の危険状態を警告できる他の効果がある。

本発明は、前記特定運転者の危険状態に対する情報をＶ２Ｖ通信によって周辺車両に伝送して、前記特定運転者の危険状態により発生し得る交通事故を防止できる他の効果がある。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。

図１は、本発明の一実施例に係る特定車両の特定運転者の少なくとも一つの異常状態及び少なくとも一つの居眠り状態を検出して警告する運転者状態検出装置を概略的に示した図面である。図２は、本発明の一実施例に係る前記特定車両の前記特定運転者の前記異常状態及び前記居眠り状態を検出して警告する方法を概略的に示した図面である。図３は、本発明の一実施例に係る前記特定運転者の前記居眠り状態及び前記異常状態を検出する方法において、前記特定車両の前記特定運転者の前記居眠り状態を判断する過程を概略的に示した図面である。図４は、本発明の一実施例に係る前記特定運転者の前記居眠り状態及び前記異常状態を検出する方法において、前記特定運転者の顔を検出する過程を概略的に示した図面である。図５は、本発明の一実施例に係る前記特定運転者の前記居眠り状態及び前記異常状態を検出する方法において、前記特定運転者のポーズを活用して前記特定運転者の前記異常状態を判断する過程を概略的に示した図面である。図６は、本発明の一実施例に係る前記特定運転者の前記居眠り状態及び前記異常状態を検出する方法において、前記特定運転者のボディキーポイントを検出する過程を概略的に示した図面である。

後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似した参照符号は、いくつかの側面にかけて同一であるか類似した機能を指称する。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。

図１は、本発明の一実施例に係る特定車両の特定運転者の少なくとも一つの異常状態及び少なくとも一つの居眠り状態を検出して警告する運転者状態検出装置を概略的に示した図面である。図１を参照すれば、前記運転者状態検出装置１０００は、前記特定車両の前記特定運転者の前記異常状態及び前記居眠り状態を検出して警告を与えるインストラクションを格納するメモリ１１００と、前記特定運転者の前記居眠り状態及び前記異常状態を検出する前記メモリ１１００に格納されたインストラクションに対応するプロセスを遂行するプロセッサ１２００とを含むことができる。

具体的に、前記運転者状態検出装置１０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。

前記コンピューティング装置のプロセッサは、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）またはＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、キャッシュメモリ（ＣａｃｈｅＭｅｍｏｒｙ）、データバス（ＤａｔａＢｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。

しかし、このような前記コンピューティング装置に対する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。

このように構成された、本発明の一実施例に係る前記運転者状態検出装置１０００を利用して特定車両の少なくとも一つの室内イメージから前記特定運転者の前記居眠り状態及び前記異常状態を検出して警告をする方法は、図２を参照して説明すると次の通りである。

まず、少なくとも一つのカメラ１０によって撮影された前記特定車両の室内イメージが取得されると、前記運転者状態検出装置１０００が、（ｉ）前記室内イメージを居眠り検出ネットワーク１００に入力して、前記居眠り検出ネットワーク１００をもって、前記室内イメージから前記特定運転者の少なくとも一つの顔の部分を検出し、前記検出された顔の部分において、前記特定運転者の少なくとも一つの目の部分を検出するようにするプロセス及び（ｉｉ）前記特定運転者の少なくとも一つの瞬き状態を検出するようにすることにより、前記特定運転者の前記居眠り状態を判断するようにするプロセスを遂行することができる。この際、前記運転者状態検出装置１０００は、前記室内イメージから前記特定運転者の顔が位置する上半身をクロッピング（ｃｒｏｐｐｉｎｇ）するプロセス及び前記室内イメージの前記クロッピングされた上半身を前記眠気検出ネットワーク１００に入力するプロセスを遂行して、前記居眠り検出ネットワーク１００をもって、前記室内イメージの前記クロッピングされた上半身から前記特定運転者の顔の部分を検出するようにして前記全体室内イメージから前記顔の部分を検出することに比べて、前記居眠り検出ネットワーク１００の演算量を減少させることができる。

一例として、図３を参照すれば、前記居眠り検出ネットワーク１００は、前記室内イメージを顔検出器１１０に入力して、前記顔検出器１１０をもって、ディープラーニング基盤で前記室内イメージを分析することにより、前記室内イメージ上の前記特定運転者の前記顔を検出するようにする。

この際、前記顔検出器１１０は、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）基盤の検出器に基づいた検出器であり得るが、本発明の範囲は、これに限定されない。

一方、図４を参照すれば、前記ＣＮＮ基盤の前記顔検出器１１０は、少なくとも一つのコンボリューションレイヤ１１１によって前記室内イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、ＲＰＮ（ｒｅｇｉｏｎｐｒｏｐｏｓａｌｎｅｔｗｏｒｋ）１１２によって、前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するプロセスを遂行することができる。そして、前記顔検出器１１０は、プーリングレイヤ１１３によって、前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して、少なくとも一つの特徴ベクトルを生成するプロセス、及びＦＣレイヤ１１４によって、前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して、少なくとも一つのＦＣ出力値を生成するプロセスを遂行することができる。以降、前記顔検出器１１０は、少なくとも一つの分類演算と少なくとも一つのリグレッション演算を前記ＦＣレイヤ１１４の前記ＦＣ出力値に適用して、前記物体それぞれに対するクラス情報とリグレッション情報とを出力して、前記物体それぞれがプロポーザルボックスそれぞれに対応する分類レイヤ１１５及びリグレッションレイヤ１１６によって、前記室内イメージ上の前記特定運転者の前記顔の部分を検出することができる。

再び、図３を参照すれば、前記居眠り検出ネットワーク１００は、前記顔検出器１１０によって検出された前記特定運転者の前記顔の部分を目検出器１２０に入力して、前記目検出器１２０をもって、（ｉ）前記顔部分を少なくとも一つのＭＣＴ（ＭｏｄｉｆｉｅｄＣｅｎｓｕｓＴｒａｎｓｆｏｒｍ）イメージに変換するようにして、前記顔部分の明るさと局部部分の明るさの平均との間の差がエンコードされるようにし、（ｉｉ）エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを利用して前記ＭＣＴイメージから取得した目検出用特徴データから前記特定運転者の前記目の部分を検出するようにし、（ｉｉｉ）前記目の部分の前記目の開閉状態を参照にして、前記目の前記瞬き状態を検出するようにすることができる。この際、前記瞬き状態は、前記ＭＣＴイメージの目の部分の瞳孔の開閉状態で確認され得、前記開閉状態は、目、すなわち瞳孔が開いているか閉じているか示すことができる。例えば、前記特定運転者の目が完全に開いているときの瞳孔サイズと、前記特定運転者の目が閉じているときの瞳孔サイズは異なるように検出され得、これによって前記特定運転者の目の瞬き状態が判断され得る。

また、前記特定運転者の目の瞬き状態を検出するための別途の瞬き検出器１３０が追加され得る。この際、前記瞬き検出器１３０は、前記目の部分の瞳孔を追跡して前記目の瞬き状態を検出することができる。

そして、前記特定運転者の前記目が閉じていて、前記目が閉じている時間が予め設定された第１閾値以上であれば、前記居眠り検出装置１００は、前記特定運転者の目の瞬きの状態を参照にして前記特定運転者が前記居眠り状態であると判断することができる。

次に、再び図２を参照すれば、前記運転者検出装置１０００は、前記室内イメージをポーズマッチングネットワーク２００に入力して、前記ポーズマッチングネットワーク２００をもって、前記室内イメージから前記特定運転者のボディに対応する一つ以上のボディキーポイント（ｂｏｄｙｋｅｙｐｏｉｎｔ）を検出するようにし、前記ボディキーポイントが予め設定された走行ポーズのうちの一つとマッチングするかを判断するようにすることにより、前記特定運転者の前記異常状態を判断するようにするプロセスを遂行することができる。この際、前記走行ポーズは、前記運転者が運転席に着席して正常に車両を運転する際のポーズであり得、前記車両を走行する正常位置に該当する前記運転者の予め設定されたポーズとして事前にデータベースに格納することができる。

一例として、図５を参照すれば、前記ポーズマッチングネットワーク２００は、前記室内イメージをボディキーポイント検出器２１０に入力して、前記ボディキーポイント検出器２１０をもって、前記特定運転者の前記ボディキーポイントを検出するようにすることができる。

その際、前記特定車両の前記室内に設置されたカメラで取得した映像またはイメージは、ボディ（すなわち、人の身体）を多く隠した状態であり得、運転席の場合、前記特定運転者の上半身だけ見え得る。こうした場合、従来の物体検出器は、たくさん隠された特定運転手を検出するのに失敗し得るが、前記ボディキーポイント検出器２１０は、見える部分のみを利用して前記特定運転者がいるかを判断することができる。そして、前記特定運転者はポーズ多様性範囲が広いため、前記ボディキーポイント検出器２１０は、前記従来の物体検出器に比べてはるかに有用である。

そして、図６を参照して、ボディキーポイント検出器２１０が前記室内イメージで前記特定運転者の前記ボディキーポイントを検出する過程をもう少し詳しく説明すると、次の通りである。

前記ボディキーポイント検出器２１０が前記室内イメージを特徴抽出ネットワーク２１１に入力して、前記特徴抽出ネットワーク２１１をもって、前記室内イメージから一つ以上の特徴を抽出して一つ以上の特徴テンソルを生成するようにすることができる。この際、前記特徴抽出ネットワーク２１１は、少なくとも一つのコンボリューション演算を前記室内イメージに適用して前記室内イメージに対応する前記特徴テンソルを生成することができる。そして、前記特徴抽出ネットワーク２１１は、少なくとも一つのコンボリューション演算を遂行できる一つ以上のコンボリューションレイヤを含む一つ以上のコンボリューションブロックであり得る。

そして、前記ボディキーポイント検出器２１０は、前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔａｆｆｉｎｉｔｙｆｉｅｌｄ）抽出器２１２に入力して、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器２１２をもって、前記特徴テンソルそれぞれに対応するそれぞれのキーポイントヒートマップ及び（ｉｉ）前記キーポイント間の関係を示すベクトルマップであるパートアフィニティフィールドを生成するようにすることができる。この際、それぞれの前記パートアフィニティフィールドは、特定キーポイントと他のキーポイントとの連結性を示したマップであり得、それぞれのキーポイントヒートマップペアに対して互いにつながる確率を示すマップであり得る。そして、「ヒートマップ」は熱を意味するヒート（ｈｅａｔ）と地図を意味するマップ（ｍａｐ）とを結合させたもので、色で表現できる多様な情報を一定のイメージ上に熱分布形のグラフィックとして生成したものであり得る。

この際、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器２１２は、フルコンボリューションネットワークを含むことができる。

また、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器２１２は、少なくとも一つの１ｘ１コンボリューション演算を前記特徴テンソルに適用する少なくとも一つの１ｘ１コンボリューションレイヤを含むことができる。

また、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器２１２は、二部分マッチング（ｂｉｐａｒｔｉｔｅｍａｔｃｈｉｎｇ）を利用して、それぞれのキーポイント間の関係を検出することで、前記パートアフィニティフィールドを生成することができる。すなわち、前記キーポイント間の関係は、前記二部分マッチングによって確認することができる。

その後、前記ボディキーポイント検出器２１０は、前記キーポイントヒートマップそれぞれから前記キーポイントを抽出し、前記パートアフィニティフィールドそれぞれを参照にして前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、キーポイントグルーピングレイヤ２１３によって、前記室内イメージに位置する前記特定運転者に対応する前記ボディキーポイントを生成することができる。

つまり、前記ボディキーポイント検出器２１０は、前記キーポイントグルーピングレイヤ２１３をもって、前記キーポイントヒートマップそれぞれから前記キーポイントを抽出し、前記抽出された相互連結確率を参照して、連結される確率が最も高いキーポイント同士を各ペアそれぞれとして連結するようにすることができる。この際、前記ボディキーポイント検出器は、各チャネルに対応するそれぞれの前記キーポイントヒートマップ内のそれぞれの最も高い地点、すなわち最も高いヒート値を有するそれぞれのポイントを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出することができ、前記パートアフィニティフィールドを参照して、前記抽出されたキーポイントのうち、連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングすることができる。一例として、前記抽出されたキーポイントのうちの一つのキーポイントと連結される確率が最も高い他の一つのキーポイントを一つのペアにして連結する過程を抽出されたキーポイント全てに対して遂行することで各キーポイントをグルーピングすることができる。

次に、再び図５を参照すれば、前記ポーズマッチングネットワーク２００は、ポーズマッチング装置２２０をもって、前記ボディキーポイント検出器２１０から取得された前記ボディキーポイント間のポーズマッチングを遂行することで、前記ボディキーポイントが前記予め設定された走行ポーズのうちの一つとマッチングされるかを確認することができる。

この際、前記ボディキーポイントが前記予め設定された走行ポーズのいずれともマッチングされないと判断されれば、前記ポーズマッチングネットワーク２００は、前記ボディキーポイントが予め設定された走行ポーズのいずれともマッチングされない状態が第２閾値以上の時間の間に持続されたかを判断して、前記運転者が異常状態であるか否かを判断することができる。

つまり、前記ボディキーポイントと、前記走行ポーズとのうちのいずれともマッチングされない状態が維持される時間が予め設定された第２閾値値以上であれば、前記運転者は異常状態であると判断され得る。例えば、前記異常状態は、前記特定運転者が走行に集中せずに物を拾うために身をかがめたり、失神等で運転ができなかったりする状況のうちの一つに対応し得る。

つぎに、再び図２を参照すれば、前記特定運転者が、前記居眠り検出ネットワーク１００から出力された前記特定運転者の前記居眠り状態及び前記ポーズマッチングネットワーク２００から出力された前記特定運転者の前記異常状態のうちの少なくとも一部を参照にして、危険状態であると判断されると、前記運転者状態検出装置１０００は、Ｖ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）インターフェイサ２０によって、前記特定運転者の前記危険状態に対する情報を一つ以上の周辺車両に伝送して、前記周辺車両の一つ以上の周辺運転者をもって、前記特定運転者の前記危険状態を認識するようにするプロセスを遂行することができる。これによって、前記周辺運転者をもって、前記危険状態で前記特定運転者が運転する前記特定車両に注意を払うようにすることにより、交通事故リスクを低減することができる。

一方、前記特定運転者が前記危険状態にあると判断される場合、前記運転者状態検出装置１０００は、前記危険状態にある前記特定運転者に警告をして、前記特定運転者をもって、このような危険状態を認知できるようにすることができる。一例として、前記運転者状態検出装置１０００は、前記運転者の状態が危険状態であると判断された場合、警告音を発するか、運転者席またはステアリングホイールに振動を与え、前記運転者がこれを認知できるようにすることができる。

前記で説明したとおり、本発明は、前記人の状態認識を利用して運転者状態をモニタリングすることで、前記危険状態を検出した後、Ｖ２Ｖ連結を利用したＶ２Ｖ危険警告を遂行して車両間走行安全性を確保することができるようになる。

以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。

従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims

ディープラーニングに基づいて特定車両の特定運転者の居眠り状態及び異常状態を検出して警告する方法において、
（ａ）前記特定車両の室内の少なくとも一つの室内イメージが取得されると、運転者状態検出装置が、（ｉ）前記室内イメージを居眠り検出ネットワークに入力して、前記居眠り検出ネットワークをもって、前記室内イメージから前記特定運転者の少なくとも一つの顔部分を検出し、前記顔部分から前記特定運転者の少なくとも一つの目の部分を検出し、前記特定運転者の少なくとも一つの目の瞬き状態を検出するようにすることにより、前記特定運転者の前記居眠り状態を判断するようにするプロセス、及び（ｉｉ）前記室内イメージをポーズマッチングネットワークに入力して、前記ポーズマッチングネットワークをもって、前記室内イメージから前記特定運転者のボディに対応する一つ以上のボディキーポイント（ｂｏｄｙｋｅｙｐｏｉｎｔ）を検出するようにし、前記ボディキーポイントが予め設定された走行ポーズのうちの一つとマッチングするかを判断するようにすることにより、前記特定運転者の前記異常状態を判断するようにするプロセスのうちの少なくとも一部を遂行する段階；及び
（ｂ）前記居眠り検出ネットワークから出力された前記特定運転者の前記居眠り状態及び前記ポーズマッチングネットワークから出力された前記特定運転者の前記異常状態のうちの少なくとも一部を参照にして、前記特定運転者が危険状態であると判断されると、前記運転者状態検出装置は、Ｖ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信によって、前記特定運転者の前記危険状態に対する情報を一つ以上の周辺車両に伝送して前記周辺車両の一つ以上の周辺運転者をもって、前記特定運転者の前記危険状態を認識するようにするプロセスを遂行する段階；を含み、
前記（ａ）段階で、
前記運転者状態検出装置は、前記居眠り検出ネットワークをもって、（ｉ）（ｉ−１）顔検出器のコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）レイヤによって少なくとも一つのコンボリューション演算を前記室内イメージに適用して少なくとも一つの特徴マップを生成し、（ｉ−２）前記顔検出器のＲＰＮ（ＲｅｇｉｏｎＰｒｏｐｏｓａｌＮｅｔｗｏｒｋ）によって前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成し、（ｉ−３）前記顔検出器のプーリングレイヤによって前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成し、（ｉ−４）前記顔検出器のＦＣ（ｆｕｌｌｙｃｏｎｎｅｃｔｅｄ）レイヤによって前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成し、（ｉ−５）前記ＦＣレイヤの前記ＦＣ出力値に少なくとも一つの分類演算及び少なくとも一つのリグレッション演算を適用して、それぞれの前記物体に対するクラス情報及びリグレッション情報を出力した後、前記顔検出器の分類レイヤ及びリグレッションレイヤによって前記室内イメージ上の前記特定運転者の前記顔部分を検出するようにし、前記物体それぞれは、前記プロポーザルボックスそれぞれに対応し、（ｉｉ）目検出器によって前記顔部分を少なくとも一つのＭＣＴ（ＭｏｄｉｆｉｅｄＣｅｎｓｕｓＴｒａｎｓｆｏｒｍ）イメージに変換し、前記顔部分の明るさと局部部分の明るさの平均との間の差が前記ＭＣＴイメージにエンコードされ、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを利用して前記ＭＣＴイメージから取得された目検出用特徴データから前記特定運転者の前記目の部分を検出し、前記目の開閉状態を参照して前記目の部分の前記目の瞬き状態を検出するようにし、
前記（ａ）段階で、
前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、（ｉ）特徴抽出器によって前記室内イメージから一つ以上の特徴を抽出して生成された一つ以上の特徴テンソル（ｔｅｎｓｏｒ）を生成し、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔａｆｆｉｎｉｔｙｆｉｅｌｄ）抽出器によって前記特徴テンソルそれぞれに対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールドを生成し、（ｉｉｉ）前記キーポイントヒートマップそれぞれにおける一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドそれぞれを参照にして前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、キーポイントグルーピングレイヤによって、前記室内イメージに位置する前記特定運転者に対応する前記ボディキーポイントを生成するようにする
ことを特徴とする方法。
前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤによって、前記室内イメージに少なくとも一つのコンボリューション演算を適用することで、前記特徴テンソルを生成するようにする請求項１に記載の方法。
前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１ｘ１コンボリューションレイヤによって、前記特徴テンソルに少なくとも一つのフルコンボリューション演算または少なくとも一つの１ｘ１コンボリューション演算を適用することにより、前記特徴テンソルそれぞれに対応する前記キーポイントヒートマップ及び前記パートアフィニティフィールドを生成するようにする請求項１に記載の方法。
前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記キーポイントグルーピングレイヤによって、前記キーポイントヒートマップそれぞれの最も高い地点それぞれを前記キーポイントヒートマップそれぞれに対応する前記キーポイントそれぞれとして抽出するようにする請求項１に記載の方法。
前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記キーポイントグルーピングレイヤによって、前記パートアフィニティフィールドを参照にして、前記抽出されたキーポイントの各ペアのうちの、互いにつながる確率の最も高い各ペアそれぞれをつなげることで、前記抽出されたキーポイントをグルーピングするようにする請求項４に記載の方法。
前記（ａ）段階で、
前記特定運転者の前記目が閉じていて、前記目を閉じている時間が予め設定された第１閾値以上ならば、前記運転状態検出装置は、前記居眠り検出ネットワークをもって、前記特定運転者を前記居眠り状態であると判断するようにするプロセスを遂行する請求項１に記載の方法。
前記（ａ）段階で、
前記ボディキーポイントが前記すべての走行ポーズとマッチングされず、前記ボディキーポイントと前記すべての走行ポーズとがマッチングされない状態が維持される時間が予め設定された第２閾値以上であれば、前記運転者状態検出装置は、前記ポーズマッチングネットワークをもって、前記運転者が前記異常状態であると判断するようにする請求項１に記載の方法。
ディープラーニングに基づいて特定車両の特定運転者の居眠り状態及び異常状態を検出して警告する運転者状態検出装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記特定車両の室内の少なくとも一つの室内イメージが取得されると、（ｉ）前記室内イメージを居眠り検出ネットワークに入力して、前記居眠り検出ネットワークをもって、前記室内イメージから前記特定運転者の少なくとも一つの顔部分を検出し、前記顔部分から前記特定運転者の少なくとも一つの目の部分を検出し、前記特定運転者の少なくとも一つの目の瞬き状態を検出するようにすることにより、前記特定運転者の前記居眠り状態を判断するようにするプロセス、及び（ｉｉ）前記室内イメージをポーズマッチングネットワークに入力して、前記ポーズマッチングネットワークをもって、前記室内イメージから前記特定運転者のボディに対応する一つ以上のボディキーポイント（ｂｏｄｙｋｅｙｐｏｉｎｔ）を検出するようにし、前記ボディキーポイントが予め設定された走行ポーズのうちの一つとマッチングするかを判断するようにすることにより、前記特定運転者の前記異常状態を判断するようにするプロセスのうちの少なくとも一部を遂行するプロセス；及び（ＩＩ）前記居眠り検出ネットワークから出力された前記特定運転者の前記居眠り状態及び前記ポーズマッチングネットワークから出力された前記特定運転者の前記異常状態のうちの少なくとも一部を参照にして、前記特定運転者が危険状態であると判断されると、Ｖ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信によって、前記特定運転者の前記危険状態に対する情報を一つ以上の周辺車両に伝送して前記周辺車両の一つ以上の周辺運転者をもって、前記特定運転者の前記危険状態を認識するようにするプロセスを遂行するプロセス；を遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含み、
前記（Ｉ）プロセスで、
前記プロセッサは、前記居眠り検出ネットワークをもって、（ｉ）（ｉ−１）顔検出器のコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）レイヤによって少なくとも一つのコンボリューション演算を前記室内イメージに適用して少なくとも一つの特徴マップを生成し、（ｉ−２）前記顔検出器のＲＰＮ（ＲｅｇｉｏｎＰｒｏｐｏｓａｌＮｅｔｗｏｒｋ）によって前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成し、（ｉ−３）前記顔検出器のプーリングレイヤによって前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成し、（ｉ−４）前記顔検出器のＦＣ（ｆｕｌｌｙｃｏｎｎｅｃｔｅｄ）レイヤによって前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成し、（ｉ−５）前記ＦＣレイヤの前記ＦＣ出力値に少なくとも一つの分類演算及び少なくとも一つのリグレッション演算を適用して、それぞれの前記物体に対するクラス情報及びリグレッション情報を出力した後、前記顔検出器の分類レイヤ及びリグレッションレイヤによって前記室内イメージ上の前記特定運転者の前記顔部分を検出するようにし、前記物体それぞれは、前記プロポーザルボックスそれぞれに対応し、（ｉｉ）目検出器によって前記顔部分を少なくとも一つのＭＣＴ（ＭｏｄｉｆｉｅｄＣｅｎｓｕｓＴｒａｎｓｆｏｒｍ）イメージに変換し、前記顔部分の明るさと局部部分の明るさの平均との間の差が前記ＭＣＴイメージにエンコードされ、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを利用して前記ＭＣＴイメージから取得された目検出用特徴データから前記特定運転者の前記目の部分を検出し、前記目の開閉状態を参照して前記目の部分の前記目の瞬き状態を検出するようにし、
前記（Ｉ）プロセスで、
前記プロセッサは、前記ポーズマッチングネットワークをもって、（ｉ）特徴抽出器によって前記室内イメージから一つ以上の特徴を抽出して生成された一つ以上の特徴テンソル（ｔｅｎｓｏｒ）を生成し、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔａｆｆｉｎｉｔｙｆｉｅｌｄ）抽出器によって前記特徴テンソルそれぞれに対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールドを生成し、（ｉｉｉ）前記キーポイントヒートマップそれぞれにおける一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドそれぞれを参照にして前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、キーポイントグルーピングレイヤによって、前記室内イメージに位置する前記特定運転者に対応する前記ボディキーポイントを生成するようにする、
ことを特徴とする運転者状態検出装置。
前記プロセッサは、前記ポーズマッチングネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤによって、前記室内イメージに少なくとも一つのコンボリューション演算を適用することで、前記特徴テンソルを生成するようにする請求項８に記載の運転者状態検出装置。
前記プロセッサは、前記ポーズマッチングネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１ｘ１コンボリューションレイヤによって、前記特徴テンソルに少なくとも一つのフルコンボリューション演算または少なくとも一つの１ｘ１コンボリューション演算を適用することにより、前記特徴テンソルそれぞれに対応する前記キーポイントヒートマップ及び前記パートアフィニティフィールドを生成するようにする請求項８に記載の運転者状態検出装置。
前記プロセッサは、前記ポーズマッチングネットワークをもって、前記キーポイントグルーピングレイヤによって、前記キーポイントヒートマップそれぞれの最も高い地点それぞれを前記キーポイントヒートマップそれぞれに対応する前記キーポイントそれぞれとして抽出するようにする請求項８に記載の運転者状態検出装置。
前記プロセッサは、前記ポーズマッチングネットワークをもって、前記キーポイントグルーピングレイヤによって、前記パートアフィニティフィールドを参照にして、前記抽出されたキーポイントの各ペアのうちの、互いにつながる確率の最も高い各ペアそれぞれをつなげることで、前記抽出されたキーポイントをグルーピングするようにする請求項１１に記載の運転者状態検出装置。
前記（Ｉ）プロセスで、
前記特定運転者の前記目が閉じていて、前記目を閉じている時間が予め設定された第１閾値以上ならば、前記プロセッサは、前記居眠り検出ネットワークをもって、前記特定運転者を前記居眠り状態であると判断するようにするプロセスを遂行する請求項８に記載の運転者状態検出装置。
前記（Ｉ）プロセスで、
前記ボディキーポイントが前記すべての走行ポーズとマッチングされず、前記ボディキーポイントと前記すべての走行ポーズとがマッチングされない状態が維持される時間が予め設定された第２閾値以上であれば、前記プロセッサは、前記ポーズマッチングネットワークをもって、前記運転者が前記異常状態であると判断するようにする請求項８に記載の運転者状態検出装置。