JP7154959B2 - 走行状況判断情報基盤の運転者状態認識装置及び方法 - Google Patents

走行状況判断情報基盤の運転者状態認識装置及び方法 Download PDF

Info

Publication number
JP7154959B2
JP7154959B2 JP2018209047A JP2018209047A JP7154959B2 JP 7154959 B2 JP7154959 B2 JP 7154959B2 JP 2018209047 A JP2018209047 A JP 2018209047A JP 2018209047 A JP2018209047 A JP 2018209047A JP 7154959 B2 JP7154959 B2 JP 7154959B2
Authority
JP
Japan
Prior art keywords
driver
information
driving
state
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018209047A
Other languages
English (en)
Other versions
JP2019197522A (ja
Inventor
キム、ジン、ウ
キム、キ、テ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2019197522A publication Critical patent/JP2019197522A/ja
Application granted granted Critical
Publication of JP7154959B2 publication Critical patent/JP7154959B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809Driver authorisation; Driver identity check
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、走行状況判断情報基盤の運転者状態認識装置及び方法に関し、より詳しくは、走行補助システムまたは自律走行システムで活用可能な融合情報に基づいて運転者の状態を認識する装置及び方法に関する。
最近、自律走行システムの完全な成長前には安全運転のために運転者の状態認識技術を適用した安全運転誘導技術が適用されている。
特に、運転者の居眠り、注意分散、無反応に対する技術と表情、パターンなどで運転者の心理を予測して、走行上の警告やフィードバックを提供することにより、安全運転を誘導する技術が発展している。
また、自律走行システムと連携されて車両が走行し難い時や、運転者が運転の不可能な状態を把握して車両に対する行動を判断する技術もまた研究されている。
ただ、システムが判断して自律で駆動する技術の商用化のためには高度化された認識率と安全装置が必要であるが、現在の時点では、量産においては、コスト及び様々な状況による問題のため、技術を適用することが難しい。
また、従来の商用化された運転者補助システムは、運転者が長時間停車せず走行する場合、運転負荷と判断し、BSD(Blind Spot Detection)のように側後方の車両が死角地帯にいる状況で運転者が方向指示器を点灯せず進入しようとする場合、警告音を発生させるレベルである。
このように、従来の商用化された運転者補助システムは、居眠り認識、表情認識、注意分散認識のような運転者の状態認識に対する機能が開発されたが、あくまでも補助手段として利用されていたので、幅広い信頼度を提供することは困難な状況である。
このように、完全自律走行が商用化される前に、運転者の状態をモニタする方法は、安全走行に必要な補助システムレベルで高度化されることが求められ、完全自律走行と近づく時点では相互作用を中心に、完全自律走行においては車両と運転者、コンテンツが能動的コミュニケーションが行われる時期となる見通しだ。
既存の運転者状態を認識する方式は、目を閉じる程度、視線の分散、走行中のブレーキ、加速、方向指示器、ステアリング有無の情報を、既存に定義したカテゴリ内で判断できるようにする。
これは状況に対して、事前に定義されたいくつかの場合以外の判断に対する認識率或いは判断するための範囲の限界性とエラーの発生に対する問題点を含んでいる。
本発明は、従来の問題を解決するために案出されたものであって、本発明の目的は、運転者が前方を注視しなかったり、または目の閉じられた状態のみに基づいて判断された運転者状態認識技術を高度化したもので、前方を注視している状態、目が閉じられるパターン、車両の情報、走行環境に対する判断情報に基づいて運転者の状態を認識し判断する走行状況判断情報基盤の運転者状態認識装置及び方法を提供する。
本発明の他の目的は、運転者の居眠り、注意分散情報を車両情報及び周囲車両情報と融合してリアルタイムで分析し、これを判断できる走行状況判断情報基盤の運転者状態認識装置及び方法を提供する。
そして、本発明のまた他の目的は、走行中の運転者の行動及び顔に対する情報をリアルタイムで分析し、周辺環境及び外部光に対する影響、周辺車両を含む移動或いは静的障害物の位置及び動きのパターン、危険要因を分析した情報に基づいて、現在、車両の走行時に運転者に求められる集中度を分析して、安全運行或いは自律走行に対する運転者‐車両間の判断情報を提供する。
本発明の目的は、以上で言及した目的に制限されず、言及されていないまた他の目的は、下の記載から当業者に明確に理解できるであろう。
上記の目的を達成するための本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識装置は、映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得する映像獲得部と、車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得する走行状況認識部と、前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔のベクトル情報を比較して運転者の走行集中度を決定する走行集中度決定部と、及び前記決定された運転者の走行集中度に対応するように運転者走行指導を決定する走行指導決定部と、を含む。
ここで、前記走行集中度決定部は、前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断して、前記運転者が正面を凝視していると判断されれば、危険度と操作レベルに応じた状況を判断することが望ましい。
そして、カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択するポイント選択部と、及び前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して四角形の基準領域を設定する正規化部を含む。
また、前記ポイント選択部は、顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されたかどうかを判断して、基準ポイントが瞳孔の中心に位置したことを確認すると、前記瞳孔基準ポイントからサイズが調節される基準ガイド円をユーザに提供し、設定の選択が完了すると該当する前記基準ガイド円を瞳孔基準領域に設定する。
そして、前記ポイント選択部は、選択された瞳孔基準領域を除いた残りの領域のピクセルを「0」値に処理することが望ましい。
一方、本発明の一実施形態によると、設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得するベクトル情報獲得部と、及び運転者の付加機能操作状態を含む運転者接続状態情報を獲得し、前記獲得した運転者の顔ベクトル情報を基準に運転者接続状態情報を利用して運転者の顔状態情報を決定する顔状態情報決定部を含む。
本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識方法は、映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得するステップと、車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得するステップと、前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔ベクトル情報を比較して運転者の走行集中度を決定するステップと、及び前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定するステップと、を含む。
本発明の一実施形態に採用された前記運転者の走行集中度を決定するステップは、前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断するステップと、及び前記運転者が正面を凝視していると判断すれば、危険度と操作レベルに応じた状況を判断するステップと、を含む。
一方、本発明の一実施形態では、カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択する基準ポイント選択ステップと、及び前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して四角形の基準領域を設定するワープ及び正規化ステップと、を含む。
そして、前記基準ポイントの選択ステップは、顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されるステップと、前記瞳孔基準ポイントからサイズが調節される基準ガイド円が提供されるステップと、及び前記基準ガイド円を通して瞳孔基準領域を選択して正規化するステップと、を含む。
ここで、前記瞳孔基準領域を選択して正規化するステップは、選択された瞳孔基準領域を除いた残りの領域のピクセルを「0」値に処理する。
さらに、本発明の一実施形態では、設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得するステップと、運転者の付加機能操作状態を含む運転者接続状態情報を獲得するステップと、及び前記獲得した運転者の顔ベクトル情報を基準に運転者の接続状態情報を利用して、運転者の顔状態情報を決定するステップを含む。
本発明の一実施形態によると、ユーザが単に顔画像から必要とする部分にポイントを打つだけで基準領域の自動設定が可能になることによって、今後、運転者の正常/異常の判断を分析するためのデータとして利用するとき、基準領域が正規化されて収集できるという利点がある。
本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識装置を説明するための機能ブロック図である。 本発明の一実施形態において、顔部分の領域を検出するために基準ポイントを選択する様子を示した参考図である。 本発明の一実施形態において、顔部分の領域を検出するために基準ポイントを選択する様子を示した参考図である。 本発明の一実施形態において、瞳孔領域を選択するためのプロセスを説明するための参考図である。 本発明の一実施形態において、顔部分の領域を選択するためのプロセスを説明するための参考図である。 (a)~(d)は、本発明の一実施形態において、運転者の正面認識基準を説明するための参考図である。 (a)~(d)は、運転者の目の状態に応じた認識基準を説明するための参考図である。 本発明の一実施形態に係る走行状況判断情報基盤の運転者状態を認識するための認識データ提供方法を説明するためのフローチャートである。 本発明の一実施形態において、走行状況判断情報基盤の運転者状態認識方法を説明するためのフローチャートである。
発明を実施するため形態
本発明の利点及び特徴、そしてそれらを達成する方法は、添付される図面と共に詳細に後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下に開示される実施形態に限定されるものではなく、異なる様々な形態で具現されるものであり、単に本実施形態は、本発明の開示が完全にし、本発明の属する技術分野において通常の知識を持つ者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。一方、本明細書で使用される用語は、実施形態を説明するためのものであって、本発明を制限するものではない。本明細書では、単数形は、文句で特に言及しない限り複数形も含む。明細書で使用される「含む(comprises、comprising)」は、言及された構成素子、ステップ、動作、及び/または素子は、複数の他の構成素子、 ステップ、動作、及び/または素子の存在または追加を排除しない。
以下、本発明の望ましい実施形態について添付した図面を参照して詳細に説明する。図1は、本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識装置は、顔のベクトルデータ情報を登録できるように、ポイント選択部110、正規化部120、ベクトル情報獲得部130、顔状態情報決定部140及び学習情報保存部150を含む。
ポイント選択部110は、カメラを介して取得した顔画像を正規化するために、顔画像から基準領域(を選択するための二つの基準ポイントがユーザから入力されると、該当位置を基準ポイントとして選択する。例えば、基準ポイントは、図2に示されたように、目は目尻の両側、口元の両側及び小鼻の両側に位置することが望ましいが、これに限定するものではない。
次いで、正規化部120は、図3に示すように、下記の[数学式1]により、前記選択された基準ポイント(SP)の座標と二つの基準ポイント間の距離(D)と比率を利用して四角形状から成る顔の各部分に対する基準領域(SA)を設定する。
以降、正規化部120は、正規化された目、目尻、瞳孔、閉じた目、口、口元、鼻の正規化されたデータに対して学習し、学習情報保存部150にアップデートする過程を経る。
例えば、正規化部120は、顔のデータ、目のデータ、閉じた目のデータ、瞳孔のデータ、鼻のデータ、口のデータを前方9方向から正規化した後、顔、目(左、右を区分)、鼻、瞳孔(左、右を区分)、閉じた目(左、右を区分)、両眼の目尻、口元を学習して学習情報保存部150に保存する。
Figure 0007154959000001
ここで、Imagenormailizeは基準領域であり、Dはポイントとの距離であり、x、yは、基準ポイントの座標値であり、Wは基準領域の広さの値であり、Hは基準領域の高さの値である。
本発明の一実施形態によると、ユーザが単に顔画像から必要な部分に基準ポイント(SP)を打つだけで基準領域(SA)の自動設定が可能になることによって、今後、運転者の正常/異常の判断を分析するのためのデータとして利用するとき、基準領域が正規化されて収集できるという利点がある。
一方、本発明の一実施形態に採用されたポイント選択部110は、図4に示されたように、瞳孔の中心に瞳孔基準ポイント(CP)が選択されたかどうかを判断し、瞳孔の中心に瞳孔の基準ポイントが選択されると、顔画像から瞳孔基準領域を選択するためのものと判断して、前記瞳孔基準ポイントからサイズが調節される基準ガイド円(GC)をユーザに提供する。ここで、基準ガイド円はユーザがマウスのホイールや方向ボタンなどで円のサイズを調節することが望ましい。
以降、ユーザが選択を完了すると、ポイント選択部110は、前記基準ガイド円(GC)を通して瞳孔基準領域(SA)を選択して正規化する。ここで、ポイント選択部110は、選択された瞳孔基準領域を除いた残りの領域のピクセルを「0」値に処理することが望ましい。
従って、本発明の一実施形態に採用されたポイント選択部は、顔画像から瞳孔を容易に正規化できるという利点がある。
本発明の一実施形態に採用されたポイントの選択部110は、顔領域内で、目、鼻、口関連部位をより正確かつ迅速に検出するために、図5aに示すように、顔画像から目の候補領域、鼻の候補領域及び口の候補領域を先に検出した後、目の領域を検出する。以降、図5cに示すように、目は虹彩検出候補領域を指定し、図5dに示すように閉じた目を顔の部分から検出する。
そして、顔ベクトル情報獲得部130は、顔画像から設定された四角形の基準領域(SA)間のベクトル情報を利用して、顔の方向、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得する。
例えば、顔ベクトル情報獲得部130は、正面を凝視する運転者の顔ベクトル情報が学習情報保存部150に保存される。このとき、保存される運転者の顔ベクトル情報は、顔の部分間の関係性基盤分布及び確率によって計算される。ここで関係性とは両眼、鼻、目のサイズ及び相対位置に対する関係である。
また、顔ベクトル情報獲得部130は、図6aないし6dに示すように、両方の目尻に選択された基準ポイントを基準に瞳孔の位置、目、鼻、口が成す相対位置とサイズに対する正規化情報に基づいた確率分布を計算して学習情報保存部150に保存する。
例えば、顔ベクトル情報獲得部130は、図6aに示すように、目の基準領域と鼻及び口の基準領域(SA)を通して顔が正面を凝視していないことにより、正面を凝視していると見られないが、瞳孔(CP)とが正面を凝視していることにより運転者が正面を凝視していると判断して保存し、図6bと図6cは、目、鼻及び口の基準ポイント(SP)と瞳孔(CP)がいずれも正面を凝視していないことにより、正面を凝視していない状態と判断して保存し、図6dは目、鼻及び口の基準ポイント(SP)と瞳孔と(CP)がいずれも正面を凝視していることにより、正面を凝視していることを基準に保存し学習する。
そして、運転者が目を閉じた状態であるかどうかを判断する方法は、顔ベクトル情報獲得部130が図7aないし図7cに示すように、顔画像から基準ポイント(SP)は示されてはいるが、瞳孔(CP)を検出できないことにより、いずれも目を閉じた状態と判断し、図7dは、基準ポイント(SP)と瞳孔(CP)とがいずれも検出されることにより、運転者が目を開けている状態と判断して保存する。
さらに、顔ベクトル情報獲得部130は、図7aに示すように、目の基準領域(SA)と鼻及び口の基準領域(SA)を通して顔が正面を凝視しているが瞳孔(CP)を検出できない状態(Lv.1)、目の基準領域(SA)と鼻及び口の基準領域(SA)を通して頭が少し落とされた状態であることを確認した状態で瞳孔(CP)を検出できない状態(Lv.2)、目の基準領域(SA)と鼻及び口の基準領域(SA)を通して頭が落とされた状態であることを確認した状態で瞳孔(CP)を検出できない状態(Lv.3)を基準に顔状態ベクトルを学習情報保存部150に保存して学習する。
一方、顔ベクトル情報獲得部130は、顔のベクトル情報を構成する居眠り状態レベルと注意分散状態レベルとを分析して、顔の情報に基づいて顔の状態を[数学式2]を参照して認識することができる。
Figure 0007154959000002
ここで、Statusdefinition(S)は、目を閉じた状態を判断する関数であり、Statuseyeclosed(W)は、目を閉じた状態の正規化パラメータ加重値(W)であり、fps(t)は、実行速度による目を閉じた状態の時間加重値パラメータである。
一方、目を閉じた状態のレベル決定関数(Fn(Lv))は、下記の[数学式3]により得られる。
Figure 0007154959000003
ここで、Fn(Lv)は目を閉じた状態のレベルを決定する関数であり、
Figure 0007154959000004
は顔部分情報の絶対位置、サイズ、相対位置及び距離情報を正規化したベクトル値である。
一方、顔ベクトル情報獲得部130は、運転者の顔ベクトル情報を獲得する前に、初期の顔情報を補正したり、正規化する作業を先に行なうことができる。その例として、瞳孔(両面)の高さ/幅の差を正規化したり、鼻を中心に正規化したり、正常状態の目を瞬く周期を正規化したり、眼鏡の着用有無を判断して正規化することができる。
また、顔ベクトル情報獲得部130は、目尻の幅の正規化比率(A)、口元の幅の正規化比率(B)及び鼻、AとBとの間の位置比率を正規化することもできる。
一方、顔の状態情報決定部140は、車両外部干渉認識装置160から運転者の付加機能操作状態を含む走行中の運転者操作情報と周辺車両から提供される警告情報である走行中の外部干渉状況情報を獲得する。
ここで、走行中の運転者操作情報は、スマートフォンの作動有無、ナビゲーションの作動有無、車両内部デバイスの使用有無を判断できる情報であり、走行中の外部干渉状況情報は、周辺車両から提供される情報、例えば、周囲車両の方向指示器情報、ハイビーム情報、側面車両の走行パターン情報、前の車両との距離情報、周辺車両の車線維持情報、BSD(Blind Spot Detection)情報、信号まち及び進入情報及び車両速度情報である。
次いで、顔の状態情報決定部140は、前記獲得した運転者の顔ベクトル情報を基準に運転者の接続状態情報を利用して、運転者の顔状態情報を決定する役割をする。
つまり、顔状態情報決定部140は、運転者の顔状態情報が正常であっても、運転者が使用している走行中の運転者操作情報と車両外部干渉状況を認識する走行中の外部干渉状況情報が受信される場合に対して、「運転者の運行が正常か異常か」であることをラベリングして分類することにより、運転者のパターンを学習できるという利点がある。
一方、車両外部干渉認識装置は、カメラが利用されることが望ましいが、これに限らず、周辺車両の警笛音を認識できるマイクなどがさらに利用されることができる。
また、本発明の一実施形態によると、運転者の走行操作と他の車両で伝える警告メッセージを認識して走行の正常/異常を学習できる効果があり、走行指導が可能でリアルタイムでアップデートして運転者の正常/異常に区分して自律走行状況判断アルゴリズムで対処できるという利点がある。
本発明の一実施形態による走行状況判断情報基盤の運転者状態認識装置は、映像獲得部210、走行状況認識部220、走行集中度決定部230及び走行指導決定部240を含んで成る。
映像獲得部210は、カメラのような映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得する役割をする。
そして、走行状況認識部220は、車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得する役割をする。
また、走行集中決度定部230は、前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔ベクトル情報とを比較して運転者の走行集中度を決定する役割をする。
そして、走行指導決定部240は、前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定する役割をする。
本発明の一実施形態によると、単に運転者が目を閉じているかどうか、それとも視線が分散されている状態であるかだけを判断して安全運転方法を提供するのではなく、周囲車両の情報操作状態を含む運転者接続状態情報を利用して、運転者が正面を見ていない状態で運転者が正常に運転している状態を検出することができ、運転者が正面を見ている状態で運転者が異常に運転している状態を検出することができるという効果を奏する。
一方、本発明の一実施形態に採用された走行集中度決定部230は、前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断した後、前記運転者が正面を凝視しているものと判断されると、危険度と操作レベルに応じた状況を判断する。
以下、下記では、本発明の走行状況判断情報基盤の運転者状態認識方法において比較対象データを獲得して学習し保存する方法について、図8を参照して説明する。
まず、運転者の状態認識装置は、カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択する(S110)。ここで、目は目の領域左/右の目尻の端を基準に目尻領域検出に対する候補を指定し、鼻は顔の中心部分に候補領域を置き、口は顔の下段部から検出候補領域を指定して検出し、口元領域は目尻候補領域と同様に検出された口の両方の中央端を基準に口元を検出することが望ましい。
次いで、運転者状態認識装置は、前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して、四角形の基準領域を設定するワープ及び正規化を行なう(S120)。
下記では、本発明の一実施形態に採用されたデータ加工方法のうち瞳孔データを加工する方法について説明する。
まず、運転者状態認識装置は、顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されると、前記瞳孔基準ポイントからサイズが調節される基準ガイド円が提供される。
以降、ユーザが選択を完了すると、運転者状態認識装置は、前記基準ガイド円を通して瞳孔基準領域を選択して正規化する。ここで、ポイント選択部110は、選択された瞳孔基準領域を除いた残りの領域のピクセルを「0」値に処理することが望ましい。
以降、運転者状態認識装置は、設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得する(S130)。
次いで、運転者状態認識装置は、運転者の付加機能操作状態を含む走行中の運転者操作情報を獲得する(S140)。
すると、運転者状態認識装置は、操作状態を含む運転者接続状態情報を獲得し、運転者接続状態情報を利用して、運転者の顔状態情報を決定する(S150)。
一方、顔状態情報を決定するステップ(S150)は、車両外部干渉認識装置160から運転者の付加機能操作状態を含む走行中の運転者操作情報と周辺車両から提供される警告情報である走行中の外部干渉状況情報を獲得する。ここで、走行中の運転者操作情報は、スマートフォンの作動有無、ナビゲーションの作動有無、車両内部デバイスの使用有無などを判断できる情報であり、走行中の外部干渉状況情報は、周辺車両から提供される情報、例えば、周囲車両の方向指示器情報、ハイビーム情報、側面車両の走行パターン情報、前の車両との距離情報、周辺車両の車線維持情報、BSD(Blind Spot Detection)情報、信号待ち及び進入情報及び車両速度情報である。
以下、下記では、本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識方法について図9を参照して説明する。
まず、本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識方法は、運転者状態認識装置によって行なうことが望ましい。
まず、運転者状態認識装置は、映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得する(S210)。
次いで、運転者状態認識装置は、車両外部の干渉認識装置から周辺車両の走行状況認識情報を獲得する(S220)。
以降、運転者状態認識装置は、前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔のベクトル情報を比較して運転者の走行集中度を決定する(S230)。
次いで、運転者状態認識装置は、前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定する(S240)。
一方、前記運転者の走行集中度を決定するステップ(S230)は、前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断する(S231)。
前記判断ステップ(S231)において、前記運転者が正面を凝視したものと判断すれば(YES)、運転者状態認識装置は危険度と操作レベルに応じた状況を判断する(S232)。
以上、本発明の構成について添付図面を参照して詳細に説明したが、これは例示に過ぎないものであって、本発明の属する技術分野における通常の知識を有する者であれば、本発明の技術的思想の範囲内で様々な変形や変更が可能であることは言うまでもない。よって、本発明の保護範囲は、前述した実施形態に限定されてはならず、以下の特許請求の範囲の記載によって決めなければならない。
110:ポイント選択部 120:正規化部
130:顔ベクトル情報獲得部 140:顔状態情報決定部
150:学習情報保存部 210:映像獲得部
220:走行状況認識部 230:走行集中度決定部
240:走行指導決定部

Claims (16)

  1. 映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得する映像獲得部と、
    車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得する走行状況認識部と、
    前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔のベクトル情報を比較して運転者の走行集中度を決定する走行集中度決定部と、及び
    前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定する走行指導決定部と、を含む走行状況判断情報基盤の運転者状態認識装置。
  2. 前記走行集中度決定部は、
    前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断して、前記運転者が正面を凝視していると判断されると、危険度と操作レベルに応じた状況を判断する請求項1に記載の走行状況判断情報基盤の運転者状態認識装置。
  3. カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択するポイント選択部と、及び
    前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して、四角形の基準領域を設定する正規化部と、を含む請求項1に記載の走行状況判断情報基盤の運転者状態認識装置。
  4. 前記ポイント選択部は、
    顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されたかどうかを判断して、基準ポイントが瞳孔の中心に位置することを確認すれば、前記瞳孔基準ポイントからサイズが調節される基準ガイド円をユーザに提供し、設定の選択が完了すれば、前記基準ガイド円を瞳孔基準領域として設定する請求項3に記載の走行状況判断情報基盤の運転者状態認識装置。
  5. 前記ポイント選択部は、
    選択された瞳孔基準領域を除いた残りの領域のピクセルを「0」値に処理することを特徴とする請求項4に記載の走行状況判断情報基盤の運転者状態認識装置。
  6. 設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得するベクトル情報獲得部と、及び
    運転者の付加機能操作状態を含む走行中の運転者操作情報を獲得し、前記獲得した運転者の顔ベクトル情報を基準に運転者接続状態情報を利用して、運転者の顔状態情報を決定する顔状態情報決定部を含む請求項3に記載の走行状況判断情報基盤の運転者状態認識装置。
  7. 前記顔ベクトル情報は、
    顔部分間の関係性基盤分布及び確率によって計算された請求項6に記載の走行状況判断情報基盤の運転者状態認識装置。
  8. 前記関係性は、
    両眼、鼻、目のサイズ及び相対位置に対する関係である請求項7に記載の走行状況判断情報基盤の運転者状態認識装置。
  9. 映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得するステップと、
    車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得するステップと、
    前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔のベクトル情報を比較して運転者の走行集中度を決定するステップと、及び
    前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定するステップと、を含む走行状況判断情報基盤の運転者状態認識方法。
  10. 前記運転者の走行集中度を決定するステップは、
    前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断するステップと、及び
    前記運転者が正面を凝視したものと判断すれば、危険度と操作レベルに応じた状況を判断するステップと、を含む請求項9に記載の走行状況判断情報基盤の運転者状態認識方法。
  11. カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択する基準ポイント選択ステップと、及び
    前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して、四角形の基準領域を設定するワープ及び正規化ステップと、を含むデータ加工手段と、を含む請求項9に記載の走行状況判断情報基盤の運転者状態認識方法。
  12. 顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されるステップと、
    前記瞳孔基準ポイントからサイズが調節される基準ガイド円が提供されるステップと、及び
    前記基準ガイド円を通して瞳孔基準領域を選択して正規化するステップと、を含む請求項11に記載の走行状況判断情報基盤の運転者状態認識方法。
  13. 前記瞳孔基準領域を選択して正規化するステップは、
    選択された瞳孔基準領域を除いた残りの領域のピクセルを「0」値に処理することを特徴とする請求項12に記載の走行状況判断情報基盤の運転者状態認識方法。
  14. 設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得するステップと、
    運転者の付加機能操作状態を含む走行中の運転者操作情報を獲得するステップと、及び
    前記獲得した運転者の顔ベクトル情報を基準に運転者接続状態情報を利用して、運転者の顔状態情報を決定するステップを含む、請求項11に記載の走行状況判断情報基盤の運転者状態認識方法。
  15. 前記顔ベクトル情報は、
    顔部分間の関係性基盤分布及び確率によって計算された請求項14に記載の走行状況判断情報基盤の運転者状態認識方法。
  16. 前記関係性は、
    両眼、鼻、目のサイズ及び相対位置に対する関係である請求項15に記載の走行状況判断情報基盤の運転者状態認識方法。
JP2018209047A 2018-05-10 2018-11-06 走行状況判断情報基盤の運転者状態認識装置及び方法 Active JP7154959B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180053895A KR102479049B1 (ko) 2018-05-10 2018-05-10 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
KR10-2018-0053895 2018-05-10

Publications (2)

Publication Number Publication Date
JP2019197522A JP2019197522A (ja) 2019-11-14
JP7154959B2 true JP7154959B2 (ja) 2022-10-18

Family

ID=68538442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209047A Active JP7154959B2 (ja) 2018-05-10 2018-11-06 走行状況判断情報基盤の運転者状態認識装置及び方法

Country Status (2)

Country Link
JP (1) JP7154959B2 (ja)
KR (1) KR102479049B1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188288B (zh) * 2020-09-04 2023-03-14 青岛海尔科技有限公司 用于控制电视的方法及系统、装置、设备
CN112622892B (zh) * 2020-12-14 2023-03-24 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统
CN113569674A (zh) * 2021-07-16 2021-10-29 深圳昌恩智能股份有限公司 一种基于智能车载终端的驾驶行为识别方法
KR102411864B1 (ko) * 2021-08-31 2022-06-22 (주)에이아이매틱스 운전자의 익명성을 보장하는 공유 차량의 주행 정보 관리 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265377A (ja) 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
US20130093888A1 (en) 2011-10-17 2013-04-18 Hyundai Motor Company System and method for determining vehicle driving status information-based driving concentration

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257043A (ja) * 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP5109922B2 (ja) 2008-10-16 2012-12-26 株式会社デンソー ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP5273030B2 (ja) 2009-12-18 2013-08-28 株式会社デンソー 顔特徴点検出装置および眠気検出装置
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
KR20190020779A (ko) * 2016-06-23 2019-03-04 가부시키가이샤 가이아 시스템 솔루션 인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265377A (ja) 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
US20130093888A1 (en) 2011-10-17 2013-04-18 Hyundai Motor Company System and method for determining vehicle driving status information-based driving concentration

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宮治 正廣 ほか,生体情報を利用したAdaBoostによるドライバ認知負荷状態の検知,情報処理学会論文誌 [CD-ROM],日本,社団法人情報処理学会,2009年01月15日,Vol.50 No.1 ,p.171-180

Also Published As

Publication number Publication date
KR102479049B1 (ko) 2022-12-20
JP2019197522A (ja) 2019-11-14
KR20190134909A (ko) 2019-12-05

Similar Documents

Publication Publication Date Title
US11977675B2 (en) Primary preview region and gaze based driver distraction detection
JP7154959B2 (ja) 走行状況判断情報基盤の運転者状態認識装置及び方法
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
US11182629B2 (en) Machine learning based driver assistance
US10372972B2 (en) Face detection apparatus, face detection method, and program
KR20200124278A (ko) 차량 내 인원의 위험 동작 인식 방법 및 장치, 전자 기기, 저장 매체
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
CN111434553B (zh) 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
US11427208B2 (en) Driver condition determination apparatus, method and computer program product
CN117227740B (zh) 一种智能驾驶车辆的多模态感知系统及方法
KR20200092739A (ko) 운전자 상태 모니터링 방법 및 장치
KR20190056520A (ko) 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법
CN111267865B (zh) 基于视觉的安全驾驶预警方法、系统及存储介质
WO2021024905A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
Chowdhury et al. Designing an empirical framework to estimate the driver's attention
US20240300509A1 (en) Guiding a vehicle based on gaze tracking data
Saranya et al. An Improved Driver Drowsiness Detection using Haar Cascade Classifier
CN118269999B (en) Multi-mode interaction new energy automobile control system
Hijaz et al. Driver Visual Focus of Attention Estimation in Autonomous Vehicles
CN118269999A (zh) 一种多模态交互的新能源汽车控制系统
CN118457865A (zh) 游艇控制方法、系统及游艇
KR20210065648A (ko) 주행 위험도 및 운전자 상태 분석에 기초한 차량 긴급 구난 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7154959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150