JP7067353B2 - 運転者情報判定装置 - Google Patents

運転者情報判定装置 Download PDF

Info

Publication number
JP7067353B2
JP7067353B2 JP2018150132A JP2018150132A JP7067353B2 JP 7067353 B2 JP7067353 B2 JP 7067353B2 JP 2018150132 A JP2018150132 A JP 2018150132A JP 2018150132 A JP2018150132 A JP 2018150132A JP 7067353 B2 JP7067353 B2 JP 7067353B2
Authority
JP
Japan
Prior art keywords
face orientation
road
driver
vehicle
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018150132A
Other languages
English (en)
Other versions
JP2020027315A (ja
Inventor
健一郎 原
成寿 吉田
和寛 友末
浩基 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018150132A priority Critical patent/JP7067353B2/ja
Priority to US16/503,734 priority patent/US10706303B2/en
Publication of JP2020027315A publication Critical patent/JP2020027315A/ja
Application granted granted Critical
Publication of JP7067353B2 publication Critical patent/JP7067353B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/30Road curve radius
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance

Description

本開示は、運転者情報判定装置に関する。
車両の運転中に運転者が正面を向いているときの顔向きである基準顔向きを判定する装置として、例えば特許文献1には、車両が前進しており、運転者の顔向きの変化が所定の範囲内であり、且つ、車両のステアリングホイールの舵角が所定の範囲内であるときの運転者の顔向きに基づいて、運転者が向いている時間の長い方向を基準顔向きと判定する装置が開示されている。
特許4894572号公報
ところで、車両の前方にカーブ路又は上り坂等の勾配路が存在すると、運転者は正面ではなくカーブ路の先又は勾配路の先を見る場合がある。この場合、運転者はカーブ路の先又は勾配路の先を向いている時間が長くなるため、運転者の正面からずれた方向が基準顔向きと判定されてしまうおそれがある。
そこで、本開示は、カーブ路又は勾配路が存在する場合であっても運転者の基準顔向きを精度良く判定することができる運転者情報判定装置を提供することを目的とする。
本開示の一態様に係る運転者情報判定装置は、車両の運転中に運転者が正面を向いているときの顔向きである基準顔向きを判定する運転者情報判定装置であって、車両の前方区間における道路の形状を取得する道路形状取得部と、道路形状取得部により取得された道路の形状が判定対象形状であるか否かを判定する条件判定部と、運転者の顔向きを取得する顔向き取得部と、顔向き取得部により取得された運転者の顔向きに基づいて基準顔向きを判定する基準顔向き判定部と、を備え、基準顔向き判定部は、条件判定部により道路の形状が判定対象形状であると判定された場合に、顔向き取得部により取得された運転者の顔向きに基づいて基準顔向きを判定し、条件判定部により道路の形状が判定対象形状であると判定されない場合に、顔向き取得部により取得された運転者の顔向きに基づいて基準顔向きを判定せず、判定対象形状は、道路の曲率が予め設定された曲率上限以下の道路の形状、又は、道路の勾配が予め設定された平坦範囲内の道路の形状である。
この運転者情報判定装置によれば、車両の前方区間における道路の曲率が予め設定された曲率上限以下であるとき、又は、車両の前方区間における道路の勾配が予め設定された平坦範囲内であるときの運転者の顔向きに基づいて、基準顔向きが判定される。つまり、この運転者情報判定装置では、車両の前方区間が直線路又は平坦路である場合における運転者の顔向きが、基準顔向きの判定に利用される。一方、この運転者情報判定装置によれば、車両の前方区間における道路の曲率が予め設定された曲率上限以下でないとき、又は、車両の前方区間における道路の勾配が予め設定された平坦範囲内でないときの運転者の顔向きに基づいて、基準顔向きが判定されない。つまり、この運転者情報判定装置では、車両の前方区間がカーブ路又は勾配路である場合における運転者の顔向きは、基準顔向きの判定に利用されない。ここで、車両の前方区間が直線路又は平坦路である場合には、運転者は正面を見ている可能性が高いのに対して、車両の前方区間がカーブ路又は勾配路である場合には、運転者は正面ではなくカーブ路の先又は勾配路の先を見ている可能性が高い。したがって、この運転者情報判定装置は、運転者が正面を見ている可能性がより高い状況での運転者の顔向きに基づいて基準顔向きを判定し、運転者が正面を見ている可能性がより低い状況での運転者の顔向きに基づいて基準顔向きを判定しない。よって、この運転者情報判定装置は、カーブ路又は勾配路が存在する場合であっても運転者の基準顔向きを精度良く判定することができる。
本開示の一態様に係る運転者情報判定装置では、判定対象形状は、道路の曲率が曲率上限以下、且つ、道路の勾配が平坦範囲内の道路の形状であってもよい。これによれば、車両の前方区間が直線路且つ平坦路である場合に、運転者の顔向きが基準顔向きの判定に利用される。ここで、車両の前方区間が直線路且つ平坦路である場合には、運転者は正面を見ている可能性が特に高い。したがって、この運転者情報判定装置は、運転者の基準顔向きをより精度良く判定することができる。
本開示の一態様に係る運転者情報判定装置は、車両の前方における近距離範囲内に先行車両が存在しているか否かを判定する先行車両判定部を備え、基準顔向き判定部は、先行車両判定部により車両の前方における近距離範囲内に先行車両が存在していると判定された場合に、条件判定部により道路の形状が判定対象形状であると判定されたか否かにかかわらず、顔向き取得部により取得された運転者の顔向きに基づいて基準顔向きを判定してもよい。車両の前方における近距離範囲内に先行車両が存在していない場合と比較して、車両の前方における近距離範囲内に先行車両が存在している場合には、運転者は先行車両を注視しやすいため、車両の前方区間がカーブ路又は勾配路であっても運転者は正面付近の先行車両を見ている可能性が高い。そこで、この運転者情報判定装置によれば、車両の前方における近距離範囲内に先行車両が存在している場合には、車両の前方区間がカーブ路又は勾配路であるか否かにかかわらず、運転者の顔向きが基準顔向きの判定に利用される。よって、この運転者情報判定装置は、運転者の基準顔向きの判定に利用される運転者の顔向きを取得する機会を増やすことができる。
本開示の種々の態様によれば、カーブ路又は勾配路が存在する場合であっても運転者の基準顔向きを精度良く判定することが可能となる。
図1は、本実施形態に係る運転者情報判定装置を示すブロック図である。 図2は、直線路における運転者の顔向きを示す平面図である。 図3は、平坦路における運転者の顔向きを示す側面図である。 図4は、カーブ路における運転者の顔向きを示す平面図である。 図5は、勾配路における運転者の顔向きを示す側面図である。 図6は、カーブ路において先行車両が存在するときの運転者の顔向きを示す平面図である。 図7は、勾配路において先行車両が存在するときの運転者の顔向きを示す側面図である。 図8は、運転者情報判定処理を示すフローチャートである。
以下、図面を参照して、例示的な実施形態について説明する。
図1は、本実施形態に係る運転者情報判定装置1を示すブロック図である。図2は、直線路における運転者の顔向きFを示す平面図である。図3は、平坦路における運転者の顔向きFを示す側面図である。図4は、カーブ路における運転者の顔向きFを示す平面図である。図5は、勾配路における運転者の顔向きFを示す側面図である。図1~図5に示されるように、運転者情報判定装置1は、乗用車等の車両Mに搭載され、運転者の基準顔向きを判定する装置である。「顔向きF」とは、運転者の顔が向いている方向を意味する。「基準顔向き」とは、車両Mの運転中に運転者が正面を向いているときの顔向きFを意味する。
運転者情報判定装置1は、装置を統括的に制御する運転者情報判定ECU[Electronic Control Unit]10を備えている。運転者情報判定ECU10は、CPU[Central Processing Unit]、ROM[Read OnlyMemory]、RAM[Random Access Memory]等を有する電子制御ユニットである。運転者情報判定ECU10は、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより、運転者情報判定処理に関する各機能を実現する。運転者情報判定ECU10は、複数のECUにより構成されていてもよい。運転者情報判定ECU10の機能の一部は、車両Mと通信可能なサーバで実行されてもよい。
運転者情報判定ECU10には、ドライバモニタカメラ2、GPS受信部3、地図データベース4、及び外部センサ5が接続されている。
ドライバモニタカメラ2は、運転者を撮像する撮像機器である。ドライバモニタカメラ2は、車両Mのステアリングコラムのカバー上で運転者の前方の位置に設けられ、少なくとも運転者の顔を撮像する。ドライバモニタカメラ2は、運転者を複数方向から撮像するために複数個設けられていてもよい。ドライバモニタカメラ2は、運転者の撮像情報を運転者情報判定ECU10に送信する。
GPS受信部3は、3個以上のGPS衛星から信号を受信することにより、車両Mの位置(例えば車両Mの緯度及び経度)を測定する。GPS受信部3は、測定した車両Mの位置情報を運転者情報判定ECU10に送信する。
地図データベース4は、地図情報を記憶するデータベースである。地図データベース4は、例えば車両Mに搭載されたHDD[Hard Disk Drive]内に構成されている。地図情報には、例えば、道路の位置情報、道路の形状の情報(例えば、道路の曲率、直線路又はカーブ路の種別、道路の勾配、平坦路又は勾配路の種別等)、交差点等の位置情報、及び構造物の位置情報が含まれる。地図情報には、位置情報と関連付けられた法定速度などの交通規制情報も含まれていてもよい。なお、地図データベース4は、車両Mに搭載されている必要はなく、車両Mと通信可能なサーバに形成されていてもよい。
外部センサ5は、車両Mの周辺の状況を検出する検出機器である。外部センサ5は、カメラ及びレーダセンサの少なくともいずれかを含んでいる。
カメラは、車両Mの外部状況を撮像する撮像機器である。カメラは、車両Mのフロントガラスの裏側に設けられている。カメラは、車両Mの外部状況に関する撮像情報を運転者情報判定ECU10に送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有している。ステレオカメラの撮像情報には、奥行き方向の情報も含まれている。
レーダセンサは、電波(例えばミリ波)又は光を利用して車両Mの周辺の物体等を検出する。レーダセンサは、電波又は光を車両の周辺に送信し、物体等で反射された電波又は光を受信することで物体等を検出する。レーダセンサは、検出した物体情報を運転者情報判定ECU10に送信する。物体等には、ガードレール、建物等の固定物のほか、歩行者、自転車、他車両等の移動物が含まれる。特に、移動物には、先行車両Lが含まれる(図6及び図7参照)。「先行車両L」とは、車両Mから所定距離の範囲内で車両Mの前方を走行する車両を意味する。先行車両Lは、車両Mの走行車線と同一の車線上を走行する車両であってもよい。
運転者情報判定ECU10は、道路形状取得部11、条件判定部12、顔向き取得部13、基準顔向き判定部14、及び先行車両判定部15を有している。
道路形状取得部11は、車両Mの前方区間における道路の形状(以下、「前方区間形状」ともいう)を取得する。より具体的には、道路形状取得部11は、GPS受信部3から受信した車両Mの位置情報、及び、地図データベース4から取得した道路の形状の情報を含む地図情報に基づいて、車両Mの前方区間における道路の曲率(以下、「前方区間曲率」ともいう)及び勾配(以下、「前方区間勾配」ともいう)を取得する。「前方区間」とは、車両Mの走行車線に沿った車両Mからの距離が所定の距離範囲内である区間を意味する。例えば、所定の距離範囲は、50m、100m、又は200mであってもよい。
条件判定部12は、道路形状取得部11により取得された前方区間形状が判定対象形状であるか否かを判定する。「判定対象形状」とは、前方区間形状が当該判定対象形状に該当しない場合と比較して、前方区間形状が当該判定対象形状に該当する場合に、運転者が正面を見ている可能性が高い道路の形状を意味する。より具体的には、判定対象形状は、前方区間曲率が予め設定された曲率上限以下、且つ、前方区間勾配が予め設定された平坦範囲内の道路の形状である。つまり、条件判定部12は、道路形状取得部11により取得された前方区間曲率と曲率上限とを比較するとともに道路形状取得部11により取得された前方区間勾配と平坦範囲とを比較し、それらの比較結果に基づいて、前方区間形状が判定対象形状であるか否かを判定する。
「曲率上限」とは、道路が直線路であるかカーブ路であるかを区分する曲率を意味する。換言すると、「直線路」とは、曲率が曲率上限以下の道路を意味し、「カーブ路」とは、曲率が曲率上限以下でない(すなわち、曲率上限よりも大きい)道路を意味する。曲率上限は、予め設定されている。「平坦範囲」とは、道路が平坦路であるか勾配路であるかを区分する勾配の範囲を意味する。換言すると、「平坦路」とは、勾配が平坦範囲内の道路を意味し、「勾配路」とは、勾配が平坦範囲内でない(すなわち、平坦範囲よりも大きい又は小さい)道路を意味する。平坦範囲は、勾配が0の場合を含む範囲に予め設定されている。
顔向き取得部13は、運転者の顔向きFを取得する。より具体的には、顔向き取得部13は、ドライバモニタカメラ2から受信した運転者の撮像情報に基づいて、周知の画像処理手法により運転者の顔向きFを取得する。例えば、顔向き取得部13は、ヨー角方向及びピッチ角方向のそれぞれについて、運転者の顔向きFの角度情報を取得する。
基準顔向き判定部14は、顔向き取得部13により取得された運転者の顔向きFに基づいて、基準顔向きを判定する。より具体的には、基準顔向き判定部14は、過去から現時点までの期間のうち、判定対象期間に取得された運転者の顔向きFに基づいて、基準顔向きを判定する。「判定対象期間」とは、車両Mの運転中に運転者が正面を向いている可能性の高い期間であり、当該期間における運転者の顔向きFが基準顔向きの判定に利用される期間を意味する。判定対象期間の詳細については後述する。
基準顔向き判定部14は、判定対象期間に取得された運転者の顔向きFの角度の平均値を基準顔向きの角度とすることで、基準顔向きを判定してもよい。例えば、基準顔向き判定部14は、判定対象期間に取得された運転者の顔向きFのヨー角方向における角度の平均値を基準顔向きのヨー角方向における角度とするとともに、判定対象期間に取得された運転者の顔向きFのピッチ角方向における角度の平均値を基準顔向きのピッチ角方向における角度としてもよい。なお、基準顔向き判定部14は、運転者の顔向きFの平均値に代えて、運転者の顔向きFの中央値、最頻値等を基準顔向きと判定してもよい。
先行車両判定部15は、車両Mの前方における近距離範囲内に先行車両Lが存在しているか否かを判定する。「近距離範囲」とは、車両Mから予め設定された比較的近い距離の範囲である。近距離範囲は、車両Mの前方における当該近距離範囲内の道路がカーブ路又は勾配路であっても、当該近距離範囲内に存在する先行車両Lが運転者の正面付近に位置する可能性の高い距離の範囲に設定される。近距離範囲は、運転者により車両Mが手動運転されているとき又は自動運転システム等により車両Mが自動運転されているときに、車両Mが先行車両Lに追従して走行可能な距離の範囲に設定されてもよい。例えば、近距離範囲は、車両Mの前方0mから50m、100m、又は200mの間の距離であってもよい。
図6は、カーブ路において先行車両Lが存在するときの運転者の顔向きFを示す平面図である。図7は、勾配路において先行車両Lが存在するときの運転者の顔向きFを示す側面図である。図1、図6、及び図7に示されるように、先行車両判定部15は、外部センサ5から受信した情報に基づいて、車両Mの前方に先行車両Lが存在しているか否かを判定する。例えば、先行車両判定部15は、カメラから受信した車両Mの外部状況に関する撮像情報に基づいて、周知の画像処理手法により車両Mの前方に先行車両Lが存在しているか否かを判定してもよい。或いは、先行車両判定部15は、レーダセンサから受信した車両Mの周辺の物体情報に基づいて、車両Mの前方に先行車両Lが存在しているか否かを判定してもよい。
以下、図面を参照して、判定対象期間の詳細について説明する。まず、道路形状取得部11により取得された前方区間形状が条件判定部12により判定対象形状であると判定されたか否かにかかわらず、先行車両判定部15により車両Mの前方に先行車両Lが存在していると判定された期間は、判定対象期間とされる(図6及び図7参照)。
また、先行車両判定部15により車両Mの前方に先行車両Lが存在していると判定されない期間において、条件判定部12により前方区間形状が判定対象形状であると判定された期間は、判定対象期間とされる。つまり、前方区間が直線路であり、且つ、前方区間が平坦路である期間が、判定対象期間とされる(図2及び図3参照)。
これに対して、先行車両判定部15により車両Mの前方に先行車両Lが存在していると判定されない期間において、条件判定部12により前方区間形状が判定対象形状であると判定されない期間は、判定対象期間とされない。つまり、前方区間がカーブ路である期間、及び、前方区間が勾配路である期間は、判定対象期間とされない(図4及び図5参照)。
したがって、基準顔向き判定部14は、先行車両判定部15により車両Mの前方に先行車両Lが存在していると判定された場合に(判定対象期間)、条件判定部12により前方区間形状が判定対象形状であると判定されたか否かにかかわらず、道路形状取得部11により取得された運転者の顔向きFに基づいて基準顔向きを判定する。
また、先行車両判定部15により車両Mの前方に先行車両Lが存在していると判定されない場合には、基準顔向き判定部14は、条件判定部12により前方区間形状が判定対象形状であると判定されたときに(判定対象期間)、顔向き取得部13により取得された運転者の顔向きFに基づいて基準顔向きを判定する。
これに対して、先行車両判定部15により車両Mの前方に先行車両Lが存在していると判定されない場合には、基準顔向き判定部14は、条件判定部12により前方区間形状が判定対象形状であると判定されないときに(判定対象期間ではない)、顔向き取得部13により取得された運転者の顔向きFに基づいて基準顔向きを判定しない。
続いて、運転者情報判定装置1による運転者情報判定処理について説明する。図8は、運転者情報判定処理を示すフローチャートである。図8のフローチャートは、例えば車両Mが予め設定された速度以上となったときに開始される。
図8に示されるように、ステップS10において、運転者情報判定装置1は、顔向き取得部13により、ドライバモニタカメラ2から受信した運転者の撮像情報に基づいて、周知の画像処理手法により運転者の顔向きFを取得する。その後、運転者情報判定装置1は、ステップS12に移行する。
ステップS12において、運転者情報判定装置1は、道路形状取得部11により、GPS受信部3から受信した車両Mの位置情報、及び、地図データベース4から取得した道路の形状の情報を含む地図情報に基づいて、車両Mの前方区間形状(前方区間曲率及び前方区間勾配)を取得する。その後、運転者情報判定装置1は、ステップS14に移行する。
ステップS14において、運転者情報判定装置1は、先行車両判定部15により、外部センサ5から受信した情報に基づいて、車両Mの前方に先行車両Lが存在しているか否かを判定する。運転者情報判定装置1は、車両Mの前方に先行車両Lが存在していると判定した場合(ステップS14:YES)、ステップS18に移行する。一方、運転者情報判定装置1は、車両Mの前方に先行車両Lが存在していると判定しない場合(ステップS14:NO)、ステップS16に移行する。
ステップS16において、運転者情報判定装置1は、条件判定部12により、前方区間曲率と曲率上限とを比較するとともに前方区間勾配と平坦範囲とを比較し、それらの比較結果に基づいて、前方区間形状が判定対象形状であるか否かを判定する。条件判定部12は、前方区間曲率が予め設定された曲率上限以下、且つ、前方区間勾配が予め設定された平坦範囲内である場合に、前方区間形状が判定対象形状であると判定する。運転者情報判定装置1は、前方区間形状が判定対象形状であると判定した場合(ステップS16:YES)、ステップS18に移行する。一方、運転者情報判定装置1は、前方区間形状が判定対象形状であると判定しない場合(ステップS16:NO)、ステップS20に移行する。
ステップS18において、運転者情報判定装置1は、基準顔向き判定部14により、顔向き取得部13により判定対象期間に取得された運転者の顔向きFに基づいて、基準顔向きを判定する。これにより、運転者情報判定装置1は、今回の運転者情報判定処理を終了し、ステップS10から再度運転者情報判定処理を実行する。
ステップS20において、運転者情報判定装置1は、基準顔向き判定部14により、顔向き取得部13により取得された運転者の顔向きFに基づいて、基準顔向きを判定しない。例えば、運転者情報判定装置1は、判定対象期間に該当しない現時点での運転者の顔向きFに基づいて基準顔向きを判定せず、過去の判定対象期間に取得された運転者の顔向きFに基づいて既に判定されている基準顔向きを、現時点での基準顔向きであるとしてもよい。これにより、運転者情報判定装置1は、今回の運転者情報判定処理を終了し、ステップS10から再度運転者情報判定処理を実行する。
以上説明したように、運転者情報判定装置1によれば、車両Mの前方区間曲率が予め設定された曲率上限以下であるとき、又は、車両Mの前方区間勾配が予め設定された平坦範囲内であるときの運転者の顔向きFに基づいて、基準顔向きが判定される。つまり、この運転者情報判定装置1では、車両Mの前方区間が直線路又は平坦路である場合における運転者の顔向きFが、基準顔向きの判定に利用される。一方、この運転者情報判定装置1によれば、車両Mの前方区間曲率が予め設定された曲率上限以下でないとき、又は、車両Mの前方区間勾配が予め設定された平坦範囲内でないときの運転者の顔向きFに基づいて、基準顔向きが判定されない。つまり、この運転者情報判定装置1では、車両Mの前方区間がカーブ路又は勾配路である場合における運転者の顔向きFは、基準顔向きの判定に利用されない。ここで、車両Mの前方区間が直線路又は平坦路である場合には、運転者は正面を見ている可能性が高いのに対して、車両Mの前方区間がカーブ路又は勾配路である場合には、運転者は正面ではなくカーブ路の先又は勾配路の先を見ている可能性が高い。したがって、この運転者情報判定装置1は、運転者が正面を見ている可能性がより高い状況での運転者の顔向きFに基づいて基準顔向きを判定し、運転者が正面を見ている可能性がより低い状況での運転者の顔向きFに基づいて基準顔向きを判定しない。よって、この運転者情報判定装置1は、カーブ路又は勾配路が存在する場合であっても運転者の基準顔向きを精度良く判定することができる。
また、運転者情報判定装置1では、判定対象形状は、前方区間曲率が曲率上限以下、且つ、前方区間勾配が平坦範囲内の道路の形状である。これにより、車両Mの前方区間が直線路且つ平坦路である場合に、運転者の顔向きFが基準顔向きの判定に利用される。ここで、車両Mの前方区間が直線路且つ平坦路である場合には、運転者は正面を見ている可能性が特に高い。したがって、この運転者情報判定装置1は、運転者の基準顔向きをより精度良く判定することができる。
また、運転者情報判定装置1は、車両Mの前方における近距離範囲内に先行車両Lが存在しているか否かを判定する先行車両判定部15を備え、基準顔向き判定部14は、先行車両判定部15により車両Mの前方における近距離範囲内に先行車両Lが存在していると判定された場合に、条件判定部12により前方区間形状が判定対象形状であると判定されたか否かにかかわらず、顔向き取得部13により取得された運転者の顔向きFに基づいて基準顔向きを判定する。車両Mの前方における近距離範囲内に先行車両Lが存在していない場合と比較して、車両Mの前方における近距離範囲内に先行車両Lが存在している場合には、運転者は先行車両Lを注視しやすいため、車両Mの前方区間がカーブ路又は勾配路であっても運転者は正面付近の先行車両Lを見ている可能性が高い。そこで、この運転者情報判定装置1によれば、車両Mの前方における近距離範囲内に先行車両Lが存在している場合には、車両Mの前方区間がカーブ路又は勾配路であるか否かにかかわらず、運転者の顔向きFが基準顔向きの判定に利用される。よって、この運転者情報判定装置1は、運転者の基準顔向きの判定に利用される運転者の顔向きFを取得する機会を増やすことができる。
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
例えば、上記実施形態において、判定対象形状は、前方区間曲率が予め設定された曲率上限以下の道路の形状、又は、前方区間勾配が予め設定された平坦範囲内の道路の形状であってもよい。つまり、判定対象形状は、前方区間勾配にかかわらず、前方区間曲率が予め設定された曲率上限以下の道路の形状であってもよい。又は、判定対象形状は、前方区間曲率にかかわらず、前方区間勾配が予め設定された平坦範囲内の道路の形状であってもよい。これによれば、判定対象形状が、前方区間曲率が曲率上限以下、且つ、前方区間勾配が平坦範囲内の道路の形状である場合と比較して、運転者の基準顔向きの判定に利用される運転者の顔向きFを取得する機会を増やすことができる。
また、上記実施形態において、道路形状取得部11により前方区間形状を取得する手法については特に限定されない。つまり、道路形状取得部11は、GPS受信部3から受信した車両Mの位置情報、及び、地図データベース4から取得した道路の形状の情報を含む地図情報に基づいて、前方区間曲率及び前方区間勾配を取得しなくてもよい。例えば、道路形状取得部11は、外部センサ5のカメラから受信した撮像情報に基づいて前方区間形状を取得してもよく、外部センサ5のレーダセンサから受信した車両Mの周辺の物体情報に基づいて前方区間形状を取得してもよい。或いは、道路形状取得部11は、車両Mに備えられたヨーレートセンサから受信したヨーレート情報に基づいて車両Mの現在位置での道路の曲率を取得し、取得した道路の曲率に基づいて前方区間曲率を推定してもよい。また、道路形状取得部11は、車両Mに備えられた傾斜角センサから受信した傾斜角情報に基づいて車両Mの現在位置での道路の勾配を取得し、取得した道路の勾配に基づいて前方区間勾配を推定してもよい。
また、上記実施形態において、基準顔向き判定部14は、車両Mの前方における近距離範囲内に先行車両Lが存在する場合であっても、条件判定部12により前方区間形状が判定対象形状であると判定されたときに、運転者の顔向きFに基づいて基準顔向きを判定し、前方区間形状が判定対象形状であると判定されないときに、運転者の顔向きFに基づいて基準顔向きを判定しないこととしてもよい。この場合、運転者情報判定装置1は、先行車両判定部15を備えていなくてもよい。また、運転者情報判定装置1は、車両Mの前方における近距離範囲内に先行車両Lが存在しているか否かを判定しなくてもよい。
また、図5及び図7には下り勾配の勾配路が示されているが、勾配路は上り勾配であってもよい。また、車両Mの前方区間が勾配路であればよく、車両Mの現在位置は平坦路であってもよい。同様に、図4及び図6に示されるカーブ路について、車両Mの前方区間がカーブ路であればよく、車両Mの現在位置は直線路であってもよい。
1…運転者情報判定装置、11…道路形状取得部、12…条件判定部、13…顔向き取得部、14…基準顔向き判定部、15…先行車両判定部、L…先行車両、M…車両。

Claims (3)

  1. 車両の運転中に運転者が正面を向いているときの顔向きである基準顔向きを判定する運転者情報判定装置であって、
    前記車両の前方区間における道路の形状を取得する道路形状取得部と、
    前記道路形状取得部により取得された前記道路の形状が判定対象形状であるか否かを判定する条件判定部と、
    前記運転者の前記顔向きを取得する顔向き取得部と、
    前記顔向き取得部により取得された前記運転者の顔向きに基づいて前記基準顔向きを判定する基準顔向き判定部と、を備え、
    前記基準顔向き判定部は、前記条件判定部により前記道路の形状が前記判定対象形状であると判定された場合に、前記顔向き取得部により取得された前記運転者の顔向きに基づいて前記基準顔向きを判定し、前記条件判定部により前記道路の形状が前記判定対象形状であると判定されない場合に、前記顔向き取得部により取得された前記運転者の顔向きに基づいて前記基準顔向きを判定せず、
    前記判定対象形状は、前記道路の曲率が予め設定された曲率上限以下の前記道路の形状、又は、前記道路の勾配が予め設定された平坦範囲内の前記道路の形状である、運転者情報判定装置。
  2. 前記判定対象形状は、前記道路の曲率が前記曲率上限以下、且つ、前記道路の勾配が前記平坦範囲内の前記道路の形状である、請求項1に記載の運転者情報判定装置。
  3. 前記車両の前方における近距離範囲内に先行車両が存在しているか否かを判定する先行車両判定部を備え、
    前記基準顔向き判定部は、前記先行車両判定部により前記車両の前方における前記近距離範囲内に前記先行車両が存在していると判定された場合に、前記条件判定部により前記道路の形状が前記判定対象形状であると判定されたか否かにかかわらず、前記顔向き取得部により取得された前記運転者の顔向きに基づいて前記基準顔向きを判定する、請求項1又は2に記載の運転者情報判定装置。
JP2018150132A 2018-08-09 2018-08-09 運転者情報判定装置 Active JP7067353B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018150132A JP7067353B2 (ja) 2018-08-09 2018-08-09 運転者情報判定装置
US16/503,734 US10706303B2 (en) 2018-08-09 2019-07-05 Driver information determination apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018150132A JP7067353B2 (ja) 2018-08-09 2018-08-09 運転者情報判定装置

Publications (2)

Publication Number Publication Date
JP2020027315A JP2020027315A (ja) 2020-02-20
JP7067353B2 true JP7067353B2 (ja) 2022-05-16

Family

ID=69407243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018150132A Active JP7067353B2 (ja) 2018-08-09 2018-08-09 運転者情報判定装置

Country Status (2)

Country Link
US (1) US10706303B2 (ja)
JP (1) JP7067353B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015533A (ja) 2007-07-03 2009-01-22 Toyota Motor Corp 視線方向検出装置
JP2010067058A (ja) 2008-09-11 2010-03-25 Toyota Motor Corp 顔向き検出装置
JP2017208007A (ja) 2016-05-20 2017-11-24 株式会社デンソー 顔向き推定装置及び顔向き推定方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578795B2 (ja) * 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
KR100556856B1 (ko) * 2003-06-14 2006-03-10 엘지전자 주식회사 이동통신 단말기에서 화면 제어 방법 및 장치
JP2006227905A (ja) * 2005-02-17 2006-08-31 Toyota Motor Corp 車両用情報報知装置
JP4349350B2 (ja) * 2005-09-05 2009-10-21 トヨタ自動車株式会社 顔画像撮影カメラの搭載構造
JP4894572B2 (ja) 2006-03-14 2012-03-14 オムロン株式会社 検出装置および方法、記録媒体、並びに、プログラム
JP5505434B2 (ja) * 2012-02-09 2014-05-28 株式会社デンソー 脇見判定装置
JP6062839B2 (ja) * 2013-10-21 2017-01-18 アイシン・エィ・ダブリュ株式会社 支援地点管理システム、方法およびプログラム
JP6245274B2 (ja) * 2013-12-03 2017-12-13 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
JP6524417B2 (ja) * 2014-02-05 2019-06-05 パナソニックIpマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
KR101588759B1 (ko) * 2014-09-22 2016-02-12 현대자동차 주식회사 차량용 변속 제어 장치 및 방법
KR101683986B1 (ko) * 2014-10-17 2016-12-07 현대자동차주식회사 헤드업 디스플레이 제어장치 및 방법
JP6558735B2 (ja) * 2015-04-21 2019-08-14 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP6520531B2 (ja) * 2015-07-30 2019-05-29 アイシン精機株式会社 運転支援装置
WO2017149655A1 (ja) * 2016-03-01 2017-09-08 三菱電機株式会社 逆走抑制装置、逆走抑制方法及び逆走抑制システム
JP6531719B2 (ja) * 2016-05-23 2019-06-19 株式会社デンソー ドライバ状態検知装置、ドライバ状態検知方法
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
JP6453929B2 (ja) * 2017-03-15 2019-01-16 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015533A (ja) 2007-07-03 2009-01-22 Toyota Motor Corp 視線方向検出装置
JP2010067058A (ja) 2008-09-11 2010-03-25 Toyota Motor Corp 顔向き検出装置
JP2017208007A (ja) 2016-05-20 2017-11-24 株式会社デンソー 顔向き推定装置及び顔向き推定方法

Also Published As

Publication number Publication date
US10706303B2 (en) 2020-07-07
US20200050875A1 (en) 2020-02-13
JP2020027315A (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
CN109080641B (zh) 驾驶意识推定装置
CN107783535B (zh) 车辆控制装置
US9669829B2 (en) Travel lane marking recognition system
US9714034B2 (en) Vehicle control device
CN108973976B (zh) 车辆控制系统及车辆控制方法
US10262629B2 (en) Display device
JP6269552B2 (ja) 車両走行制御装置
US20150371542A1 (en) Warning device and travel control device
CN110087964B (zh) 车辆控制系统、车辆控制方法及存储介质
US11092442B2 (en) Host vehicle position estimation device
US10787123B1 (en) Driver assistance system, and control method for the same
JP6384419B2 (ja) 動物種類判定装置
US20190073540A1 (en) Vehicle control device, vehicle control method, and storage medium
CN112208533B (zh) 车辆控制系统、车辆控制方法及存储介质
JP2019079398A (ja) 走行制御装置
JP2017151703A (ja) 自動運転装置
CN111629944A (zh) 车辆控制装置、车辆以及车辆控制方法
JP2019088522A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
CN114194186B (zh) 车辆行驶控制装置
JP7221332B2 (ja) 車両走行制御装置
KR20150010126A (ko) 차량 측방 표시 제어 장치 및 방법
JP7067353B2 (ja) 運転者情報判定装置
JP2014157489A (ja) 隊列走行制御装置
JP2016113092A (ja) 車両制御装置
JP2020086907A (ja) 漫然運転判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7067353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151