JP6947099B2 - 余所見判定装置、余所見判定システム、余所見判定方法、プログラム - Google Patents
余所見判定装置、余所見判定システム、余所見判定方法、プログラム Download PDFInfo
- Publication number
- JP6947099B2 JP6947099B2 JP2018059162A JP2018059162A JP6947099B2 JP 6947099 B2 JP6947099 B2 JP 6947099B2 JP 2018059162 A JP2018059162 A JP 2018059162A JP 2018059162 A JP2018059162 A JP 2018059162A JP 6947099 B2 JP6947099 B2 JP 6947099B2
- Authority
- JP
- Japan
- Prior art keywords
- accuracy
- captured image
- equal
- extra
- accuracy threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 105
- 230000001815 facial effect Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 description 21
- 238000001514 detection method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
Description
本発明は、余所見判定装置、余所見判定システム、余所見判定方法、プログラムに関する。
車等の移動体を操作する運転者の余所見を検知する技術が特許文献１に開示されている。
上述のような運転時の余所見を判定する技術では撮影画像に映る顔の視線に基づいて余所見の検知を行う。しかしながら撮影画像に顔が映っていない場合にはそもそも余所見判定を行っておらず、顔が映っていない場合でも運転状況に応じて適切に余所見判定を行うことが求められている。
そこでこの発明は、上述の課題を解決する余所見判定装置、余所見判定システム、余所見判定方法、プログラムを提供することを目的としている。
本発明の第１の態様によれば、余所見判定装置は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値以上である場合には当該確度閾値の値を減じる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また余所見判定装置は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また余所見判定装置は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また余所見判定装置は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また余所見判定装置において、前記確度判定部は、前記車両のウィンカー指示方向が方向指示を指定しておらず、前記車両が所定の速度以上である場合に、前記確度が確度閾値以上であるかを判定することを特徴とする。
また余所見判定装置は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また余所見判定装置は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また余所見判定装置は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また余所見判定装置において、前記確度判定部は、前記車両のウィンカー指示方向が方向指示を指定しておらず、前記車両が所定の速度以上である場合に、前記確度が確度閾値以上であるかを判定することを特徴とする。
本発明の第２の態様によれば、撮影装置と余所見判定装置とを備えた余所見判定システムは、前記余所見判定装置が、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値以上である場合には当該確度閾値の値を減じる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また撮影装置と余所見判定装置とを備えた余所見判定システムは、前記余所見判定装置が、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また撮影装置と余所見判定装置とを備えた余所見判定システムは、前記余所見判定装置が、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また撮影装置と余所見判定装置とを備えた余所見判定システムは、前記余所見判定装置が、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また撮影装置と余所見判定装置とを備えた余所見判定システムは、前記余所見判定装置が、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また撮影装置と余所見判定装置とを備えた余所見判定システムは、前記余所見判定装置が、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
また撮影装置と余所見判定装置とを備えた余所見判定システムは、前記余所見判定装置が、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、を備えることを特徴とする。
本発明の第３の態様によれば、余所見判定方法は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値以上である場合には当該確度閾値の値を減じる処理を、前記余所見状態の判定の処理に並行して行うことを特徴とする。
また本発明において、余所見判定方法は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行うことを特徴とする。
また本発明において、余所見判定方法は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行うことを特徴とする。
また本発明において、余所見判定方法は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行うことを特徴とする。
また本発明において、余所見判定方法は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行うことを特徴とする。
また本発明において、余所見判定方法は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行うことを特徴とする。
また本発明において、余所見判定方法は、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行うことを特徴とする。
本発明の第４の態様によれば、プログラムは、余所見判定装置のコンピュータを、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、前記確度閾値更新部は、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値以上である場合には当該確度閾値の値を減じる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、として機能させることを特徴とする。
またプログラムは、余所見判定装置のコンピュータを、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、として機能させることを特徴とする。
またプログラムは、余所見判定装置のコンピュータを、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、として機能させることを特徴とする。
またプログラムは、余所見判定装置のコンピュータを、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、として機能させることを特徴とする。
またプログラムは、余所見判定装置のコンピュータを、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、として機能させることを特徴とする。
またプログラムは、余所見判定装置のコンピュータを、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、として機能させることを特徴とする。
またプログラムは、余所見判定装置のコンピュータを、少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、として機能させることを特徴とする。
本発明によれば、撮影画像に基づいて顔が映っていないと判定された場合に運転状況に応じて余所見であるか否かを判定することができる。
以下、本発明の一実施形態による余所見判定装置を図面を参照して説明する。
図１は同実施形態による運転状況監視システム（余所見判定システム）を示す図である。
図１で示すように運転状況監視システム１００は余所見判定装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。余所見判定装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。ドライブレコーダ２は一例としては車両に設けられている。余所見判定装置１は市中を走る複数の車両にそれぞれ設置されたドライブレコーダ２と通信接続する。
図１は同実施形態による運転状況監視システム（余所見判定システム）を示す図である。
図１で示すように運転状況監視システム１００は余所見判定装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。余所見判定装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。ドライブレコーダ２は一例としては車両に設けられている。余所見判定装置１は市中を走る複数の車両にそれぞれ設置されたドライブレコーダ２と通信接続する。
図２は余所見判定装置のハードウェア構成図である。
この図が示すように余所見判定装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
この図が示すように余所見判定装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
図３は余所見判定装置の機能ブロック図である。
余所見判定装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより余所見判定装置１には、制御部１１、情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、確度判定部１６、確度閾値更新部１７、を少なくとも備える。
余所見判定装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより余所見判定装置１には、制御部１１、情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、確度判定部１６、確度閾値更新部１７、を少なくとも備える。
制御部１１は他の機能部を制御する。
情報取得部１２は撮影画像、車両情報、天候情報、加速度情報などのドライブレコーダ２から送信された情報を取得する。
余所見開始判定部１３は余所見判定を開始するかを判定する。
余所見判定部１４は顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は撮影画像に映る顔の確度が確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。
判定結果出力部１５は余所見判定結果を出力する。
情報取得部１２は撮影画像、車両情報、天候情報、加速度情報などのドライブレコーダ２から送信された情報を取得する。
余所見開始判定部１３は余所見判定を開始するかを判定する。
余所見判定部１４は顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は撮影画像に映る顔の確度が確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。
判定結果出力部１５は余所見判定結果を出力する。
確度判定部１６は取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する。
確度閾値更新部１７は確度閾値を撮影画像に映る顔の確度に基づいて更新する。また確度閾値更新部１７は現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値と、新たに取得した撮影画像の顔の確度との乖離に基づいて確度閾値を更新する。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値未満で、撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、確度閾値の下限値以上である場合には確度閾値の値を減じる。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値未満で、撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の確度閾値以上の確度の算出ができていない状況でない場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、確度閾値の下限値未満である場合には確度閾値を下限値に更新する。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、現在の確度閾値の値よりも高い場合には、現在の確度閾値の値を増加させる。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、現在の確度閾値の値よりも低い場合には、現在の確度閾値の値の変更を停止する。
確度閾値更新部１７は確度閾値を撮影画像に映る顔の確度に基づいて更新する。また確度閾値更新部１７は現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値と、新たに取得した撮影画像の顔の確度との乖離に基づいて確度閾値を更新する。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値未満で、撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、確度閾値の下限値以上である場合には確度閾値の値を減じる。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値未満で、撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の確度閾値以上の確度の算出ができていない状況でない場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、確度閾値の下限値未満である場合には確度閾値を下限値に更新する。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、現在の確度閾値の値よりも高い場合には、現在の確度閾値の値を増加させる。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、現在の確度閾値の値よりも低い場合には、現在の確度閾値の値の変更を停止する。
図４はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ２は、加速度センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含んで構成される。加速度センサ２１は車両の加速度を検知する。通信装置２２は余所見判定装置１と通信接続する。カメラ２３は車両の外部や内部を撮影して動画像、静止画像を生成する。
制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は動画像、静止画像、加速度センサ２１で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２は基地局等を介して余所見判定装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
ドライブレコーダ２は、加速度センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含んで構成される。加速度センサ２１は車両の加速度を検知する。通信装置２２は余所見判定装置１と通信接続する。カメラ２３は車両の外部や内部を撮影して動画像、静止画像を生成する。
制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は動画像、静止画像、加速度センサ２１で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２は基地局等を介して余所見判定装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
図５はドライブレコーダに備わる制御装置の機能ブロック図である。
制御装置２４はドライブレコーダが起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、天候情報取得部２４２、加速度情報取得部２４３、撮影画像取得部２４４、運転状況データ送信部２４５、撮影画像送信部２４６の各機能部が備わる。
制御装置２４はドライブレコーダが起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、天候情報取得部２４２、加速度情報取得部２４３、撮影画像取得部２４４、運転状況データ送信部２４５、撮影画像送信部２４６の各機能部が備わる。
図６はドライブレコーダの処理フローを示す図である。
次に運転状況監視システムの処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況情報の送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２１はドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。またカメラ２３は車内および車外の撮影を開始する（ステップＳ１０３）。なおカメラ２３は車内側レンズと車外側レンズを備える。カメラ２３は車内側レンズを用いて車内を車内の運転者の顔の方向の対象物を撮影する。カメラ２３は車外側レンズを用いて車外の進行方向の対象物を撮影する。
次に運転状況監視システムの処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況情報の送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２１はドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。またカメラ２３は車内および車外の撮影を開始する（ステップＳ１０３）。なおカメラ２３は車内側レンズと車外側レンズを備える。カメラ２３は車内側レンズを用いて車内を車内の運転者の顔の方向の対象物を撮影する。カメラ２３は車外側レンズを用いて車外の進行方向の対象物を撮影する。
そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。車両情報取得部２４１が取得する車両情報は車両に備わる各センサによって検出された車速、ハンドル角度、ウィンカー指示方向などであってよい。また天候情報取得部２４２は天候情報を取得する（ステップＳ１０５）。天候情報は気象庁や天候情報提供企業に備わるサーバ装置から取得してもよい。または天候情報は車両に備わるセンサ（ワイパー動作検出器や雨滴検出器）などからえられる情報であってよい。制御装置２４は、ワイパーが動作している場合、雨滴検出器が雨滴を検出している場合には雨天であると判定してよい。加速度情報取得部２４３は、加速度センサ２１から所定の時間間隔で加速度を取得する（ステップＳ１０６）。制御装置２４は車両情報、天候情報、加速度を所定の間隔で取得する。
運転状況データ送信部２４５は所定の間隔で車両情報、天候情報、加速度情報を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は車両情報、天候情報、加速度情報を余所見判定装置１へ送信する（ステップＳ１０７）。撮影画像送信部２４６は撮影画像を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は撮影画像を余所見判定装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了までステップＳ１０２からの処理を繰り返す。車両情報、天候情報、加速度情報、撮影画像には、ドライブレコーダ２のＩＤ、運転者のＩＤ、センシング時刻が付与されてよい。なお上述の処理において加速度や、天候情報を送信しているが、車両情報のみで余所見判定を行う場合には、それらの情報を送信しなくてもよい。
図７は余所見判定装置の処理フローを示す第一の図である。
余所見判定装置１において情報取得部１２はドライブレコーダ２のＩＤ、運転者のＩＤに基づいて、対応する車両情報、天候情報、加速度情報、撮影画像の組を、当該各ＩＤに紐づけて順次データベース１０４へ記録する（ステップＳ２０１）。そして制御部１１は余所見判定処理を行うよう余所見開始判定部１３、余所見判定部１４に指示する。
余所見判定装置１において情報取得部１２はドライブレコーダ２のＩＤ、運転者のＩＤに基づいて、対応する車両情報、天候情報、加速度情報、撮影画像の組を、当該各ＩＤに紐づけて順次データベース１０４へ記録する（ステップＳ２０１）。そして制御部１１は余所見判定処理を行うよう余所見開始判定部１３、余所見判定部１４に指示する。
余所見開始判定部１３はある一つのドライブレコーダ２を特定し、そのＩＤに紐づいて記録されているセンシング時刻、車両情報、天候情報、加速度情報、撮影画像を取得する。余所見判定部１４は車両情報に含まれる車速が前方方向の速度（前進）を示し、かつウィンカー指示方向が方向指示を指定しておらず、所定の速度以上であるかを判定する（ステップＳ２０２）。所定の速度は一例としては２０ｋｍ／ｈなど値であてよい。余所見判定部１４は車速が前進を示し、ウィンカー指示を指定しておらず、所定の速度以上である場合に余所見判定を開始すると決定する。
余所見開始判定部１３は他の情報を利用して、または他の情報を追加で利用して余所見判定を開始すると決定してもよい。例えば、余所見判定部１４は加速度が０以上かを判定して、加速度が０以上である場合に余所見判定を開始すると決定してもよい。また余所見判定部１４はハンドル角度が所定の範囲内か否かによって余所見判定を開始すると決定してもよい。ハンドル角度の所定の範囲は例えば直進方向を基準とする左右１０度などであってよい。また余所見判定部１４は天候情報が雨を示す場合に余所見判定を開始すると決定してもよい。余所見判定部１４は車外の撮影画像に基づいて余所見判定を開始すると決定してもよい。例えば、撮影画像の直進方向に対象物が映る場合、撮影画像に車線のカーブが映る場合、余所見判定を開始すると決定してよい。余所見判定部１４は余所見判定を開始すると決定すると、余所見判定部１４は開始を指示する。余所見判定部１４は余所見判定を開始するかどうかの判定処理を所定の間隔で繰り返す。
余所見判定部１４は現在の処理対象のドライブレコーダ２のＩＤに基づいて情報取得部１２の既に取得している撮影画像を当該情報取得部１２から入力する。余所見判定部１４は余所見判定を開始すると決定した場合、所定の間隔でドライブレコーダ２から受信する撮影画像を順次読み取る。
余所見判定部１４は撮影画像を読み取ると、余所見判定を続けることが出来る程度に撮影画像に顔が映っているかを判定する顔検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できるかを判定する（ステップＳ２０３）。余所見判定部１４は撮影画像に写る顔の確度が確度閾値以上である場合に撮影画像内に顔を検出し、撮影画像に写る顔の確度が確度閾値より小さい場合に撮影画像内に顔を検出できない。余所見判定部１４は新たに取得した撮影画像内に顔を検出した場合次の顔方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間のセンシング時刻の撮影画像について、所定割合以上の回数で顔が映っていない（撮影画像に映る顔の確度が確度閾値以上でない）かを判定する（ステップＳ２０４）。余所見判定部１４は、所定期間の間に取得した撮影画像について、所定割合以上の回数で顔が映っていない場合、余所見をしていると判定する（ステップＳ２０５）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が映っていない回数が所定割合未満の場合、余所見と判定せずに、余所見判定を開始するかを判定する処理に戻る。
上述の顔検出処理において余所見判定部１４は、運転者が眼鏡やマスクをかけている場合、余所見判定を続けることが出来る程度に撮影画像に顔が映っていないと判定されてもよい。この場合、余所見判定部１４は処理を終了すると判定してもよい。
余所見判定部１４は顔方向検出処理において、新たに取得した撮影画像内の顔方向が直進方向を基準とする所定の範囲内かを判定する（ステップＳ２０６）。所定範囲は直進方向を基準として左右１０度などの範囲であってよい。余所見判定部１４は現在の車速に基づいて所定範囲の広さを変更してもよい。例えば余所見判定部１４は速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなるため、直進方向を基準とする幅を左右２０度などと広げるようにしてもよい。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の範囲内である場合、視線方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する（ステップＳ２０７）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上でない場合、余所見をしていると判定する（ステップＳ２０８）。余所見判定部１４は、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において当該所定割合の値を変動させてもよい。例えば余所見判定部１４は、当該所定割合の値を速度が低下するほど減少させる。これにより車両が低速の場合には、広範囲を目視する可能性が高いが、広範囲を目視したとした場合でも余所見判定とされず運転者に対する必要以上の余所見アラートの出力を削減することができる。
余所見判定部１４は視線方向検出処理において、新たに取得した撮影画像内の視線方向が直進方向を基準とする所定の範囲内かを判定する（ステップＳ２０９）。所定範囲は直進方向を基準として左右１０度などの範囲であってよい。余所見判定部１４は速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなるため、直進方向を基準とする幅を左右２０度などと広げるようにしてもよい。余所見判定部１４は新たに取得した撮影画像内の視線方向が所定の範囲内である場合、余所見と判定せずに、余所見判定を開始するかを判定する処理に戻る。余所見判定部１４は新たに取得した撮影画像内の視線方向が所定の範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する（ステップＳ２１０）。余所見判定部１４は、所定期間の間に取得した撮影画像について、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上でない場合、余所見をしていると判定する（ステップＳ２１１）。余所見判定部１４は、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において当該所定割合の値を変動させてもよい。例えば余所見判定部１４は、当該所定割合の値を速度が低下するほど減少させる。これにより車両が低速の場合には、広範囲を目視する可能性が高いが、広範囲を目視したとした場合でも余所見判定とされず運転者に対する必要以上の余所見アラートの出力を削減することができる。
余所見判定部１４は余所見が行われていると判定した場合には、判定結果出力部１５へ余所見判定結果を出力するよう指示する。判定結果出力部１５は余所見が行われていると判定したドライブレコーダ２のＩＤを取得する。判定結果出力部１５はドライブレコーダ２のＩＤに基づいてその送信先となるネットワークアドレスをデータベース１０４から取得する。送信先のネットワークアドレスは予めデータベース１０４に記録されているものとする。判定結果出力部１５は当該送信先に余所見検知を示す情報を送信する（ステップＳ２１２）。判定結果出力部１５は余所見検知を示す情報を、ドライブレコーダ２のＩＤや運転者のＩＤに紐づけてデータベース１０４に記録してもよい。余所見判定部１４は終了するかを判定する（ステップＳ２１３）。終了しない場合、余所見判定装置１は次にドライブレコーダ２から受信した処理を用いて同様の処理を所定間隔で繰り返す。
ドライブレコーダ２は余所見検知の情報を受信する。ドライブレコーダ２は余所見検知の情報を受信すると、アラーム音を発信するなど、余所見検知を運転者に知らせる処理を行う。これにより運転者は余所見運転を認識することができる。
図８は余所見判定装置の処理フローを示す第二の図である。
余所見判定検出装置１において確度判定部１６は上述したステップＳ２０３の顔検出処理で撮像画像に映る顔の確度を算出し、算出した確度が確度閾値以上であるかを判定する。これにより確度判定部１６は撮影画像内に顔を検出できるかを判定する（ステップＳ３０１）。確度は顔らしさの指標となる値（例えば単位はパーセント）であり、高ければ顔検出の精度が高く、低ければ顔検出の精度が低い。よって確度判定部１６は撮影画像に写る顔の確度が確度閾値以上である場合に撮影画像内に顔を検出し、撮影画像に写る顔の確度が確度閾値より小さい場合に撮影画像内に顔を検出できない。
余所見判定検出装置１において確度判定部１６は上述したステップＳ２０３の顔検出処理で撮像画像に映る顔の確度を算出し、算出した確度が確度閾値以上であるかを判定する。これにより確度判定部１６は撮影画像内に顔を検出できるかを判定する（ステップＳ３０１）。確度は顔らしさの指標となる値（例えば単位はパーセント）であり、高ければ顔検出の精度が高く、低ければ顔検出の精度が低い。よって確度判定部１６は撮影画像に写る顔の確度が確度閾値以上である場合に撮影画像内に顔を検出し、撮影画像に写る顔の確度が確度閾値より小さい場合に撮影画像内に顔を検出できない。
確度閾値更新部１７が確度閾値を撮影画像に映る顔の確度に基づいて更新する確度閾値更新処理を上述した余所見判定処理と並行して実行する。確度閾値更新部１７は確度閾値更新処理において、顔を検出した場合、確度閾値増加更新処理を行い、顔を検出できない場合、次の確度閾値削減更新処理を行う。
確度閾値更新部１７は確度閾値削減更新処理において、ドライブレコーダ２から受信した一連の撮影画像に映る各顔の確度閾値以上の確度の算出ができていない状況であるかを判定する（ステップＳ３０２）。例えば確度閾値更新部１７は余所見判定処理を開始してから所定時間以上確度が確度閾値以下の状態が継続している場合や、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の確度が確度閾値以下の状態が継続しているが場合に、当該状況であると判定する。確度閾値更新部１７は当該状況でない場合、処理を終了する。
確度閾値更新部１７は確度閾値以上の確度の算出ができていない状況である場合、新たに取得した撮影画像のセンシング時刻（現在時刻）と当該センシング時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の平均値（統計値）が、確度閾値の下限値以上であるかを判定する（ステップＳ３０３）。
確度閾値更新部１７は確度の平均値が確度閾値の下限値以上である場合には現在の確度閾値の値を減じる（ステップＳ３０４）。例えば確度閾値更新部１７は算出した確度の平均値まで確度閾値の値を減じる。或いは新たな確度閾値の下限値未満の値とならない場合には、確度閾値更新部１７は現在の確度閾値の値から所定値或いは所定割合減じてもよい。閾値更新部１７は確度の平均値が確度閾値の下限値未満である場合には確度閾値の値を下限値に更新する（ステップＳ３０５）。
ステップＳ３０１において顔を検出した場合、確度閾値更新部１７は確度閾値増加更新処理を行う。確度閾値更新部１７はこの確度閾値増加更新処理において、新たに取得した撮影画像のセンシング時刻（現在時刻）と当該センシング時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の平均値が、現在の確度閾値の値よりも所定値以上高いかを判定する（ステップＳ３０６）。ここで確度の平均値を算出する所定時間はステップＳ３０３において確度の平均値を算出する所定時間と異なる時間であってもよいし、同じ時間であってもよい。
確度閾値更新部１７は確度の平均値が現在の確度閾値の値より所定値以上高い場合には、現在の確度閾値の値を増加させる（ステップＳ３０７）。例えば確度閾値更新部１７は算出した確度の平均値に確度閾値の値を更新する。或いは新たな確度閾値が現在の値よりも大きくなるのであれば、確度閾値更新部１７は算出した確度の平均値から所定値を減じた値を確度閾値の値としてもよい。
確度閾値更新部１７は確度の平均値が現在の確度閾値の値よりも低い場合には、現在の確度閾値の値の変更を停止する（ステップＳ３０８）。すなわち確度閾値更新部１７は確度の平均値が現在の確度閾値の値よりも低い場合には、確度閾値の値を変更しない。
上述の処理においてはクラウドサーバとして通信ネットワークに接続された余所見判定装置１が余所見判定を行っている。しかしながら上述の余所見判定の処理はドライブレコーダ２が単独で行うようにしてもよい。つまりドライブレコーダ２が余所見判定装置１として動作してもよい。この場合、ドライブレコーダ２が上述の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、確度判定部１６、確度閾値更新部１７と同様の処理を行うようにしてもよい。またはドライブレコーダ２と接続された車内に搭載されている車載器が情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、確度判定部１６、確度閾値更新部１７の処理を備えてもよい。この場合、車載器が余所見判定装置１として動作する。この場合、車載器の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、確度判定部１６、確度閾値更新部１７、と同様の処理を行う。
上述の処理によれば顔の方向や視線の方向が検知できない場合でも顔が検出できたかどうかで余所見検知を行うことができる。
また上述の処理によれば顔方向や視線方向が少しずれただけで余所見検知アラートをすることはなく、所定期間内において所定割合で顔方向や視線方向がずれた場合に余所見検知アラートを出力する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の余所見判定装置１によれば、低速での運転などの所定の速度以下など視線方向が前方から離れるような場合に余所見であると判定されてしまうことを回避する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の処理によれば余所見判定装置１は車両の速度低下に応じて余所見判定の可能性があると判定する場合の直進方向を基準とする範囲を広げる処理を行うことで、速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の処理によれば余所見判定装置１は視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において速度が低下するほど当該所定割合の値を減少させる。これにより速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の処理によれば顔方向や視線方向が少しずれただけで余所見検知アラートをすることはなく、所定期間内において所定割合で顔方向や視線方向がずれた場合に余所見検知アラートを出力する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の余所見判定装置１によれば、低速での運転などの所定の速度以下など視線方向が前方から離れるような場合に余所見であると判定されてしまうことを回避する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の処理によれば余所見判定装置１は車両の速度低下に応じて余所見判定の可能性があると判定する場合の直進方向を基準とする範囲を広げる処理を行うことで、速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の処理によれば余所見判定装置１は視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において速度が低下するほど当該所定割合の値を減少させる。これにより速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の処理によれば余所見判定装置１は運転者の状態に合わせて顔検出するための条件となる確度閾値を自動で調整することができる。例えば余所見判定装置１は余所見判定処理を開始してから一度も顔を検出できていない場合や、所定時間以上顔を検出できていない状態が続いた場合等に、確度閾値を減じて顔検出をしやすくすることができる。これにより運転者が眼鏡やマスクをかけている場合等の顔検出に悪条件なときであっても精度良く余所見判定を行うことができる。また余所見判定装置１は運転者の顔検出率が高い場合や改善した場合に確度閾値を自動で増加させることで、余所見判定の精度の不必要な低下を防ぐことができる。
図９は余所見判定装置の最小構成を示す図である。
余所見判定装置１は少なくとも余所見判定部１４、確度判定部１６、確度閾値更新部１７を備えればよい。確度判定部１６は取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する。余所見判定部１４は撮影画像に映る顔の確度が確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。確度閾値更新部１７は確度閾値を撮影画像に映る顔の確度に基づいて更新する。
余所見判定装置１は少なくとも余所見判定部１４、確度判定部１６、確度閾値更新部１７を備えればよい。確度判定部１６は取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する。余所見判定部１４は撮影画像に映る顔の確度が確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。確度閾値更新部１７は確度閾値を撮影画像に映る顔の確度に基づいて更新する。
上述の余所見判定装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
１・・・余所見判定装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・余所見開始判定部
１４・・・余所見判定部
１５・・・判定結果出力部
１６・・・確度判定部
１７・・・確度閾値更新部
２１・・・加速度センサ
２３・・・カメラ
２４・・・制御装置
２４１・・・車両情報取得部
２４２・・・天候情報取得部
２２３・・・加速度情報取得部
２４４・・・撮影画像取得部
２４５・・・運転状況データ送信部
２４６・・・撮影画像送信部
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・余所見開始判定部
１４・・・余所見判定部
１５・・・判定結果出力部
１６・・・確度判定部
１７・・・確度閾値更新部
２１・・・加速度センサ
２３・・・カメラ
２４・・・制御装置
２４１・・・車両情報取得部
２４２・・・天候情報取得部
２２３・・・加速度情報取得部
２４４・・・撮影画像取得部
２４５・・・運転状況データ送信部
２４６・・・撮影画像送信部
Claims (17)
- 少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値以上である場合には当該確度閾値の値を減じる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、
を備える余所見判定装置。 - 少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、
を備える余所見判定装置。 - 少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、
を備える余所見判定装置。 - 少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、
を備える余所見判定装置。 - 前記確度判定部は、前記車両のウィンカー指示方向が方向指示を指定しておらず、前記車両が所定の速度以上である場合に、前記確度が確度閾値以上であるかを判定する
請求項１から請求項４の何れか一項に記載の余所見判定装置。 - 撮影装置と余所見判定装置とを備えた余所見判定システムであって、
前記余所見判定装置が、
少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値以上である場合には当該確度閾値の値を減じる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、
を備える余所見判定システム。 - 撮影装置と余所見判定装置とを備えた余所見判定システムであって、
前記余所見判定装置が、
少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、
を備える余所見判定システム。 - 撮影装置と余所見判定装置とを備えた余所見判定システムであって、
前記余所見判定装置が、
少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、
を備える余所見判定システム。 - 撮影装置と余所見判定装置とを備えた余所見判定システムであって、
前記余所見判定装置が、
少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新部と、
を備える余所見判定システム。 - 少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、
前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値以上である場合には当該確度閾値の値を減じる処理を、前記余所見状態の判定の処理に並行して行う
余所見判定方法。 - 少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、
前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う
余所見判定方法。 - 少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、
前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う
余所見判定方法。 - 少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定し、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、
前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う
余所見判定方法。 - 余所見判定装置のコンピュータを、
少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、
前記確度閾値更新部は、前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値以上である場合には当該確度閾値の値を減じる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、
として機能させるプログラム。 - 余所見判定装置のコンピュータを、
少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、
前記撮影画像に映る顔の確度が前記確度閾値未満で、前記撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の前記確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、前記確度閾値の下限値未満である場合には前記確度閾値を前記下限値に更新する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、
として機能させるプログラム。 - 余所見判定装置のコンピュータを、
少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、
前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも高い場合には、現在の前記確度閾値の値を増加させる処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、
として機能させるプログラム。 - 余所見判定装置のコンピュータを、
少なくとも車両が前進している際に取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する確度判定手段、
前記撮影画像に映る顔の確度が前記確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、
前記撮影画像に映る顔の確度が前記確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した前記撮影画像に映る顔の確度の統計値が、現在の前記確度閾値の値よりも低い場合には、現在の前記確度閾値の値の変更を停止する処理を、前記余所見状態の判定の処理に並行して行う確度閾値更新手段、
として機能させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018059162A JP6947099B2 (ja) | 2018-03-27 | 2018-03-27 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
| PCT/JP2019/012400 WO2019188926A1 (ja) | 2018-03-27 | 2019-03-25 | 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体 |
| US17/040,682 US11482020B2 (en) | 2018-03-27 | 2019-03-25 | Looking away determination device, looking away determination system, looking away determination method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018059162A JP6947099B2 (ja) | 2018-03-27 | 2018-03-27 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019171903A JP2019171903A (ja) | 2019-10-10 |
| JP6947099B2 true JP6947099B2 (ja) | 2021-10-13 |
Family
ID=68058166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018059162A Active JP6947099B2 (ja) | 2018-03-27 | 2018-03-27 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11482020B2 (ja) |
| JP (1) | JP6947099B2 (ja) |
| WO (1) | WO2019188926A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6947099B2 (ja) * | 2018-03-27 | 2021-10-13 | 日本電気株式会社 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
| KR20210009596A (ko) * | 2019-07-17 | 2021-01-27 | 엘지전자 주식회사 | 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스 |
| JP7081844B2 (ja) * | 2020-11-11 | 2022-06-07 | 株式会社コムテック | 検出システム |
| US20220180109A1 (en) * | 2020-12-04 | 2022-06-09 | Nauto, Inc. | Devices and methods for monitoring drivers of vehicles |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6772057B2 (en) * | 1995-06-07 | 2004-08-03 | Automotive Technologies International, Inc. | Vehicular monitoring systems using image processing |
| JP3812298B2 (ja) | 2000-06-26 | 2006-08-23 | 日産自動車株式会社 | 眼の状態検出装置 |
| US7287689B2 (en) * | 2003-12-09 | 2007-10-30 | First Data Corporation | Systems and methods for assessing the risk of a financial transaction using authenticating marks |
| JP4622710B2 (ja) | 2005-07-07 | 2011-02-02 | トヨタ自動車株式会社 | 顔向き検出装置及び顔向き検出方法 |
| JP4924883B2 (ja) * | 2007-01-30 | 2012-04-25 | オムロン株式会社 | 監視装置および方法、並びにプログラム |
| JP3166475U (ja) * | 2010-09-07 | 2011-03-10 | 研治 片山 | 追突防止警告装置 |
| JP5505434B2 (ja) * | 2012-02-09 | 2014-05-28 | 株式会社デンソー | 脇見判定装置 |
| JP6292054B2 (ja) * | 2013-11-29 | 2018-03-14 | 富士通株式会社 | 運転支援装置、方法、及びプログラム |
| WO2016052507A1 (ja) | 2014-09-30 | 2016-04-07 | エイディシーテクノロジー株式会社 | 自動運転制御装置 |
| US10114935B2 (en) * | 2014-12-23 | 2018-10-30 | Intel Corporation | Technologies for login pattern based multi-factor authentication |
| JP6573193B2 (ja) * | 2015-07-03 | 2019-09-11 | パナソニックＩｐマネジメント株式会社 | 判定装置、判定方法、および判定プログラム |
| JP6803525B2 (ja) * | 2015-10-14 | 2020-12-23 | パナソニックＩｐマネジメント株式会社 | 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法 |
| JP6844568B2 (ja) * | 2018-03-27 | 2021-03-17 | 日本電気株式会社 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
| JP6947099B2 (ja) * | 2018-03-27 | 2021-10-13 | 日本電気株式会社 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム |
| US11163981B2 (en) * | 2018-09-11 | 2021-11-02 | Apple Inc. | Periocular facial recognition switching |
| JP7198023B2 (ja) * | 2018-09-27 | 2022-12-28 | 株式会社アイシン | 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム |
-
2018
- 2018-03-27 JP JP2018059162A patent/JP6947099B2/ja active Active
-
2019
- 2019-03-25 US US17/040,682 patent/US11482020B2/en active Active
- 2019-03-25 WO PCT/JP2019/012400 patent/WO2019188926A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019188926A1 (ja) | 2019-10-03 |
| US20210056331A1 (en) | 2021-02-25 |
| JP2019171903A (ja) | 2019-10-10 |
| US11482020B2 (en) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6947099B2 (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム | |
| JP4763250B2 (ja) | 物体検出装置 | |
| JP6812952B2 (ja) | 脇見判定装置、脇見判定方法、およびプログラム | |
| EP2949534A2 (en) | Driver assistance apparatus capable of diagnosing vehicle parts and vehicle including the same | |
| JP6844568B2 (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム | |
| US20170151945A1 (en) | Information processing device, information processing method, control device for vehicle, and control method for vehicle | |
| CN111052174A (zh) | 图像处理设备、图像处理方法和程序 | |
| JP2008254487A (ja) | 横風警告装置、横風警告装置を搭載した自動車、および横風警告方法 | |
| JP7124935B2 (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム | |
| JP2019191808A (ja) | 異常検出装置および異常検出方法 | |
| JP6367531B2 (ja) | 車載器 | |
| WO2020138088A1 (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、プログラムを記憶する記憶媒体 | |
| WO2020090320A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| JP2020067818A (ja) | 画像選択装置及び画像選択方法 | |
| CN116118727B (zh) | 一种车道偏离预警方法、装置、设备及存储介质 | |
| CN113424243B (zh) | 信息处理装置、信息处理方法和信息处理程序 | |
| JP2019179979A (ja) | 露出制御装置及び露出制御システム | |
| JP7259957B2 (ja) | 判定システム、処理方法、プログラム | |
| CN110024008B (zh) | 障碍物判定系统以及障碍物判定程序 | |
| JP2023047835A (ja) | 車載装置および搭乗者モニタリング方法 | |
| JP2023125183A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
| KR100394671B1 (ko) | 차선 이탈 판정 방법 | |
| JP2023167274A (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
| JP2023125182A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
| JP2023135388A (ja) | 車速制御装置、車速制御方法及び車速制御用コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6947099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |