JP5590747B2 - 運転者危険運転報知装置 - Google Patents

運転者危険運転報知装置 Download PDF

Info

Publication number
JP5590747B2
JP5590747B2 JP2012261513A JP2012261513A JP5590747B2 JP 5590747 B2 JP5590747 B2 JP 5590747B2 JP 2012261513 A JP2012261513 A JP 2012261513A JP 2012261513 A JP2012261513 A JP 2012261513A JP 5590747 B2 JP5590747 B2 JP 5590747B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
single image
dangerous driving
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012261513A
Other languages
English (en)
Other versions
JP2014106899A (ja
Inventor
史郎 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Access Corp
Original Assignee
Honda Access Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Access Corp filed Critical Honda Access Corp
Priority to JP2012261513A priority Critical patent/JP5590747B2/ja
Priority to DE112013005698.4T priority patent/DE112013005698T5/de
Priority to PCT/JP2013/068236 priority patent/WO2014083879A1/ja
Priority to US14/443,269 priority patent/US9527442B2/en
Priority to BR112015012518A priority patent/BR112015012518A2/pt
Publication of JP2014106899A publication Critical patent/JP2014106899A/ja
Application granted granted Critical
Publication of JP5590747B2 publication Critical patent/JP5590747B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、運転者による車両の危険な運転を報知する装置（運転者危険運転報知装置）等に関連し、特に、運転者危険運転報知装置において、危険な運転を予知する時に、同時に撮像された室内の画像及び室外の画像が用いられている。
例えば特許文献１の図１，図２は、運転者危険運転報知装置として運転支援装置１を開示している。その運転支援装置１の車室内カメラ１１及び運転者状態判定部２２は、運転者の頭部の画像を撮像し、運転者の視線方向を判定する一方、運転支援装置１の車外カメラ１５及び危険判定部２３（危険方向判定部２３ｂ）は、自車両周辺の画像を撮像し、危険要因の自車両に対する相対方向を判定する。特許文献１の段落［００６０］，［００６１］，［００６２］の記載によれば、運転支援装置１の支援内容決定部２５は、運転者の視線方向（運転者状態判定部２２からの出力）と危険要因の自車両に対する相対方向（危険判定部２３からの出力）とに基づき、危険要因の存在を報知する警告の内容を決定し、具体的には、運転者の視界外の危険要因に対する警告は、運転者の視界内の危険要因に対する警告によりも優先される。このように、支援内容決定部２５は、危険要因が運転者の視界外にあるのか否かを判定する必要がある。
特許第４２７５５０７号公報
しかしながら、支援内容決定部２５が上記判定を行うためには、当然に、運転者状態判定部２２からの出力（車両室内画像）と危険判定部２３からの出力（車両室外画像）とを同期させる必要がある。言い換えれば、車室内カメラ１１で撮像される運転者の頭部の画像（車両室内画像）及び車外カメラ１５で撮像される自車両周辺の画像（車両室外画像）の各々は、個別に管理される必要がある。
また、これらの２つの画像を運転者状態判定部２２及び危険方向判定部２３ｂで別々に処理するので、２つの方向（運転者の視線方向、危険要因の自車両に対する相対方向）を判定する必要があり、さらに、支援内容決定部２５でそれらの２つの方向に基づき危険要因が運転者の視界外にあるのか否かを判定する必要がある。言い換えれば、危険要因の存在を報知する警告の内容を決定する際の処理の負担が大きい。
本発明の１つの目的は、危険な運転を予知する際の処理の負担を軽減可能な運転者危険運転報知装置等を提供することである。本発明の他の目的は、以下に例示する態様及び好ましい実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
本発明に従う第１の態様は、車両の室内の運転者及び前記車両の室外の被写体を関連付けて、前記運転者及び前記被写体を同時に表す単一の画像に基づき、前記運転者による前記車両の危険な運転を予知する危険予知部と、
前記危険予知部によって前記危険な運転が予知される場合、前記危険な運転を前記運転者に報知する危険報知部と、
を備えることを特徴とする運転者危険運転報知装置に関係する。
第１の態様では、車両の室内の運転者及び車両の室外の被写体を関連付けて生成される運転者及び被写体を同時に表す単一の画像が利用される。言い換えれば、運転者を表す画像（車両室内画像）と被写体を表す画像（車両室外画像）とを別々に処理する必要がない。第１の態様では、単一の画像を一度に処理することが可能であるので、危険な運転を予知する際の危険予知部の処理の負担を軽減することができる。
本発明に従う第２の態様では、第１の態様において、
前記危険予知部は、
前記単一の画像内の前記運転者の視線方向及び／又は顔の向きを検出する運転者視界検出部と、
前記単一の画像内の危険要因を検出する危険要因検出部と、
を有してもよい。
第２の態様では、運転者の視線方向及び／又は顔の向きに基づき運転者の視界を検出することができるとともに、単一の画像内の危険要因も検出することができる。これらの検出によって、危険予知部は、運転者による車両の危険な運転（例えば運転者が信号機を注視していない、運転者が居眠りをしている等）を予知することができる。
特に、例えば、危険要因が運転者の視界外にあるのか否かを判定する時、運転者の視線方向及び／又は顔の向きが単一の画像内の危険要因を示しているか否かを判断するだけでよい。言い換えれば、危険要因の車両に対する相対方向を検出する必要がなく、運転者の視線方向及び／又は顔の向きから直接に危険要因が運転者の視界外にあるのか否かを判定することができる。従って、危険な運転を予知する際の危険予知部の処理の負担をより一層軽減することができる。
本発明に従う第３の態様では、第１又は第２の態様は、
前記単一の画像を撮像する同時撮像部を
さらに備えてもよい。
第３の態様では、単一の画像を撮像する同時撮像部を備えるので、運転者を表す画像（車両室内画像）と被写体を表す画像（車両室外画像）とを同期させる必要がない。言い換えれば、単一の画像だけが生成されるので、その単一の画像の管理は、容易である。
本発明に従う第４の態様では、第３の態様において、
前記同時撮像部は、
前記運転者及び前記被写体を関連付ける光学系と、
前記光学系を介して前記運転者及び前記被写体を同時に撮像する単一の撮像素子と、
を有してもよい。
第４の態様では、光学系（例えば屈折部）で運転者及び被写体を単一の撮像素子内に集めて、双方を関連付けることができる。
本発明に従う第５の態様では、第１乃至第４の何れかの態様は、
前記危険予知部によって前記危険な運転が予知される場合、前記危険な運転に対応する前記車両の位置を記憶する危険予知場所記憶部と、
地図情報とともに、前記地図情報内の前記位置を表示する地図情報表示部と、
をさらに備えてもよい。
運転者が地図情報表示部を見ることで、危険な運転を表す過去の履歴を把握することができる。言い換えれば、運転者が同じルートに沿って車両を再度運転しようとする場合、運転者が地図情報内の過去の危険な位置を事前に認知することで、運転者は、次の運転を安全に行うことができる。
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
本発明に従う運転者危険運転報知装置の構成例を示す。 図２（Ａ）は、図１の光学系の概略構成例を示し、図２（Ｂ）は、図１の同時撮像部で生成される単一の画像の構図例を示す。 図３（Ａ）は、図１の地図情報表示部の表示例を示し、図３（Ｂ）及び図３（Ｃ）の各々は、図１の地図情報表示部の変形例（表示部）での表示例を示す。
以下に説明する好ましい実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
図１は、本発明に従う運転者危険運転報知装置の構成例を示す。図１の例において、運転者危険運転報知装置１００は、危険予知部３０及び危険報知部４０を備えている。ここで、危険予知部３０は、車両の室内の運転者及び車両の室外の被写体を関連付けて、運転者（車両室内被写体）及び被写体（車両室外被写体）を同時に表す単一の画像に基づき、運転者による車両の危険な運転を予知することができる。また、危険報知部４０は、危険予知部３０によって運転者による危険な運転が予知される場合、運転者による危険な運転をその運転者に報知することができる。
図１の例において、運転者危険運転報知装置１００は、例えば同時撮像部１０をさらに備えることができる。ここで、同時撮像部１０は、運転者（車両室内被写体）及び被写体（車両室外被写体）を同時に表す単一の画像を撮像することができる。なお、運転者危険運転報知装置１００が単一の画像を撮像する同時撮像部１０を備えない場合、言い換えれば、運転者危険運転報知装置１００が例えば第１の撮像部（図示せず）及び第２の撮像部（図示せず）を備える場合、危険予知部３０は、運転者を表す画像（車両室内画像）及び被写体を表す画像（車両室外画像）を合成することによって生成された単一画像を入力してもよい。
図１の例において、危険予知部３０は、運転者を表す画像（車両室内画像）と被写体を表す画像（車両室外画像）とを別々に処理する必要がない。言い換えれば、危険予知部３０は、単一の画像を一度に処理することが可能であるので、運転者による危険な運転を予知する際の危険予知部３０の処理の負担を軽減することができる。また、運転者危険運転報知装置１００が単一の画像を撮像する同時撮像部１０を備える場合、危険予知部３０は、運転者を表す画像（車両室内画像）と被写体を表す画像（車両室外画像）とを同期させる必要がない。言い換えれば、単一の画像だけが同時撮像部１０で生成されるので、危険予知部３０は、車両室内画像及び車両室外画像の双方ではなく、単一の画像だけを管理すればよく、従って、その単一の画像の管理は、容易である。
図１の例において、同時撮像部１０は、例えば光学系１１及び単一の撮像素子１２で構成され、単一の撮像素子１２は、光学系１１を介して運転者（車両室内被写体）及び被写体（車両室外被写体）を同時に撮像することができる。光学系１１は、車両室内被写体及び車両室外被写体を単一の撮像素子１２内に集めて、車両室内被写体及び車両室外被写体の双方を関連付けることができる。ここで、光学系１１は、例えばレンズ及びプリズムを有し、屈折部で構成可能であり、単一の撮像素子１２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有し、イメージセンサ部で構成可能である。単一の撮像素子１２は、ＣＤＳ（Correlated Double Sampling）、Ａ／Ｄ（Analog to Digital）変換等の処理機構をさらに有することができ、デジタル形式の単一の画像（画像信号）を出力することができる。
図２（Ａ）は、図１の光学系１１の概略構成例を示し、図２（Ｂ）は、図１の同時撮像部１０で生成される単一の画像の構図例を示す。図２（Ａ）の例において、一対の概略光路が示され、光学系１１は、例えば一対の屈折部（例えば６枚のレンズ及び１つの三角プリズム）を有し、一対の屈折部のうちの一方（例えば右側の３枚のレンズ及び１つの三角プリズムの右半分）は、運転者（車両室内被写体）からの光を例えば９０［ｄｅｇｒｅｅ］屈折させて単一の撮像素子１２内の投影像（車両室内投影像）を生成する。また、一対の屈折部のうちの他方（例えば左側の３枚のレンズ及び１つの三角プリズムの左半分）は、被写体（車両室外被写体）からの光を例えば９０［ｄｅｇｒｅｅ］屈折させて単一の撮像素子１２内の投影像（車両室外投影像）を生成する。なお、一対の概略光路の各々は、直角に１点で屈折しているが、実際には複数の点で徐々に曲線的に屈折してもよい。
図２（Ｂ）の例において、単一の画像の上側は、運転者を含む車両室内被写体に対応する。また、単一の画像の下側は、被写体としての例えば信号機を含む車両室外被写体に対応する。単一の画像の下側は、例えば通常のカメラで構成される第２の撮像部（図示せず）を車両室内に設置し、車両室内側から車両室外側にカメラのレンズを向けた時の画像、言い換えれば、運転者から車両室外を見た時の構図である。図２（Ｂ）の例において、運転者から車両室外方向（例えばフロントガラス等）を見ている時を基準として、車両の前方左側に信号機が配置され、その信号機は、例えば緑色、黄色及び赤色からなる３つの信号灯を有する。車両の前方右側にもう１つの信号機が配置され、そのもう１つの信号機の例えば３つの信号灯は、隠れている。
単一の画像の上側は、例えば通常のカメラで構成される第１の撮像部（図示せず）を車両室内に設置し、車両室外側から車両室内側にカメラのレンズを向けた時の画像の上下反転、言い換えれば、運転者から車両室内を逆立ちで見た時の構図である。図２（Ｂ）の例（実空間）において、運転者から車両室外方向（例えばフロントガラス等）を見ている時を基準として、車両室内の右側座席（運転席）に運転者が配置され、その運転者は、車両室内の左側座席（助手席）側と反対側を向いている（図２（Ｂ）中の実線の矢印方向）。即ち、図２（Ｂ）の例（単一の画像）において、単一の画像を正面視している時を基準として、単一の画像の左側に運転者が配置され、その単一の画像内の運転者は、単一の画像の右側と反対側を向いている（図２（Ｂ）中の実線の矢印方向）。
例えば運転者が車両を運転し、車両が前進する時に、実空間において車両の前方左側に信号機が配置される場合、運転者は、例えば緑色、黄色及び赤色からなる３つの信号灯を注視する必要があり、従って、運転者は、その信号機が緑色、黄色及び赤色の何れかを表しているのか判断する必要がある。言い換えれば、運転者は、実空間において車両室内の左側座席（助手席）側を向いている必要があり、従って、単一の画像内の運転者は、単一の画像の右側を向いている必要がある（図２（Ｂ）中の点線の矢印方向）。このように、運転者（車両室内被写体）及び被写体（車両室外被写体）を同時に表す単一の画像を解析することで、運転者の状況及び車両周辺の道路環境を把握することが可能になり、従って、危険予知部３０は、運転者による車両の危険な運転（例えば運転者が信号機を注視していない）を予知することができる。
図１の同時撮像部１０は、典型的には、車両室内の例えばインストルメントパネル（図示せず）に配置され、同時撮像部１０が運転者（車両室内被写体）及び例えば車両の前方の信号機、道路等の道路環境（車両室外被写体）を同時に撮像することができる。なお、同時撮像部１０は、例えば夜間に運転者の瞳に近赤外線を照射可能な照射部（図示せず）、焦点距離を調整可能なズームレンズ（図示せず）、光量を調整可能な絞り機構（図示せず）等をさらに備えてもよい。ここで、同時撮像部１０の照射部、ズームレンズ、絞り機構等は、例えば危険予知部３０によって制御される。
図１の例において、危険予知部３０は、単一の画像内の運転者の視線方向及び／又は顔の向きを検出する運転者視界検出部３１と、単一の画像内の危険要因（例えば信号機）を検出する危険要因検出部３２と、を有することができる。ここで、危険予知部３０は、例えばＡＳＩＣ（Application Specific IC）、マイコン等の処理部で構成され、危険予知部３０のワーク領域又は記憶部２０に例えばデジタル形式の単一の画像（画像信号）が管理され、運転者視界検出部３１は、その単一の画像を読み出し、単一の画像内の例えば上方右側領域内の運転者の例えば瞳等の顔器官を表す特徴点を抽出することができる。具体的には、運転者視界検出部３１は、運転者の例えば左右の瞳を認識し、運転者の視線方向を検出することができる。また、運転者視界検出部３１は、運転者の例えば左右の目、鼻、口を認識し、運転者の顔の向きを検出することができる。
なお、運転者の特徴点を予め登録して、登録された運転者のみを検出してもよい。また、ステアリングハンドル等の特徴点を予め登録して、運転席付近の乗員のみを検出してもよい。
危険要因検出部３２は、単一の画像内の例えば下方領域内の信号機、歩行者（図示せず）、対向車（図示せず）、トンネル（図示せず）等の危険因子を表す特徴点を抽出することができる。具体的には、危険要因検出部３２は、信号機の例えば緑色から黄色への変化を認識することができる。また、危険要因検出部３２は、信号機の例えば赤色の点灯を認識することができる。同様に、危険要因検出部３２は、歩行者の例えば飛び出しを認識することができる。
このように、運転者の視線方向及び／又は顔の向きに基づき運転者の視界を検出することができるとともに、単一の画像内の危険要因も検出することができる。これらの検出によって、危険予知部３０は、運転者による車両の危険な運転（例えば運転者が信号機、歩行者、対向車、トンネル等の危険因子を注視していない）を予知することができる。加えて、運転者が危険因子を注視してとしても、運転者が危険因子を注視するまでの応答時間が所定の応答時間よりも遅れる場合、危険予知部３０は、運転者による車両の危険な運転（例えば運転者が居眠りをしている）を予知することができる。
加えて、運転者視界検出部３１は、運転者の例えば左及び／又は右の瞳の動き（瞳孔の大きさの変化率）を検出することができ、危険要因検出部３２は、例えばトンネルへの車両の進入、トンネルから車両の脱出等の車両周辺の外光の量の変化率を検出することができる。例えば、外光の量の変化率が所定値（外光所定値）よりも大きい時に、瞳孔の大きさの変化率が所定値（瞳孔所定値）よりも小さい場合、即ち瞳の動きが遅い場合、危険予知部３０は、運転者による車両の危険な運転（例えば運転者が車両の運転に集中していない、運転者が居眠りに近い状態に陥っている）を予知することができる。
なお、同時撮像部１０の照射部が運転者の瞳に近赤外線を照射する場合、運転者視界検出部３１は、運転者の視線方向だけでなく、運転者の例えば左及び／又は右の瞳の動きもより正確に検出することができる。
ところで、図２（Ｂ）の例において、危険要因が運転者の視界外にあるのか否かを判定する時、運転者の視線方向及び／又は顔の向きが単一の画像内の危険要因を示しているか否かを判断するだけでよい。具体的には、運転者の例えば左右の目を中心として、単一の画像内で水平方向及び垂直方向の直線をそれぞれベースライン１及び２に設定し、ベースライン１及び２で単一の画像を例えば４分割する。図２（Ｂ）中の単一の画像内の実線の矢印方向（運転者の視線方向及び／又は顔の向き）は、例えば左下画像に対応する一方、図２（Ｂ）中の単一の画像内の例えば３つの信号灯（危険要因）は、例えば右下画像に対応する。このように、例えば運転者の視線方向及び／又は顔の向きが単一の画像内の危険要因を示していない時に、危険要因が運転者の視界外にあり、従って、例えば運転者が３つの信号灯を持つ信号機を注視していない（運転者による車両の危険な運転）と判断することができる。
或いは、図２（Ｂ）中の単一の画像内の点線の矢印方向（運転者の視線方向及び／又は顔の向き）は、例えば右下画像に対応する一方、図２（Ｂ）中の単一の画像内の例えば３つの信号灯（危険要因）は、例えば右下画像に対応する。このように、例えば運転者の視線方向及び／又は顔の向きが単一の画像内の危険要因を示している時に、危険要因が運転者の視界外になく、従って、例えば運転者が３つの信号灯を持つ信号機を注視している（運転者による車両の安全な運転）と判断することができる。
このように、危険予知部３０又は危険運転判定部３３は、実空間において危険要因の車両に対する相対方向を検出する必要がなく、単一の画像内の運転者の視線方向及び／又は顔の向きから直接に危険要因が運転者の視界外にあるのか否か（運転者による車両の危険な運転の有無）を判定することができる。従って、運転者による危険な運転を予知する際の危険予知部３０又は危険運転判定部３３の処理の負担をより一層軽減することができる。
図１の例において、運転者危険運転報知装置１００は、例えば危険予知場所記憶部２１をさらに備えることができる。ここで、危険予知場所記憶部２１は、危険予知部３０又は危険運転判定部３３によって危険な運転が予知される場合、その危険な運転に対応する車両の位置を記憶することができる。車両の位置は、例えばＧＰＳ（Global Positioning System）受信機（図示せず）で計測することができ、危険運転判定部３３は、単一の画像に基づき運転者による車両の危険な運転を予知した時の車両の位置を例えばＧＰＳ受信機から受け取ることができる。
なお、危険予知場所記憶部２１は、車両の位置だけでなく、運転者による車両の危険な運転を予知した時の時刻、標高、加速度、単一の画像等を記憶してもよい。また、記憶部２０は、危険予知場所記憶部２１だけでなく、地図情報を記憶する地図情報記憶部２２を有してもよい。加えて、記憶部２０は、危険予知部３０を実現するためのプログラム、車両の危険な運転を予知した時の車両の位置を再現するプログラム、目的地までのルートをナビゲーションするプログラム等を記憶することができる。
図１の例において、運転者危険運転報知装置１００は、例えば地図情報表示部５０をさらに備えることができる。ここで、地図情報表示部５０は、地図情報記憶部２２に記憶される地図情報とともに、危険予知場所記憶部２１に記憶される地図情報内の車両の危険な運転を予知した時の車両の位置を表示することができる。
記憶部２０は、例えばＨＤＤ（Hard Disk Drive）、フラシュメモリ等で構成可能であり、危険報知部４０は、例えばスピーカ、警告灯等で構成可能であり、地図情報表示部５０は、例えばディスプレイ等で構成可能である。
図３（Ａ）は、図１の地図情報表示部５０の表示例を示し、図３（Ｂ）及び図３（Ｃ）の各々は、図１の地図情報表示部５０の変形例（表示部５０'）での表示例を示す。図３（Ａ）の例において、地図情報表示部５０は、地図情報とともに、地図情報内の車両の危険な運転を予知した時の車両の位置（図３（Ａ）中の（１）及び（２））を表示することができる。運転者が地図情報表示部５０を見ることで、危険な運転を表す過去の履歴を把握することができる。言い換えれば、運転者が同じルートに沿って車両を再度運転しようとする場合、運転者が地図情報内の過去の危険な位置を事前に認知することで、運転者は、次の運転を安全に行うことができる。
危険予知場所記憶部２１は、車両の位置だけでなく、運転者による車両の危険な運転を予知した時の例えば単一の画像を記憶してもよい。単一の画像は、静止画でもよく、動画でもよい。危険予知場所記憶部２１が動画を記憶する場合、危険予知部３０又は処理部は、その動画を例えば１０倍で早送りすることができる。動画は、車両が運転される間記憶することができ、車両の位置も、車両が運転される間記憶することができる。即ち、図３（Ａ）に示されるように、車両の位置（図３（Ａ）中の自動車）を描画するとともに、過去のルート上の危険な位置（図３（Ａ）中の（１）及び（２））を示すことができる。
図３（Ｂ）の例において、地図情報表示部５０は、地図情報の代わりに、例えばスピードメータを表示し、車両の危険な運転を予知した時の例えば時刻（図３（Ｂ）中の（１）、（２）及び（３））を表示することができる。また、図３（Ｃ）の例において、地図情報表示部５０は、地図情報の代わりに、例えば標高を表示し、車両の危険な運転を予知した時の例えば時刻（図３（Ｃ）中の（１）及び（２））を表示することができる。
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
１０・・・同時撮像部、１１・・・光学系、１２・・・単一の撮像素子、２０・・・記憶部、２１・・・危険予知場所記憶部、２２・・・地図情報記憶部、３０・・・危険予知部、３１・・・運転者視界検出部、３２・・・危険要因検出部、３３・・・危険運転判定部、４０・・・危険報知部、５０・・・地図情報表示部、１００・・・運転者危険運転報知装置。

Claims (4)

  1. 車両の室内の運転者及び前記車両の室外の被写体を関連付けて、前記運転者及び前記被写体を同時に表し、前記運転者又は前記被写体の一方のみが上下反転されている単一の画像に基づき、前記単一の画像の上側又は下側の一方から前記運転者の視線方向及び／又は顔の向きを検出する運転者視界検出部と、前記単一の画像の上側又は下側の他方から危険要因を検出する危険要因検出部とを有する危険予知部であって、前記運転者の視線方向及び／又は顔の向きが前記単一の画像内の前記危険要因を示しているか否かに基づいて、前記危険要因が前記運転者の視界外にあるのか否かを判定して、前記運転者による前記車両の危険な運転を予知する前記危険予知部と、
    前記危険予知部によって前記危険な運転が予知される場合、前記危険な運転を前記運転者に報知する危険報知部と、
    を備え、
    前記運転者が上下反転されているときは、前記運転者視界検出部は前記単一画像の前記上側から前記運転者の視線方向及び／又は顔の向きを検出し、前記危険要因検出部は前記単一画像の前記下側から危険要因を検出する一方、
    前記被写体が上下反転されているときは、前記運転者視界検出部は前記単一の画像の前記下側から前記運転者の視線方向及び／又は顔の向きを検出し、前記危険要因検出部は前記単一画像の前記上側から危険要因を検出することを特徴とする運転者危険運転報知装置。
  2. 前記単一の画像を撮像する同時撮像部を
    さらに備えることを特徴とする請求項１に記載の運転者危険運転報知装置。
  3. 前記同時撮像部は、
    前記運転者及び前記被写体を関連付ける光学系と、
    前記光学系を介して前記運転者及び前記被写体を同時に撮像して、前記単一の画像を形成する単一の撮像素子と、
    を有することを特徴とする請求項２に記載の運転者危険運転報知装置。
  4. 前記危険予知部によって前記危険な運転が予知される場合、前記危険な運転に対応する前記車両の位置を記憶する危険予知場所記憶部と、
    地図情報とともに、前記地図情報内の前記位置を表示する地図情報表示部と、
    をさらに備えることを特徴とする請求項１乃至３の何れか１項に記載の運転者危険運転報知装置。
JP2012261513A 2012-11-29 2012-11-29 運転者危険運転報知装置 Expired - Fee Related JP5590747B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012261513A JP5590747B2 (ja) 2012-11-29 2012-11-29 運転者危険運転報知装置
DE112013005698.4T DE112013005698T5 (de) 2012-11-29 2013-07-03 Fahrer-gefährliches Fahren-Meldeeinrichtung
PCT/JP2013/068236 WO2014083879A1 (ja) 2012-11-29 2013-07-03 運転者危険運転報知装置
US14/443,269 US9527442B2 (en) 2012-11-29 2013-07-03 Driver dangerous driving reporting device
BR112015012518A BR112015012518A2 (pt) 2012-11-29 2013-07-03 dispositivo de relato de condução perigosa de motorista

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012261513A JP5590747B2 (ja) 2012-11-29 2012-11-29 運転者危険運転報知装置

Publications (2)

Publication Number Publication Date
JP2014106899A JP2014106899A (ja) 2014-06-09
JP5590747B2 true JP5590747B2 (ja) 2014-09-17

Family

ID=50827536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012261513A Expired - Fee Related JP5590747B2 (ja) 2012-11-29 2012-11-29 運転者危険運転報知装置

Country Status (5)

Country Link
US (1) US9527442B2 (ja)
JP (1) JP5590747B2 (ja)
BR (1) BR112015012518A2 (ja)
DE (1) DE112013005698T5 (ja)
WO (1) WO2014083879A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
KR20150066739A (ko) * 2013-12-09 2015-06-17 경북대학교 산학협력단 경고 메시지를 제공하는 차량 제어 시스템 및 그 방법
US9547989B2 (en) 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
WO2018117631A1 (en) * 2016-12-21 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
US20190137287A1 (en) * 2017-06-27 2019-05-09 drive.ai Inc. Method for detecting and managing changes along road surfaces for autonomous vehicles
EP3678114A4 (en) * 2017-08-31 2020-08-12 Fujitsu Limited DETECTION PROGRAM, DETECTION METHOD AND DETECTION SYSTEM
JP7067067B2 (ja) * 2018-01-11 2022-05-16 トヨタ自動車株式会社 信号機認識装置、及び自動運転システム
US11021147B2 (en) 2018-12-12 2021-06-01 Toyota Research Institute, Inc. Vehicles and methods for determining objects of driver focus
US20220164958A1 (en) * 2020-11-24 2022-05-26 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method Of Using Camera For Both Internal And External Monitoring Of A Vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19921488A1 (de) * 1999-05-08 2000-11-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Überwachung des Innenraums und des Umfeldes eines Fahrzeugs
JP4275507B2 (ja) 2003-10-28 2009-06-10 富士通テン株式会社 運転支援装置
JP2007253705A (ja) * 2006-03-22 2007-10-04 Mazda Motor Corp 車両用撮像装置
US20110317015A1 (en) * 2008-10-29 2011-12-29 Kyocera Corporation Vehicle-mounted camera module
JP5589424B2 (ja) * 2010-02-16 2014-09-17 株式会社リコー 撮像装置及び撮像システム
JP4990421B2 (ja) * 2010-03-16 2012-08-01 三菱電機株式会社 路車協調型安全運転支援装置
JP5610921B2 (ja) * 2010-08-24 2014-10-22 アルパイン株式会社 走行履歴表示装置、走行履歴表示方法および走行履歴表示プログラム

Also Published As

Publication number Publication date
DE112013005698T5 (de) 2015-09-03
US9527442B2 (en) 2016-12-27
JP2014106899A (ja) 2014-06-09
US20150291093A1 (en) 2015-10-15
WO2014083879A1 (ja) 2014-06-05
BR112015012518A2 (pt) 2017-07-11

Similar Documents

Publication Publication Date Title
JP5590747B2 (ja) 運転者危険運転報知装置
JP5492962B2 (ja) 視線誘導システム
KR102004062B1 (ko) 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차
JP2016055674A (ja) 車両用表示装置
JP2005182306A (ja) 車両用表示装置
JP5855206B1 (ja) 車両用透過表示装置
JP2012195793A (ja) 車両周辺監視装置
ES2603002T3 (es) Sistema de asistencia al conductor para vehículos, en particular vehículos industriales
KR20080020956A (ko) 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템
KR102052405B1 (ko) 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법
KR101621876B1 (ko) 차량에서 웨어러블 기기를 이용한 전조등 제어 방법 및 이를 수행하는 차량
JP2015138308A (ja) 運転支援装置、運転支援方法及び運転支援プログラム
JP5853897B2 (ja) 操作制御装置、及び、操作制御プログラム
TW201601955A (zh) 車用安全系統及其運作方法
JP5422622B2 (ja) ヘッドアップディスプレイ装置
JP5513353B2 (ja) 警報装置
JP2007286959A (ja) 運転支援装置
JP2019056884A (ja) 重畳画像表示装置
JP4277678B2 (ja) 車両運転支援装置
WO2014076841A1 (ja) 表示装置、制御方法、プログラム、及び記憶媒体
JP4857159B2 (ja) 車両運転支援装置
JP2007133644A (ja) 歩行者認識装置
JP2007299047A (ja) 運転支援装置
US11023750B2 (en) Video output system
JP5492963B2 (ja) 視線誘導システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140728

R150 Certificate of patent or registration of utility model

Ref document number: 5590747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees