JP6410987B2 - 運転支援装置、運転支援方法、及び、運転支援プログラム - Google Patents

運転支援装置、運転支援方法、及び、運転支援プログラム Download PDF

Info

Publication number
JP6410987B2
JP6410987B2 JP2018501085A JP2018501085A JP6410987B2 JP 6410987 B2 JP6410987 B2 JP 6410987B2 JP 2018501085 A JP2018501085 A JP 2018501085A JP 2018501085 A JP2018501085 A JP 2018501085A JP 6410987 B2 JP6410987 B2 JP 6410987B2
Authority
JP
Japan
Prior art keywords
driving support
image data
driver
imaging
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018501085A
Other languages
English (en)
Other versions
JPWO2017145645A1 (ja
Inventor
新貝　安浩
安浩 新貝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6410987B2 publication Critical patent/JP6410987B2/ja
Publication of JPWO2017145645A1 publication Critical patent/JPWO2017145645A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、運転支援装置、運転支援方法、及び、運転支援プログラムに関する。
自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物における運転を支援するシステムとして、乗り物の周囲を撮像可能に搭載された複数の撮像部と、運転者の頭部の動きを検出する動き検出部と、運転者の頭部に装着して用いられる透過型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）と、を備えるシステムが提案されている（特許文献１及び特許文献２参照）。
このシステムは、運転者の視線方向に対応する撮像部によって撮像される画像をＨＭＤに表示させることで、運転者の死角となる部分を運転者に視認させて安全運転を支援している。
特開２００９−２７８２３４号公報 特開平１０−２０６７８９号公報
特許文献１に記載のシステムは、透過型のＨＭＤを通して運転者から見える像に、撮像部によって撮像された画像が単純に重畳されるものである。このため、運転者から見える像の一部が撮像部によって撮像されている場合には、同じ内容の像が２つ観察される場合があり、運転者に違和感を生じさせてしまう。
特許文献２に記載のシステムは、非透過型のＨＭＤを用いているため、運転者はＨＭＤを通して実際の像を確認することができず、安全性に支障をきたす。
本発明は、上記事情に鑑みてなされたものであり、運転者に違和感を生じさせることなく安全運転を支援することのできる運転支援装置、運転支援方法、及び、運転支援プログラムを提供することを目的とする。
本発明の運転支援装置は、乗り物の運転を支援する運転支援装置であって、前記乗り物の運転者の視線を検出する視線検出部と、前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択部と、前記乗り物の前記運転者の眼の前方に固定される透過型の表示部と、前記運転者の眼の前方を撮像する第二の撮像部と、前記撮像選択部により選択された前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の眼の前方を撮像する前記第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記乗り物の前記運転者の眼の前方に固定される前記透過型の表示部に表示させる表示制御部と、を備え、前記運転者の頭部に装着されるものである。
本発明の運転支援方法は、乗り物の運転を支援する運転支援方法であって、前記乗り物の運転者の視線を検出する視線検出ステップと、前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備えるものである。
本発明の運転支援プログラムは、乗り物の運転を支援する運転支援プログラムであって、前記乗り物の運転者の視線を検出する視線検出ステップと、前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのものである。
本発明によれば、運転者に違和感を生じさせることなく安全運転を支援することのできる運転支援装置、運転支援方法、及び、運転支援プログラムを提供することができる。
本発明の一実施形態である運転支援装置２を装着する運転者が乗車する自動車１の概略構成を示す模式図である。 本発明の一実施形態である運転支援装置２の外観構成を示す斜視図である。 図２に示す運転支援装置２のブロック構成を示す図である。 第一の撮像部１５により撮像して得られた第一の撮像画像データ５０の一例を示す図である。 運転者が運転支援装置２を装着して自動車１の後方を向いた場合に運転者から観察される車内の風景を示す図である。 加工処理後の第一の撮像画像データ５０に基づく画像が表示部２７に表示された状態で運転者から観察される風景を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態である運転支援装置２を装着する運転者が乗車する自動車１の概略構成を示す模式図である。図２は、本発明の一実施形態である運転支援装置２の外観構成を示す斜視図である。ここでは自動車１の運転者に運転支援装置２が装着される例を説明するが、電車、船舶、重機、航空機、又は、農作用機械等の乗り物の運転者に運転支援装置２が装着される構成であってもよい。
図１に示す自動車１は、車体右側に右サイドミラー１１が設けられ、車体左側に左サイドミラー１２が設けられている。自動車１は、右サイドミラー１１に取り付けられた第一の撮像部１３と、左サイドミラー１２に取り付けられた第一の撮像部１４と、自動車１の後方に位置するトランク部分に取り付けられた第一の撮像部１５と、を備える。
第一の撮像部１３は、自動車１の右側方から後方の範囲を撮像するものである。第一の撮像部１４は、自動車１の左側方から後方の範囲を撮像するものである。第一の撮像部１５は、自動車１の後方を撮像するものである。
このように、自動車１には、自動車１の周囲を撮像する複数の第一の撮像部が設けられている。なお、第一の撮像部１３〜１５の配置位置は図１に示したものに限定されない。例えば、第一の撮像部１３及び第一の撮像部１４は、右サイドミラー１１及び左サイドミラー１２に代えてフェンダミラーに取り付けられるものであってもよい。また、第一の撮像部１５は、例えば、ナンバープレートの近傍位置又はリヤウインドウ近傍位置等に設置されていてもよい。
第一の撮像部１３〜１５は、有線又は無線によって運転支援装置２と接続されている。第一の撮像部１３〜１５で撮像して得られる撮像画像データは、有線又は無線によって運転支援装置２に転送される。
運転支援装置２は、運転者の頭部に装着して用いられるものであり、図２に示す例ではメガネ形状の装置である。運転支援装置２は、運転者の頭部に装着された状態で、運転者の眼の前方を撮像することにより得られる撮像画像に基づいて運転者の視線を検出し、第一の撮像部１３〜１５の中から、検出した視線に対応する第一の撮像部で撮像された撮像画像を表示部２７に表示させる。これにより、運転者の死角となる範囲を視認可能として安全運転を支援するものである。
運転支援装置２は、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、ブリッジ２２に設けられた鼻当て２３Ｒ，２３Ｌ、及び、透明基板２４Ｒ，２４Ｌからなるメガネ本体と、メガネ本体に固定された制御ユニット２５と、を備える。
テンプル２１Ｒ、２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、運転者の耳又は側頭部に係止され、頭部への保持及び装着位置の調整を行うためのものである。
ブリッジ２２は、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した位置関係に保持する。
制御ユニット２５は、図２の例では、運転者の右眼の前方に配置される透明基板２４Ｒに固定されており、電池及び後述するシステム制御部３０等が収容される筐体２６と、透過型の表示部２７と、第二の撮像部２８と、を備える。
表示部２７は、運転者の眼の前方に固定される。これにより、表示部２７に表示された画像と、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者から観察される背景像とが重なった像を、運転者が観察可能となっている。
第二の撮像部２８は、運転者の眼の前方を撮像するものである。第二の撮像部２８の光軸及び画角は、運転者の視線及び視野と略同一になるように設定されている。
図３は、図２に示す運転支援装置２のブロック構成を示す図である。
図３に示すように、運転支援装置２は、表示部２７と、第二の撮像部２８と、システム制御部３０と、を備える。
システム制御部３０は、運転支援装置２を統括制御する。システム制御部３０は、プロセッサを主体に構成されており、プロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ
Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。
システム制御部３０は、プロセッサがＲＯＭに記憶されたプログラムを実行することにより、視線検出部３１と、撮像選択部３２と、表示制御部３３として機能する。このプログラムは運転支援プログラムを含む。
視線検出部３１は、第二の撮像部２８によって運転者の眼の前方を撮像して得られた第二の撮像画像データを有線又は無線通信により取得し、取得した第二の撮像画像データを公知の画像解析処理により解析して、運転者の視線を検出する。
視線検出部３１は、例えば、運転支援装置２に設けられた加速度センサ又はジャイロセンサ等のセンサの情報に基づいて運転者の頭部の動きを検知し、検知した動きに基づいて装着者の視線を検出してもよい。
撮像選択部３２は、視線検出部３１で検出された運転者の視線に基づいて、第一の撮像部１３〜１５の中から、検出した視線の方向に対応する第一の撮像部を選択する。
自動車１の運転者の視線の方向と、第一の撮像部１３〜１５のうち、その運転者の視線の方向の風景を撮像することのできる第一の撮像部との対応関係は、予めテーブルデータとしてＲＯＭに記憶されている。撮像選択部３２は、視線検出部３１により検出された視線の方向に対応する第一の撮像部をこのテーブルデータから特定し、特定した第一の撮像部を選択する。
具体的には、運転者の視線が正面に対して右方向を向いていると検出された場合には、自動車１が前進する際の進行方向よりも右側の風景を撮像する第一の撮像部１３が選択される。また、運転者の視線が左方向を向いていると検出された場合には、自動車１が前進する際の進行方向よりも左側の風景を撮像する第一の撮像部１４が選択される。また、運転者の視線が後方を向いていると検出された場合には、自動車１が後退する際の進行方向の風景を撮像する第一の撮像部１５が選択される。
表示制御部３３は、撮像選択部３２により選択された第一の撮像部１３〜１５のいずれかにより撮像して得られた第一の撮像画像データと、第二の撮像部２８により撮像して得られる第二の撮像画像データとをそれぞれ取得する。表示制御部３３は、第一の撮像画像データを、第二の撮像画像データに基づいて加工処理し、加工処理後の第一の撮像画像データに基づく画像を表示部２７に表示させる。
この加工処理は、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者によって自動車１の窓枠内に観察される像の輪郭と、この像が第一の撮像部により撮像されて表示部２７に表示されたこの像に対応する画像（この像を撮像して得られた画像）の輪郭とを一致させるための処理である。すなわち、この加工処理により、加工処理後の第一の撮像画像データに基づく画像が表示部２７に表示された状態で、当該画像の輪郭と、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者によって自動車１の窓枠内に観察される像の輪郭とが一致する。
具体的には、表示制御部３３は、第二の撮像画像データのうち、運転者によって自動車１の窓枠内に観察される像に対応する部分（対応部分）から公知の輪郭抽出処理により輪郭を抽出する。撮像選択部３２により選択された第一の撮像部と、第二の撮像部２８は、自動車１の前後方向において位置に差があり、また、重力方向においても光軸の位置に差がある。
このため、第二の撮像画像データのうちの運転者によって自動車１の窓枠内に観察される像に対応する部分から輪郭抽出処理によって抽出された輪郭と、撮像選択部３２により選択された第一の撮像部により撮像して得られた第一の撮像画像データにおけるこの像に対応する部分の輪郭は、大きさ及び位置が異なる。
表示制御部３３は、第一の撮像画像データにおけるこの像に対応する部分の輪郭の大きさ及び位置が、第二の撮像画像データから輪郭抽出処理によって抽出された輪郭の大きさ及び位置と同じになるように、第一の撮像画像データをアフィン変換する。
次に、図４〜図６を参照して加工処理について詳述する。ここでは、運転者が自動車１の後方を観察する場合に行われる加工処理について説明する。
図４は、第一の撮像部１５により撮像して得られた第一の撮像画像データ５０の一例を示す図である。図４に示す第一の撮像画像データ５０には、人物に対応する画像５１、人物に対応する画像５２、電柱に対応する画像５３、及び、道路の白線に対応する画像５４が含まれる。
図５は、運転者が運転支援装置２を装着して自動車１の後方を向いた場合に、運転者から観察される車内の風景を示す図である。
自動車１の後方には、窓枠１０１で囲まれる透明ウインドウが設けられており、運転者が自動車１の後方を観察することができるようになっている。自動車１の車内には、同乗者が着席するための座席１０２が設けられている。
運転支援装置２を装着している運転者からは、表示部２７及び透明基板２４Ｒ，２４Ｌを通して、人物１１１、人物１１２、電柱１１３、及び、道路の白線１１４等の像が窓枠１０１内に観察される。図５には、運転支援装置２を装着した運転者から見える表示部２７の画像表示範囲２７Ａが示されている。
なお、図４に示した画像５１は、第一の撮像部１５によって人物１１１が撮像されて得られた画像である。図４に示した画像５２は、第一の撮像部１５によって人物１１２が撮像されて得られた画像である。図４に示した画像５３は、第一の撮像部１５によって電柱１１３が撮像されて得られた画像である。図４に示した画像５４は、第一の撮像部１５によって白線１１４が撮像されて得られた画像である。
運転支援装置２の電源がオンの間、視線検出部３１は、第二の撮像部２８によって撮像して得られた第二の撮像画像データを取得し、取得した第二の撮像画像データから運転者の視線の方向を検出する。図５の例では、運転者が自動車１の後方を向いていることが検出されるため、撮像選択部３２は第一の撮像部１５を選択する。
撮像選択部３２により第一の撮像部が選択されると、表示制御部３３は、撮像選択部３２で選択された第一の撮像部１５により撮像して得られた第一の撮像画像データ５０と、第二の撮像部２８により撮像して得られた第二の撮像画像データとを取得する。
第二の撮像画像データには、窓枠１０１内の人物１１１に対応する画像と、窓枠１０１内の人物１１２に対応する画像と、窓枠１０１の電柱１１３に対応する画像と、窓枠１０１の白線１１４に対応する画像とが含まれる。
表示制御部３３は、第二の撮像画像データから窓枠１０１を検出する処理を行う。更に、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分に輪郭抽出処理を行って、窓枠１０１内の人物１１１に対応する画像の輪郭と、窓枠１０１内の人物１１２に対応する画像の輪郭と、窓枠１０１内の電柱１１３に対応する画像の輪郭と、窓枠１０１内の白線１１４に対応する画像の輪郭と、をそれぞれ抽出する。
表示制御部３３は、第一の撮像画像データ５０に対しても輪郭抽出処理を行い、図４に示した画像５１〜画像５４の各々の輪郭を抽出する。
表示制御部３３は、第一の撮像画像データから抽出した画像５１〜画像５４の輪郭の各々における、第二の撮像画像データから抽出した人物１１１に対応する画像の輪郭、人物１１２に対応する画像の輪郭、電柱１１３に対応する画像の輪郭、及び、白線１１４に対応する画像の輪郭の各々の対応範囲を検出する。例えば、図４に示す範囲５５が、対応範囲として検出される。
表示制御部３３は、図４に示す第一の撮像画像データ５０をアフィン変換して、範囲５５から検出された画像５１〜画像５４の輪郭の各々の位置及び大きさを、第二の撮像画像データから抽出した人物１１１に対応する画像の輪郭、人物１１２に対応する画像の輪郭、電柱１１３に対応する画像の輪郭、及び、白線１１４に対応する画像の輪郭の各々と一致させる。
図６は、加工処理後の第一の撮像画像データ５０に基づく画像が表示部２７に表示された状態で運転者から観察される風景を示す図である。
図６に示すように、表示部２７に表示されたアフィン変換後の第一の撮像画像データ５０における画像５１の輪郭５１Ａ、画像５２の輪郭５２Ａ、画像５３の輪郭５３Ａ、及び、画像５４の輪郭５４Ａの各々は、運転者から窓枠１０１内に観察されている人物１１１の輪郭、人物１１２の輪郭、電柱１１３の輪郭、及び、白線１１４の輪郭の各々と一致している。
以上の加工処理によって、運転者に違和感を生じさせることなく、運転者の死角となる部分を視認させて安全運転を支援することができる。
表示制御部３３は、第二の撮像画像データのうちの運転者によって窓枠１０１内に観察される像に対応する部分（窓枠検出処理によって検出された窓枠内の部分）に輪郭抽出処理を行うものとしたが、この対応部分に対して、輪郭抽出処理の前に、自動車１の運転の障害となりえる障害物を検出する障害物検出処理を行い、この障害物検出処理によって障害物が検出された部分のみを対象にして輪郭抽出処理を行ってもよい。このようにすることで、輪郭抽出処理にかかる時間を削減することができ、処理速度を向上することができる。
障害物検出処理の方法としては、例えば、白線検知等によって道路を検出し、道路以外の物体を障害物として検出する方法、ステレオカメラ等を用いて自動車１からの距離が閾値以下の物体を障害物として検出する方法、顔検出処理により検出された人物を障害物として検出する方法、又は、予め登録した物体パターン（例えば、人物、電柱、又は、壁等）との画像マッチングにより障害物を検出する方法等を用いればよい。
また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端を含む一部のみを対象として輪郭抽出処理を行ってもよい。窓枠１０１内の略上半分には障害物がない（仮に障害物があったとしても遠くにある）と想定される。このため、例えば窓枠１０１内の略下半分のみを輪郭抽出処理の対象範囲とすることで、輪郭抽出処理にかかる時間を削減し、処理速度を向上することができる。
また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端から上端に向かって順に上述した障害物検出処理を行い、この障害物検出処理によって障害物が検出された場合に、最初に検出された障害物に対してのみ輪郭抽出処理を行ってもよい。
窓枠１０１内で下端に観察される像ほど自動車１の近くにあるものと想定されるため、第二の撮像画像データの窓枠１０１内の部分に対し下端から上端に向かって障害物検出処理を行い、最初に障害物が検出された時点で障害物検出処理を終了し、この障害物のみを対象として輪郭抽出処理を行うことで、障害物検出処理及び輪郭抽出処理にかかる時間を削減し、処理速度を向上することができる。
また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端から上端に向かって順に上記の障害物検出処理を行い、この部分から障害物が検出されない場合には、輪郭抽出処理を間引き処理するようにしてもよい。
間引き処理とは、例えば、画像に対して１画素行毎に輪郭抽出処理を行うのではなく、１画素行おき又は複数画素行おきに輪郭抽出処理を行うことを言う。
障害物が検出されない状態は、例えば、第二の撮像画像データの窓枠１０１内の部分に白線１１４に対応する画像しか含まれない場合が相当する。白線は直線であるため、輪郭抽出処理を間引いても、輪郭抽出の精度にはあまり影響しない。このような構成とすることで、輪郭処理にかかる時間を削減し、処理速度を向上することができる。
また、表示制御部３３は、輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記の加工処理を省略して、第一の撮像画像データに基づく画像を表示部２７に表示させてもよい。このように、輪郭が非抽出となる場合でも、自動車１の車外の撮像画像をそのまま表示部２７に表示させることで、運転者の死角となる部分を運転者に視認させることができる。
また、表示制御部３３は、表示部２７を通して観察される自動車１の構成物（例えば、図５に示した座席１０２等）の色又は自動車１の室内の明るさに基づいて、表示部２７に表示させる画像の色又は輝度の少なくとも１つを制御するのが好ましい。
例えば、表示制御部３３は、逆光の状況又は車内が暗い夜間等の場合には、画像の輝度を上げたり、画像のうちの構成物と重なる部分についてはこの構造部の色の補色で表示したりすることで、表示部２７に表示される画像の視認性を向上させることができる。
運転支援装置２のシステム制御部３０は、自動車１を制御する制御ユニットに設けられ、有線又は無線通信によって表示部２７及び第二の撮像部２８と通信可能であってもよい。このようにすることで、負荷の高い処理を自動車１に設けられた高性能のプロセッサによって実行することができ、運転支援装置２の連続使用時間を延ばすことができる。この場合は、システム制御部３０が運転支援装置を構成する。
以上説明してきたように、本明細書には少なくとも以下の事項が開示されている。
運転支援装置は、乗り物の運転を支援する運転支援装置であって、上記乗り物の運転者の視線を検出する視線検出部と、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択部と、上記撮像選択部により選択された第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記乗り物の上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御部と、を備えるものである。
上記運転支援装置は、上記運転者の頭部に装着されるものとすることができ、上記乗り物の上記運転者の眼の前方に固定される透過型の表示部と、上記運転者の眼の前方を撮像する第二の撮像部と、を更に備えるものとすることができる。
上記運転支援装置において、上記加工処理は、上記運転者によって上記乗り物の窓枠内に観察される像の輪郭と、上記表示部に表示されるその画像に含まれるその像に対応する画像の輪郭とを一致させるための処理であるものを含むことができる。
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうちの上記運転者によって上記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、上記第一の撮像画像データから輪郭抽出処理を行い、上記加工処理は、上記第一の撮像画像データから抽出された輪郭のうち、上記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、上記第二の撮像画像データから抽出された輪郭に一致させる処理であるものを含むことができる。
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分であり、かつ、上記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行うものとすることができる。
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行うものとすることができる。
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から最初に検出された上記障害物を対象として輪郭抽出処理を行うものとすることができる。
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から上記障害物が検出されない場合には、輪郭抽出処理を間引き処理するものとすることができる。
上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記加工処理を省略して、上記第一の撮像画像データに基づく上記画像を上記表示部に表示させるものとすることができる。
上記運転支援装置において、上記表示制御部は、上記表示部を通して観察される上記乗り物の構成物の色、又は、上記乗り物の室内の明るさに基づいて、上記表示部に表示させる上記画像の色又は輝度の少なくとも一方を制御するものとすることができる。
上記運転支援装置において、上記視線検出部は、上記運転者の眼の前方を撮像して得られる撮像画像に基づいて上記視線を検出する、又は、上記運転者の頭部の動きに基づいて上記視線を検出するものとすることができる。
運転支援方法は、乗り物の運転を支援する運転支援方法であって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備えるものである。
上記運転支援方法において、上記加工処理は、上記運転者によって上記乗り物の窓枠内に観察される像の輪郭と、上記表示部に表示されたその画像に含まれるその像に対応する画像の輪郭とを一致させるための処理であるものを含むことができる。
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記運転者によって上記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、上記第一の撮像画像データから輪郭抽出処理を行い、上記加工処理は、上記第一の撮像画像データから抽出された輪郭のうち、上記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、上記第二の撮像画像データから抽出された輪郭に一致させる処理であるものを含むことができる。
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分であり、かつ、上記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行うものとすることができる。
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行うものとすることができる。
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から最初に検出された上記障害物を対象として輪郭抽出処理を行うものとすることができる。
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から上記障害物が検出されない場合には、輪郭抽出処理を間引き処理するものとすることができる。
上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記加工処理を省略して、上記第一の撮像画像データに基づく上記画像を上記表示部に表示させるものとすることができる。
上記運転支援方法において、上記表示制御ステップは、上記表示部を通して観察される上記乗り物の構成物の色、又は、上記乗り物の室内の明るさに基づいて、上記表示部に表示させる上記画像の色又は輝度の少なくとも一方を制御するものとすることができる。
上記運転支援方法において、上記視線検出ステップは、上記運転者の眼の前方を撮像して得られる撮像画像に基づいて上記視線を検出する、又は、上記運転者の頭部の動きに基づいて上記視線を検出するものとすることができる。
運転支援プログラムは、乗り物の運転を支援する運転支援プログラムであって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。
本発明は、自動車の運転を支援するのに好適である。
１ 自動車
１１ 右サイドミラー
１２ 左サイドミラー
１３〜１５ 第一の撮像部
２ 運転支援装置
２１Ｌ、２１Ｒ テンプル
２２ ブリッジ
２３Ｒ，２３Ｌ 鼻当て
２４Ｒ，２４Ｌ 透明基板
２５ 制御ユニット
２６ 筐体
２７ 表示部
２８ 第二の撮像部
３０ システム制御部
３１ 視線検出部
３２ 撮像選択部
３３ 表示制御部
５０ 第一の撮像画像データ
５１〜５４ 画像
５５ 範囲
１０１ 窓枠
１０２ 座席
１１１、１１２ 人物
１１３ 電柱
１１４ 白線
２７Ａ 画像表示範囲
５１Ａ〜５３Ａ 輪郭

Claims (21)

  1. 乗り物の運転を支援する運転支援装置であって、
    前記乗り物の運転者の視線を検出する視線検出部と、
    前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択部と、
    前記乗り物の前記運転者の眼の前方に固定される透過型の表示部と、
    前記運転者の眼の前方を撮像する第二の撮像部と、
    前記撮像選択部により選択された前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の眼の前方を撮像する前記第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記乗り物の前記運転者の眼の前方に固定される前記透過型の表示部に表示させる表示制御部と、を備え、
    前記運転者の頭部に装着されるものである運転支援装置。
  2. 請求項１記載の運転支援装置であって、
    前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示される前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援装置。
  3. 請求項２記載の運転支援装置であって、
    前記表示制御部は、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
    前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援装置。
  4. 請求項３記載の運転支援装置であって、
    前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援装置。
  5. 請求項３記載の運転支援装置であって、
    前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援装置。
  6. 請求項３〜５のいずれか１項記載の運転支援装置であって、
    前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援装置。
  7. 請求項３〜５のいずれか１項記載の運転支援装置であって、
    前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援装置。
  8. 請求項３〜７のいずれか１項記載の運転支援装置であって、
    前記表示制御部は、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援装置。
  9. 請求項１〜８のいずれか１項記載の運転支援装置であって、
    前記表示制御部は、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援装置。
  10. 請求項１〜９のいずれか１項記載の運転支援装置であって、
    前記視線検出部は、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援装置。
  11. 乗り物の運転を支援する運転支援方法であって、
    前記乗り物の運転者の視線を検出する視線検出ステップと、
    前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
    前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備える運転支援方法。
  12. 請求項１１記載の運転支援方法であって、
    前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示された前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援方法。
  13. 請求項１２記載の運転支援方法であって、
    前記表示制御ステップは、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
    前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援方法。
  14. 請求項１３記載の運転支援方法であって、
    前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援方法。
  15. 請求項１３記載の運転支援方法であって、
    前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援方法。
  16. 請求項１３〜１５のいずれか１項記載の運転支援方法であって、
    前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援方法。
  17. 請求項１３〜１５のいずれか１項記載の運転支援方法であって、
    前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援方法。
  18. 請求項１３〜１７のいずれか１項記載の運転支援方法であって、
    前記表示制御ステップは、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援方法。
  19. 請求項１１〜１８のいずれか１項記載の運転支援方法であって、
    前記表示制御ステップは、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援方法。
  20. 請求項１１〜１９のいずれか１項記載の運転支援方法であって、
    前記視線検出ステップは、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援方法。
  21. 乗り物の運転を支援する運転支援プログラムであって、
    前記乗り物の運転者の視線を検出する視線検出ステップと、
    前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
    前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるための運転支援プログラム。
JP2018501085A 2016-02-25 2017-01-27 運転支援装置、運転支援方法、及び、運転支援プログラム Active JP6410987B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016034394 2016-02-25
JP2016034394 2016-02-25
PCT/JP2017/002963 WO2017145645A1 (ja) 2016-02-25 2017-01-27 運転支援装置、運転支援方法、及び、運転支援プログラム

Publications (2)

Publication Number Publication Date
JP6410987B2 true JP6410987B2 (ja) 2018-10-24
JPWO2017145645A1 JPWO2017145645A1 (ja) 2018-12-27

Family

ID=59685372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018501085A Active JP6410987B2 (ja) 2016-02-25 2017-01-27 運転支援装置、運転支援方法、及び、運転支援プログラム

Country Status (4)

Country Link
US (1) US11025836B2 (ja)
JP (1) JP6410987B2 (ja)
CN (1) CN108701415B (ja)
WO (1) WO2017145645A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190102923A1 (en) * 2017-10-04 2019-04-04 L3 Technologies, Inc. Combining synthetic imagery with real imagery for vehicular operations
JP7203514B2 (ja) * 2018-05-31 2023-01-13 株式会社デンソーテン 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法
JP7167562B2 (ja) * 2018-09-05 2022-11-09 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
JP7163748B2 (ja) * 2018-12-05 2022-11-01 トヨタ自動車株式会社 車両用表示制御装置
JP7147527B2 (ja) * 2018-12-10 2022-10-05 トヨタ自動車株式会社 支援装置、支援方法およびプログラム
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
CN114450185B (zh) * 2019-09-30 2024-07-16 三菱电机株式会社 图像显示装置、显示控制装置、显示控制方法以及记录介质
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
JP2021192202A (ja) * 2020-06-05 2021-12-16 トヨタ自動車株式会社 体験システム、体験提供方法およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294842A (ja) * 1994-04-26 1995-11-10 Toyota Motor Corp 自動車用情報表示装置
JPH10206787A (ja) * 1997-01-20 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2006040123A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両の認知支援装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2008143701A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd 産業車両の視界改善システム及び方法
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
JP2010058631A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用情報表示装置
JP2012198149A (ja) * 2011-03-22 2012-10-18 Toshiba Corp 単眼ヘッドマウントディスプレイ

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206789A (ja) 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
JP2005284473A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 運転支援システム、自動車、および運転支援方法
JP2008058409A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 音声認識方法及び音声認識装置
JP4412365B2 (ja) * 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
WO2008126389A1 (ja) 2007-04-02 2008-10-23 Panasonic Corporation 安全運転支援装置
US9230501B1 (en) * 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US8988524B2 (en) * 2013-03-11 2015-03-24 The United States Of America As Represented By The Secretary Of The Army Apparatus and method for estimating and using a predicted vehicle speed in an indirect vision driving task
CN103185963A (zh) * 2013-03-29 2013-07-03 南京智真电子科技有限公司 多功能车辆辅助驾驶眼镜
US9280202B2 (en) * 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
US10017114B2 (en) * 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US20150321606A1 (en) * 2014-05-09 2015-11-12 HJ Laboratories, LLC Adaptive conveyance operating system
DE102014213021A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines HMD im Fahrzeug
CN104090366A (zh) * 2014-07-23 2014-10-08 占舒婷 一种汽车驾驶眼镜
US9477083B2 (en) * 2014-12-01 2016-10-25 Visteon Global Technologies, Inc. Adjusting an electronic display based on light sensing
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
US9881501B2 (en) * 2015-11-02 2018-01-30 Magna Electronics Inc. Driver assistance system with traffic light alert
CN107924465B (zh) * 2016-03-18 2021-09-10 Jvc 建伍株式会社 物体识别装置、物体识别方法以及存储介质
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
US10573074B1 (en) * 2017-03-21 2020-02-25 Rockwell Collins, Inc. Evaluating display accuracy
US11380018B2 (en) * 2017-12-19 2022-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
US10679410B2 (en) * 2018-09-14 2020-06-09 Facebook Technologies, Llc Display opacity control for preventing view occlusion in artificial reality
US10767997B1 (en) * 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms
KR20190109720A (ko) * 2019-09-06 2019-09-26 엘지전자 주식회사 차량의 주행 안내 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294842A (ja) * 1994-04-26 1995-11-10 Toyota Motor Corp 自動車用情報表示装置
JPH10206787A (ja) * 1997-01-20 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2006040123A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両の認知支援装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2008143701A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd 産業車両の視界改善システム及び方法
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
JP2010058631A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用情報表示装置
JP2012198149A (ja) * 2011-03-22 2012-10-18 Toshiba Corp 単眼ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
US11025836B2 (en) 2021-06-01
CN108701415B (zh) 2021-08-03
JPWO2017145645A1 (ja) 2018-12-27
US20180359429A1 (en) 2018-12-13
CN108701415A (zh) 2018-10-23
WO2017145645A1 (ja) 2017-08-31

Similar Documents

Publication Publication Date Title
JP6410987B2 (ja) 運転支援装置、運転支援方法、及び、運転支援プログラム
JP5099451B2 (ja) 車両周辺確認装置
US9230501B1 (en) Device control utilizing optical flow
CN111169382B (zh) 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
JP2008230296A (ja) 車両用運転支援システム
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
JP5093611B2 (ja) 車両周辺確認装置
JP6197814B2 (ja) 車両用表示装置
JP2004064131A (ja) 車両用表示装置
WO2018047400A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2008213649A (ja) 車両用周辺監視装置
JP2013216286A (ja) 車両周囲確認用モニター装置
EP3456574B1 (en) Method and system for displaying virtual reality information in a vehicle
JP2018142885A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2014045265A (ja) 車載撮像システム
JP2003104145A (ja) 運転支援表示装置
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
JP5131152B2 (ja) 視覚支援装置
KR20140079947A (ko) 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
JP2017111739A (ja) 運転支援装置、運転支援方法
JP2017056909A (ja) 車両用画像表示装置
EP3513999B1 (en) Vehicle display nexus control apparatus
JP6115278B2 (ja) 車両用表示装置
JP2008037118A (ja) 車両用表示装置
CN107009961A (zh) 汽车和汽车透明座舱系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180717

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20180717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180717

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180717

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180925

R150 Certificate of patent or registration of utility model

Ref document number: 6410987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250