WO2017145645A1 - 運転支援装置、運転支援方法、及び、運転支援プログラム - Google Patents

運転支援装置、運転支援方法、及び、運転支援プログラム Download PDF

Info

Publication number
WO2017145645A1
WO2017145645A1 PCT/JP2017/002963 JP2017002963W WO2017145645A1 WO 2017145645 A1 WO2017145645 A1 WO 2017145645A1 JP 2017002963 W JP2017002963 W JP 2017002963W WO 2017145645 A1 WO2017145645 A1 WO 2017145645A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
driving support
driver
imaging
captured image
Prior art date
Application number
PCT/JP2017/002963
Other languages
English (en)
French (fr)
Inventor
新貝　安浩
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018501085A priority Critical patent/JP6410987B2/ja
Priority to CN201780011274.2A priority patent/CN108701415B/zh
Publication of WO2017145645A1 publication Critical patent/WO2017145645A1/ja
Priority to US16/053,820 priority patent/US11025836B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to a driving support device, a driving support method, and a driving support program.
  • This system supports the safe driving by displaying on the HMD an image picked up by the image pickup unit corresponding to the driver's line-of-sight direction so that the driver can visually recognize the blind spot of the driver.
  • Patent Document 1 simply superimposes an image captured by an imaging unit on an image that can be seen by a driver through a transmissive HMD. For this reason, when a part of the image that can be seen by the driver is captured by the imaging unit, two images having the same content may be observed, which may cause the driver to feel uncomfortable.
  • Patent Document 2 Since the system described in Patent Document 2 uses a non-transparent HMD, the driver cannot confirm an actual image through the HMD, which hinders safety.
  • the present invention has been made in view of the above circumstances, and provides a driving support device, a driving support method, and a driving support program that can support safe driving without causing the driver to feel uncomfortable. Objective.
  • the driving support device of the present invention is a driving support device that supports driving of a vehicle, and includes a gaze detection unit that detects the gaze of the driver of the vehicle, and a plurality of first imaging units that image the surroundings of the vehicle.
  • An imaging selection unit that selects a first imaging unit corresponding to the direction of the line of sight from among the first imaging image data obtained by imaging with the first imaging unit selected by the imaging selection unit Is processed based on the second captured image data obtained by imaging with the second imaging unit that images the front of the driver's eyes, and the image based on the first captured image data after the processing Is displayed on a transmission type display unit fixed in front of the driver's eyes of the vehicle.
  • the driving support method of the present invention is a driving support method for supporting driving of a vehicle, and includes a line-of-sight detection step for detecting a line of sight of a driver of the vehicle, and a plurality of first imaging units for imaging the periphery of the vehicle.
  • the driving support program of the present invention is a driving support program that supports driving of a vehicle, and includes a line-of-sight detection step that detects the line of sight of the driver of the vehicle, and a plurality of first imaging units that image the periphery of the vehicle An imaging selection step of selecting a first imaging unit corresponding to the direction of the line of sight from among the first imaging image data obtained by imaging by the first imaging unit selected in the imaging selection step Then, processing is performed based on the second captured image data obtained by imaging with a second imaging unit that is mounted on the driver's head and images the front of the driver's eyes, and the first after the processing Causing the computer to execute a display control step of displaying an image based on one captured image data on a transmissive display unit mounted on the driver's head and fixed in front of the driver's eyes. It is because of the program.
  • a driving support device a driving support method, and a driving support program that can support safe driving without causing the driver to feel uncomfortable.
  • FIG. 1 is a schematic diagram showing a schematic configuration of an automobile 1 on which a driver wearing a driving support device 2 according to an embodiment of the present invention gets. It is a perspective view which shows the external appearance structure of the driving assistance apparatus 2 which is one Embodiment of this invention. It is a figure which shows the block configuration of the driving assistance apparatus 2 shown in FIG. It is a figure which shows an example of the 1st captured image data 50 obtained by imaging with the 1st imaging part 15.
  • FIG. 3 is a diagram showing a scene inside the vehicle that is observed by the driver when the driver wears the driving support device 2 and faces the back of the automobile 1; It is a figure which shows the scenery observed from a driver
  • FIG. 1 is a schematic diagram showing a schematic configuration of an automobile 1 on which a driver wearing a driving support apparatus 2 according to an embodiment of the present invention gets on.
  • FIG. 2 is a perspective view showing an external configuration of the driving support device 2 according to the embodiment of the present invention.
  • the driving support device 2 is mounted on the driver of the automobile 1 .
  • the driving support device 2 is mounted on a driver of a vehicle such as a train, a ship, a heavy machine, an aircraft, or an agricultural machine. It may be a configuration.
  • the automobile 1 includes a right side mirror 11 on the right side of the vehicle body and a left side mirror 12 on the left side of the vehicle body.
  • the automobile 1 includes a first imaging unit 13 attached to the right side mirror 11, a first imaging unit 14 attached to the left side mirror 12, and a first attached to a trunk portion located behind the automobile 1.
  • the first image pickup unit 13 picks up an image of a rear range from the right side of the automobile 1.
  • the first imaging unit 14 captures a range behind the left side of the automobile 1.
  • the first imaging unit 15 images the rear of the automobile 1.
  • the automobile 1 is provided with a plurality of first imaging units for imaging the surroundings of the automobile 1.
  • the arrangement positions of the first imaging units 13 to 15 are not limited to those shown in FIG.
  • the first imaging unit 13 and the first imaging unit 14 may be attached to a fender mirror instead of the right side mirror 11 and the left side mirror 12.
  • the 1st imaging part 15 may be installed in the vicinity position of a license plate, a rear window vicinity, etc., for example.
  • the first imaging units 13 to 15 are connected to the driving support device 2 by wire or wirelessly.
  • the captured image data obtained by imaging with the first imaging units 13 to 15 is transferred to the driving support device 2 by wire or wireless.
  • the driving support device 2 is used by being mounted on the driver's head, and is an eyeglass-shaped device in the example shown in FIG.
  • the driving support device 2 detects the driver's line of sight based on a captured image obtained by imaging the front of the driver's eyes while being mounted on the driver's head, and the first imaging unit 13.
  • the captured image captured by the first imaging unit corresponding to the detected line of sight is displayed on the display unit 27. Thereby, the range which becomes a blind spot of a driver
  • the driving support device 2 includes temples 21R and 21L, a bridge 22, a nose pad 23R and 23L provided on the bridge 22, and transparent glasses 24R and 24L, a control unit 25 fixed to the glasses body, Is provided.
  • the temples 21R and 21L are long members made of a flexible elastic material or the like, and are locked to the driver's ears or the temporal region to hold the head and adjust the mounting position. Is to do.
  • the bridge 22 is a short rod-like member that is stretched between predetermined positions of the transparent substrates 24R and 24L facing each other, and holds the transparent substrate 24R and the transparent substrate 24L in a positional relationship with a certain gap therebetween.
  • control unit 25 is fixed to a transparent substrate 24 ⁇ / b> R disposed in front of the driver's right eye, and includes a casing 26 in which a battery, a system control unit 30, which will be described later, and the like are accommodated.
  • a mold display unit 27 and a second imaging unit 28 are provided.
  • the display unit 27 is fixed in front of the driver's eyes. As a result, the driver can observe an image in which the image displayed on the display unit 27 and the background image observed by the driver through the display unit 27 and the transparent substrates 24R and 24L overlap.
  • the second imaging unit 28 images the front of the driver's eyes.
  • the optical axis and the angle of view of the second imaging unit 28 are set to be substantially the same as the driver's line of sight and field of view.
  • FIG. 3 is a diagram showing a block configuration of the driving support apparatus 2 shown in FIG.
  • the driving support device 2 includes a display unit 27, a second imaging unit 28, and a system control unit 30.
  • the system control unit 30 performs overall control of the driving support device 2.
  • the system control unit 30 is mainly composed of a processor, and includes a ROM (Read Only Memory) in which a program executed by the processor is stored and a RAM (Random) as a work memory. Access Memory) and the like.
  • the system control unit 30 functions as a line-of-sight detection unit 31, an imaging selection unit 32, and a display control unit 33 when the processor executes a program stored in the ROM.
  • This program includes a driving assistance program.
  • the line-of-sight detection unit 31 acquires second captured image data obtained by imaging the front of the driver's eyes by the second imaging unit 28 by wired or wireless communication, and uses the acquired second captured image data.
  • the driver's line of sight is detected by analysis using a known image analysis process.
  • the line-of-sight detection unit 31 detects, for example, the movement of the driver's head based on information from a sensor such as an acceleration sensor or a gyro sensor provided in the driving support device 2, and the line of sight of the wearer is detected based on the detected movement. May be detected.
  • the imaging selection unit 32 selects, from the first imaging units 13 to 15, the first imaging unit corresponding to the detected line of sight based on the driver's line of sight detected by the line of sight detection unit 31. .
  • the correspondence relationship between the direction of the driver's line of sight of the vehicle 1 and the first imaging unit that can capture the scenery in the direction of the driver's line of sight among the first imaging units 13 to 15 is previously set in a table. It is stored in the ROM as data.
  • the imaging selection unit 32 specifies a first imaging unit corresponding to the direction of the line of sight detected by the line of sight detection unit 31 from the table data, and selects the identified first imaging unit.
  • a first imaging unit that captures a landscape on the right side of the traveling direction when the automobile 1 moves forward 13 is selected.
  • the first imaging unit 14 that captures a landscape on the left side of the traveling direction when the automobile 1 moves forward is selected.
  • the first imaging unit 15 that captures a landscape in the traveling direction when the automobile 1 moves backward is selected.
  • the display control unit 33 captures the first captured image data obtained by imaging by any of the first imaging units 13 to 15 selected by the imaging selection unit 32 and the second imaging unit 28. The obtained second captured image data is acquired. The display control unit 33 processes the first captured image data based on the second captured image data, and causes the display unit 27 to display an image based on the first captured image data after the processing.
  • the contour of the image observed in the window frame of the automobile 1 by the driver through the display unit 27 and the transparent substrates 24R and 24L, and this image are captured by the first imaging unit and displayed on the display unit 27.
  • This is a process for matching the contour of an image corresponding to this image (an image obtained by capturing this image). That is, by this processing process, the image based on the first captured image data after the processing process is displayed on the display unit 27, and the contour of the image is displayed by the driver through the display unit 27 and the transparent substrates 24R and 24L.
  • the contour of the image observed in the window frame of the automobile 1 matches.
  • the display control unit 33 performs contour extraction by a known contour extraction process from a portion (corresponding portion) corresponding to an image observed in the window frame of the automobile 1 by the driver in the second captured image data.
  • the first imaging unit selected by the imaging selection unit 32 and the second imaging unit 28 have a difference in position in the front-rear direction of the automobile 1, and there is also a difference in the position of the optical axis in the gravitational direction.
  • the contour extracted by the contour extraction process from the portion corresponding to the image observed in the window frame of the automobile 1 by the driver in the second captured image data, and the first selected by the imaging selection unit 32.
  • the contour of the portion corresponding to this image in the first captured image data obtained by imaging with one imaging unit is different in size and position.
  • the size and position of the contour corresponding to this image in the first captured image data are the same as the size and position of the contour extracted from the second captured image data by the contour extraction process.
  • the first captured image data is affine transformed so that
  • FIG. 4 is a diagram illustrating an example of the first captured image data 50 obtained by imaging with the first imaging unit 15.
  • the first captured image data 50 shown in FIG. 4 includes an image 51 corresponding to a person, an image 52 corresponding to a person, an image 53 corresponding to a utility pole, and an image 54 corresponding to a white line on a road.
  • FIG. 5 is a diagram showing the scenery inside the vehicle observed by the driver when the driver wears the driving support device 2 and faces the back of the automobile 1.
  • a transparent window surrounded by a window frame 101 is provided behind the automobile 1 so that the driver can observe the back of the automobile 1.
  • a seat 102 for a passenger to sit on is provided in the car 1.
  • FIG. 5 shows an image display range 27 ⁇ / b> A of the display unit 27 that is visible to the driver wearing the driving support device 2.
  • the image 51 illustrated in FIG. 4 is an image obtained by imaging the person 111 by the first imaging unit 15.
  • An image 52 illustrated in FIG. 4 is an image obtained by imaging the person 112 by the first imaging unit 15.
  • An image 53 illustrated in FIG. 4 is an image obtained by imaging the utility pole 113 by the first imaging unit 15.
  • An image 54 illustrated in FIG. 4 is an image obtained by imaging the white line 114 by the first imaging unit 15.
  • the line-of-sight detection unit 31 acquires second captured image data obtained by imaging with the second imaging unit 28, and operates from the acquired second captured image data. The direction of the person's line of sight is detected. In the example of FIG. 5, since it is detected that the driver is facing the rear of the automobile 1, the imaging selection unit 32 selects the first imaging unit 15.
  • the display control unit 33 first captured image data 50 obtained by imaging with the first imaging unit 15 selected by the imaging selection unit 32. And second captured image data obtained by imaging by the second imaging unit 28 are acquired.
  • the second captured image data includes an image corresponding to the person 111 in the window frame 101, an image corresponding to the person 112 in the window frame 101, an image corresponding to the utility pole 113 of the window frame 101, and the window frame 101. And an image corresponding to the white line 114.
  • the display control unit 33 performs processing for detecting the window frame 101 from the second captured image data. Further, the display control unit 33 performs contour extraction processing on the portion of the second captured image data in the window frame 101, the image contour corresponding to the person 111 in the window frame 101, and the window frame 101. The contour of the image corresponding to the person 112, the contour of the image corresponding to the utility pole 113 in the window frame 101, and the contour of the image corresponding to the white line 114 in the window frame 101 are extracted.
  • the display control unit 33 also performs contour extraction processing on the first captured image data 50 to extract the contours of the images 51 to 54 shown in FIG.
  • the display control unit 33 displays the contour of the image corresponding to the person 111 extracted from the second captured image data and the image corresponding to the person 112 in each of the contours of the images 51 to 54 extracted from the first captured image data.
  • the contour of the image corresponding to the utility pole 113, and the corresponding range of the contour of the image corresponding to the white line 114 are detected. For example, a range 55 shown in FIG. 4 is detected as the corresponding range.
  • the display control unit 33 affine-transforms the first captured image data 50 shown in FIG. 4 to determine the position and size of the contours of the images 51 to 54 detected from the range 55 as the second captured image.
  • the contour of the image corresponding to the person 111 extracted from the data, the contour of the image corresponding to the person 112, the contour of the image corresponding to the power pole 113, and the contour of the image corresponding to the white line 114 are matched.
  • FIG. 6 is a diagram illustrating a landscape observed from the driver in a state where an image based on the first captured image data 50 after the processing is displayed on the display unit 27.
  • Each of 54A corresponds to the outline of the person 111, the outline of the person 112, the outline of the utility pole 113, and the outline of the white line 114 observed in the window frame 101 from the driver.
  • the display control unit 33 performs contour extraction processing on the portion of the second captured image data corresponding to the image observed in the window frame 101 by the driver (the portion in the window frame detected by the window frame detection processing).
  • an obstacle detection process for detecting an obstacle that may be an obstacle to driving the automobile 1 is performed on the corresponding portion before the contour extraction process.
  • the contour extraction process may be performed only on the detected part. By doing so, the time required for the contour extraction process can be reduced, and the processing speed can be improved.
  • the obstacle detection processing method for example, a road is detected by white line detection or the like, an object other than the road is detected as an obstacle, an object whose distance from the automobile 1 is less than a threshold using a stereo camera, etc.
  • Detection method as an object detection method of a person detected by face detection processing as an obstacle, or detection of an obstacle by image matching with a pre-registered object pattern (for example, person, utility pole, wall, etc.) Or the like.
  • the display control unit 33 may perform the contour extraction process for only a part including the lower end in the gravitational direction in the portion in the window frame 101 of the second captured image data. It is assumed that there is no obstacle in the upper half of the window frame 101 (if there is an obstacle, it is far away). For this reason, for example, by setting only the substantially lower half in the window frame 101 as the target range of the contour extraction process, the time required for the contour extraction process can be reduced and the processing speed can be improved.
  • the display control unit 33 performs the obstacle detection process described above in order from the lower end to the upper end in the gravity direction in the portion of the second captured image data in the window frame 101, and this obstacle detection process.
  • the contour extraction process may be performed only on the obstacle detected first.
  • the obstacle detection process Since the image observed at the lower end in the window frame 101 is assumed to be closer to the automobile 1, the obstacle detection process from the lower end toward the upper end with respect to the portion in the window frame 101 of the second captured image data.
  • the obstacle detection process is terminated, and the contour extraction process is performed only for this obstacle, thereby reducing the time required for the obstacle detection process and the contour extraction process. , Processing speed can be improved.
  • the display control unit 33 performs the above-described obstacle detection processing in order from the lower end to the upper end in the gravity direction in the portion in the window frame 101 of the second captured image data, and from this portion, the obstacle is detected. If no is detected, the contour extraction process may be thinned out.
  • the thinning-out process means that, for example, the contour extraction process is not performed for each pixel row on the image, but the contour extraction process is performed every other pixel row or every plural pixel rows.
  • the state where no obstacle is detected corresponds to, for example, the case where only the image corresponding to the white line 114 is included in the portion of the second captured image data in the window frame 101. Since the white line is a straight line, thinning out the contour extraction process does not significantly affect the accuracy of contour extraction. With such a configuration, it is possible to reduce the time required for contour processing and improve the processing speed.
  • the display control unit 33 omits the above processing and displays an image based on the first captured image data on the display unit 27. It may be displayed. In this way, even when the contour is not extracted, by displaying the captured image outside the vehicle 1 on the display unit 27 as it is, it is possible to make the driver visually recognize the part that becomes the blind spot of the driver.
  • the display control unit 33 controls the display unit 27 based on the color of the components of the automobile 1 (for example, the seat 102 shown in FIG. 5) or the brightness of the room of the automobile 1 observed through the display unit 27. It is preferable to control at least one of the color or brightness of the image to be displayed.
  • the display control unit 33 increases the luminance of the image in a backlight situation or at night when the interior of the vehicle is dark, or displays a portion of the image that overlaps with a component in a complementary color of the structure portion.
  • the visibility of the image displayed on the display unit 27 can be improved.
  • the system control unit 30 of the driving support device 2 may be provided in a control unit that controls the automobile 1 and may be able to communicate with the display unit 27 and the second imaging unit 28 by wired or wireless communication. In this way, high-load processing can be executed by a high-performance processor provided in the automobile 1, and the continuous use time of the driving support device 2 can be extended.
  • the system control unit 30 constitutes a driving support device.
  • the driving support device is a driving support device that supports driving of a vehicle, and includes a line-of-sight detection unit that detects the line of sight of the driver of the vehicle and a plurality of first imaging units that image the periphery of the vehicle.
  • An imaging selection unit that selects a first imaging unit corresponding to the direction of the line of sight, and first captured image data obtained by imaging with the first imaging unit selected by the imaging selection unit, An image based on the second captured image data obtained by imaging with the second imaging unit that captures the front of the person's eyes is processed, and an image based on the first captured image data after the processing is applied to the vehicle.
  • a display control unit for displaying on a transmission type display unit fixed in front of the driver's eyes.
  • the driving support device may be mounted on the driver's head, and includes a transmissive display unit fixed in front of the driver's eye of the vehicle, and the driver's eye. And a second imaging unit that images the front.
  • the processing includes the contour of an image observed by the driver in the window frame of the vehicle and the contour of an image corresponding to the image included in the image displayed on the display unit. Can be included as a process for matching the.
  • the display control unit performs contour extraction processing from a corresponding portion corresponding to an image observed in the window frame of the vehicle by the driver in the second captured image data, and
  • the contour extraction process is performed from the first captured image data, and the processing process corresponds to the contour extracted from the second captured image data among the contours extracted from the first captured image data.
  • What is a process which makes the outline in a range correspond to the outline extracted from said 2nd captured image data can be included.
  • the display control unit may perform contour extraction processing only on a part of the second captured image data that includes the obstacle that is the corresponding part and may be an obstacle to driving the vehicle. Can be performed.
  • the display control unit may perform the contour extraction process on only a part of the second captured image data including the lower end in the gravity direction of the corresponding part.
  • the display control unit performs a process of extracting an obstacle that may become an obstacle to driving the vehicle from the lower end to the upper end in the gravity direction of the corresponding portion in the second captured image data. And the contour extraction process can be performed on the obstacle detected first from the corresponding part.
  • the display control unit performs a process of extracting an obstacle that may become an obstacle to driving the vehicle from the lower end to the upper end in the gravity direction of the corresponding portion in the second captured image data. If the obstacle is not detected from the corresponding part, the contour extraction process can be thinned out.
  • the display control unit omits the processing when the contour is not extracted as a result of performing the contour extraction processing performed on the second captured image data.
  • the image based on the first captured image data can be displayed on the display unit.
  • the display control unit may display the color of the image displayed on the display unit based on the color of the vehicle component observed through the display unit or the brightness of the interior of the vehicle. Alternatively, at least one of the luminances can be controlled.
  • the line-of-sight detection unit detects the line of sight based on a captured image obtained by imaging the front of the driver's eyes, or based on the movement of the driver's head.
  • the line of sight can be detected.
  • the driving support method is a driving support method for supporting driving of a vehicle, and includes a line-of-sight detection step for detecting a line of sight of a driver of the vehicle, and a plurality of first imaging units that image the periphery of the vehicle.
  • the processing includes the contour of an image observed by the driver in the window frame of the vehicle, and the contour of an image corresponding to the image included in the image displayed on the display unit. Can be included as a process for matching the.
  • the display control step performs contour extraction processing from a corresponding portion corresponding to an image observed in the window frame of the vehicle by the driver in the second captured image data, and
  • the contour extraction process is performed from the first captured image data, and the processing process corresponds to the contour extracted from the second captured image data among the contours extracted from the first captured image data.
  • What is a process which makes the outline in a range correspond to the outline extracted from said 2nd captured image data can be included.
  • the display control step includes a contour extraction process only for a portion of the second captured image data that is the corresponding portion and includes an obstacle that may be an obstacle to driving the vehicle. Can be performed.
  • the display control step may perform contour extraction processing for only a part of the second captured image data including the lower end in the gravity direction of the corresponding portion.
  • the display control step includes a process of extracting an obstacle that may be an obstacle to driving the vehicle from the lower end in the gravity direction of the corresponding portion toward the upper end in the second captured image data. And the contour extraction process can be performed on the obstacle detected first from the corresponding part.
  • the display control step includes a process of extracting an obstacle that may be an obstacle to driving the vehicle from the lower end in the gravity direction of the corresponding portion toward the upper end in the second captured image data. If the obstacle is not detected from the corresponding part, the contour extraction process can be thinned out.
  • the display control step omits the processing when the contour is not extracted as a result of the contour extraction processing performed on the second captured image data.
  • the image based on the first captured image data can be displayed on the display unit.
  • the display control step includes: a color of the vehicle component observed through the display unit, or a color of the image displayed on the display unit based on the brightness of the interior of the vehicle. Alternatively, at least one of the luminances can be controlled.
  • the line-of-sight detection step detects the line of sight based on a captured image obtained by imaging the front of the driver's eyes, or the movement based on the movement of the driver's head.
  • the line of sight can be detected.
  • the driving support program is a driving support program that supports driving of the vehicle, and includes a line-of-sight detection step that detects the line of sight of the driver of the vehicle and a plurality of first imaging units that image the periphery of the vehicle.
  • An imaging selection step for selecting the first imaging unit corresponding to the direction of the line of sight, and the first captured image data obtained by imaging with the first imaging unit selected in the imaging selection step, The first imaging after the processing is performed based on the second captured image data obtained by capturing with the second imaging unit that is mounted on the driver's head and images the front of the driver's eyes
  • a display control step for causing the computer to execute a display control step of displaying an image based on the image data on a transmissive display unit that is mounted on the driver's head and fixed in front of the driver's eyes.
  • the present invention is suitable for supporting driving of a car.

Abstract

運転者に違和感を生じさせることなく安全運転を支援することのできる運転支援装置、運転支援方法、及び、運転支援プログラムを提供する。運転支援装置は、乗り物の運転者の視線を検出する視線検出部（３１）と、乗り物の周囲を撮像する複数の第一の撮像部１３～１５の中から視線の方向に対応する第一の撮像部を選択する撮像選択部（３２）と、選択された第一の撮像部により撮像して得られた第一の撮像画像データを、運転者の眼の前方を撮像する第二の撮像部（２８）により撮像して得られる第二の撮像画像データに基づいて加工処理し、加工処理後の第一の撮像画像データに基づく画像を、乗り物の運転者の眼の前方に固定される透過型の表示部（２７）に表示させる表示制御部（３３）と、を備える。

Description

運転支援装置、運転支援方法、及び、運転支援プログラム
　本発明は、運転支援装置、運転支援方法、及び、運転支援プログラムに関する。
　自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物における運転を支援するシステムとして、乗り物の周囲を撮像可能に搭載された複数の撮像部と、運転者の頭部の動きを検出する動き検出部と、運転者の頭部に装着して用いられる透過型のＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）と、を備えるシステムが提案されている（特許文献１及び特許文献２参照）。
　このシステムは、運転者の視線方向に対応する撮像部によって撮像される画像をＨＭＤに表示させることで、運転者の死角となる部分を運転者に視認させて安全運転を支援している。
特開２００９－２７８２３４号公報 特開平１０－２０６７８９号公報
　特許文献１に記載のシステムは、透過型のＨＭＤを通して運転者から見える像に、撮像部によって撮像された画像が単純に重畳されるものである。このため、運転者から見える像の一部が撮像部によって撮像されている場合には、同じ内容の像が２つ観察される場合があり、運転者に違和感を生じさせてしまう。
　特許文献２に記載のシステムは、非透過型のＨＭＤを用いているため、運転者はＨＭＤを通して実際の像を確認することができず、安全性に支障をきたす。
　本発明は、上記事情に鑑みてなされたものであり、運転者に違和感を生じさせることなく安全運転を支援することのできる運転支援装置、運転支援方法、及び、運転支援プログラムを提供することを目的とする。
　本発明の運転支援装置は、乗り物の運転を支援する運転支援装置であって、上記乗り物の運転者の視線を検出する視線検出部と、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択部と、上記撮像選択部により選択された上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記乗り物の上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御部と、を備えるものである。
　本発明の運転支援方法は、乗り物の運転を支援する運転支援方法であって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備えるものである。
　本発明の運転支援プログラムは、乗り物の運転を支援する運転支援プログラムであって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。
　本発明によれば、運転者に違和感を生じさせることなく安全運転を支援することのできる運転支援装置、運転支援方法、及び、運転支援プログラムを提供することができる。
本発明の一実施形態である運転支援装置２を装着する運転者が乗車する自動車１の概略構成を示す模式図である。 本発明の一実施形態である運転支援装置２の外観構成を示す斜視図である。 図２に示す運転支援装置２のブロック構成を示す図である。 第一の撮像部１５により撮像して得られた第一の撮像画像データ５０の一例を示す図である。 運転者が運転支援装置２を装着して自動車１の後方を向いた場合に運転者から観察される車内の風景を示す図である。 加工処理後の第一の撮像画像データ５０に基づく画像が表示部２７に表示された状態で運転者から観察される風景を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の一実施形態である運転支援装置２を装着する運転者が乗車する自動車１の概略構成を示す模式図である。図２は、本発明の一実施形態である運転支援装置２の外観構成を示す斜視図である。ここでは自動車１の運転者に運転支援装置２が装着される例を説明するが、電車、船舶、重機、航空機、又は、農作用機械等の乗り物の運転者に運転支援装置２が装着される構成であってもよい。
　図１に示す自動車１は、車体右側に右サイドミラー１１が設けられ、車体左側に左サイドミラー１２が設けられている。自動車１は、右サイドミラー１１に取り付けられた第一の撮像部１３と、左サイドミラー１２に取り付けられた第一の撮像部１４と、自動車１の後方に位置するトランク部分に取り付けられた第一の撮像部１５と、を備える。
　第一の撮像部１３は、自動車１の右側方から後方の範囲を撮像するものである。第一の撮像部１４は、自動車１の左側方から後方の範囲を撮像するものである。第一の撮像部１５は、自動車１の後方を撮像するものである。
　このように、自動車１には、自動車１の周囲を撮像する複数の第一の撮像部が設けられている。なお、第一の撮像部１３～１５の配置位置は図１に示したものに限定されない。例えば、第一の撮像部１３及び第一の撮像部１４は、右サイドミラー１１及び左サイドミラー１２に代えてフェンダミラーに取り付けられるものであってもよい。また、第一の撮像部１５は、例えば、ナンバープレートの近傍位置又はリヤウインドウ近傍位置等に設置されていてもよい。
　第一の撮像部１３～１５は、有線又は無線によって運転支援装置２と接続されている。第一の撮像部１３～１５で撮像して得られる撮像画像データは、有線又は無線によって運転支援装置２に転送される。
　運転支援装置２は、運転者の頭部に装着して用いられるものであり、図２に示す例ではメガネ形状の装置である。運転支援装置２は、運転者の頭部に装着された状態で、運転者の眼の前方を撮像することにより得られる撮像画像に基づいて運転者の視線を検出し、第一の撮像部１３～１５の中から、検出した視線に対応する第一の撮像部で撮像された撮像画像を表示部２７に表示させる。これにより、運転者の死角となる範囲を視認可能として安全運転を支援するものである。
　運転支援装置２は、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、ブリッジ２２に設けられた鼻当て２３Ｒ，２３Ｌ、及び、透明基板２４Ｒ，２４Ｌからなるメガネ本体と、メガネ本体に固定された制御ユニット２５と、を備える。
　テンプル２１Ｒ、２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、運転者の耳又は側頭部に係止され、頭部への保持及び装着位置の調整を行うためのものである。
　ブリッジ２２は、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した位置関係に保持する。
　制御ユニット２５は、図２の例では、運転者の右眼の前方に配置される透明基板２４Ｒに固定されており、電池及び後述するシステム制御部３０等が収容される筐体２６と、透過型の表示部２７と、第二の撮像部２８と、を備える。
　表示部２７は、運転者の眼の前方に固定される。これにより、表示部２７に表示された画像と、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者から観察される背景像とが重なった像を、運転者が観察可能となっている。
　第二の撮像部２８は、運転者の眼の前方を撮像するものである。第二の撮像部２８の光軸及び画角は、運転者の視線及び視野と略同一になるように設定されている。
　図３は、図２に示す運転支援装置２のブロック構成を示す図である。
　図３に示すように、運転支援装置２は、表示部２７と、第二の撮像部２８と、システム制御部３０と、を備える。
　システム制御部３０は、運転支援装置２を統括制御する。システム制御部３０は、プロセッサを主体に構成されており、プロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ
　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等を含む。
　システム制御部３０は、プロセッサがＲＯＭに記憶されたプログラムを実行することにより、視線検出部３１と、撮像選択部３２と、表示制御部３３として機能する。このプログラムは運転支援プログラムを含む。
　視線検出部３１は、第二の撮像部２８によって運転者の眼の前方を撮像して得られた第二の撮像画像データを有線又は無線通信により取得し、取得した第二の撮像画像データを公知の画像解析処理により解析して、運転者の視線を検出する。
　視線検出部３１は、例えば、運転支援装置２に設けられた加速度センサ又はジャイロセンサ等のセンサの情報に基づいて運転者の頭部の動きを検知し、検知した動きに基づいて装着者の視線を検出してもよい。
　撮像選択部３２は、視線検出部３１で検出された運転者の視線に基づいて、第一の撮像部１３～１５の中から、検出した視線の方向に対応する第一の撮像部を選択する。
　自動車１の運転者の視線の方向と、第一の撮像部１３～１５のうち、その運転者の視線の方向の風景を撮像することのできる第一の撮像部との対応関係は、予めテーブルデータとしてＲＯＭに記憶されている。撮像選択部３２は、視線検出部３１により検出された視線の方向に対応する第一の撮像部をこのテーブルデータから特定し、特定した第一の撮像部を選択する。
　具体的には、運転者の視線が正面に対して右方向を向いていると検出された場合には、自動車１が前進する際の進行方向よりも右側の風景を撮像する第一の撮像部１３が選択される。また、運転者の視線が左方向を向いていると検出された場合には、自動車１が前進する際の進行方向よりも左側の風景を撮像する第一の撮像部１４が選択される。また、運転者の視線が後方を向いていると検出された場合には、自動車１が後退する際の進行方向の風景を撮像する第一の撮像部１５が選択される。
　表示制御部３３は、撮像選択部３２により選択された第一の撮像部１３～１５のいずれかにより撮像して得られた第一の撮像画像データと、第二の撮像部２８により撮像して得られる第二の撮像画像データとをそれぞれ取得する。表示制御部３３は、第一の撮像画像データを、第二の撮像画像データに基づいて加工処理し、加工処理後の第一の撮像画像データに基づく画像を表示部２７に表示させる。
　この加工処理は、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者によって自動車１の窓枠内に観察される像の輪郭と、この像が第一の撮像部により撮像されて表示部２７に表示されたこの像に対応する画像（この像を撮像して得られた画像）の輪郭とを一致させるための処理である。すなわち、この加工処理により、加工処理後の第一の撮像画像データに基づく画像が表示部２７に表示された状態で、当該画像の輪郭と、表示部２７及び透明基板２４Ｒ，２４Ｌを通して運転者によって自動車１の窓枠内に観察される像の輪郭とが一致する。
　具体的には、表示制御部３３は、第二の撮像画像データのうち、運転者によって自動車１の窓枠内に観察される像に対応する部分（対応部分）から公知の輪郭抽出処理により輪郭を抽出する。撮像選択部３２により選択された第一の撮像部と、第二の撮像部２８は、自動車１の前後方向において位置に差があり、また、重力方向においても光軸の位置に差がある。
　このため、第二の撮像画像データのうちの運転者によって自動車１の窓枠内に観察される像に対応する部分から輪郭抽出処理によって抽出された輪郭と、撮像選択部３２により選択された第一の撮像部により撮像して得られた第一の撮像画像データにおけるこの像に対応する部分の輪郭は、大きさ及び位置が異なる。
　表示制御部３３は、第一の撮像画像データにおけるこの像に対応する部分の輪郭の大きさ及び位置が、第二の撮像画像データから輪郭抽出処理によって抽出された輪郭の大きさ及び位置と同じになるように、第一の撮像画像データをアフィン変換する。
　次に、図４～図６を参照して加工処理について詳述する。ここでは、運転者が自動車１の後方を観察する場合に行われる加工処理について説明する。
　図４は、第一の撮像部１５により撮像して得られた第一の撮像画像データ５０の一例を示す図である。図４に示す第一の撮像画像データ５０には、人物に対応する画像５１、人物に対応する画像５２、電柱に対応する画像５３、及び、道路の白線に対応する画像５４が含まれる。
　図５は、運転者が運転支援装置２を装着して自動車１の後方を向いた場合に、運転者から観察される車内の風景を示す図である。
　自動車１の後方には、窓枠１０１で囲まれる透明ウインドウが設けられており、運転者が自動車１の後方を観察することができるようになっている。自動車１の車内には、同乗者が着席するための座席１０２が設けられている。
　運転支援装置２を装着している運転者からは、表示部２７及び透明基板２４Ｒ，２４Ｌを通して、人物１１１、人物１１２、電柱１１３、及び、道路の白線１１４等の像が窓枠１０１内に観察される。図５には、運転支援装置２を装着した運転者から見える表示部２７の画像表示範囲２７Ａが示されている。
　なお、図４に示した画像５１は、第一の撮像部１５によって人物１１１が撮像されて得られた画像である。図４に示した画像５２は、第一の撮像部１５によって人物１１２が撮像されて得られた画像である。図４に示した画像５３は、第一の撮像部１５によって電柱１１３が撮像されて得られた画像である。図４に示した画像５４は、第一の撮像部１５によって白線１１４が撮像されて得られた画像である。
　運転支援装置２の電源がオンの間、視線検出部３１は、第二の撮像部２８によって撮像して得られた第二の撮像画像データを取得し、取得した第二の撮像画像データから運転者の視線の方向を検出する。図５の例では、運転者が自動車１の後方を向いていることが検出されるため、撮像選択部３２は第一の撮像部１５を選択する。
　撮像選択部３２により第一の撮像部が選択されると、表示制御部３３は、撮像選択部３２で選択された第一の撮像部１５により撮像して得られた第一の撮像画像データ５０と、第二の撮像部２８により撮像して得られた第二の撮像画像データとを取得する。
　第二の撮像画像データには、窓枠１０１内の人物１１１に対応する画像と、窓枠１０１内の人物１１２に対応する画像と、窓枠１０１の電柱１１３に対応する画像と、窓枠１０１の白線１１４に対応する画像とが含まれる。
　表示制御部３３は、第二の撮像画像データから窓枠１０１を検出する処理を行う。更に、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分に輪郭抽出処理を行って、窓枠１０１内の人物１１１に対応する画像の輪郭と、窓枠１０１内の人物１１２に対応する画像の輪郭と、窓枠１０１内の電柱１１３に対応する画像の輪郭と、窓枠１０１内の白線１１４に対応する画像の輪郭と、をそれぞれ抽出する。
　表示制御部３３は、第一の撮像画像データ５０に対しても輪郭抽出処理を行い、図４に示した画像５１～画像５４の各々の輪郭を抽出する。
　表示制御部３３は、第一の撮像画像データから抽出した画像５１～画像５４の輪郭の各々における、第二の撮像画像データから抽出した人物１１１に対応する画像の輪郭、人物１１２に対応する画像の輪郭、電柱１１３に対応する画像の輪郭、及び、白線１１４に対応する画像の輪郭の各々の対応範囲を検出する。例えば、図４に示す範囲５５が、対応範囲として検出される。
　表示制御部３３は、図４に示す第一の撮像画像データ５０をアフィン変換して、範囲５５から検出された画像５１～画像５４の輪郭の各々の位置及び大きさを、第二の撮像画像データから抽出した人物１１１に対応する画像の輪郭、人物１１２に対応する画像の輪郭、電柱１１３に対応する画像の輪郭、及び、白線１１４に対応する画像の輪郭の各々と一致させる。
　図６は、加工処理後の第一の撮像画像データ５０に基づく画像が表示部２７に表示された状態で運転者から観察される風景を示す図である。
　図６に示すように、表示部２７に表示されたアフィン変換後の第一の撮像画像データ５０における画像５１の輪郭５１Ａ、画像５２の輪郭５２Ａ、画像５３の輪郭５３Ａ、及び、画像５４の輪郭５４Ａの各々は、運転者から窓枠１０１内に観察されている人物１１１の輪郭、人物１１２の輪郭、電柱１１３の輪郭、及び、白線１１４の輪郭の各々と一致している。
　以上の加工処理によって、運転者に違和感を生じさせることなく、運転者の死角となる部分を視認させて安全運転を支援することができる。
　表示制御部３３は、第二の撮像画像データのうちの運転者によって窓枠１０１内に観察される像に対応する部分（窓枠検出処理によって検出された窓枠内の部分）に輪郭抽出処理を行うものとしたが、この対応部分に対して、輪郭抽出処理の前に、自動車１の運転の障害となりえる障害物を検出する障害物検出処理を行い、この障害物検出処理によって障害物が検出された部分のみを対象にして輪郭抽出処理を行ってもよい。このようにすることで、輪郭抽出処理にかかる時間を削減することができ、処理速度を向上することができる。
　障害物検出処理の方法としては、例えば、白線検知等によって道路を検出し、道路以外の物体を障害物として検出する方法、ステレオカメラ等を用いて自動車１からの距離が閾値以下の物体を障害物として検出する方法、顔検出処理により検出された人物を障害物として検出する方法、又は、予め登録した物体パターン（例えば、人物、電柱、又は、壁等）との画像マッチングにより障害物を検出する方法等を用いればよい。
　また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端を含む一部のみを対象として輪郭抽出処理を行ってもよい。窓枠１０１内の略上半分には障害物がない（仮に障害物があったとしても遠くにある）と想定される。このため、例えば窓枠１０１内の略下半分のみを輪郭抽出処理の対象範囲とすることで、輪郭抽出処理にかかる時間を削減し、処理速度を向上することができる。
　また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端から上端に向かって順に上述した障害物検出処理を行い、この障害物検出処理によって障害物が検出された場合に、最初に検出された障害物に対してのみ輪郭抽出処理を行ってもよい。
　窓枠１０１内で下端に観察される像ほど自動車１の近くにあるものと想定されるため、第二の撮像画像データの窓枠１０１内の部分に対し下端から上端に向かって障害物検出処理を行い、最初に障害物が検出された時点で障害物検出処理を終了し、この障害物のみを対象として輪郭抽出処理を行うことで、障害物検出処理及び輪郭抽出処理にかかる時間を削減し、処理速度を向上することができる。
　また、表示制御部３３は、第二の撮像画像データのうちの窓枠１０１内の部分のうち、重力方向の下端から上端に向かって順に上記の障害物検出処理を行い、この部分から障害物が検出されない場合には、輪郭抽出処理を間引き処理するようにしてもよい。
　間引き処理とは、例えば、画像に対して１画素行毎に輪郭抽出処理を行うのではなく、１画素行おき又は複数画素行おきに輪郭抽出処理を行うことを言う。
　障害物が検出されない状態は、例えば、第二の撮像画像データの窓枠１０１内の部分に白線１１４に対応する画像しか含まれない場合が相当する。白線は直線であるため、輪郭抽出処理を間引いても、輪郭抽出の精度にはあまり影響しない。このような構成とすることで、輪郭処理にかかる時間を削減し、処理速度を向上することができる。
　また、表示制御部３３は、輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記の加工処理を省略して、第一の撮像画像データに基づく画像を表示部２７に表示させてもよい。このように、輪郭が非抽出となる場合でも、自動車１の車外の撮像画像をそのまま表示部２７に表示させることで、運転者の死角となる部分を運転者に視認させることができる。
　また、表示制御部３３は、表示部２７を通して観察される自動車１の構成物（例えば、図５に示した座席１０２等）の色又は自動車１の室内の明るさに基づいて、表示部２７に表示させる画像の色又は輝度の少なくとも１つを制御するのが好ましい。
　例えば、表示制御部３３は、逆光の状況又は車内が暗い夜間等の場合には、画像の輝度を上げたり、画像のうちの構成物と重なる部分についてはこの構造部の色の補色で表示したりすることで、表示部２７に表示される画像の視認性を向上させることができる。
　運転支援装置２のシステム制御部３０は、自動車１を制御する制御ユニットに設けられ、有線又は無線通信によって表示部２７及び第二の撮像部２８と通信可能であってもよい。このようにすることで、負荷の高い処理を自動車１に設けられた高性能のプロセッサによって実行することができ、運転支援装置２の連続使用時間を延ばすことができる。この場合は、システム制御部３０が運転支援装置を構成する。
　以上説明してきたように、本明細書には少なくとも以下の事項が開示されている。
　運転支援装置は、乗り物の運転を支援する運転支援装置であって、上記乗り物の運転者の視線を検出する視線検出部と、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択部と、上記撮像選択部により選択された第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記乗り物の上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御部と、を備えるものである。
　上記運転支援装置は、上記運転者の頭部に装着されるものとすることができ、上記乗り物の上記運転者の眼の前方に固定される透過型の表示部と、上記運転者の眼の前方を撮像する第二の撮像部と、を更に備えるものとすることができる。
　上記運転支援装置において、上記加工処理は、上記運転者によって上記乗り物の窓枠内に観察される像の輪郭と、上記表示部に表示されるその画像に含まれるその像に対応する画像の輪郭とを一致させるための処理であるものを含むことができる。
　上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうちの上記運転者によって上記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、上記第一の撮像画像データから輪郭抽出処理を行い、上記加工処理は、上記第一の撮像画像データから抽出された輪郭のうち、上記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、上記第二の撮像画像データから抽出された輪郭に一致させる処理であるものを含むことができる。
　上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分であり、かつ、上記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行うものとすることができる。
　上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行うものとすることができる。
　上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から最初に検出された上記障害物を対象として輪郭抽出処理を行うものとすることができる。
　上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から上記障害物が検出されない場合には、輪郭抽出処理を間引き処理するものとすることができる。
　上記運転支援装置において、上記表示制御部は、上記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記加工処理を省略して、上記第一の撮像画像データに基づく上記画像を上記表示部に表示させるものとすることができる。
　上記運転支援装置において、上記表示制御部は、上記表示部を通して観察される上記乗り物の構成物の色、又は、上記乗り物の室内の明るさに基づいて、上記表示部に表示させる上記画像の色又は輝度の少なくとも一方を制御するものとすることができる。
　上記運転支援装置において、上記視線検出部は、上記運転者の眼の前方を撮像して得られる撮像画像に基づいて上記視線を検出する、又は、上記運転者の頭部の動きに基づいて上記視線を検出するものとすることができる。
　運転支援方法は、乗り物の運転を支援する運転支援方法であって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備えるものである。
　上記運転支援方法において、上記加工処理は、上記運転者によって上記乗り物の窓枠内に観察される像の輪郭と、上記表示部に表示されたその画像に含まれるその像に対応する画像の輪郭とを一致させるための処理であるものを含むことができる。
　上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記運転者によって上記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、上記第一の撮像画像データから輪郭抽出処理を行い、上記加工処理は、上記第一の撮像画像データから抽出された輪郭のうち、上記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、上記第二の撮像画像データから抽出された輪郭に一致させる処理であるものを含むことができる。
　上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分であり、かつ、上記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行うものとすることができる。
　上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行うものとすることができる。
　上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から最初に検出された上記障害物を対象として輪郭抽出処理を行うものとすることができる。
　上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データのうち、上記対応部分の重力方向の下端から上端に向かって上記乗り物の運転の障害となりえる障害物を抽出する処理を行い、上記対応部分から上記障害物が検出されない場合には、輪郭抽出処理を間引き処理するものとすることができる。
　上記運転支援方法において、上記表示制御ステップは、上記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、上記加工処理を省略して、上記第一の撮像画像データに基づく上記画像を上記表示部に表示させるものとすることができる。
　上記運転支援方法において、上記表示制御ステップは、上記表示部を通して観察される上記乗り物の構成物の色、又は、上記乗り物の室内の明るさに基づいて、上記表示部に表示させる上記画像の色又は輝度の少なくとも一方を制御するものとすることができる。
　上記運転支援方法において、上記視線検出ステップは、上記運転者の眼の前方を撮像して得られる撮像画像に基づいて上記視線を検出する、又は、上記運転者の頭部の動きに基づいて上記視線を検出するものとすることができる。
　運転支援プログラムは、乗り物の運転を支援する運転支援プログラムであって、上記乗り物の運転者の視線を検出する視線検出ステップと、上記乗り物の周囲を撮像する複数の第一の撮像部の中から上記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、上記撮像選択ステップにおいて選択した上記第一の撮像部により撮像して得られた第一の撮像画像データを、上記運転者の頭部に装着され上記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、上記加工処理後の第一の撮像画像データに基づく画像を、上記運転者の頭部に装着され上記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。
　本発明は、自動車の運転を支援するのに好適である。
１　自動車
１１　右サイドミラー
１２　左サイドミラー
１３～１５　第一の撮像部
２　運転支援装置
２１Ｌ、２１Ｒ　テンプル
２２　ブリッジ
２３Ｒ，２３Ｌ　鼻当て
２４Ｒ，２４Ｌ　透明基板
２５　制御ユニット
２６　筐体
２７　表示部
２８　第二の撮像部
３０　システム制御部
３１　視線検出部
３２　撮像選択部
３３　表示制御部
５０　第一の撮像画像データ
５１～５４　画像
５５　範囲
１０１　窓枠
１０２　座席
１１１、１１２　人物
１１３　電柱
１１４　白線
２７Ａ　画像表示範囲
５１Ａ～５３Ａ　輪郭

Claims (22)

  1. 　乗り物の運転を支援する運転支援装置であって、
    　前記乗り物の運転者の視線を検出する視線検出部と、
    　前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択部と、
    　前記撮像選択部により選択された前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記乗り物の前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御部と、を備える運転支援装置。
  2. 　請求項１記載の運転支援装置であって、
    　前記乗り物の前記運転者の眼の前方に固定される透過型の表示部と、
    　前記運転者の眼の前方を撮像する第二の撮像部と、を更に備え、
    　前記運転者の頭部に装着されるものである運転支援装置。
  3. 　請求項１又は２記載の運転支援装置であって、
    　前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示される前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援装置。
  4. 　請求項３記載の運転支援装置であって、
    　前記表示制御部は、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
    　前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援装置。
  5. 　請求項４記載の運転支援装置であって、
    　前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援装置。
  6. 　請求項４記載の運転支援装置であって、
    　前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援装置。
  7. 　請求項４～６のいずれか１項記載の運転支援装置であって、
    　前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援装置。
  8. 　請求項４～６のいずれか１項記載の運転支援装置であって、
    　前記表示制御部は、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援装置。
  9. 　請求項４～８のいずれか１項記載の運転支援装置であって、
    　前記表示制御部は、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援装置。
  10. 　請求項１～９のいずれか１項記載の運転支援装置であって、
    　前記表示制御部は、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援装置。
  11. 　請求項１～１０のいずれか１項記載の運転支援装置であって、
    　前記視線検出部は、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援装置。
  12. 　乗り物の運転を支援する運転支援方法であって、
    　前記乗り物の運転者の視線を検出する視線検出ステップと、
    　前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
    　前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、を備える運転支援方法。
  13. 　請求項１２記載の運転支援方法であって、
    　前記加工処理は、前記運転者によって前記乗り物の窓枠内に観察される像の輪郭と、前記表示部に表示された前記画像に含まれる前記像に対応する画像の輪郭とを一致させるための処理である運転支援方法。
  14. 　請求項１３記載の運転支援方法であって、
    　前記表示制御ステップは、前記第二の撮像画像データのうち、前記運転者によって前記乗り物の窓枠内に観察される像に対応する対応部分から輪郭抽出処理を行い、かつ、前記第一の撮像画像データから輪郭抽出処理を行い、
    　前記加工処理は、前記第一の撮像画像データから抽出された輪郭のうち、前記第二の撮像画像データから抽出された輪郭に対応する範囲内の輪郭を、前記第二の撮像画像データから抽出された輪郭に一致させる処理である運転支援方法。
  15. 　請求項１４記載の運転支援方法であって、
    　前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分であり、かつ、前記乗り物の運転の障害となりえる障害物を含む部分のみを対象として輪郭抽出処理を行う運転支援方法。
  16. 　請求項１４記載の運転支援方法であって、
    　前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端を含む一部のみを対象として輪郭抽出処理を行う運転支援方法。
  17. 　請求項１４～１６のいずれか１項記載の運転支援方法であって、
    　前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から最初に検出された前記障害物を対象として輪郭抽出処理を行う運転支援方法。
  18. 　請求項１４～１６のいずれか１項記載の運転支援方法であって、
    　前記表示制御ステップは、前記第二の撮像画像データのうち、前記対応部分の重力方向の下端から上端に向かって前記乗り物の運転の障害となりえる障害物を抽出する処理を行い、前記対応部分から前記障害物が検出されない場合には、輪郭抽出処理を間引き処理する運転支援方法。
  19. 　請求項１４～１８のいずれか１項記載の運転支援方法であって、
    　前記表示制御ステップは、前記第二の撮像画像データに対して行われた輪郭抽出処理を行った結果、輪郭が非抽出となった場合には、前記加工処理を省略して、前記第一の撮像画像データに基づく画像を前記表示部に表示させる運転支援方法。
  20. 　請求項１２～１９のいずれか１項記載の運転支援方法であって、
    　前記表示制御ステップは、前記表示部を通して観察される前記乗り物の構成物の色、又は、前記乗り物の室内の明るさに基づいて、前記表示部に表示させる画像の色又は輝度の少なくとも一方を制御する運転支援方法。
  21. 　請求項１２～２０のいずれか１項記載の運転支援方法であって、
    　前記視線検出ステップは、前記運転者の眼の前方を撮像して得られる撮像画像に基づいて前記視線を検出する、又は、前記運転者の頭部の動きに基づいて前記視線を検出する運転支援方法。
  22. 　乗り物の運転を支援する運転支援プログラムであって、
    　前記乗り物の運転者の視線を検出する視線検出ステップと、
    　前記乗り物の周囲を撮像する複数の第一の撮像部の中から前記視線の方向に対応する第一の撮像部を選択する撮像選択ステップと、
    　前記撮像選択ステップにおいて選択した前記第一の撮像部により撮像して得られた第一の撮像画像データを、前記運転者の頭部に装着され前記運転者の眼の前方を撮像する第二の撮像部により撮像して得られる第二の撮像画像データに基づいて加工処理し、前記加工処理後の第一の撮像画像データに基づく画像を、前記運転者の頭部に装着され前記運転者の眼の前方に固定される透過型の表示部に表示させる表示制御ステップと、をコンピュータに実行させるための運転支援プログラム。
PCT/JP2017/002963 2016-02-25 2017-01-27 運転支援装置、運転支援方法、及び、運転支援プログラム WO2017145645A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018501085A JP6410987B2 (ja) 2016-02-25 2017-01-27 運転支援装置、運転支援方法、及び、運転支援プログラム
CN201780011274.2A CN108701415B (zh) 2016-02-25 2017-01-27 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
US16/053,820 US11025836B2 (en) 2016-02-25 2018-08-03 Driving assistance device, driving assistance method, and driving assistance program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016034394 2016-02-25
JP2016-034394 2016-02-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/053,820 Continuation US11025836B2 (en) 2016-02-25 2018-08-03 Driving assistance device, driving assistance method, and driving assistance program

Publications (1)

Publication Number Publication Date
WO2017145645A1 true WO2017145645A1 (ja) 2017-08-31

Family

ID=59685372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002963 WO2017145645A1 (ja) 2016-02-25 2017-01-27 運転支援装置、運転支援方法、及び、運転支援プログラム

Country Status (4)

Country Link
US (1) US11025836B2 (ja)
JP (1) JP6410987B2 (ja)
CN (1) CN108701415B (ja)
WO (1) WO2017145645A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019211822A (ja) * 2018-05-31 2019-12-12 株式会社デンソーテン 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法
JP2020036786A (ja) * 2018-09-05 2020-03-12 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
JP2020091663A (ja) * 2018-12-05 2020-06-11 トヨタ自動車株式会社 車両用表示制御装置
JP2020095350A (ja) * 2018-12-10 2020-06-18 トヨタ自動車株式会社 支援装置、支援方法およびプログラム
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190102923A1 (en) * 2017-10-04 2019-04-04 L3 Technologies, Inc. Combining synthetic imagery with real imagery for vehicular operations
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
US11675431B2 (en) * 2019-09-30 2023-06-13 Mitsubishi Electric Corporation Image display device, display control device, and display control method, and program and recording medium
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
JP2021192202A (ja) * 2020-06-05 2021-12-16 トヨタ自動車株式会社 体験システム、体験提供方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294842A (ja) * 1994-04-26 1995-11-10 Toyota Motor Corp 自動車用情報表示装置
JP2006040123A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両の認知支援装置
JP2008143701A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd 産業車両の視界改善システム及び方法
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
JP2010058631A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用情報表示装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877366B2 (ja) * 1997-01-20 2007-02-07 本田技研工業株式会社 車両用ヘッドマウントディスプレイ装置
JPH10206789A (ja) 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
JP2005284473A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 運転支援システム、自動車、および運転支援方法
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2008058409A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 音声認識方法及び音声認識装置
JP4412365B2 (ja) * 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
WO2008126389A1 (ja) 2007-04-02 2008-10-23 Panasonic Corporation 安全運転支援装置
JP5331146B2 (ja) * 2011-03-22 2013-10-30 株式会社東芝 単眼ヘッドマウントディスプレイ
US9230501B1 (en) * 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US8988524B2 (en) * 2013-03-11 2015-03-24 The United States Of America As Represented By The Secretary Of The Army Apparatus and method for estimating and using a predicted vehicle speed in an indirect vision driving task
CN103185963A (zh) * 2013-03-29 2013-07-03 南京智真电子科技有限公司 多功能车辆辅助驾驶眼镜
US9280202B2 (en) * 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
DE102015202846B4 (de) * 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US20150321606A1 (en) * 2014-05-09 2015-11-12 HJ Laboratories, LLC Adaptive conveyance operating system
DE102014213021A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines HMD im Fahrzeug
CN104090366A (zh) * 2014-07-23 2014-10-08 占舒婷 一种汽车驾驶眼镜
US9477083B2 (en) * 2014-12-01 2016-10-25 Visteon Global Technologies, Inc. Adjusting an electronic display based on light sensing
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
US9881501B2 (en) * 2015-11-02 2018-01-30 Magna Electronics Inc. Driver assistance system with traffic light alert
CN107924465B (zh) * 2016-03-18 2021-09-10 Jvc 建伍株式会社 物体识别装置、物体识别方法以及存储介质
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
US10573074B1 (en) * 2017-03-21 2020-02-25 Rockwell Collins, Inc. Evaluating display accuracy
US11380018B2 (en) * 2017-12-19 2022-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
US10679410B2 (en) * 2018-09-14 2020-06-09 Facebook Technologies, Llc Display opacity control for preventing view occlusion in artificial reality
US10767997B1 (en) * 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms
KR20190109720A (ko) * 2019-09-06 2019-09-26 엘지전자 주식회사 차량의 주행 안내 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294842A (ja) * 1994-04-26 1995-11-10 Toyota Motor Corp 自動車用情報表示装置
JP2006040123A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両の認知支援装置
JP2008143701A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd 産業車両の視界改善システム及び方法
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
JP2010058631A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用情報表示装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019211822A (ja) * 2018-05-31 2019-12-12 株式会社デンソーテン 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法
JP7203514B2 (ja) 2018-05-31 2023-01-13 株式会社デンソーテン 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法
JP2020036786A (ja) * 2018-09-05 2020-03-12 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
JP7167562B2 (ja) 2018-09-05 2022-11-09 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
JP2020091663A (ja) * 2018-12-05 2020-06-11 トヨタ自動車株式会社 車両用表示制御装置
JP7163748B2 (ja) 2018-12-05 2022-11-01 トヨタ自動車株式会社 車両用表示制御装置
JP2020095350A (ja) * 2018-12-10 2020-06-18 トヨタ自動車株式会社 支援装置、支援方法およびプログラム
US11393196B2 (en) 2018-12-10 2022-07-19 Toyota Jidosha Kabushiki Kaisha Line of sight assistance device and method
JP7147527B2 (ja) 2018-12-10 2022-10-05 トヨタ自動車株式会社 支援装置、支援方法およびプログラム
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム

Also Published As

Publication number Publication date
US11025836B2 (en) 2021-06-01
JPWO2017145645A1 (ja) 2018-12-27
US20180359429A1 (en) 2018-12-13
JP6410987B2 (ja) 2018-10-24
CN108701415A (zh) 2018-10-23
CN108701415B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
JP6410987B2 (ja) 運転支援装置、運転支援方法、及び、運転支援プログラム
KR101579098B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP5099451B2 (ja) 車両周辺確認装置
JP4888838B2 (ja) 運転者撮像装置および運転者撮像方法
US10868976B2 (en) Method for operating smartglasses in a motor vehicle, and system comprising smartglasses
EP2950521B1 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
JP2008230296A (ja) 車両用運転支援システム
CN111169382B (zh) 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
JP5093611B2 (ja) 車両周辺確認装置
CN109941277A (zh) 显示汽车a柱盲区图像的方法、装置和车辆
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
JP2008213649A (ja) 車両用周辺監視装置
EP3456574B1 (en) Method and system for displaying virtual reality information in a vehicle
JP2014045265A (ja) 車載撮像システム
KR20140079947A (ko) 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
JP2017056909A (ja) 車両用画像表示装置
JP2008037118A (ja) 車両用表示装置
JP6115278B2 (ja) 車両用表示装置
JP2017111739A (ja) 運転支援装置、運転支援方法
JP2012116400A (ja) コーナーポール投影装置
CN107009961A (zh) 汽车和汽车透明座舱系统
JP2012212357A (ja) 車載用表示装置
JP6649063B2 (ja) 車両後方表示装置及び表示制御装置
CN111016786B (zh) 基于3d视线估计的汽车a柱遮挡区域显示方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018501085

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17756087

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17756087

Country of ref document: EP

Kind code of ref document: A1