WO2018105052A1 - 表示制御装置、表示システム、及び、表示制御方法 - Google Patents

表示制御装置、表示システム、及び、表示制御方法 Download PDF

Info

Publication number
WO2018105052A1
WO2018105052A1 PCT/JP2016/086367 JP2016086367W WO2018105052A1 WO 2018105052 A1 WO2018105052 A1 WO 2018105052A1 JP 2016086367 W JP2016086367 W JP 2016086367W WO 2018105052 A1 WO2018105052 A1 WO 2018105052A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
rear side
display control
image
Prior art date
Application number
PCT/JP2016/086367
Other languages
English (en)
French (fr)
Inventor
篤史 前田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112016007407.7T priority Critical patent/DE112016007407T5/de
Priority to CN201680091269.2A priority patent/CN110035926A/zh
Priority to PCT/JP2016/086367 priority patent/WO2018105052A1/ja
Priority to JP2018555376A priority patent/JP6532616B2/ja
Priority to US16/344,743 priority patent/US20190333252A1/en
Publication of WO2018105052A1 publication Critical patent/WO2018105052A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Definitions

  • This invention relates to an apparatus for controlling processing for providing a driver with an image of the surroundings of a vehicle.
  • Patent Literature 1 describes a display control device that displays on a side glass a display image based on left and right captured images of a moving body.
  • a pedestrian or the like in front of the vehicle, but as described in Patent Document 1, the image is displayed on the side glass instead of the windshield, so that the driver is not obstructed by the display image. The front of the vehicle can be confirmed.
  • the present invention has been made in order to solve the above-described problems, and the driver can check the right rear side or the left rear side of the vehicle without increasing the line-of-sight movement.
  • An object of the present invention is to obtain a display control device that can confirm the front of the display.
  • a display control device includes a video acquisition unit that acquires a video of the surroundings of a vehicle, a travel direction acquisition unit that acquires change information of the travel direction of the vehicle, a video that captures the front of the vehicle, and a vehicle Of the right rear side and the left rear side of the vehicle, a video composition unit that synthesizes a video of the rear side of the change destination direction indicated by the change information, and the change information of the driver's right front and left front And a display control unit that outputs a control signal for projecting the video synthesized by the video synthesis unit in front of the change destination direction shown.
  • an image obtained by combining the image of the front of the vehicle and the image of the rear side of the change destination indicated by the change information among the right rear side and the left rear side of the vehicle is synthesized.
  • the driver is controlled to project forward in the direction of the change destination indicated by the change information among the right front and left front of the driver.
  • the rear side can be confirmed, and the front of the vehicle can also be confirmed.
  • FIG. 1 It is a block diagram which shows the structure of the display control apparatus which concerns on Embodiment 1 of this invention. It is a figure which shows the example of installation of an imaging part.
  • 3A and 3B are diagrams showing a hardware configuration example of the display control apparatus according to Embodiment 1 of the present invention. It is a flowchart which shows an example of a process of the display control apparatus which concerns on Embodiment 1 of this invention. It is a bird's-eye view which shows an example of the situation of vehicles and its circumference. It is a figure which shows the image
  • FIG. 1 is a block diagram showing a display control apparatus 10 according to Embodiment 1 of the present invention.
  • FIG. 1 shows a case where the display control apparatus 10 is provided in an in-vehicle display system 100.
  • the display system 100 includes an imaging unit 1, a traveling direction detection unit 2, a projection unit 3, and a display control device 10.
  • the imaging unit 1 captures the surroundings of the vehicle.
  • the imaging unit 1 includes a left rear side imaging unit 1a, a right rear side imaging unit 1b, and a front imaging unit 1c.
  • FIG. 2 is a diagram illustrating an installation example of the imaging unit 1.
  • FIG. 2 is an overhead view of the vehicle.
  • the left rear side imaging unit 1a is provided at a position where the left rear side R1 of the vehicle can be photographed, for example, at the left front fender of the vehicle.
  • the right rear side imaging unit 1b is provided at a position where the right rear side R2 of the vehicle can be photographed, for example, at the right front fender of the vehicle.
  • the front imaging unit 1c is provided at a position where the front of the vehicle can be photographed, for example, at the tip of the hood of the vehicle. Thereby, the left rear side imaging unit 1a can shoot an object existing on the left rear side of the vehicle, and the right rear side imaging unit 1b can shoot an object existing on the right rear side of the vehicle.
  • the front imaging unit 1c can capture an object existing in front of the vehicle.
  • the object is something that the driver should pay attention to, such as a bicycle, a motorcycle, or a pedestrian.
  • the imaging unit 1 outputs to the display control device 10 an image of the surroundings of the vehicle.
  • the front, right rear side, and left rear side of the vehicle are collectively referred to as the periphery of the vehicle. Therefore, the images output from the left rear side imaging unit 1a, the right rear side imaging unit 1b, and the front imaging unit 1c can all be said to be images of the surroundings of the vehicle.
  • the imaging unit 1 is a camera, and is preferably a wide-angle camera because the imaging range is widened.
  • the traveling direction detector 2 detects a change in the traveling direction of the vehicle, such as turning left or right or changing lanes.
  • the traveling direction detector 2 detects a change in the traveling direction of the vehicle, for example, by monitoring the state of the direction indicator.
  • the advancing direction detection part 2 may detect the change of the advancing direction of a vehicle by monitoring the rotation angle of a steering wheel. For example, when the steering wheel is turned more than a set angle, the traveling direction detection unit 2 detects that the traveling direction of the vehicle is changed.
  • the advancing direction detection part 2 may acquire a driver
  • the traveling direction detection unit 2 When the traveling direction detection unit 2 detects a change in the traveling direction of the vehicle, the traveling direction detection unit 2 outputs the detection result to the display control device 10 as change information on the traveling direction of the vehicle.
  • the change information indicates the direction of the change destination. For example, when the driver operates the direction indicator to turn left, the change information output by the traveling direction detection unit 2 indicates “left” as the change destination direction. For example, when the driver turns the steering wheel to move to the right lane, the change information output by the traveling direction detection unit 2 indicates “right” as the change destination direction.
  • Projection unit 3 is controlled by display control device 10 to project an image on the windshield of the vehicle.
  • An image projected by the projection unit 3 and a projection destination are controlled by the display control device 10.
  • the projection unit 3 is a so-called HUD (Head Up Display).
  • the light source of the projection unit 3 is an LCD (Liquid Crystal Display), a laser, an organic EL (Electro Luminescence), or the like.
  • the display control device 10 includes a video acquisition unit 11, a traveling direction acquisition unit 12, a video synthesis unit 13, and a display control unit 14.
  • the video acquisition unit 11 acquires a video that is output from the imaging unit 1 and is taken around the vehicle. Specifically, the video acquisition unit 11 acquires video captured by the left rear side imaging unit 1a, the right rear side imaging unit 1b, and the front imaging unit 1c. The video acquisition unit 11 outputs the acquired video to the video synthesis unit 13.
  • the traveling direction acquisition unit 12 acquires the change information of the traveling direction of the vehicle output by the traveling direction detection unit 2.
  • the traveling direction acquisition unit 12 outputs the acquired change information to the video composition unit 13 and the display control unit 14.
  • the video synthesizing unit 13 synthesizes a plurality of videos acquired by the video acquiring unit 11 and outputs the synthesized video to the display control unit 14.
  • the video composition unit 13 is a video that shows the front of the vehicle, and a video that shows the rear side in the change destination direction indicated by the change information among the right rear side or the left rear side of the vehicle. Is synthesized. For example, if the change information indicates “left”, the video composition unit 13 synthesizes a video image of the front of the vehicle and a video image of the left rear side of the vehicle. If the change information indicates “right”, the video composition unit 13 synthesizes a video image of the front of the vehicle and a video image of the right rear side of the vehicle.
  • the image of the front of the vehicle is an image captured by the front imaging unit 1c.
  • the video showing the right rear side of the vehicle is a video taken by the right rear side imaging unit 1b
  • the video showing the left rear side of the vehicle is taken by the left rear side imaging unit 1a. It is the picture which was done.
  • the display control unit 14 outputs, to the projection unit 3, a control signal for projecting the video synthesized by the video synthesis unit 13 in front of the change destination direction indicated by the change information among the right front and left front of the driver. . If the change information indicates “left” by this control signal, an image is projected on the left portion of the windshield, that is, on the left front of the driver. Similarly, if the change information indicates “right”, an image is projected on a portion of the windshield positioned on the right, that is, on the right front of the driver.
  • the functions of the video acquisition unit 11, the traveling direction acquisition unit 12, the video synthesis unit 13, and the display control unit 14 of the display control device 10 are realized by a processing circuit.
  • the processing circuit may be dedicated hardware or a CPU (Central Processing Unit) that executes a program stored in a memory.
  • the CPU is also called a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, and a DSP (Digital Signal Processor).
  • FIG. 3A is a diagram illustrating a hardware configuration example when the functions of the respective units of the display control device 10 are realized by the processing circuit 200 which is dedicated hardware.
  • the processing circuit 200 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination thereof.
  • the functions of the video acquisition unit 11, the traveling direction acquisition unit 12, the video synthesis unit 13, and the display control unit 14 may be realized by combining separate processing circuits 200, or the functions of the respective units may be realized by a single processing circuit 200. It may be realized.
  • FIG. 3B is a diagram illustrating a hardware configuration example in a case where the functions of each unit of the display control device 10 are realized by the CPU 202 that executes a program stored in the memory 201.
  • the functions of the video acquisition unit 11, the traveling direction acquisition unit 12, the video synthesis unit 13, and the display control unit 14 are realized by software, firmware, or a combination of software and firmware.
  • Software and firmware are described as programs and stored in the memory 201.
  • the CPU 202 implements functions of each unit of the display control device 10 by reading and executing a program stored in the memory 201. That is, the display control apparatus 10 includes a memory 201 for storing a program or the like that will be executed as a result of the processing shown in the flowcharts of FIGS.
  • the memory 201 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM, or a nonvolatile semiconductor ROM).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM, or a nonvolatile semiconductor ROM).
  • Memory magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc) and the like are applicable.
  • each part of the display control device 10 may be realized by dedicated hardware and partly realized by software or firmware.
  • the functions of the video acquisition unit 11 and the traveling direction acquisition unit 12 are realized by a processing circuit as dedicated hardware, and the video synthesis unit 13 and the display control unit 14 have programs stored in the memory. The function can be realized by reading and executing.
  • the processing circuit can realize each function of the display control device 10 by hardware, software, firmware, or a combination thereof. Further, the traveling direction detection unit 2 can also be configured as shown in FIGS. 3A and 3B as with the display control device 10.
  • the traveling direction acquisition unit 12 acquires change information on the traveling direction of the vehicle from the traveling direction detection unit 2 (step ST1).
  • the acquired change information is output to the video composition unit 13 and the display control unit 14.
  • the video acquisition unit 11 subsequently acquires a video image of the surroundings of the vehicle from the imaging unit 1 (step ST2).
  • the acquired video is output to the video composition unit 13.
  • the video composition unit 13 synthesizes a video image of the front of the vehicle and a video image of the rear side of the change destination indicated by the change information in the right rear side or the left rear side of the vehicle.
  • the synthesized video is output to the display control unit 14.
  • the display control unit 14 outputs a control signal for projecting the video synthesized by the video synthesis unit 13 to the front in the change destination direction indicated by the change information among the right front and left front of the driver.
  • the projection unit 3 projects the synthesized image to the front right or left front of the driver. If the change information indicates “left”, the image is projected on the left portion of the windshield. If the change information indicates “right”, an image is projected on a portion of the windshield positioned on the right.
  • steps ST1 to ST4 described above are repeated each time the traveling direction detector 2 detects a change in the traveling direction of the vehicle.
  • the video acquisition unit 11 acquires change information from the traveling direction acquisition unit 12, and only the video showing the rear side of the change destination indicated by the change information is combined with the video showing the front of the vehicle. You may make it output to the part 13.
  • FIG. 5 is an overhead view showing an example of the situation of the vehicle and its surroundings.
  • the vehicle turns left with the direction of travel changed to the left.
  • a pedestrian A exists in front of the vehicle
  • a bicycle B exists on the left rear side of the vehicle.
  • FIG. 6 shows an image projected by the projection unit 3 under the situation shown in FIG. Since the direction of travel is changed to the left, the composite image, which is a composite of the image of the left rear side of the vehicle and the image of the front of the vehicle, is located on the left side of the windshield, that is, the driver Projected to the left front.
  • the composite image an image A1 of a pedestrian A existing in front of the vehicle and an image B1 of a bicycle B existing on the left rear side of the vehicle are shown.
  • an image of the right rear side or left rear side of the vehicle is projected on the right front or left front of the driver, so that the line of sight does not increase when turning right or left or changing lanes.
  • the driver can check the right rear side or the left rear side of the vehicle. Further, at that time, an image of the front of the vehicle is synthesized, so that the front of the vehicle can be confirmed at the same time.
  • the projected image and the pedestrian A existing in front do not overlap with each other as viewed from the driver.
  • the projected image and the pedestrian A existing in front may overlap when viewed from the driver.
  • the driver cannot check the pedestrian A directly through the windshield due to being blocked by the projected image.
  • the driver who viewed the images can recognize the presence of the pedestrian A by synthesizing and projecting the image of the front of the vehicle.
  • the driver confirms the pedestrian A in two ways: direct confirmation through the windshield and indirect confirmation through the projected image. A method is provided so that the driver can reliably confirm.
  • the projection unit 3 projects an image on the windshield.
  • one combiner may be provided at each of the driver's right front and left front, and the projection unit 3 may project an image on these combiners.
  • the image is projected on the combiner provided in front of the driver under the control of the display control device 10, and when turning left, for example, the display control device 10 controls the left front of the driver.
  • the image is projected on the combiner provided in
  • the display control apparatus 10 was provided in the vehicle-mounted display system 100 was shown above.
  • the video acquisition unit 11, the traveling direction acquisition unit 12, the video synthesis unit 13, the display control unit 14, and the like constituting the display control device 10 are built in the external server, and the external server is the imaging unit 1, the progress.
  • the projector 3 may be controlled remotely by transmitting and receiving information between the direction detector 2 and the projector 3.
  • the imaging unit 1, the traveling direction detection unit 2, the projection unit 3, and the external server are connected to each other via a mobile terminal such as a smartphone so that the imaging unit 1, the traveling direction detection unit 2 are connected.
  • information may be transmitted and received between the projection unit 3 and the external server.
  • the video acquisition unit 11, the traveling direction acquisition unit 12, the video synthesis unit 13, the display control unit 14, and the like constituting the display control device 10 are built in the mobile terminal, and the mobile terminal is used as the display control device 10. May function.
  • the left rear side imaging unit 1a and the right rear side imaging unit 1b are provided in the left and right front fenders of the vehicle, respectively, and shoot the right rear side and the left rear side of the vehicle.
  • the right rear side imaging unit 1b and the left rear side imaging unit 1a are provided at the door mirror position to capture the right rear side and the left rear side of the vehicle. It is possible to reduce a blind spot area that does not fall within the imaging range of the right rear side imaging unit 1b and the left rear side imaging unit 1a on the side and the left rear side.
  • the front imaging unit 1c is provided at the front end of the hood of the vehicle and photographs the front of the vehicle. In this way, compared with the case where the front imaging unit 1c is provided on the upper part of the windshield, that is, next to the rearview mirror and images the front of the vehicle, the blind spot that does not enter the imaging range of the front imaging unit 1c in front of the vehicle. The area can be reduced.
  • the imaging unit 1 is a wide-angle camera. By using the wide-angle camera, it is possible to reduce the blind spot area that does not fall within the imaging range of the imaging unit 1.
  • FIG. 7 is a block diagram showing a display control apparatus 10a according to Embodiment 2 of the present invention.
  • FIG. 7 shows a case where the display control apparatus 10 a is provided in the display system 100. Note that components having the same or corresponding functions as those already described in the first embodiment are denoted by the same reference numerals, and description thereof is omitted or simplified.
  • the display system 100 includes an object detection unit 4 and an auxiliary display unit 5 in addition to the imaging unit 1, the traveling direction detection unit 2, the projection unit 3, and the display control device 10a.
  • the object detection unit 4 generates information about an object existing around the vehicle. Specifically, the object detection unit 4 detects the position of the object existing in front of the vehicle. The position detected at this time indicates a relative position from the vehicle, and indicates how far away and in what direction from the vehicle.
  • the object detection unit 4 outputs a first detection result indicating the position of the object existing ahead of the detected vehicle to the display control device 10a.
  • the target object detection part 4 detects the advancing direction, speed, and position of the target object existing on the right rear side or the left rear side of the vehicle.
  • the object detection unit 4 outputs a second detection result indicating the traveling direction, speed, and position of the object existing on the right rear side or the left rear side of the detected vehicle to the display control device 10a.
  • the object detection unit 4 includes a rear side detection unit 4a that detects an object present on the right rear side or the left rear side of the vehicle, and a front detection unit 4b that detects an object present in front of the vehicle.
  • the rear side detection unit 4a and the front detection unit 4b are, for example, millimeter wave radars.
  • the rear side detection unit 4a is provided at a position where an object existing on the right rear side or the left rear side of the vehicle can be detected, for example, a rear bumper.
  • the front detection unit 4b is provided at a position where an object existing in front of the vehicle can be detected, for example, a front bumper.
  • the rear side detection unit 4a and the front detection unit 4b may be an image recognition device that acquires the video imaged by the imaging unit 1 and detects the position of the object by image processing.
  • a stereo camera may be provided exclusively for the object detection unit 4 and an image captured by the stereo camera may be an object of image processing.
  • the object detection unit 4 may be configured by combining a millimeter wave radar and an image recognition device.
  • the target object detection part 4 may detect the magnitude
  • the auxiliary display unit 5 is controlled by the display control device 10a to display an image.
  • the video displayed by the auxiliary display unit 5 is controlled by the display control device 10a.
  • the auxiliary display unit 5 is, for example, an instrument panel or a CID (Center Information Display). Alternatively, a dedicated display device may be provided as the auxiliary display unit 5.
  • the display control device 10 a includes an object information acquisition unit 15, an overlap determination unit 16, and a position prediction unit 17 in addition to the video acquisition unit 11, the traveling direction acquisition unit 12, the video composition unit 13, and the display control unit 14.
  • the object information acquisition unit 15 acquires the first detection result and the second detection result output from the object detection unit 4, outputs the first detection result to the overlap determination unit 16, and predicts the position of the second detection result. To the unit 17.
  • the overlap determination unit 16 determines whether the object and the image projected by the projection unit 3 overlap each other when viewed from the driver, using the position of the object existing in front of the vehicle indicated by the first detection result. In the case of overlapping, an object existing in front of the vehicle is blocked by the image projected by the projection unit 3, and the driver cannot check the object through the windshield.
  • the range in which the projection unit 3 projects an image is stored in advance in a memory (not shown) in the display control device 10a.
  • the overlap determination unit 16 reads the range in the case of projecting ahead of the change direction indicated by the change information from the right front and left front of the driver, and performs the determination.
  • the overlap determination unit 16 outputs the determination result to the video composition unit 13 and the display control unit 14.
  • the position predicting unit 17 uses the traveling direction, speed, and position of an object existing on the right rear side or the left rear side of the vehicle indicated by the second detection result, and the vehicle when the vehicle changes the traveling direction. Predict the positional relationship with the object. Then, the position predicting unit 17 determines whether the target object is away from the set range from the vehicle in the predicted positional relationship. For example, the setting range is set to a value at which contact possibility is considered. The position prediction unit 17 outputs the determination result to the video composition unit 13 and the display control unit 14.
  • the position predicting unit 17 obtains the current position of the vehicle, map information around the vehicle, a planned traveling route, and the like from a navigation device (not shown), and the vehicle speed from a vehicle speed sensor (not shown), and uses these information. Calculate the intersection that will turn left and when the vehicle will reach the intersection.
  • the position predicting unit 17 uses the position, traveling direction, speed, and the like of the object detected by the object detecting unit 4 to calculate where the object reaches when the vehicle reaches the intersection. . For example, in this way, the position predicting unit 17 can predict the positional relationship between the vehicle and the object when the vehicle turns left at the intersection.
  • the display control device 10a according to the second embodiment can be configured as shown in FIGS. 3A and 3B in the same manner as the display control device 10 according to the first embodiment.
  • step ST1 The change information acquired in step ST1 is output to the video composition unit 13, the display control unit 14, the overlap determination unit 16, and the position prediction unit 17.
  • step ST ⁇ b> 2 is output to the video synthesis unit 13.
  • step ST2 the object information acquisition unit 15 acquires the second detection result (step ST10).
  • the acquired second detection result is output to the position prediction unit 17.
  • the position predicting unit 17 predicts the positional relationship between the vehicle and the object when the vehicle changes the traveling direction using the second detection result.
  • the target object is a target object that exists on the rear side of the change destination direction indicated by the change information.
  • the position predicting unit 17 determines whether the target object is predicted to exist within the set range from the vehicle (step ST11). The determination result is output to the video composition unit 13, the display control unit 14, and the object information acquisition unit 15.
  • the video composition unit 13 changes the right rear side and the left rear side of the vehicle. Is output to the display control unit 14, and the display control unit 14 outputs a control signal for displaying the video on the auxiliary display unit 5 (step ST12).
  • the auxiliary display unit 5 displays an image showing the rear side in the direction of the change destination indicated by the change information among the right rear side and the left rear side of the vehicle. In this way, since the projection unit 3 does not perform projection and the video is displayed on the auxiliary display unit 5, the driver's field of view is not blocked more than necessary.
  • the display on the auxiliary display unit 5 can be viewed.
  • the display on the auxiliary display unit 5 can be viewed.
  • there is no target object at the rear side of the direction of the change destination indicated by the change information it is treated as being predicted to exist outside the setting range.
  • the object information acquisition unit 15 acquires the first detection result (step ST13).
  • the acquired first detection result is output to the overlap determination unit 16.
  • the overlap determination unit 16 determines whether the object existing in front of the vehicle and the image projected by the projection unit 3 overlap each other when viewed from the driver using the first detection result (step ST14).
  • the determination result is output to the video composition unit 13 and the display control unit 14.
  • the video composition unit 13 is the rear side in the change destination direction indicated by the change information on the right rear side or the left rear side of the vehicle. Is output to the display control unit 14, and the display control unit 14 projects a control signal for projecting the video forward in the direction of the change destination indicated by the change information among the right front and left front of the driver. It outputs to the part 3 (step ST15).
  • the display control unit 14 projects a control signal for projecting the video forward in the direction of the change destination indicated by the change information among the right front and left front of the driver. It outputs to the part 3 (step ST15).
  • step ST3 and step ST4 are performed.
  • an image obtained by combining the image of the front of the vehicle and the image of the rear side of the vehicle in the change destination direction indicated by the change information in the right rear side or the left rear side of the vehicle is Are projected forward in the direction of the change destination indicated by the change information.
  • the processes in steps ST1 to ST15 described above are repeated each time the traveling direction detector 2 detects a change in the traveling direction of the vehicle.
  • FIG. 9 is an overhead view showing an example of the situation of the vehicle and its surroundings.
  • the vehicle turns left with the direction of travel changed to the left.
  • a pedestrian C is present in front of the vehicle
  • a bicycle D is present on the left rear side of the vehicle.
  • the bicycle D exists within a set range from the vehicle.
  • FIG. 10 shows an image projected by the projection unit 3 under the situation shown in FIG. Since the direction of travel is changed to the left, the composite image, which is a composite of the image of the left rear side of the vehicle and the image of the front of the vehicle, is located on the left side of the windshield, that is, the driver Projected to the left front. In the composite image, an image C1 of the pedestrian C existing in front of the vehicle and an image D1 of the bicycle D existing on the left rear side of the vehicle are shown.
  • the projected image and the pedestrian C existing in front overlap each other as viewed from the driver.
  • the driver cannot check the pedestrian C directly through the windshield due to being blocked by the projected image.
  • the driver who viewed the image can recognize the presence of the pedestrian C.
  • an image of the right rear side or left rear side of the vehicle is projected on the right front or left front of the driver, so that the line of sight does not increase when turning right or left or changing lanes.
  • the driver can check the right rear side or the left rear side of the vehicle.
  • an image of the front of the vehicle is synthesized, so that the front of the vehicle can be confirmed at the same time.
  • the position predicting unit 17 determines whether the target object exists within the set range from the vehicle in the predicted positional relationship. However, the position prediction unit 17 may determine whether the position of the object indicated by the second detection result is within the set range from the vehicle at that time without predicting the positional relationship.
  • the video composition unit 13 synthesizes the video so that the object existing in front of the vehicle and the object in the video showing the front of the vehicle overlap when viewed from the driver. Also good.
  • the display control unit 14 also has an image showing the front of the vehicle and the rear side in the change destination direction indicated by the change information among the right rear side or the left rear side of the vehicle with respect to the auxiliary display unit 5.
  • a control signal for displaying an image obtained by combining an image obtained by copying the image may be output.
  • step ST4 the positional relationship between the vehicle and the object existing on the right rear side, the left rear side, or the front of the vehicle changes, and the image projected by the projection unit 3 changes.
  • the display control unit 14 does not project the synthesized video, but projects a video of the rear side of the vehicle in the change destination direction indicated by the change information in the right rear side or the left rear side of the vehicle. Controls the projection unit 3.
  • step ST15 After the image is projected in step ST15, the positional relationship between the vehicle and the object existing on the right rear side, the left rear side, or the front of the vehicle changes, and the image projected by the projection unit 3 Is overlaid on an object in front of the vehicle.
  • an image obtained by combining the image of the front of the vehicle with the image of the rear side of the change destination indicated by the change information in the right rear side or the left rear side of the vehicle is projected.
  • the display control unit 14 controls the projection unit 3.
  • the display control device 10a does not include the position prediction unit 17, that is, without performing the determination process of step ST11, if it is determined by the overlap determination unit 16 to overlap, the video is synthesized and the overlap determination unit 16 If it is determined that the images do not overlap with each other, the images may not be combined.
  • the same effect as in the first embodiment can be obtained. Further, depending on the situation, a video is displayed on the auxiliary display unit 5 or a video in which the video of the front of the vehicle is not synthesized is projected, which is convenient for the driver.
  • the vehicle includes a position prediction unit 17 that predicts a positional relationship between the vehicle and an object existing on the right rear side or the left rear side of the vehicle, and the object information acquisition unit 15 includes a traveling direction of the object, The second detection result indicating the detection result of the speed and the position is acquired, and the position prediction unit 17 predicts the positional relationship between the vehicle and the target object when the vehicle changes the traveling direction using the second detection result.
  • the display control unit 14 outputs a control signal. In this way, control is performed in consideration of the situation in which the object is present within the set range, which further improves convenience for the driver.
  • the vehicle includes a position prediction unit 17 that predicts a positional relationship between the vehicle and an object existing on the right rear side or the left rear side of the vehicle, and the object information acquisition unit 15 includes a traveling direction of the object, The second detection result indicating the detection result of the speed and the position is acquired, and the position prediction unit 17 predicts the positional relationship between the vehicle and the target object when the vehicle changes the traveling direction using the second detection result.
  • the display control unit 14 does not output the control signal. In this way, control is performed in consideration of the situation where the object is present outside the setting range, and the convenience for the driver is further improved.
  • the display control unit 14 outputs a control signal for causing the auxiliary display unit 5 to display an image showing the rear side in the change destination direction indicated by the change information among the right rear side and the left rear side of the vehicle. It was decided to. In this way, the driver's field of view is not blocked more than necessary. Further, when the driver wants to confirm the right rear side or the left rear side of the vehicle just in case, the display on the auxiliary display unit 5 can be viewed.
  • the object detection unit 4 performs detection using an image obtained by photographing the front of the vehicle. If the image of the imaging unit 1 is used not only for projection but also for processing in the object detection unit 4, it is preferable in terms of the number of parts.
  • the driver can check the right rear side or the left rear side of the vehicle without increasing the line-of-sight movement, and the front of the vehicle. Therefore, it is suitable for use in a display system that displays a video useful for driving and provides it to the driver.

Abstract

進行方向取得部（１２）は、進行方向検知部（２）が出力した、車両の進行方向の変更情報を取得する。映像合成部（１３）は、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成する。表示制御部（１４）は、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に、映像合成部（１３）により合成された映像を投影させる制御信号を、投影部（３）に出力する。

Description

表示制御装置、表示システム、及び、表示制御方法
　この発明は、車両の周囲を撮影した映像を運転者に提供する処理を制御する装置に関するものである。
　車載の撮像部により車両の右後側方及び左後側方を撮影して得られた映像を、インストルメントパネル等に表示することで、サイドミラーを電子化したシステムが知られている。
　例えば特許文献１には、移動体の左右の後方の撮影画像に基づく表示画像を、サイドガラスに表示する表示制御装置が記載されている。車両の前方には歩行者等が存在する場合があるが、特許文献１に記載されたように、フロントガラスではなくサイドガラスに画像が表示されることで、運転者は表示画像に遮られることなく車両の前方を確認することができる。
特開２０１５－１７４６４３号公報
　しかしながら、上記特許文献１に記載のようにサイドガラスに表示がされると、その表示を確認する際の運転者の視線移動は大きくなってしまう。
　この発明は、上記のような課題を解決するためになされたもので、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができ、かつ、車両の前方も確認することができる表示制御装置を得ることを目的とする。
　この発明に係る表示制御装置は、車両の周囲を撮影した映像を取得する映像取得部と、車両の進行方向の変更情報を取得する進行方向取得部と、車両の前方を写した映像と、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成する映像合成部と、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に、映像合成部により合成された映像を投影させる制御信号を出力する表示制御部とを備えることを特徴とするものである。
　この発明によれば、車両の前方を写した映像と、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成した映像が、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に投影されるように制御されるので、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができ、かつ、車両の前方も確認することができる。
この発明の実施の形態１に係る表示制御装置の構成を示すブロック図である。 撮像部の設置例を示す図である。 図３Ａ及び図３Ｂは、この発明の実施の形態１に係る表示制御装置のハードウェア構成例を示す図である。 この発明の実施の形態１に係る表示制御装置の処理の一例を示すフローチャートである。 車両とその周囲の状況の一例を示す俯瞰図である。 図５に示す状況下で、投影部により投影される映像を示す図である。 この発明の実施の形態２に係る表示制御装置の構成を示すブロック図である。 この発明の実施の形態２に係る表示制御装置の処理の一例を示すフローチャートである。 車両とその周囲の状況の一例を示す俯瞰図である。 図９に示す状況下で、投影部により投影される映像を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１． 
　図１は、この発明の実施の形態１に係る表示制御装置１０を示すブロック図である。図１は、表示制御装置１０が車載の表示システム１００に備えられた場合を示している。
　表示システム１００は、撮像部１と、進行方向検知部２と、投影部３と、表示制御装置１０とを有する。
　撮像部１は、車両の周囲を撮影する。撮像部１は、左後側方撮像部１ａと右後側方撮像部１ｂと前方撮像部１ｃとを有する。
　図２は、撮像部１の設置例を示す図である。図２は、車両を上方から俯瞰した図となっている。左後側方撮像部１ａは、車両の左後側方Ｒ１を撮影可能な位置、例えば車両の左フロントフェンダーに設けられる。右後側方撮像部１ｂは、車両の右後側方Ｒ２を撮影可能な位置、例えば車両の右フロントフェンダーに設けられる。前方撮像部１ｃは、車両の前方を撮影可能な位置、例えば車両のボンネット先端に設けられる。これにより、左後側方撮像部１ａは車両の左後側方に存在する対象物を撮影可能であり、右後側方撮像部１ｂは車両の右後側方に存在する対象物を撮影可能であり、前方撮像部１ｃは車両の前方に存在する対象物を撮影可能である。対象物とは、自転車、バイク、歩行者等、運転者が注意を払うべきものである。
　撮像部１は、車両の周囲を撮影した映像を表示制御装置１０に出力する。実施の形態では、車両の前方、右後側方及び左後側方をまとめて車両の周囲と呼ぶ。したがって、左後側方撮像部１ａ、右後側方撮像部１ｂ及び前方撮像部１ｃが出力する映像はいずれも、車両の周囲を撮影した映像と言える。
　撮像部１は、カメラであり、特に広角カメラであると撮影範囲が広くなって好ましい。
　進行方向検知部２は、右左折、又は、車線変更等の車両の進行方向の変更を検知する。進行方向検知部２は、例えば方向指示器の状態を監視することで、車両の進行方向の変更を検知する。あるいは、進行方向検知部２は、ステアリングホイールの回転角を監視することで、車両の進行方向の変更を検知してもよい。例えば、ステアリングホイールが設定角度以上回された場合に、進行方向検知部２は、車両の進行方向が変更されると検知する。あるいは、進行方向検知部２は、ドライバの状態を監視するドライバモニタリング装置から運転者の視線方向を取得して、その視線方向の変化に応じて車両の進行方向の変更を検知してもよい。
　進行方向検知部２は、車両の進行方向の変更を検知すると、その検知結果を、車両の進行方向の変更情報として表示制御装置１０に出力する。当該変更情報には、変更先の方向が示される。例えば運転者が左折しようとして方向指示器を操作した場合、進行方向検知部２が出力する変更情報には、変更先の方向として「左」が示される。また例えば運転者が右側車線に移動しようとしてステアリングホイールを回した場合、進行方向検知部２が出力する変更情報には、変更先の方向として「右」が示される。
　投影部３は、表示制御装置１０に制御されて、車両のフロントガラスに映像を投影する。投影部３が投影する映像及び投影先が、表示制御装置１０によって制御される。投影部３は、いわゆるＨＵＤ（Ｈｅａｄ　Ｕｐ　Ｄｉｓｐｌａｙ）である。投影部３の光源は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、レーザ、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）等である。
　表示制御装置１０は、映像取得部１１と、進行方向取得部１２と、映像合成部１３と、表示制御部１４とを有する。
　映像取得部１１は、撮像部１が出力した、車両の周囲を撮影した映像を取得する。具体的には、映像取得部１１は、左後側方撮像部１ａ、右後側方撮像部１ｂ及び前方撮像部１ｃが撮影した映像を取得する。映像取得部１１は、取得した映像を映像合成部１３に出力する。
　進行方向取得部１２は、進行方向検知部２が出力した、車両の進行方向の変更情報を取得する。進行方向取得部１２は、取得した変更情報を映像合成部１３及び表示制御部１４に出力する。
　映像合成部１３は、映像取得部１１が取得した映像を複数枚合成して、合成した映像を表示制御部１４に出力する。具体的には、映像合成部１３は、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成する。例えば、変更情報が「左」を示していれば、映像合成部１３は、車両の前方を写した映像と、車両の左後側方を写した映像とを合成する。変更情報が「右」を示していれば、映像合成部１３は、車両の前方を写した映像と、車両の右後側方を写した映像とを合成する。
　車両の前方を写した映像は、前方撮像部１ｃが撮影した映像である。同様に、車両の右後側方を写した映像は、右後側方撮像部１ｂが撮影した映像であり、車両の左後側方を写した映像は、左後側方撮像部１ａが撮影した映像である。
　表示制御部１４は、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に、映像合成部１３により合成された映像を投影させる制御信号を、投影部３に出力する。この制御信号により、変更情報が「左」を示していれば、フロントガラスの中でも左に位置する部分、つまり、運転者の左前方に映像が投影される。また同様に、変更情報が「右」を示していれば、フロントガラスの中でも右に位置する部分、つまり、運転者の右前方に映像が投影される。
　表示制御装置１０のハードウェア構成例について、図３Ａ及び図３Ｂを用いて説明する。
　表示制御装置１０の映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４の各機能は、処理回路により実現される。当該処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）とも呼ばれる。
　図３Ａは、表示制御装置１０の各部の機能を、専用のハードウェアである処理回路２００で実現した場合のハードウェア構成例を示す図である。処理回路２００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４の各部の機能を別個の処理回路２００を組み合わせて実現してもよいし、各部の機能を１つの処理回路２００で実現してもよい。
　図３Ｂは、表示制御装置１０の各部の機能を、メモリ２０１に格納されるプログラムを実行するＣＰＵ２０２で実現した場合のハードウェア構成例を示す図である。この場合、映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４の各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ２０１に格納される。ＣＰＵ２０２は、メモリ２０１に格納されたプログラムを読み出して実行することにより、表示制御装置１０の各部の機能を実現する。すなわち、表示制御装置１０は、後述する図４及び図８のフローチャートで示す処理が結果的に実行されることになるプログラム等を格納するためのメモリ２０１を有する。また、これらのプログラムは、表示制御装置１０の各部の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ２０１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）等の、不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、表示制御装置１０の各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、映像取得部１１及び進行方向取得部１２については専用のハードウェアとしての処理回路でその機能を実現し、映像合成部１３及び表示制御部１４については処理回路がメモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せによって、上記の表示制御装置１０の各機能を実現することができる。
　また、進行方向検知部２についても、表示制御装置１０と同様に図３Ａ及び図３Ｂのように構成することができる。
　次に、上記のように構成された表示制御装置１０による処理の一例について、図４に示すフローチャートを用いて説明する。
　運転者が方向指示器を操作するなどした場合、進行方向取得部１２は、進行方向検知部２から、車両の進行方向の変更情報を取得する（ステップＳＴ１）。取得した変更情報は、映像合成部１３及び表示制御部１４に出力される。
　すると、続いて映像取得部１１が、撮像部１から、車両の周囲を撮影した映像を取得する（ステップＳＴ２）。取得した映像は、映像合成部１３に出力される。
　続いて、映像合成部１３が、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成する（ステップＳＴ３）。合成した映像は、表示制御部１４に出力される。
　続いて、表示制御部１４が、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に、映像合成部１３により合成された映像を投影させる制御信号を、投影部３に出力する（ステップＳＴ４）。この制御信号を受けて投影部３は、合成された映像を運転者の右前方又は左前方に投影する。変更情報が「左」を示していれば、フロントガラスの中でも左に位置する部分に映像が投影される。また、変更情報が「右」を示していれば、フロントガラスの中でも右に位置する部分に映像が投影される。
　以上のステップＳＴ１～ＳＴ４の処理は、進行方向検知部２が車両の進行方向の変更を検知するたびに、繰り返し行われる。
　なお、映像取得部１１が進行方向取得部１２から変更情報を取得して、当該変更情報が示す変更先の方向の後側方を写した映像と、車両の前方を写した映像のみを映像合成部１３に出力するようにしてもよい。
　図５は、車両とその周囲の状況の一例を示す俯瞰図である。車両は、進行方向を左に変更して左折する。その際、車両の前方には歩行者Ａが、車両の左後側方には自転車Ｂが存在している。
　図５に示す状況下で、投影部３により投影される映像を図６に示す。進行方向が左に変更されるので、車両の左後側方を写した映像が車両の前方を写した映像と合成された合成映像が、フロントガラスの中でも左に位置する部分、つまり、運転者の左前方に投影されている。合成映像には、車両の前方に存在する歩行者Ａの映像Ａ１及び車両の左後側方に存在する自転車Ｂの映像Ｂ１が写っている。
　このように、運転者の右前方又は左前方に、車両の右後側方又は左後側方を写した映像が投影されるので、右左折及び車線変更等の際、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができる。また、その際に車両の前方を写した映像が合成されることで、車両の前方も同時に確認することができる。
　なお、図５及び図６に示した場合は、投影される映像と前方に存在する歩行者Ａとが運転者から見て重ならないものであった。一方、後述の図９及び図１０に示すように、投影される映像と前方に存在する歩行者Ａとが運転者から見て重なる場合もある。この場合、投影される映像に遮られて、運転者はフロントガラス越しに直接歩行者Ａを確認することができない。しかしながら、そのように重なる場合であっても、車両の前方を写した映像が合成されて投影されることにより、映像を見た運転者は歩行者Ａの存在を認識することができる。もちろん、図５及び図６のように重ならない場合であっても、運転者には、フロントガラス越しの直接的な確認、投影された映像による間接的な確認という２通りの歩行者Ａの確認方法が提供されるので、運転者は確実に確認することができる。
　なお、上記では、投影部３は、映像をフロントガラスに投影するとした。しかしながら、運転者の右前方及び左前方にそれぞれ１つずつコンバイナを設け、投影部３は、それらのコンバイナに映像を投影するようにしてもよい。例えば右折のときは、表示制御装置１０に制御されて運転者の右前方に設けられたコンバイナに映像が投影され、また例えば左折のときは、表示制御装置１０に制御されて運転者の左前方に設けられたコンバイナに映像が投影される。
　また、上記では、表示制御装置１０が車載の表示システム１００に備えられている場合を示した。しかしながら、表示制御装置１０を構成する映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４等の各部を外部サーバ内に構築して、当該外部サーバが撮像部１、進行方向検知部２及び投影部３との間で情報を送受信することにより、投影部３の制御を遠隔で行うようにしてもよい。また、その際、撮像部１、進行方向検知部２及び投影部３と外部サーバとを、スマートフォン等の携帯端末を介して互いに通信可能に接続することで、撮像部１、進行方向検知部２及び投影部３と外部サーバとの間で情報の送受信が行われるように構築してもよい。
　また、表示制御装置１０を構成する映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４等の各部を携帯端末内に構築して、当該携帯端末を表示制御装置１０として機能させてもよい。
　以上のように、実施の形態１に係る表示制御装置１０によれば、車両の前方を写した映像と、車両の右後側方又は右後側方を写した映像とを合成した映像が、運転者の右前方又は左前方に投影される。したがって、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができ、かつ、車両の前方も確認することができる。
　また、左後側方撮像部１ａ及び右後側方撮像部１ｂは、車両の左右フロントフェンダーそれぞれに設けられて、車両の右後側方及び左後側方を撮影することとした。このようにすると、右後側方撮像部１ｂ及び左後側方撮像部１ａをドアミラー位置に設けて車両の右後側方及び左後側方を撮影する場合等に比べて、車両の右後側方及び左後側方において右後側方撮像部１ｂ及び左後側方撮像部１ａの撮影範囲に入らない死角領域を少なくすることができる。
　また、前方撮像部１ｃは、車両のボンネット先端に設けられて、車両の前方を撮影することとした。このようにすると、前方撮像部１ｃをフロントガラスの上部、つまりルームミラーの横に設けて車両の前方を撮影する場合等に比べて、車両の前方において前方撮像部１ｃの撮影範囲に入らない死角領域を少なくすることができる。
　また、撮像部１は、広角カメラであることとした。広角カメラを用いることで、撮像部１の撮影範囲に入らない死角領域を少なくすることができる。
実施の形態２．
　実施の形態１では、車両の前方を写した映像と、車両の右後側方又は右後側方を写した映像とを合成して投影する場合について示した。実施の形態２では、特定の条件を満たすときのみ、そのように合成して投影する場合について説明する。
　図７は、この発明の実施の形態２に係る表示制御装置１０ａを示すブロック図である。図７は、表示制御装置１０ａが表示システム１００に備えられた場合を示している。なお、実施の形態１で既に説明した構成と同一又は相当する機能を有する構成については、同一の符号を付し、その説明を省略又は簡略化する。
　表示システム１００は、撮像部１、進行方向検知部２、投影部３及び表示制御装置１０ａに加え、対象物検知部４と補助表示部５とを有する。
　対象物検知部４は、車両の周囲に存在する対象物についての情報を生成する。具体的には、対象物検知部４は、車両の前方に存在する対象物の位置を検知する。このとき検知される位置は、車両からの相対的な位置を示すものであり、車両からどの方向にどれくらい離れて存在しているかを示している。対象物検知部４は、検知した車両の前方に存在する対象物の位置を示す第１検知結果を、表示制御装置１０ａに出力する。
　また、対象物検知部４は、車両の右後側方又は左後側方に存在する対象物の進行方向、速度及び位置を検知する。対象物検知部４は、検知した車両の右後側方又は左後側方に存在する対象物の進行方向、速度及び位置を示す第２検知結果を、表示制御装置１０ａに出力する。
　対象物検知部４は、車両の右後側方又は左後側方に存在する対象物について検知する後側方検知部４ａと、車両の前方に存在する対象物について検知する前方検知部４ｂとを有する。
　後側方検知部４ａ及び前方検知部４ｂは、例えばミリ波レーダである。後側方検知部４ａは、車両の右後側方又は左後側方に存在する対象物を検知可能な位置、例えば後ろバンパーに設けられる。前方検知部４ｂは、車両の前方に存在する対象物を検知可能な位置、例えば前バンパーに設けられる。
　後側方検知部４ａ及び前方検知部４ｂは、撮像部１が撮影した映像を取得して、画像処理により対象物の位置等を検知する画像認識装置であってもよい。あるいは、対象物検知部４専用にステレオカメラを設けて、当該ステレオカメラが撮影した映像を画像処理の対象としてもよい。また、ミリ波レーダと画像認識装置とを組み合わせて、対象物検知部４を構成してもよい。また、対象物検知部４は、対象物の大きさを画像処理により検知して、検知結果に含めるようにしてもよい。
　補助表示部５は、表示制御装置１０ａに制御されて、映像を表示するものである。補助表示部５が表示する映像が、表示制御装置１０ａによって制御される。補助表示部５は、例えばインストルメントパネル又はＣＩＤ（Ｃｅｎｔｅｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｄｉｓｐｌａｙ）である。または、補助表示部５として専用の表示機器を設けてもよい。
　表示制御装置１０ａは、映像取得部１１、進行方向取得部１２、映像合成部１３及び表示制御部１４に加え、対象物情報取得部１５と重なり判定部１６と位置予測部１７とを有する。
　対象物情報取得部１５は、対象物検知部４が出力した第１検知結果及び第２検知結果を取得して、第１検知結果を重なり判定部１６に出力し、第２検知結果を位置予測部１７に出力する。
　重なり判定部１６は、第１検知結果が示す車両の前方に存在する対象物の位置を用いて、当該対象物と投影部３が投影する映像とが運転者から見て重なるかを判定する。重なる場合は、投影部３が投影する映像によって車両の前方に存在する対象物が遮られ、運転者はフロントガラス越しに当該対象物を確認することができなくなる。なお、投影部３が映像を投影する範囲は、表示制御装置１０ａ内の不図示のメモリに予め記憶されている。重なり判定部１６は、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に投影する場合の範囲を当該メモリから読み出して、判定を行う。
　重なり判定部１６は、判定結果を映像合成部１３及び表示制御部１４に出力する。
　位置予測部１７は、第２検知結果が示す車両の右後側方又は左後側方に存在する対象物の進行方向、速度及び位置を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測する。そして、位置予測部１７は、予測した位置関係において、当該対象物が車両から設定範囲離れているかを判定する。設定範囲は、例えば、接触の可能性が考えられる程度の値に設定される。
　位置予測部１７は、判定結果を映像合成部１３及び表示制御部１４に出力する。
　例えば、交差点を左折しようとして、当該交差点の手前で運転者が方向指示器を操作したとする。このとき、進行方向検知部２によって車両の進行方向の変更が検知され、また、対象物検知部４によって車両の右後側方又は左後側方に存在する対象物の位置、進行方向及び速度が検知される。位置予測部１７は、不図示のナビゲーション装置から車両の現在位置、車両周囲の地図情報及び走行予定ルート等を、また、不図示の車速センサから車両の速度を取得して、それらの情報を用い、左折するであろう交差点と、当該交差点に車両がいつ到達するかを算出する。そして、位置予測部１７は、対象物検知部４が検知した対象物の位置、進行方向及び速度等を用いて、車両が交差点に到達するときに、当該対象物はどこに到達するかを算出する。例えばこのようにして、位置予測部１７は、車両が交差点を左折するときの車両と対象物との位置関係を予測することができる。
　実施の形態２の表示制御装置１０ａは、実施の形態１の表示制御装置１０と同様に図３Ａ及び図３Ｂのように構成することができる。
　次に、上記のように構成された実施の形態２の表示制御装置１０ａによる処理の一例について、図８に示すフローチャートを用いて説明する。図４を用いて既に説明した処理と同一又は相当する処理が行われるステップについては、同一の符号を付し、その説明を省略又は簡略化する。
　ステップＳＴ１により取得した変更情報は、映像合成部１３、表示制御部１４、重なり判定部１６及び位置予測部１７に出力される。
　また、ステップＳＴ２により取得した映像は、映像合成部１３に出力される。
　ステップＳＴ２に続いて、対象物情報取得部１５が、第２検知結果を取得する（ステップＳＴ１０）。取得した第２検知結果は、位置予測部１７に出力される。
　続いて、位置予測部１７が、第２検知結果を用いて、車両が進行方向を変更するときの、車両と対象物との位置関係を予測する。当該対象物は、変更情報が示す変更先の方向の後側方に存在する対象物である。そして、位置予測部１７は、車両が進行方向を変更するときに、当該対象物が車両から設定範囲内に存在すると予測されるかを判定する（ステップＳＴ１１）。判定結果は、映像合成部１３、表示制御部１４及び対象物情報取得部１５に出力される。
　設定範囲内に存在すると予測されない場合、つまり、設定範囲外に存在すると予測された場合（ステップＳＴ１１；ＮＯ）、映像合成部１３が、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像を表示制御部１４に出力し、表示制御部１４が、当該映像を補助表示部５に表示させる制御信号を出力する（ステップＳＴ１２）。これにより、補助表示部５には、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像が表示される。
　このようにして、投影部３による投影は行われずに補助表示部５に映像が表示されることで、運転者の視界が必要以上に遮られることがない。また、運転者が念のため車両の右後側方又は左後側方を確認したいと思った場合は、補助表示部５の表示を見ればいいことになる。
　なお、変更情報が示す変更先の方向の後側方にそもそも対象物が存在しない場合は、設定範囲外に存在すると予測されたものとして扱われる。
　一方、設定範囲内に存在すると予測された場合（ステップＳＴ１１；ＹＥＳ）、対象物情報取得部１５が、第１検知結果を取得する（ステップＳＴ１３）。取得した第１検知結果は、重なり判定部１６に出力される。
　続いて、重なり判定部１６が、第１検知結果を用いて、車両の前方に存在する対象物と投影部３が投影する映像とが運転者から見て重なるかを判定する（ステップＳＴ１４）。判定結果は、映像合成部１３及び表示制御部１４に出力される。
　重なり判定部１６により重ならないと判定された場合（ステップＳＴ１４；ＮＯ）、映像合成部１３が、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像を表示制御部１４に出力し、表示制御部１４が、当該映像を運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に投影させる制御信号を、投影部３に出力する（ステップＳＴ１５）。
　なお、車両の前方にそもそも対象物が存在しない場合は、重ならないと判定されたものとして扱われる。
　一方、重なり判定部１６により重なると判定された場合（ステップＳＴ１４；ＹＥＳ）、ステップＳＴ３及びステップＳＴ４の処理が行われる。これにより、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成した映像が、運転者の右前方及び左前方のうち変更情報が示す変更先の方向の前方に投影される。
　以上のステップＳＴ１～ＳＴ１５の処理は、進行方向検知部２が車両の進行方向の変更を検知するたびに、繰り返し行われる。
　図９は、車両とその周囲の状況の一例を示す俯瞰図である。車両は、進行方向を左に変更して左折する。その際、車両の前方には歩行者Ｃが、車両の左後側方には自転車Ｄが存在している。自転車Ｄは、車両から設定範囲内に存在している。
　図９に示す状況下で、投影部３により投影される映像を図１０に示す。進行方向が左に変更されるので、車両の左後側方を写した映像が車両の前方を写した映像と合成された合成映像が、フロントガラスの中でも左に位置する部分、つまり、運転者の左前方に投影されている。合成映像には、車両の前方に存在する歩行者Ｃの映像Ｃ１及び車両の左後側方に存在する自転車Ｄの映像Ｄ１が写っている。
　図１０に示すように、投影される映像と前方に存在する歩行者Ｃとが、運転者から見て重なっている。この場合、投影される映像に遮られて、運転者はフロントガラス越しに直接歩行者Ｃを確認することができない。しかしながら、車両の前方を写した映像が合成されて投影されることにより、映像を見た運転者は歩行者Ｃの存在を認識することができる。
　このように、運転者の右前方又は左前方に、車両の右後側方又は左後側方を写した映像が投影されるので、右左折及び車線変更等の際、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができる。また、その際に車両の前方を写した映像が合成されることで、車両の前方も同時に確認することができる。
　なお、上記では、位置予測部１７は、予測した位置関係において、対象物が車両から設定範囲内に存在するかを判定するものとした。しかしながら、位置予測部１７は、位置関係を予測することなく、第２検知結果が示す対象物の位置が、その時点で車両から設定範囲内に入っているかによって判定を行ってもよい。
　また、映像合成部１３は、運転者から見たときに、車両の前方に存在する対象物と、車両の前方を写した映像内の対象物とが重なるように、映像を合成するようにしてもよい。
　また、表示制御部１４は、補助表示部５に対しても、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成した映像を表示させる制御信号を出力するようにしてもよい。
　また、ステップＳＴ４で映像が投影された後、車両と車両の右後側方、左後側方又は前方に存在する対象物との位置関係が変化して、投影部３により投影される映像が、車両の前方に存在する対象物に重ならなくなったとする。この場合、合成された映像ではなく、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像が投影されるように、表示制御部１４は投影部３を制御する。
　反対に、ステップＳＴ１５で映像が投影された後、車両と車両の右後側方、左後側方又は前方に存在する対象物との位置関係が変化して、投影部３により投影される映像が、車両の前方に存在する対象物に重なったとする。この場合、車両の前方を写した映像と、車両の右後側方又は左後側方のうち変更情報が示す変更先の方向の後側方を写した映像とを合成した映像が投影されるように、表示制御部１４は投影部３を制御する。
　また、表示制御装置１０ａは、位置予測部１７を備えずに、つまり、ステップＳＴ１１の判定処理を行わずに、重なり判定部１６により重なると判定されたならば映像を合成し、重なり判定部１６により重ならないと判定されたならば映像を合成しないようにしてもよい。
　以上のように、実施の形態２に係る表示制御装置１０ａによれば、実施の形態１と同様の効果が得られる。また、状況に応じて補助表示部５に映像が表示されたり、車両の前方を写した映像が合成されていない映像が投影されたりすることで、運転者にとって利便性が良い。
　また、車両と、車両の右後側方又は左後側方に存在する対象物との位置関係を予測する位置予測部１７を備え、対象物情報取得部１５は、当該対象物の進行方向、速度及び位置の検知結果を示す第２検知結果を取得し、位置予測部１７は、第２検知結果を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測し、車両から設定範囲内に当該対象物が存在すると予測された場合、表示制御部１４は、制御信号を出力することとした。このようにすると、設定範囲内に対象物が存在する状況を考慮した制御が行われ、運転者にとって利便性が更に良くなる。
　また、車両と、車両の右後側方又は左後側方に存在する対象物との位置関係を予測する位置予測部１７を備え、対象物情報取得部１５は、当該対象物の進行方向、速度及び位置の検知結果を示す第２検知結果を取得し、位置予測部１７は、第２検知結果を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測し、車両から設定範囲外に当該対象物が存在すると予測された場合、表示制御部１４は、制御信号を出力しないこととした。このようにすると、設定範囲外に対象物が存在する状況を考慮した制御が行われ、運転者にとって利便性が更に良くなる。
　また、表示制御部１４は、車両の右後側方及び左後側方のうち変更情報が示す変更先の方向の後側方を写した映像を、補助表示部５に表示させる制御信号を出力することとした。このようにすると、運転者の視界が必要以上に遮られることがない。また、運転者が念のため車両の右後側方又は左後側方を確認したいと思った場合は、補助表示部５の表示を見ればいいことになる。
　また、対象物検知部４は、車両の前方を撮影した映像を用いた検知を行うこととした。撮像部１の映像を投影用だけでなく、対象物検知部４での処理にも利用するようにすれば、部品点数の点などで好ましい。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態においての任意の構成要素の省略が可能である。
　以上のように、この発明に係る表示制御装置を用いることで、視線移動が大きくならずに運転者は車両の右後側方又は左後側方を確認することができ、かつ、車両の前方も確認することができるので、運転に有益な映像を表示して運転者に提供する表示システムに組み込んで用いるのに適している。
　１　撮像部、１ａ　左後側方撮像部、１ｂ　右後側方撮像部、１ｃ　前方撮像部、２　進行方向検知部、３　投影部、４　対象物検知部、４ａ　後側方検知部、４ｂ　前方検知部、５　補助表示部、１０，１０ａ　表示制御装置、１１　映像取得部、１２　進行方向取得部、１３　映像合成部、１４　表示制御部、１５　対象物情報取得部、１６　重なり判定部、１７　位置予測部、１００　表示システム、２００　処理回路、２０１　メモリ、２０２　ＣＰＵ。

Claims (11)

  1. 　車両の周囲を撮影した映像を取得する映像取得部と、
    　車両の進行方向の変更情報を取得する進行方向取得部と、
    　車両の前方を写した映像と、車両の右後側方及び左後側方のうち前記変更情報が示す変更先の方向の後側方を写した映像とを合成する映像合成部と、
    　運転者の右前方及び左前方のうち前記変更情報が示す変更先の方向の前方に、前記映像合成部により合成された映像を投影させる制御信号を出力する表示制御部とを備えることを特徴とする表示制御装置。
  2. 　車両の前方に存在する対象物の位置の検知結果を示す第１検知結果を取得する対象物情報取得部と、
    　前記第１検知結果を用いて、当該対象物と投影される映像とが運転者から見て重なるかを判定する重なり判定部とを備え、
    　前記重なり判定部により重なると判定された場合に、
    　前記映像合成部は、車両の前方を写した映像と、車両の右後側方及び左後側方のうち前記変更情報が示す変更先の方向の後側方を写した映像とを合成し、
    　前記表示制御部は、運転者の右前方及び左前方のうち前記変更情報が示す変更先の方向の前方に、前記映像合成部により合成された映像を投影させる制御信号を出力することを特徴とする請求項１記載の表示制御装置。
  3. 　車両と、車両の右後側方又は左後側方に存在する対象物との位置関係を予測する位置予測部を備え、
    　前記対象物情報取得部は、当該対象物の進行方向、速度及び位置の検知結果を示す第２検知結果を取得し、
    　前記位置予測部は、前記第２検知結果を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測し、
    　車両から設定範囲内に当該対象物が存在すると予測された場合、前記表示制御部は、前記制御信号を出力することを特徴とする請求項２記載の表示制御装置。
  4. 　車両と、車両の右後側方又は左後側方に存在する対象物との位置関係を予測する位置予測部を備え、
    　前記対象物情報取得部は、当該対象物の進行方向、速度及び位置の検知結果を示す第２検知結果を取得し、
    　前記位置予測部は、前記第２検知結果を用いて、車両が進行方向を変更するときの車両と当該対象物との位置関係を予測し、
    　車両から設定範囲外に当該対象物が存在すると予測された場合、前記表示制御部は、前記制御信号を出力しないことを特徴とする請求項２記載の表示制御装置。
  5. 　前記表示制御部は、車両の右後側方及び左後側方のうち前記変更情報が示す変更先の方向の後側方を写した映像を、補助表示部に表示させる制御信号を出力することを特徴とする請求項４記載の表示制御装置。
  6. 　請求項１記載の表示制御装置と、
    　車両の周囲を撮影する撮像部と、
    　車両の進行方向の変更を検知する進行方向検知部と、
    　前記表示制御部に制御されて、映像を投影する投影部とを備えることを特徴とする表示システム。
  7. 　請求項２記載の表示制御装置と、
    　車両の周囲を撮影する撮像部と、
    　車両の進行方向の変更を検知する進行方向検知部と、
    　前記表示制御部に制御されて、映像を投影する投影部と、
    　車両の前方に存在する対象物の位置を検知する対象物検知部とを備え、
    　前記対象物検知部は、車両の前方を撮影した映像を用いた検知を行うことを特徴とする表示システム。
  8. 　前記撮像部は、車両の左右フロントフェンダーそれぞれに設けられて、車両の右後側方及び左後側方を撮影することを特徴とする請求項６記載の表示システム。
  9. 　前記撮像部は、車両のボンネット先端に設けられて、車両の前方を撮影することを特徴とする請求項６記載の表示システム。
  10. 　前記撮像部は、広角カメラであることを特徴とする請求項６記載の表示システム。
  11. 　映像取得部が、車両の周囲を撮影した映像を取得する映像取得ステップと、
    　進行方向取得部が、車両の進行方向の変更情報を取得する進行方向取得ステップと、
    　映像合成部が、車両の前方を写した映像と、車両の右後側方及び左後側方のうち前記変更情報が示す変更先の方向の後側方を写した映像とを合成する映像合成ステップと、
    　表示制御部が、運転者の右前方及び左前方のうち前記変更情報が示す変更先の方向の前方に、前記映像合成ステップにより合成された映像を投影させる制御信号を出力する表示制御ステップとを備えることを特徴とする表示制御方法。
PCT/JP2016/086367 2016-12-07 2016-12-07 表示制御装置、表示システム、及び、表示制御方法 WO2018105052A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112016007407.7T DE112016007407T5 (de) 2016-12-07 2016-12-07 Anzeigesteuervorrichtung, anzeigesystem und anzeigesteuerverfahren
CN201680091269.2A CN110035926A (zh) 2016-12-07 2016-12-07 显示控制装置、显示系统及显示控制方法
PCT/JP2016/086367 WO2018105052A1 (ja) 2016-12-07 2016-12-07 表示制御装置、表示システム、及び、表示制御方法
JP2018555376A JP6532616B2 (ja) 2016-12-07 2016-12-07 表示制御装置、表示システム、及び、表示制御方法
US16/344,743 US20190333252A1 (en) 2016-12-07 2016-12-07 Display control device, display system, and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086367 WO2018105052A1 (ja) 2016-12-07 2016-12-07 表示制御装置、表示システム、及び、表示制御方法

Publications (1)

Publication Number Publication Date
WO2018105052A1 true WO2018105052A1 (ja) 2018-06-14

Family

ID=62491519

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086367 WO2018105052A1 (ja) 2016-12-07 2016-12-07 表示制御装置、表示システム、及び、表示制御方法

Country Status (5)

Country Link
US (1) US20190333252A1 (ja)
JP (1) JP6532616B2 (ja)
CN (1) CN110035926A (ja)
DE (1) DE112016007407T5 (ja)
WO (1) WO2018105052A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158601A1 (ja) * 2019-01-29 2020-08-06 日本精機株式会社 表示制御装置、方法、及びコンピュータ・プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system
JP7047586B2 (ja) * 2018-05-15 2022-04-05 トヨタ自動車株式会社 車両用表示制御装置
WO2020110832A1 (ja) * 2018-11-27 2020-06-04 株式会社小糸製作所 車両用表示装置
KR102316960B1 (ko) * 2019-11-28 2021-10-22 광운대학교 산학협력단 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101743U (ja) * 1991-02-12 1992-09-02 株式会社松山製作所 車両用後方視界表示装置
JPH07290995A (ja) * 1994-04-26 1995-11-07 Olympus Optical Co Ltd 車両用表示装置
JP2003200755A (ja) * 2001-12-28 2003-07-15 Yazaki Corp 車両用表示装置
JP2004155307A (ja) * 2002-11-06 2004-06-03 Denso Corp 車両用表示装置
JP2005178508A (ja) * 2003-12-18 2005-07-07 Denso Corp 周囲情報表示装置
JP2005329768A (ja) * 2004-05-18 2005-12-02 Denso Corp 車両用表示装置
JP2006248374A (ja) * 2005-03-10 2006-09-21 Seiko Epson Corp 車両安全確認装置及びヘッドアップディスプレイ
JP2007196844A (ja) * 2006-01-26 2007-08-09 Aisin Aw Co Ltd 周辺監視装置
WO2016140192A1 (ja) * 2015-03-04 2016-09-09 三菱電機株式会社 車両用表示制御装置および車両用表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP2009214831A (ja) * 2008-03-12 2009-09-24 Toyota Motor Corp 車両用表示装置
JP2010136207A (ja) * 2008-12-05 2010-06-17 Clarion Co Ltd 歩行者検出表示システム
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
CN102823240B (zh) * 2010-03-26 2015-06-17 本田技研工业株式会社 车辆驾驶辅助装置
US10017114B2 (en) * 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
JP2015174643A (ja) 2014-03-18 2015-10-05 パイオニア株式会社 表示制御装置
CN104442571B (zh) * 2014-11-26 2016-06-01 重庆长安汽车股份有限公司 一种夜视导航集成系统及控制方法
DE102015122997A1 (de) * 2015-12-30 2017-07-06 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Darstellung eines rückwärtigen Außenbereiches eines Fahrzeuges
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera
JP6361986B2 (ja) * 2016-05-30 2018-07-25 マツダ株式会社 車両用表示装置
KR101789984B1 (ko) * 2016-07-13 2017-10-25 엠엠피씨 주식회사 차량용 사이드 미러 카메라 시스템
US10196058B2 (en) * 2016-11-28 2019-02-05 drive.ai Inc. Method for influencing entities at a roadway intersection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101743U (ja) * 1991-02-12 1992-09-02 株式会社松山製作所 車両用後方視界表示装置
JPH07290995A (ja) * 1994-04-26 1995-11-07 Olympus Optical Co Ltd 車両用表示装置
JP2003200755A (ja) * 2001-12-28 2003-07-15 Yazaki Corp 車両用表示装置
JP2004155307A (ja) * 2002-11-06 2004-06-03 Denso Corp 車両用表示装置
JP2005178508A (ja) * 2003-12-18 2005-07-07 Denso Corp 周囲情報表示装置
JP2005329768A (ja) * 2004-05-18 2005-12-02 Denso Corp 車両用表示装置
JP2006248374A (ja) * 2005-03-10 2006-09-21 Seiko Epson Corp 車両安全確認装置及びヘッドアップディスプレイ
JP2007196844A (ja) * 2006-01-26 2007-08-09 Aisin Aw Co Ltd 周辺監視装置
WO2016140192A1 (ja) * 2015-03-04 2016-09-09 三菱電機株式会社 車両用表示制御装置および車両用表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158601A1 (ja) * 2019-01-29 2020-08-06 日本精機株式会社 表示制御装置、方法、及びコンピュータ・プログラム

Also Published As

Publication number Publication date
JP6532616B2 (ja) 2019-06-19
DE112016007407T5 (de) 2019-07-25
US20190333252A1 (en) 2019-10-31
CN110035926A (zh) 2019-07-19
JPWO2018105052A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
US10308283B2 (en) Parking assist apparatus
JP6532616B2 (ja) 表示制御装置、表示システム、及び、表示制御方法
JP5836490B2 (ja) 運転支援装置
JP6137081B2 (ja) 車載機器
EP2930658A1 (en) Image-capturing device for moving body
JP6014433B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP6586849B2 (ja) 情報表示装置及び情報表示方法
US10124728B2 (en) Image processing apparatus
JP2009105656A (ja) 車載用撮像装置
JP2002166802A (ja) 車両周辺モニタ装置
WO2010070920A1 (ja) 車両周囲画像生成装置
US11584297B2 (en) Display device for vehicle and parking assist system
JP6366881B2 (ja) 駐車支援装置
JP2018108767A (ja) 車両制御装置および車両制御方法
JP2006054662A (ja) 運転支援装置
US11292387B2 (en) Towing assistance apparatus
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2009073250A (ja) 車両後方表示装置
JP6130118B2 (ja) 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
JP2007251880A (ja) 車両用画像表示装置および画像合成方法
JP5885619B2 (ja) 運転支援装置
JP2005182305A (ja) 車両走行支援装置
JP2004051063A (ja) 車両周辺視認装置
JP2007235842A (ja) 車載画像表示システム
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018555376

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923619

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16923619

Country of ref document: EP

Kind code of ref document: A1