WO2019026320A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2019026320A1
WO2019026320A1 PCT/JP2018/006260 JP2018006260W WO2019026320A1 WO 2019026320 A1 WO2019026320 A1 WO 2019026320A1 JP 2018006260 W JP2018006260 W JP 2018006260W WO 2019026320 A1 WO2019026320 A1 WO 2019026320A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
height
unit
vehicle
imaging unit
Prior art date
Application number
PCT/JP2018/006260
Other languages
English (en)
French (fr)
Inventor
渡邊　一矢
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US16/632,930 priority Critical patent/US11383642B2/en
Priority to CN201880048325.3A priority patent/CN110945558B/zh
Priority to EP18842006.1A priority patent/EP3664014B1/en
Publication of WO2019026320A1 publication Critical patent/WO2019026320A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Definitions

  • Embodiments of the present invention relate to a display control device.
  • the periphery of a vehicle is imaged by a plurality of imaging units provided around the vehicle, and the plurality of imaged image data thus imaged are combined to generate a three-dimensional composite bird's-eye view image for display in a vehicle interior
  • an overhead view image generation device that causes the driver to recognize the situation around the vehicle by displaying the image on the device (for example, see Patent Document 1).
  • the deviation in the height direction of the composite image caused by the difference in the installation height (the installation ground height) of the imaging unit for imaging each direction (front and rear, left and right of the vehicle) is eliminated.
  • the shape in the height direction of a part of the bird's-eye view image (three-dimensional space model) and aligning the position of the horizontal line there is no sense of discomfort in the horizontal line portion of the composite bird's-eye view image displayed I have to.
  • the horizontal line of the image to be projected is aligned by changing the shape of part of the three-dimensional space model in the height direction in order to align the horizontal line.
  • one of the problems of the present invention is to provide a display control device capable of reducing display deviation of image contents in the height direction without causing unnaturalness in the shape of an edge or the like of a three-dimensional composite image. It is in.
  • the display control device is, for example, a first image obtained from a first imaging unit which is provided at a first height position of a vehicle and captures a situation in a first direction among the surroundings of the vehicle; A second image obtained from a second imaging unit provided at a second height position different from the first height position and imaging a situation in a second direction different from the first direction
  • a projection surface acquisition unit capable of projecting a first image and a second image, and acquiring a three-dimensional virtual projection surface including at least a side surface rising in the height direction from the ground surface of the vehicle; Based on the difference between the first height position and the second height position, at least one of the first image and the second image to be projected onto the virtual projection plane is a projection position of the first image.
  • the virtual projection plane is generated based on the difference between the height positions. Correct the contents of the image to be projected (projected position). In this case, since the shape of the virtual projection plane is not changed, there is no change in the shape of the outer edge portion etc. of the displayed three-dimensional composite image, and the image content in the height direction is not Misalignment can be reduced.
  • the correction unit of the display control device of the embodiment may correct the projection position based on, for example, a height ratio between the first height position and the second height position. . According to this configuration, it is possible to more appropriately correct, for example, display displacement caused by the difference between the first height position of the first imaging unit and the second height position of the second imaging unit.
  • the display control device further includes, for example, a position detection unit capable of detecting the position of an object present around the vehicle, and the projection plane acquisition unit corresponds to the position corresponding to the position of the object
  • the virtual projection plane including the side surface may be acquired.
  • FIG. 1 is a perspective view showing an example in which a part of a cabin of a vehicle equipped with a display control apparatus according to the embodiment is seen through.
  • FIG. 2 is a plan view (bird's-eye view) showing an example of a vehicle equipped with the display control apparatus according to the embodiment.
  • FIG. 3 is a block diagram showing an example of the configuration of a display control system having the display control device according to the embodiment.
  • FIG. 4 is an exemplary block diagram of a configuration of a CPU of the display control device according to the embodiment.
  • FIG. 5 is an exemplary and schematic explanatory view showing the projection of a captured image on a virtual projection plane in the display control system according to the embodiment.
  • FIG. 6 is an exemplary and schematic explanatory view showing a virtual projection plane (three-dimensional virtual model) used in the display control apparatus according to the embodiment.
  • FIG. 7 is a schematic and exemplary side view showing a vehicle shape model and a virtual projection plane in the display control system according to the embodiment.
  • FIG. 8 schematically and exemplarily illustrates the occurrence of display deviation in the height direction of the three-dimensional composite image due to the height position of the imaging unit in the display control device according to the embodiment and correction of the display deviation.
  • FIG. FIG. 9 is a view showing a display example of a schematic three-dimensional composite image for explaining the occurrence of display deviation in the height direction of the three-dimensional composite image caused by the height position of the imaging unit.
  • FIG. 10 is a schematic three-dimensional composite image in the case where display deviation in the height direction of the three-dimensional composite image caused by the height position of the imaging unit is eliminated by applying the correction by the display control device according to the embodiment; It is a figure which shows the example of a display.
  • FIG. 11 is a schematic and exemplary side view of setting the side surface of the virtual projection plane at the detection position of the object in the display control apparatus according to the embodiment.
  • the vehicle 1 equipped with a display control device may be, for example, an automobile having an internal combustion engine (not shown) as a drive source, that is, an internal combustion engine automobile or an electric motor (not shown). It may be a car as a drive source, that is, an electric car or a fuel cell car. In addition, it may be a hybrid car using both of them as a driving source, or may be a car equipped with another driving source.
  • the vehicle 1 can be mounted with various transmissions, and can be mounted with various devices necessary for driving an internal combustion engine or a motor, such as a system or components.
  • a four-wheel drive vehicle can be used which transmits drive power to all four wheels 3 and uses all four wheels as drive wheels.
  • the system, number, layout, and the like of the devices involved in the drive of the wheels 3 can be set variously.
  • the drive system is not limited to the four-wheel drive system, and may be, for example, a front wheel drive system or a rear wheel drive system.
  • the vehicle body 2 constitutes a passenger compartment 2 a in which a passenger (not shown) rides.
  • a steering unit 4, an acceleration operation unit 5, a braking operation unit 6, a gear change operation unit 7 and the like are provided in the passenger compartment 2a in a state of facing the driver's seat 2b as a passenger.
  • the steering unit 4 is, for example, a steering wheel that protrudes from the dashboard 24.
  • the acceleration operation unit 5 is, for example, an accelerator pedal positioned under the driver's foot.
  • the brake operation unit 6 is, for example, a brake pedal positioned under the driver's foot
  • the shift operation unit 7 is, for example, a shift lever that protrudes from the center console.
  • the steering unit 4, the acceleration operation unit 5, the braking operation unit 6, the shift operation unit 7, and the like are not limited to these.
  • a display device 8 and an audio output device 9 are provided in the passenger compartment 2a.
  • the display device 8 is, for example, a liquid crystal display (LCD), an organic electroluminescent display (OELD), or the like.
  • the audio output device 9 is, for example, a speaker.
  • the display device 8 is covered with a transparent operation input unit 10 such as a touch panel, for example. The occupant can visually recognize the image displayed on the display screen of the display device 8 through the operation input unit 10.
  • an occupant operates the operation input unit 10 by touching or pushing or moving the operation input unit 10 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 8. It can be done.
  • the display device 8, the audio output device 9, the operation input unit 10, and the like are provided, for example, in the monitor device 11 located at the center of the dashboard 24 in the vehicle width direction, that is, in the lateral direction.
  • the monitor device 11 can have an operation input unit (not shown) such as a switch, a dial, a joystick, or a push button.
  • an audio output device (not shown) can be provided at another position in the vehicle compartment 2a different from the monitor device 11, and audio is output from the audio output device 9 of the monitor device 11 and another audio output device. be able to.
  • the monitor device 11 can also be used as, for example, a navigation system or an audio system.
  • the vehicle 1 is, for example, a four-wheeled vehicle, and has two left and right front wheels 3F and two left and right rear wheels 3R. All of these four wheels 3 can be configured to be steerable.
  • the vehicle 1 has a steering system 13 that steers at least two wheels 3.
  • the steering system 13 has an actuator 13a and a torque sensor 13b.
  • the steering system 13 is electrically controlled by an ECU 14 (electronic control unit) or the like to operate the actuator 13a.
  • the steering system 13 is, for example, an electric power steering system, an SBW (steer by wire) system, or the like.
  • the steering system 13 adds torque, that is, assist torque to the steering unit 4 by the actuator 13a to compensate for the steering force, or steers the wheel 3 by the actuator 13a.
  • the actuator 13a may steer one wheel 3 or may steer a plurality of wheels 3.
  • the torque sensor 13 b detects, for example, a torque that the driver gives to the steering unit 4.
  • the vehicle body 2 is provided with, for example, four imaging units 15a to 15d as the plurality of imaging units 15.
  • the imaging unit 15 is, for example, a digital camera that incorporates an imaging device such as a charge coupled device (CCD) or a CMOS image sensor (CIS).
  • the imaging unit 15 can output moving image data (captured image data) at a predetermined frame rate.
  • Each of the imaging units 15 has a wide-angle lens or a fish-eye lens, and can image a range of, for example, 140 ° to 220 ° in the horizontal direction.
  • the optical axis of the imaging unit 15 may be set obliquely downward. Therefore, the imaging unit 15 sequentially captures the environment around the outside of the vehicle 1 including the road surface or object on which the vehicle 1 can move (for example, rocks, trees, people, bicycles and vehicles as obstacles), and captures an image Output as image data.
  • the imaging unit 15a is located, for example, at the rear end 2e of the vehicle body 2, and is provided on the lower wall of the rear window of the door 2h of the rear hatch.
  • the imaging unit 15 b is, for example, located at the right end 2 f of the vehicle body 2 and provided on the right side door mirror 2 g.
  • the imaging unit 15c is located, for example, on the front side of the vehicle body 2, that is, on the end 2c on the front side in the front-rear direction of the vehicle, and is provided on a front bumper, a front grill, or the like.
  • the imaging unit 15d is, for example, located at the left end 2d of the vehicle body 2, and is provided to the left side door mirror 2g.
  • the display control system 100 in addition to the ECU 14, the monitor device 11, the steering system 13, etc., the brake system 18, steering angle sensor 19, accelerator sensor 20, shift A sensor 21, a wheel speed sensor 22 and the like are electrically connected via an in-vehicle network 23 as a telecommunication line.
  • the in-vehicle network 23 is configured, for example, as a controller area network (CAN).
  • the ECU 14 can control the steering system 13, the brake system 18 and the like by transmitting control signals through the in-vehicle network 23.
  • the ECU 14 detects detection results of the torque sensor 13b, the brake sensor 18b, the steering angle sensor 19, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, and operation signals of the operation input unit 10 etc via the in-vehicle network 23. Etc can be received.
  • the vehicle body 2 includes, for example, four distance measuring units 16a to 16d and eight distance measuring units 17a to 17h as a plurality of distance measuring units 16 and 17. It is provided.
  • the distance measuring units 16 and 17 are, for example, sonars that emit ultrasonic waves and catch the reflected waves.
  • the sonar may also be referred to as a sonar sensor or an ultrasonic detector.
  • the ECU 14 can measure the presence or absence of an object such as an obstacle located around the vehicle 1 and the distance (position) to the object based on the detection results of the distance measurement units 16 and 17. Therefore, the distance measuring units 16 and 17 function as position detecting units that detect the position of an object present around the vehicle 1.
  • the distance measuring unit 17 can be used, for example, to detect an object at a relatively short distance, and the distance measuring unit 16 can be used, for example, to detect an object at a relatively long distance farther than the distance measuring unit 17. Further, the distance measuring unit 17 can be used, for example, for detecting an object in front of and behind the vehicle 1, and the distance measuring unit 16 can be used for detecting an object on the side of the vehicle 1.
  • the ECU 14 has, for example, a CPU 14a (central processing unit), a ROM 14b (read only memory), a RAM 14c (random access memory), a display control unit 14d, an audio control unit 14e, an SSD 14f (solid state drive, flash memory) and the like. ing.
  • the CPU 14a reads a program stored (installed) in a non-volatile storage device such as the ROM 14b, and executes arithmetic processing according to the program.
  • the CPU 14a executes, for example, image processing related to an image displayed on the display device 8. For example, the CPU 14a performs arithmetic processing and image processing on captured image data captured by the imaging unit 15 to generate a three-dimensional peripheral image (for example, an overhead image).
  • the CPU 14a can change the viewpoint of the peripheral image to be generated.
  • the CPU 14a detects whether or not an object (for example, another vehicle, a wall, an obstacle such as a pedestrian, etc.) to be careful around the vehicle 1 exists, or a peripheral image based on the position of the detected object
  • the display mode of can be changed.
  • the CPU 14a can also execute a process of notifying the user (driver or passenger) of the presence of the object based on the detected object.
  • the RAM 14c temporarily stores various data used in the calculation in the CPU 14a.
  • the display control unit 14d mainly performs composition of image data displayed on the display device 8 and the like in the arithmetic processing in the ECU 14.
  • the voice control unit 14 e mainly performs processing of voice data output from the voice output device 9 among the calculation processing in the ECU 14.
  • the SSD 14 f is a rewritable non-volatile storage unit, and can store data even when the power supply of the ECU 14 is turned off.
  • the CPU 14a, the ROM 14b, the RAM 14c, and the like can be integrated in the same package.
  • the ECU 14 may be configured to use another logical operation processor such as a DSP (digital signal processor) or a logic circuit instead of the CPU 14a.
  • a hard disk drive (HDD) may be provided instead of the SSD 14f, and the SSD 14f and the HDD may be provided separately from the ECU 14.
  • the brake system 18 enhances, for example, an anti-lock brake system (ABS) that suppresses the lock of the brake, an anti-slip device (ESC: electronic stability control) that suppresses the side-slip of the vehicle 1 at cornering, They are an electric brake system which performs a brake assist, BBW (brake by wire), etc.
  • the brake system 18 applies a braking force to the wheel 3 and thus to the vehicle 1 via the actuator 18a.
  • the brake system 18 can execute various controls by detecting the lock of the brake, the idle rotation of the wheel 3, the sign of a side slip, and the like from the difference in rotation of the left and right wheels 3.
  • the brake sensor 18 b is, for example, a sensor that detects the position of the movable portion of the braking operation unit 6.
  • the steering angle sensor 19 is a sensor that detects the steering amount of the steering unit 4 such as a steering wheel, for example.
  • the ECU 14 acquires the steering amount of the steering unit 4 by the driver, the steering amount of each wheel 3 at the time of automatic steering, and the like from the steering angle sensor 19 and executes various controls.
  • the accelerator sensor 20 is, for example, a sensor that detects the position of the movable portion of the acceleration operation unit 5.
  • the shift sensor 21 is, for example, a sensor that detects the position of the movable portion of the shift operation unit 7.
  • the wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time.
  • the wheel speed sensor 22 outputs a wheel speed pulse number indicating the detected rotation speed as a sensor value.
  • the ECU 14 calculates the amount of movement of the vehicle 1 and the like based on the sensor value acquired from the wheel speed sensor 22 and executes various controls.
  • the CPU 14a included in the ECU 14 displays the environment around the vehicle 1 based on the captured image data captured by the imaging unit 15 as described above, for example, as a three-dimensional image of the overhead view.
  • the CPU 14a includes various modules as shown in FIG.
  • the CPU 14a includes, for example, an image acquisition unit 26, a projection plane acquisition unit 28, a correction unit 30, an image synthesis unit 32, a three-dimensional processing unit 34, a peripheral image generation unit 36, an object position acquisition unit 38, a variable setting unit 40, and the like.
  • These modules can be realized by reading a program installed and stored in a storage device such as the ROM 14 b and executing the program.
  • the image acquisition unit 26 acquires information necessary to display the surroundings of the vehicle 1. For example, the image acquisition unit 26 acquires a plurality of captured image data from a plurality of imaging units 15 that capture an area around the vehicle 1.
  • the imaging unit 15 is fixed at different height positions according to the installation position of the vehicle body 2 (vehicle 1). As shown in FIGS. 1 and 5, the imaging unit 15b and the imaging unit 15d are fixed to, for example, the door mirror 2g.
  • the imaging unit 15c is fixed to a position lower than the door mirror 2g, for example, the front grille, at the end 2c of the vehicle body 2 as shown in FIG.
  • the imaging unit 15 c is provided at a first height position (first height H 1) of the vehicle 1 and images a situation in a first direction (forward) of the surroundings of the vehicle 1. It may be referred to as an imaging unit, and the imaged image data from the first imaging unit (imaging unit 15c) may be referred to as first imaged image data.
  • the imaging unit 15b or the imaging unit 15d is provided at a second height position (second height H2) different from the first height position (first height H1).
  • the imaging unit 15 b or the imaging unit 15 d captures a second image indicating a situation in a second direction (mainly leftward or rightward) connectable in the horizontal direction to the first image based on the first captured image data. 2) It may be called an imaging unit.
  • captured image data from the second imaging unit (the imaging unit 15 b or the imaging unit 15 d) may be referred to as second captured image data.
  • the projection plane acquisition unit 28 acquires, for example, a three-dimensional shape model stored in advance in the ROM 14 b, the SSD 14 f, or the like.
  • the three-dimensional shape model is, for example, data defining a virtual projection plane surrounding the periphery of the vehicle 1.
  • 5 to 7 show an example of the three-dimensional shape model.
  • FIG. 5 is a schematic view showing an example of projecting a photographed image Ic of the imaging unit 15 d onto a virtual projection plane Sp (Sps)
  • FIG. 6 is a view schematically showing a configuration of the virtual projection plane Sp.
  • FIG. 7 is a view schematically showing the entire virtual projection plane Sp.
  • a virtual projection plane Sp which is a three-dimensional shape model, is data of a mesh structure in which coordinates (X, Y, Z) are defined, and each pixel of captured image data captured by the imaging unit 15 The data is projected, for example, to the mesh intersections (intersections defined by coordinates X, Y, Z).
  • the mesh of virtual projection surface Sp shown in FIG. 6 is shown in figure for description, It is set so that it can not actually visually recognize.
  • the virtual projection plane Sp has a bottom surface Spg along the ground Gr and a bottom surface Spg, that is, a side surface Sps rising from the ground Gr.
  • the ground Gr is a horizontal surface orthogonal to the height direction Y (vertical direction) of the vehicle 1 and is also a contact surface of the wheel 3.
  • the bottom surface Spg is, for example, a substantially circular flat surface, and is a horizontal surface based on the vehicle 1.
  • the side surface Sps is, for example, a curved surface that is in contact with the bottom surface Spg and rises in the height direction from a portion of the bottom surface Spg and surrounds a portion of the bottom surface Spg. As shown in FIG.
  • the shape of the vertical imaginary cross section of the vehicle 1 passing through the center Gc of the vehicle 1 on the side surface Sps is, for example, elliptical or parabolic.
  • the side surface Sps is configured, for example, as a rotational surface around a center line CL that passes through the center Gc of the vehicle 1 and extends in the height direction of the vehicle 1. That is, the side surface Sps surrounds the periphery of the vehicle 1.
  • the correction unit 30 corrects one of the data of the first captured image data indicating the first image or the second captured image data indicating the second image in the height direction.
  • the first captured image data and the second height position (second height H2) when imaged from the imaging unit 15c provided at the first height position (first height H1)
  • the second captured image data obtained by imaging from the imaging unit 15d provided in the image is projected as it is on the virtual projection plane Sp of the three-dimensional shape model
  • the first height position (first height H1) and the first height H1 Due to the difference between the second height position (the second height H2), the display content in the height direction may be shifted.
  • the correction unit 30 sets the height of at least one of the first captured image data and the second captured image data to be projected on the virtual projection plane Sp (for example, first captured image data). Make corrections in the vertical direction.
  • the lens included in the imaging unit 15 may be a wide-angle lens or a fish-eye lens in order to realize wide-range imaging, and an image may include distortion.
  • the correction unit 30 may correct the first captured image data and the second captured image data based on the distortion of the lens. The details of the correction in the height direction will be described later.
  • the image combining unit 32 includes, for example, the first captured image data captured by the imaging unit 15c acquired by the image acquiring unit 26 and corrected by the correcting unit 30, the imaging unit 15d acquired by the image acquiring unit 26, and the imaging unit 15b
  • the second captured image data captured by are combined by combining their boundary portions to generate one captured image data.
  • the boundary may appear clearly if the boundary portion is combined as it is.
  • the brightness and the color of the image may be different depending on whether the light or the light hits the first image captured by the imaging unit 15c and the second image captured by the imaging unit 15d.
  • the image combining unit 32 may execute blending processing for combining images using a% of each of the first captured image data and the second captured image data. By executing the blending process, the first image of the first captured image data and the second image of the second captured image data are synthesized so as to gradually change, and a border line generated due to a difference in brightness or color is highlighted. It can be difficult.
  • the image combining unit 32 When the image combining unit 32 displays a peripheral image indicating the situation behind the vehicle 1, the image combining unit 32 similarly captures the first captured image data captured by the imaging unit 15 a and the imaging unit 15 d and the imaging unit 15 b. The second captured image data are combined to generate one captured image data.
  • the three-dimensional processing unit 34 projects the captured image data synthesized by the image synthesis unit 32 on a virtual projection plane Sp (three-dimensional shape model) surrounding the periphery of the vehicle 1 determined based on the position where the vehicle 1 exists. To generate data of a virtual projection image. As shown in FIG. 5, the three-dimensional processing unit 34 calculates a virtual projection image Ip obtained by projecting the captured image Ic on a virtual projection plane Sp. When the photographed image Ic is projected on the ground Gr, the image may become longer as it goes away from the imaging unit 15, and may appear longer than the actual length in the output image. As can be seen from FIG. 5, the virtual projected image Ip projected onto the side surface Sps rising from the ground Gr (bottom surface Spg) has a shorter image than when projected onto the ground Gr, and the actual image in the output image It is suppressed that it appears longer than the length.
  • a virtual projection image Ip obtained by projecting the captured image Ic on a virtual projection plane Sp.
  • the three-dimensional processing unit 34 is a vehicle shape model corresponding to the vehicle 1 stored in the ROM 14 b or the SSD 14 f in a three-dimensional virtual space including the virtual projection plane Sp. Arrange M.
  • the three-dimensional processing unit 34 sets a predetermined transmittance to the vehicle shape model M disposed in the three-dimensional virtual space. Thereby, in the three-dimensional virtual space, the virtual projected image Ip on the opposite side can be visually recognized through the vehicle shape model M.
  • the peripheral image generation unit 36 sets, in the three-dimensional virtual space, the virtual projection image Ip and the vehicle shape model M projected on the virtual projection plane Sp in the three-dimensional virtual space on which the captured image data is projected. It generates surrounding image data when looking at the gaze point En from the viewpoint Ep.
  • the peripheral image generation unit 36 supplies the generated peripheral image data to the display control unit 14 d, and the display control unit 14 d causes the display device 8 to display a three-dimensional peripheral image.
  • FIG. 7 the whole of the virtual projection plane Sp centering on the vehicle shape model M is schematically shown.
  • the peripheral image generation unit 36 converts the virtual projection image Ip (see FIG. 5) projected on the virtual projection plane Sp into peripheral image data (not shown in FIG. 6) viewed from the virtual viewpoint Ep.
  • the viewpoint Ep is set to the rear of the vehicle shape model M, and is looking forward of the vehicle shape model M (gaze point En).
  • the captured image data captured by the plurality of imaging units 15 installed in the vehicle 1 are combined, and the vehicle 1 looks at the gaze point En from an arbitrary viewpoint Ep.
  • the vehicle 1 looks at the gaze point En from an arbitrary viewpoint Ep.
  • the object position acquisition unit 38 detects the position of the object when, for example, another vehicle, a wall, a pedestrian, or the like is detected when the distance measurement unit 16 or the distance measurement unit 17 detects an object around the vehicle 1. For example, the distance to the object is acquired.
  • the variable setting unit 40 can set the position of the side surface Sps of the virtual projection surface Sp defined by the three-dimensional shape model acquired by the projection surface acquisition unit 28 according to the position of the object acquired by the object position acquisition unit 38. .
  • a plurality of virtual projection planes Sp having different bottom areas Spg are stored in the ROM 14b or the SSD 14f.
  • variable setting unit 40 defines a virtual projection plane Sp having a side surface Sps that rises from a position (close position) corresponding to the position of the object.
  • a shape model may be selected.
  • the variable setting unit 40 calculates a three-dimensional shape model that defines a virtual projection plane Sp having a side surface Sps rising from the position according to the position of the object acquired by the object position acquisition unit 38. It may be provided to the projection plane acquisition unit 28.
  • FIG. 8 is a view for explaining changing the projection position of the captured image data with respect to the side surface Sps of the virtual projection plane Sp by the correction performed by the correction unit 30, and a three-dimensional peripheral image generated by the peripheral image generation unit 36.
  • FIG. 8 is based on a first image based on first captured image data captured by the imaging unit 15 c as a first imaging unit and second captured image data captured by the imaging unit 15 d as a second imaging unit. It is explanatory drawing in the case of projecting the 2nd image on side Sps of virtual projection plane Sp.
  • the correction by the correction unit 30 is not performed, and the image content deviation occurs in the height direction as shown in FIG. 9, and the correction by the correction unit 30 is performed, as shown in FIG. 10. It is a figure explaining the case where the shift
  • the object T exists at a position different from the position of the side surface Sps of the virtual projection plane Sp (for example, when it exists at a position further forward than the position of the side surface Sps)
  • a point S0 (X0) on the side surface Sps of the virtual projection plane Sp , Y0, Z0) reflect (projected) the image existing on the extension line Q1 of the imaging unit 15c (first imaging unit).
  • the object T appears (includes) in the first captured image data captured by the imaging unit 15c with respect to the point S0 on the side surface Sps.
  • the second captured image data imaged by the imaging unit 15d is projected to the point S0 on the side surface Sps. Even if the object T does not appear (is not included). In this case, the object T appears at a position slightly above the point S0 on the side surface Sps.
  • the portions appearing on the extension of the imaging unit 15c (first imaging unit) and the imaging unit 15d (second imaging unit) are different, the first image captured by the imaging unit 15c and the image captured by the imaging unit 15d When the second image is formed on the side surface Sps of the virtual projection plane Sp, the projection position of the object T is shifted in the height direction.
  • the height from the horizontal line G of the second image P2 captured by the imaging unit 15d (second imaging unit) projected on the side surface Sps2 is deviated.
  • the horizontal line G of the first image P1 and the horizontal line G of the second image P2 are made to coincide with each other by changing the shape of the three-dimensional shape model, unevenness is generated at the upper end of the three-dimensional shape model. Unnaturalness also occurs in the shape of the outer edge of the peripheral image.
  • the connection portion between the bottom surface Spg and the side surface Sps of the virtual projection plane Sp is displaced, which may cause a new sense of discomfort in the three-dimensional peripheral image.
  • the correction unit 30 corrects the projection position of at least one of the first image P1 and the second image P2 projected on the virtual projection plane Sp based on the difference between the height positions of the imaging units 15.
  • the first height position (first height H1) of the imaging unit 15c (first imaging unit) and the second height position (second height) of the imaging unit 15d (second imaging unit) The projection position of at least one of the first image P1 and the second image P2 to be projected on the virtual projection plane Sp based on the height ratio with H2) (see FIG.
  • the corrected point S1 The three-dimensional coordinates (X0, Y1, Z0) are lower than the three-dimensional coordinates (X0, Y0, Z0) of the point S0 before correction. As shown in FIG. 8, the three-dimensional coordinates of the point S0 are present on the extension line Q3 of the imaging unit 15c (first imaging unit) passing through the three-dimensional coordinates (X0, Y1, Z0) of the point S1.
  • the image combining unit 32 converts the two-dimensional coordinates (U, V) of the first image P1 corresponding to the three-dimensional coordinates (X0, Y1, Z0) of the point S1 after correction on the three-dimensional coordinates (X0, 0) of the point S0.
  • the projection position of the first image P1 follows the height ratio of the first height position (first height H1) to the second height position (second height H2) on the side surface Sps. Corrected upward, the content of the first image P1 and the content of the second image P2 can be aligned in the height direction.
  • the image combining unit 32 generates data of one captured image joined at the boundary portion in a state where the contents of the first image P1 and the content of the second image P2 substantially match.
  • the horizontal line G of the first image P1 captured by the imaging unit 15c (first imaging unit) and projected onto the side surface Sps1 of the virtual projection plane Sp, the imaging unit 15d and the imaging unit 15b The horizontal line G of the second image P2 captured by the second imaging unit and projected onto the side surface Sps2 of the virtual projection plane Sp substantially matches. Therefore, it is possible to display a three-dimensional peripheral image with reduced discomfort.
  • the left and right door mirrors 2g of the vehicle 1 have different angles from the left and right because the distance from the driver's seat is different.
  • height positions (ground heights) of the imaging unit 15b and the imaging unit 15d fixed to the left and right door mirrors 2g are different. Therefore, the second height position (second height H2) when calculating the height component Y1 is the average value of the second height positions (second height H2) of the imaging unit 15b and the imaging unit 15d. May be used.
  • the display deviation of the first image P1 can be appropriately reduced with respect to the second image P2 synthesized on the left and right sides of the first image P1.
  • the calculation of the three-dimensional coordinates (X0, Y1, Z0) of the point S1 by the correction unit 30 is, for example, when the power of the vehicle 1 is turned on, for example, when the ignition switch is turned on.
  • the position may be acquired from specification data stored in the ROM 14 b or the like and executed once, and the result may be stored in the ROM 14 b or the SSD 14 f.
  • the image acquisition unit 26 acquires captured image data of the imaging unit 15 (at the time of drawing each frame)
  • the image combining unit 32 performs the first image P1 in which the correction in the height direction is performed, and the second image P2 and P2 are combined at the boundary portion to generate one captured image data.
  • the three-dimensional processing unit 34 and the peripheral image generation unit 36 use the captured image data on which the height alignment has been performed based on the setting state of the viewpoint Ep and the gaze point En, to generate the peripheral image as shown in FIG.
  • the drawing position of the second image P2 captured by the imaging unit 15d and the imaging unit 15d is a first height position (first height H1) and a second height position. It may be corrected downward according to the height with (the second height H2).
  • the content in the height direction of the content of the first image P1 and the content of the second image P2 can be aligned, and the content of the first image P1 and the content of the second image P2 does not feel uncomfortable at the boundary portion
  • the connected peripheral image can be displayed.
  • the shape of the virtual projection plane Sp is not changed, and thus the shape of the outer edge portion or the like of the three-dimensional composite image to be displayed is not changed. Therefore, it is possible to reduce the display deviation of the image content in the height direction without reducing the marketability of the display image.
  • the rising position of the side surface Sps from the bottom surface Spg in the virtual projection surface Sp is fixed. Inconsistencies may occur in the displayed contents. For example, as shown in FIG. 11, when the object T1 exists at a position closer to the vehicle 1 than the side surface Sps, the object T1 is displayed across the bottom surface Spg and the side surface Sps when the object T1 is projected on the virtual projection plane Sp. Be done. As a result, a virtual projection image Ip1 larger (longer) than the actual object T1 may be displayed, and an object larger than the actual object T1 may be displayed on the display device 8 (see FIG. 3).
  • the object position acquisition unit 38 acquires the position of the object, for example, the distance to the object T1. Do. Then, the variable setting unit 40 sets the projection plane acquisition unit 28 to acquire a virtual projection plane Sp in which the side surface Sps3 rises from the position of the object T1 acquired by the object position acquisition unit 38.
  • variable setting unit 40 stores, in the ROM 14b and the SSD 14f, a plurality of virtual projection planes Sp having different widths of the bottom surface Spg (virtual projection planes Sp having different rising positions of the side surface Sps from the vehicle shape model M) If it is, the projection plane acquisition unit 28 sends a control signal so as to read out the virtual projection plane Sp corresponding to the distance to the object T1. Further, the variable setting unit 40 calculates a three-dimensional shape model that defines a virtual projection plane Sp having the side surface Sps3 rising from the position according to the position of the object T1 acquired by the object position acquisition unit 38, It may be provided to the acquisition unit 28.
  • a virtual projection image Ip2 having a size (height) closer to a real image is displayed in a three-dimensional virtual space can do.
  • the ECU 14 may notify the presence of the object T1 via the display device 8 or the audio output device 9. Also, it may be informed that the side surface Sps of the virtual projection plane Sp is set to the position of the object T1.
  • the detection of the object T1 may be performed by image recognition, for example, instead of the distance measuring units 16 and 17.
  • the imaging unit 15 is configured by a stereo camera, the distance to the object T1 can be detected by known image processing.
  • the display control system 100 can change the position of the viewpoint Ep, for example, by the operation of the operation input unit 10, and faces almost horizontally from the lower viewpoint Ep as viewed three-dimensionally as viewed from a higher viewpoint Ep. It is possible to display three-dimensional peripheral images.
  • the viewpoint Ep in front of the vehicle 1 and setting the gaze point En behind the vehicle 1, it is possible to display a three-dimensional peripheral image facing the rear of the vehicle 1.
  • the same effect as displaying the front can be obtained. be able to.
  • the point S1 is used when the correction unit 30 calculates the height ratio based on the height position of each imaging unit 15 each time the ignition switch is turned on, and corrects the projection position of the first image.
  • An example of calculating three-dimensional coordinates (X0, Y1, Z0) of The height position of each imaging unit 15 is fixed at a vehicle manufacturing plant, a dealer, or the like, and thereafter, it is generally not changed except for repair, replacement, etc. of the imaging unit 15. Therefore, using a height ratio based on the height position of each imaging unit 15 in advance in a manufacturing plant or dealer, for example, the three-dimensional coordinates (X0, Y1, Z0) of point S1 used when correcting the projection position of the first image.
  • the virtual projection surface Sp may be configured by only the side surface Sps . That is, as the image displayed on the display device 8, only the rising surface at a position away from the vehicle 1 by a predetermined distance is displayed.
  • the correction unit 30 sets the first height position (first height H1) of the first imaging unit (for example, the imaging unit 15c) and the second height position of the second imaging unit (for example, the imaging units 15b and 15d).
  • the content (projection position) of the image projected on the side surface Sps (virtual projection plane Sp) may be corrected using the difference (difference) in height position (second height H2).

Abstract

車両の第一の高さ位置に設けられた第１撮像部から得られる第１画像と、第一の高さ位置とは異なる第二の高さ位置に設けられて第一の方向とは異なる第二の方向の状況を撮像する第２撮像部から得られる第２画像と、を取得する画像取得部と、第１画像および第２画像を投影可能で、車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、第一の高さ位置と第二の高さ位置との差に基づき、仮想投影面に投影する第１画像の内容と第２画像の内容とが整合するように高さ方向に補正する補正部と、補正によって高さ方向の整合が取れた第１画像と第２画像を含む三次元合成画像を生成する画像合成部と、を備える。

Description

表示制御装置
　本発明の実施形態は、表示制御装置に関する。
　従来、車両の周囲に設けられた複数の撮像部によって、車両の周辺を撮像して、その撮像された複数の撮像画像データを合成し三次元の合成俯瞰画像を生成して、車室内の表示装置で表示することで、車両の周囲の状況を運転者に認識させる俯瞰画像生成装置が提案されている（例えば、特許文献１参照）。
　この俯瞰画像生成装置では、各方向（車両の前後左右）を撮像する撮像部の設置高さ（設置地上高）の違いに起因する合成画像の高さ方向のずれを解消している。具体的には、俯瞰画像（三次元空間モデル）の一部の高さ方向の形状を変化させて、水平線の位置を合わせることで、表示される合成俯瞰画像の水平線部分の違和感が出ないようにしている。
特開２０１６－２２５８６５号公報
　しかしながら、従来技術において、水平線の位置を合わせるために三次元空間モデルの高さ方向の一部の形状を変化させることで、投影する画像の水平線の位置を合わせている。その結果、合成俯瞰画像の上端部の形状に凹凸が生じて、表示装置に表示した場合、表示画像の縁部等の形状が不自然となり、商品性の低下を招いてしまうという問題があった。
　そこで、本発明の課題の一つは、三次元合成画像の縁部等の形状に不自然さを伴うことなく、高さ方向の画像内容の表示ずれが軽減可能な表示制御装置を提供することにある。
　実施形態の表示制御装置は、例えば、車両の第一の高さ位置に設けられて上記車両の周囲のうち第一の方向の状況を撮像する第１撮像部から得られる第１画像と、上記第一の高さ位置とは異なる第二の高さ位置に設けられて上記第一の方向とは異なる第二の方向の状況を撮像する第２撮像部から得られる第２画像と、を取得する画像取得部と、上記第１画像および上記第２画像を投影可能で、上記車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、上記第一の高さ位置と上記第二の高さ位置との差に基づき、上記仮想投影面に投影する上記第１画像と上記第２画像のうち少なくとも一方の投影位置を上記第１画像の内容と上記第２画像の内容とが整合するように高さ方向に補正する補正部と、補正によって高さ方向の整合が取れた上記第１画像と上記第２画像を含む三次元合成画像を生成する画像合成部と、を備える。この構成によれば、例えば、第１撮像部の第一の高さ位置と第２撮像部の第二の高さ位置とで違いがある場合、その高さ位置の差に基づき仮想投影面に投影する画像の内容（投影位置）を補正する。この場合、仮想投影面の形状は変更されないため、表示される三次元合成画像の外縁部等の形状に変化はなく、表示画像の商品性の低下を伴うことなく、高さ方向の画像内容の表示ずれを軽減することができる。
　また、実施形態の表示制御装置の上記補正部は、例えば、上記第一の高さ位置と上記第二の高さ位置との高さ比に基づき、上記投影位置を補正するようにしてもよい。この構成によれば、例えば、第１撮像部の第一の高さ位置と第２撮像部の第二の高さ位置の違いに起因する表示ずれをより適正に補正することができる。
　また、実施形態の表示制御装置は、例えば、さらに、上記車両の周囲に存在する物体の位置を検出可能な位置検出部を備え、上記投影面取得部は、上記物体の位置に対応する位置に上記側面を備える上記仮想投影面を取得するようにしてもよい。この構成によれば、検出した物体、例えば、他車両の存在する位置に仮想投影面の側面が形成されるので、注意を払うべき物体の形状（大きさ）をより現実に似せた態様で表示できるとともに、高さ方向のずれ（水平線のずれ）が軽減された状態で表示可能となる。その結果、視認性、画像品質、商品性等の向上に、さらに寄与できる。
図１は、実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。 図４は、実施形態にかかる表示制御装置のＣＰＵの構成の例示的なブロック図である。 図５は、実施形態にかかる表示制御システムにおける撮影画像の仮想投影面への投影を示す例示的かつ模式的な説明図である。 図６は、実施形態にかかる表示制御装置で用いる仮想投影面（三次元仮想モデル）を示す例示的かつ模式的な説明図である。 図７は、実施形態にかかる表示制御システムにおける車両形状モデルと仮想投影面とを示す模式的かつ例示的な側面図である。 図８は、実施形態にかかる表示制御装置における撮像部の高さ位置に起因する三次元合成画像の高さ方向の表示ずれの発生と、その表示ずれの修正を模式的かつ例示的に説明する説明図である。 図９は、撮像部の高さ位置に起因する三次元合成画像の高さ方向の表示ずれの発生を説明する模式的な三次元合成画像の表示例を示す図である。 図１０は、実施形態にかかる表示制御装置による補正を適用して撮像部の高さ位置に起因する三次元合成画像の高さ方向の表示ずれを解消した場合の模式的な三次元合成画像の表示例を示す図である。 図１１は、実施形態にかかる表示制御装置において、物体の検出位置に仮想投影面の側面を設定する模式的かつ例示的な側面図である。
　以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
　本実施形態において、表示制御装置（表示制御システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。駆動方式としては、四つある車輪３すべてに駆動力を伝え、四輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。
　図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。また、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
　また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid　crystal　display）や、ＯＥＬＤ（organic　electroluminescent　display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員（運転者等）は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
　また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic　control　unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer　by　wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
　また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge　Coupled　Device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や物体（障害物として、例えば、岩、樹木、人間、自転車、車両等）を含む車両１の外部の周辺の環境を逐次撮影し、撮像画像データとして出力する。
　撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。
　また、図３に例示されるように、表示制御システム１００（表示制御装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
　また、図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離（位置）を測定することができる。したがって、測距部１６，１７は、車両１の周囲に存在する物体の位置を検出する位置検出部として機能する。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。
　ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central　processing　unit）や、ＲＯＭ１４ｂ（read　only　memory）、ＲＡＭ１４ｃ（random　access　memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid　state　drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データに演算処理や画像処理を実行して、三次元の周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ１４ａは、生成する周辺画像の視点を変化させることができる。また、ＣＰＵ１４ａは、車両１の周囲に注意すべき物体（例えば、他車両や壁、歩行者等の障害物）が存在するか否かを検出したり、検出した物体の位置に基づいて周辺画像の表示態様を変化させたりすることができる。また、ＣＰＵ１４ａは、検出した物体に基づき、ユーザ（運転者や搭乗者）に物体の存在を報知する処理も実行可能である。
　ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
　ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock　brake　system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic　stability　control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake　by　wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。
　舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。
　なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
　ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したように撮像部１５が撮像した撮像画像データに基づいた車両１周辺の環境を例えば、三次元の俯瞰態様の画像で表示する。この機能を実現するために、ＣＰＵ１４ａは、図４に示すような種々のモジュールを含んでいる。ＣＰＵ１４ａは、例えば、画像取得部２６、投影面取得部２８、補正部３０、画像合成部３２、三次元処理部３４、周辺画像生成部３６、物体位置取得部３８、可変設定部４０等を含む。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
　画像取得部２６は、車両１の周囲を表示するために必要な情報を取得する。例えば、画像取得部２６は、車両１の周辺を撮像する複数の撮像部１５から、複数の撮像画像データを取得する。なお、本実施形態において、撮像部１５は、車体２（車両１）における設置位置に応じて、固定されている高さ位置が異なる。図１、図５に示されるように撮像部１５ｂおよび撮像部１５ｄは例えばドアミラー２ｇに固定される。一方、撮像部１５ｃは、図５に示されるように車体２の端部２ｃで、ドアミラー２ｇより低い位置、例えばフロントグリルに固定される。本実施形態において、撮像部１５ｃは、車両１の第一の高さ位置（第１高さＨ１）に設けられて車両１の周囲のうち第一の方向（前方）の状況を撮像する第１撮像部と称し、第１撮像部（撮像部１５ｃ）からの撮像画像データを第１撮像画像データと称する場合がある。また、撮像部１５ｂまたは撮像部１５ｄは、第一の高さ位置（第１高さＨ１）とは異なる第二の高さ位置（第２高さＨ２）に設けられる。撮像部１５ｂまたは撮像部１５ｄは、第１撮像画像データに基づく第１画像と水平方向において繋ぎ合わせ可能な第二の方向（主として左側方または右側方）の状況を示す第２画像を撮像する第２撮像部と称する場合がある。また、第２撮像部（撮像部１５ｂまたは撮像部１５ｄ）からの撮像画像データを第２撮像画像データと称する場合がある。
　投影面取得部２８は、例えば、ＲＯＭ１４ｂやＳＳＤ１４ｆ等に予め記憶された三次元形状モデルを取得する。三次元形状モデルは、例えば、車両１の周囲を取り囲む仮想投影面を規定するデータである。図５～図７に三次元形状モデルの一例を示す。なお、図５は、撮像部１５ｄの撮影画像Ｉｃを仮想投影面Ｓｐ（Ｓｐｓ）へ投影する例を示す模式図であり、図６は、仮想投影面Ｓｐの構成を模式的に示す図であり、図７は、仮想投影面Ｓｐの全体を模式的に示す図である。
　図６に示すように、三次元形状モデルである仮想投影面Ｓｐは、座標（Ｘ，Ｙ，Ｚ）が規定されるメッシュ構造のデータで、撮像部１５が撮像した撮像画像データの各画素のデータが例えば、メッシュの交点（座標Ｘ，Ｙ，Ｚで規定される交点）に投影される。なお、図６に示す仮想投影面Ｓｐのメッシュは、説明のために図示したもので、実際には視認できないように設定されている。
　仮想投影面Ｓｐは、例えば、図５、図７に示すように、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１の高さ方向Ｙ（上下方向）と直交する水平面であり、車輪３の接地面でもある。底面Ｓｐｇは、例えば略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接して底面Ｓｐｇの一部から高さ方向に立ち上り底面Ｓｐｇの一部を取り囲む、例えば曲面である。図５に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の高さ方向に沿う中心線ＣＬ周りの回転面として構成される。つまり、側面Ｓｐｓは、車両１の周囲を取り囲んでいる。
　補正部３０は、第１画像を示す第１撮像画像データまたは第２画像を示す第２撮像画像データのうち一方のデータの高さ方向の補正を行う。本実施形態において、第一の高さ位置（第１高さＨ１）に設けられた撮像部１５ｃから撮像した場合の第１撮像画像データと、第二の高さ位置（第２高さＨ２）に設けられた撮像部１５ｄから撮像した場合の第２撮像画像データと、を三次元形状モデルの仮想投影面Ｓｐにそのまま投影した場合、第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との差異に起因して、高さ方向の表示内容がずれてしまう場合がある。そこで、補正部３０は、表示内容のずれを軽減するために、仮想投影面Ｓｐに投影する第１撮像画像データまたは第２撮像画像データのうち少なくとも一方（例えば、第１撮像画像データ）の高さ方向の補正を行う。また、撮像部１５が備えるレンズは、広範囲の撮像を実現するために広角レンズや魚眼レンズである場合があり、画像に歪みを含む場合がある。補正部３０は、レンズの歪みに基づき第１撮像画像データおよび第２撮像画像データの補正を行ってもよい。なお、高さ方向の補正の詳細は後述する。
　画像合成部３２は、例えば画像取得部２６で取得されて補正部３０で補正された撮像部１５ｃが撮像した第１撮像画像データと、画像取得部２６で取得された撮像部１５ｄおよび撮像部１５ｂが撮像した第２撮像画像データを、それらの境界部分を合成することで繋ぎ、一つの撮像画像データを生成する。なお、第１撮像画像データと第２撮像画像データとを合成する場合、境界部分をそのまま合成すると境界線が明確に現れてしまう場合がある。例えば、撮像部１５ｃの撮像した第１画像と、撮像部１５ｄの撮像した第２画像とで、日光やライトの当たり方等によって画像の明るさや色合いが異なる場合がある。この場合、明るさや色合いの違いによる境界線が現れ、合成された一つの撮像画像データに基づく画像の品質が低下してしまう場合がある。そこで、仮想投影面Ｓｐには、第１撮像画像データを投影する側面Ｓｐｓ１の水平方向の端部と第２撮像画像データを投影する側面Ｓｐｓ２の水平方向の端部とが重なる重複領域が設定される。この重複領域においては、画像合成部３２は、第１撮像画像データと第２撮像画像データのそれぞれａ％を利用して画像を合成するブレンド処理を実行してもよい。ブレンド処理を実行することにより、第１撮像画像データの第１画像と第２撮像画像データの第２画像とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。
　なお、画像合成部３２は、ＥＣＵ１４が車両１の後方の状況を示す周辺画像を表示する場合は、同様に、撮像部１５ａが撮像した第１撮像画像データと撮像部１５ｄおよび撮像部１５ｂが撮像した第２撮像画像データを合成して一つの撮像画像データを生成する。
　三次元処理部３４は、車両１が存在する位置を基準として定められた、車両１の周囲を取り囲む仮想投影面Ｓｐ（三次元形状モデル）に、画像合成部３２で合成した撮像画像データを投影した、仮想投影画像のデータを生成する。三次元処理部３４は、図５に示すように、撮影画像Ｉｃを、仮想投影面Ｓｐに投影した仮想投影画像Ｉｐを算出する。撮影画像Ｉｃを地面Ｇｒに投影すると、撮像部１５から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図５からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。
　また、三次元処理部３４は、図６、図７に示すように、仮想投影面Ｓｐを含む三次元仮想空間内に、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等に記憶されている、車両１に対応する車両形状モデルＭを配置する。三次元処理部３４は、三次元仮想空間内に配置する車両形状モデルＭに、所定の透過率を設定する。これにより、三次元仮想空間において、車両形状モデルＭを介して、反対側の仮想投影画像Ｉｐを視認できる。
　周辺画像生成部３６は、撮像画像データが投影された、三次元仮想空間内の仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ及び車両形状モデルＭを、当該三次元仮想空間内に設定された視点Ｅｐから注視点Ｅｎを見た周辺画像データを生成する。周辺画像生成部３６は、生成した周辺画像データを表示制御部１４ｄに供給し、表示制御部１４ｄは表示装置８に三次元の周辺画像を表示させる。
　図７には、車両形状モデルＭを中心とする仮想投影面Ｓｐの全体が模式的に示されている。周辺画像生成部３６は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ（図５参照）を、仮想の視点Ｅｐから見た周辺画像データ（図６には不図示）に変換する。図７に示される例では、視点Ｅｐは、車両形状モデルＭの後方に設定され、車両形状モデルＭの前方（注視点Ｅｎ）を見ている場合である。
　このように本実施形態の表示制御システム１００によれば、車両１に設置された複数の撮像部１５で撮像した撮像画像データを合成して、任意の視点Ｅｐから注視点Ｅｎを見た車両１の周囲の状況を三次元の仮想空間内で表示することで利用者（運転者等）に車両１の周囲の状況を認識させやすくすることができる。
　物体位置取得部３８は、測距部１６や測距部１７によって車両１の周囲に物体が検出された場合、例えば他車両や、壁、歩行者等が検出された場合に、その物体の位置、例えば、物体までの距離を取得する。可変設定部４０は、物体位置取得部３８が取得した物体の位置に応じて、投影面取得部２８が取得する三次元形状モデルで規定される仮想投影面Ｓｐの側面Ｓｐｓの位置を設定し得る。例えば、ＲＯＭ１４ｂやＳＳＤ１４ｆに底面Ｓｐｇの広さが異なる仮想投影面Ｓｐ（車両形状モデルＭからの側面Ｓｐｓの立上り位置が異なる仮想投影面Ｓｐ）を複数記憶させておく。そして、可変設定部４０は、投影面取得部２８が三次元形状モデルを取得する場合に、物体の位置に対応した位置（近い位置）から立ち上がる側面Ｓｐｓを持つ仮想投影面Ｓｐを規定する三次元形状モデルを選択させるようにしてもよい。また、別の例では、可変設定部４０は、物体位置取得部３８が取得した物体の位置に応じて、その位置から立ち上がる側面Ｓｐｓを持つ仮想投影面Ｓｐを規定する三次元形状モデルを算出して、投影面取得部２８に提供するようにしてもよい。
　図８は、補正部３０が実行する補正により仮想投影面Ｓｐの側面Ｓｐｓに対する撮像画像データの投影位置を変化させることを説明する図であり、周辺画像生成部３６で生成する三次元の周辺画像（周辺画像データ）の表示内容のずれを軽減する。具体的には、車両１の前方を表示する第１画像と車両１の側方を表示する第２画像の高さ方向のずれを軽減する。
　図８は、一例として、第１撮像部としての撮像部１５ｃが撮像する第１撮像画像データに基づく第１画像と、第２撮像部としての撮像部１５ｄが撮像する第２撮像画像データに基づく第２画像と、を仮想投影面Ｓｐの側面Ｓｐｓに投影する場合の説明図である。図８は、補正部３０による補正を行わず、図９に示すように高さ方向で画像内容のずれが生じる場合と、補正部３０による補正を実行して、図１０に示すように高さ方向の画像内容のずれが軽減される場合を説明する図である。
　まず、補正部３０による補正を実行しない場合を説明する。仮想投影面Ｓｐの側面Ｓｐｓの位置と異なる位置に物体Ｔが存在する場合（例えば、側面Ｓｐｓの位置よりさらに前方の位置に存在する場合）、仮想投影面Ｓｐの側面Ｓｐｓ上の点Ｓ０（Ｘ０，Ｙ０，Ｚ０）には、撮像部１５ｃ（第１撮像部）の延長線Ｑ１上に存在するものが映る（投影される）。この場合、側面Ｓｐｓ上の点Ｓ０に対して、撮像部１５ｃで撮像された第１撮像画像データには、物体Ｔが映る（含まれる）。一方、撮像部１５ｄ（第２撮像部）の延長線Ｑ２上には、物体Ｔが存在しないので、側面Ｓｐｓ上の点Ｓ０に対して、撮像部１５ｄで撮像された第２撮像画像データを投影しても、物体Ｔが映らない（含まれない）。この場合、側面Ｓｐｓにおいて点Ｓ０の少し上方の位置に物体Ｔが映る。このように、撮像部１５ｃ（第１撮像部）と撮像部１５ｄ（第２撮像部）の延長線上に映る部分が異なる場合、撮像部１５ｃで撮像された第１画像と撮像部１５ｄで撮像された第２画像とを仮想投影面Ｓｐの側面Ｓｐｓ上で構成した場合、物体Ｔの投影位置が高さ方向にずれる。その結果、例えば、図９に示すように、仮想投影面Ｓｐの側面Ｓｐｓ１に投影される撮像部１５ｃ（第１撮像部）で撮像された第１画像Ｐ１の水平線Ｇと、仮想投影面Ｓｐの側面Ｓｐｓ２に投影される撮像部１５ｄ（第２撮像部）で撮像された第２画像Ｐ２の水平線Ｇとの高さがずれる。仮に、三次元形状モデルの形状を変化させて、第１画像Ｐ１の水平線Ｇと第２画像Ｐ２の水平線Ｇとを一致させようとすると、三次元形状モデルの上端部に凹凸が生じ、表示される周辺画像の外縁部等の形状にも違和感が生じる。また、仮想投影面Ｓｐの底面Ｓｐｇと側面Ｓｐｓとの接続部分にずれが生じ、三次元の周辺画像に新たな違和感を生じさせてしまう場合がある。
　上述したような第１画像Ｐ１の水平線Ｇと第２画像Ｐ２の水平線Ｇのずれは、各撮像部１５の高さの違いが主たる原因である。そこで、補正部３０は、各撮像部１５の高さ位置の差に基づき、仮想投影面Ｓｐに投影する第１画像Ｐ１と第２画像Ｐ２のうち少なくとも一方の投影位置を補正する。具体的には、撮像部１５ｃ（第１撮像部）の第一の高さ位置（第１高さＨ１）と撮像部１５ｄ（第２撮像部）の第二の高さ位置（第２高さＨ２）との高さ比に基づき（図５参照）、仮想投影面Ｓｐに投影する第１画像Ｐ１と第２画像Ｐ２のうち少なくとも一方の投影位置を第１画像Ｐ１の内容と第２画像Ｐ２の内容とが高さ方向で整合するように補正する。この場合、三次元形状モデルが規定している仮想投影面Ｓｐの側面Ｓｐｓ上の点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）に対応する第１画像Ｐ１の二次元座標（Ｕ，Ｖ）の対応関係を算出することになる。つまり、点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）の高さ成分Ｙ０のみを以下に示す（式１）にしたがい修正した高さ成分Ｙ１を含む点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）を算出する。そして、点Ｓ１に対応する第１画像Ｐ１の二次元座標（Ｕ，Ｖ）を点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）に投影する。
　Ｙ１＝Ｙ０×（第１高さＨ１）／（第２高さＨ２）・・・・（式１）
　図８の場合、前方を撮影する撮像部１５ｃ（第１撮像部）は、側方を撮像する撮像部１５ｄ（第２撮像部）より低い位置に固定されているので、補正後の点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）は、補正前の点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）より低い位置になる。図８に示すように、点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）を通過する撮像部１５ｃ（第１撮像部）の延長線Ｑ３上に存在するものは、点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）を通過する撮像部１５ｃ（第１撮像部）の延長線Ｑ２上に存在するものより、第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さ比にしたがい近くなる。つまり、撮像部１５ｄ（第２撮像部）の延長線Ｑ２と地面Ｇｒとの交点と、撮像部１５ｃ（第１撮像部）の延長線Ｑ３と地面Ｇｒの交点とが、ほぼ同じ位置Ｒとなる。したがって、画像合成部３２が、補正後の点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）に対応する第１画像Ｐ１の二次元座標（Ｕ，Ｖ）を点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）の位置に投影することにより、より近い位置の画像を仮想投影面Ｓｐの側面Ｓｐｓ上に投影することになる。このように、第１画像Ｐ１の投影位置が側面Ｓｐｓ上で第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さ比にしたがい上方に補正され、第１画像Ｐ１の内容と第２画像Ｐ２の内容とが高さ方向で整合が取れる。したがって、画像合成部３２は、第１画像Ｐ１と第２画像Ｐ２の内容が概ね一致した状態で境界部分で繋ぎ合わされた一つの撮像画像のデータを生成することになる。その結果、図１０に示すように、撮像部１５ｃ（第１撮像部）で撮像され仮想投影面Ｓｐの側面Ｓｐｓ１に投影される第１画像Ｐ１の水平線Ｇと、撮像部１５ｄおよび撮像部１５ｂ（第２撮像部）で撮像され仮想投影面Ｓｐの側面Ｓｐｓ２に投影される第２画像Ｐ２の水平線Ｇとがほぼ一致する。したがって、違和感が軽減された三次元の周辺画像を表示することができる。
　なお、一般的に車両１の左右のドアミラー２ｇは、運転席からの距離が異なるため、左右で角度が異なる。その結果、左右のドアミラー２ｇに固定される撮像部１５ｂおよび撮像部１５ｄの高さ位置（地上高）が異なる。したがって、高さ成分Ｙ１を算出する場合の第二の高さ位置（第２高さＨ２）は、撮像部１５ｂと撮像部１５ｄの第二の高さ位置（第２高さＨ２）の平均値を用いてもよい。この場合、第１画像Ｐ１を挟んで左右に合成される第２画像Ｐ２に対して、第１画像Ｐ１の表示ずれを、それぞれ適度に軽減することができる。
　なお、補正部３０による点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）の算出は、例えば、車両１の電源をＯＮしたとき、例えばイグニッションスイッチをＯＮしたときに、各撮像部１５の高さ位置をＲＯＭ１４ｂ等に保存された諸元データから取得して一度実行し、その結果をＲＯＭ１４ｂやＳＳＤ１４ｆに保存しておけばよい。そして、画像合成部３２は、画像取得部２６が撮像部１５の撮像画像データを取得する度（毎フレーム描画時）に、高さ方向の補正が行われた第１画像Ｐ１と、第２画像Ｐ２と、を境界部分で合成して一つの撮像画像データを生成する。そして、三次元処理部３４および周辺画像生成部３６が、視点Ｅｐと注視点Ｅｎの設定状態に基づき、高さ整合が行われた撮像画像データを用いて、図１０に示すような周辺画像を生成する。
　なお、図１０に示す例では、撮像部１５ｃ（第１撮像部）が撮像した第１画像Ｐ１の描画位置を第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さの比にしたがい上方に補正する例を示した。別の実施形態では、撮像部１５ｄおよび撮像部１５ｄ（第２撮像部）が撮像した第２画像Ｐ２の描画位置を第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さにしたがい下方に補正してもよい。その結果、上述の例と同様に、第１画像Ｐ１の内容と第２画像Ｐ２の内容との高さ方向の整合が取れ、第１画像Ｐ１と第２画像Ｐ２の内容が境界部分で違和感なく繋ぎ合わされた周辺画像を表示することができる。
　このように、本実施形態の表示制御システム１００によれば、仮想投影面Ｓｐの形状は変更されないため、表示される三次元の合成画像の外縁部等の形状に変化はない。したがって、表示画像の商品性の低下は伴うことなく、高さ方向の画像内容の表示ずれを軽減することができる。なお、補正部３０は、仮想投影面Ｓｐの側面Ｓｐｓ上で一律に高さ成分Ｙ１を例えば、Ｙ１＝Ｙ-αのように補正するのではなく、第一の高さ位置（第１高さＨ１）と第二の高さ位置（第２高さＨ２）との高さの比にしたがい補正する。その結果、仮想投影面Ｓｐの底面Ｓｐｇと側面Ｓｐｓとの境界部分のずれが生じない。したがって、仮想投影面Ｓｐ全体としても違和感のない表示が実現できる。
　ところで、上述のように、仮想投影面Ｓｐの側面Ｓｐｓ上で高さ方向の表示ずれが軽減される場合でも、仮想投影面Ｓｐにおける底面Ｓｐｇからの側面Ｓｐｓの立上り位置が固定されている場合、表示内容に違和感が生じる場合がある。例えば、図１１に示すように、側面Ｓｐｓより車両１に近い位置に物体Ｔ１が存在する場合、物体Ｔ１を仮想投影面Ｓｐに投影すると、物体Ｔ１が底面Ｓｐｇおよび側面Ｓｐｓに跨がって表示される。その結果、実際の物体Ｔ１より大きい（長い）仮想投影画像Ｉｐ１が表示され、表示装置８（図３参照）には、実際の物体Ｔ１より大きな物体が存在するように表示されることがある。
　そこで、物体位置取得部３８は、測距部１６や測距部１７（図３参照）によって車両１の周囲に物体が検出された場合、その物体の位置、例えば、物体Ｔ１までの距離を取得する。そして、可変設定部４０は、物体位置取得部３８が取得した物体Ｔ１の位置から側面Ｓｐｓ３が立ち上がるような仮想投影面Ｓｐを投影面取得部２８が取得するように設定する。上述したように、可変設定部４０は、ＲＯＭ１４ｂやＳＳＤ１４ｆに底面Ｓｐｇの広さが異なる仮想投影面Ｓｐ（車両形状モデルＭからの側面Ｓｐｓの立上り位置が異なる仮想投影面Ｓｐ）を複数記憶している場合は、投影面取得部２８が、物体Ｔ１までの距離に対応する仮想投影面Ｓｐを読み出してくるように制御信号を送出する。また、可変設定部４０は、物体位置取得部３８が取得した物体Ｔ１の位置に応じて、その位置から立ち上がる側面Ｓｐｓ３を持つ仮想投影面Ｓｐを規定する三次元形状モデルを算出して、投影面取得部２８に提供するようにしてもよい。この場合、物体Ｔ１は、側面Ｓｐｓ３に投影され、底面Ｓｐｇには実質的に投影されないので、より実物のイメージに近い大きさ（高さ）の仮想投影画像Ｉｐ２を三次元の仮想空間内に表示することができる。そして、撮像部１５ｄ（第２撮像部）の延長線Ｑ２と地面Ｇｒとの交点と、撮像部１５ｃ（第１撮像部）の延長線Ｑ３と地面Ｇｒの交点とが、ほぼ同じ位置Ｒとなるように、補正後の点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）に対応する第１画像Ｐ１の二次元座標（Ｕ，Ｖ）を点Ｓ０の三次元座標（Ｘ０，Ｙ０，Ｚ０）の位置に投影する。その結果、実物の物体Ｔ１の大きさを認識しやすく、かつ高さ方向の表示ずれが軽減された、より違和感が軽減された三次元の周辺画像の表示が可能になる。つまり、さらに品質の高い周辺画像の表示が可能になる。
　なお、ＥＣＵ１４は、測距部１６，１７によって物体Ｔ１が検出された場合に、その物体Ｔ１の存在を表示装置８や音声出力装置９を介して報知してもよい。また、仮想投影面Ｓｐの側面Ｓｐｓが物体Ｔ１の位置に設定されたことを報知してもよい。また、物体Ｔ１の検出は、測距部１６，１７に代えて、例えば、画像認識によって行ってもよい。例えば、撮像部１５をステレオカメラで構成すれば、周知の画像処理により物体Ｔ１までの距離を検出できる。
　なお、上述した実施形態では、車両１の前方を臨む三次元の周辺画像を表示する例を示した。表示制御システム１００は、例えば操作入力部１０の操作等により視点Ｅｐの位置を変更可能であり、より高い視点Ｅｐから見下ろしたような三次元の俯瞰表示や、より低い視点Ｅｐからほぼ水平を臨む三次元の周辺画像の表示が可能である。同様に、視点Ｅｐを車両１の前方に設定して注視点Ｅｎを車両１の後方に設定すれば、車両１の後方を臨む三次元の周辺画像を表示することが可能である。この場合、第１画像Ｐ１として撮像部１５ａが撮像した画像を用い、第２画像Ｐ２として撮像部１５ｂおよび撮像部１５ｄが撮像した画像を用いることにより、前方を表示する場合と同様の効果を得ることができる。
　上述した例では、イグニッションスイッチがＯＮされる度に、補正部３０が各撮像部１５の高さ位置に基づく高さ比を算出して、第１画像の投影位置を補正するときに用いる点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）の算出を行う例を示した。各撮像部１５の高さ位置は、車両の製造工場やディーラ等で固定され、それ以降は撮像部１５の修理や交換等以外は一般的には変更されない。したがって、製造工場やディーラ等で予め各撮像部１５の高さ位置に基づく高さ比を用い、例えば第１画像の投影位置を補正するときに用いる点Ｓ１の三次元座標（Ｘ０，Ｙ１，Ｚ０）を算出し、対応する二次元座標（Ｕ，Ｖ）をＲＯＭ１４ｂやＳＳＤ１４ｆに保存しておいてもよい。この場合、ＥＣＵ１４の処理負担が軽減され、比較的性能の低いＥＣＵ１４の利用も可能になり、ＥＣＵ１４を選定する際の選択範囲が広がったり、低コストのＥＣＵ１４の利用が可能になったりする利点がある。
　上述した実施形態では、仮想投影面Ｓｐは、底面Ｓｐｇと側面Ｓｐｓとで構成される例を示したが、他の実施形態においては、仮想投影面Ｓｐが側面Ｓｐｓだけで構成されていてもよい。つまり、表示装置８に表示される画像は、車両１から所定距離離れた位置の立上り面のみが表示される。この場合、補正部３０は、第１撮像部（例えば撮像部１５ｃ）の第一の高さ位置（第１高さＨ１）と第２撮像部（例えば、撮像部１５ｂ，１５ｄ）の第二の高さ位置（第２高さＨ２）の差（違い）を用いて、側面Ｓｐｓ（仮想投影面Ｓｐ）に投影する画像の内容（投影位置）を補正してもよい。この場合も、側面Ｓｐｓ（仮想投影面Ｓｐ）の形状は変更されないため、表示される三次元合成画像の外縁部等の形状に変化はなく、表示画像の商品性の低下を伴うことなく、高さ方向の画像内容の表示ずれを軽減することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
　１…車両、８…表示装置、１０…操作入力部、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５…撮像部、１５ｂ，１５ｄ…撮像部（第２撮像部）、１５ｃ…撮像部（第１撮像部）、１６，１７…測距部、２６…画像取得部、２８…投影面取得部、３０…補正部、３２…画像合成部、３４…三次元処理部、３６…周辺画像生成部、３８…物体位置取得部、４０…可変設定部、１００…表示制御システム、Ｈ１…第１高さ（第一の高さ位置）、Ｈ２…第２高さ（第二の高さ位置）、Ｓｐ…仮想投影面、Ｐ１…第１画像、Ｐ２…第２画像。

Claims (3)

  1. 　車両の第一の高さ位置に設けられて前記車両の周囲のうち第一の方向の状況を撮像する第１撮像部から得られる第１画像と、前記第一の高さ位置とは異なる第二の高さ位置に設けられて前記第一の方向とは異なる第二の方向の状況を撮像する第２撮像部から得られる第２画像と、を取得する画像取得部と、
    　前記第１画像および前記第２画像を投影可能で、前記車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、
    　前記第一の高さ位置と前記第二の高さ位置との差に基づき、前記仮想投影面に投影する前記第１画像と前記第２画像のうち少なくとも一方の投影位置を前記第１画像の内容と前記第２画像の内容とが整合するように高さ方向に補正する補正部と、
    　補正によって高さ方向の整合が取れた前記第１画像と前記第２画像を含む三次元合成画像を生成する画像合成部と、
    　を備える表示制御装置。
  2. 　前記補正部は、前記第一の高さ位置と前記第二の高さ位置との高さ比に基づき、前記投影位置を補正する請求項１に記載の表示制御装置。
  3. 　さらに、前記車両の周囲に存在する物体の位置を検出可能な位置検出部を備え、
    　前記投影面取得部は、前記物体の位置に対応する位置に前記側面を備える前記仮想投影面を取得する請求項１または請求項２に記載の表示制御装置。
PCT/JP2018/006260 2017-08-03 2018-02-21 表示制御装置 WO2019026320A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/632,930 US11383642B2 (en) 2017-08-03 2018-02-21 Display control apparatus
CN201880048325.3A CN110945558B (zh) 2017-08-03 2018-02-21 显示控制装置
EP18842006.1A EP3664014B1 (en) 2017-08-03 2018-02-21 Display control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017150671A JP7039879B2 (ja) 2017-08-03 2017-08-03 表示制御装置
JP2017-150671 2017-08-03

Publications (1)

Publication Number Publication Date
WO2019026320A1 true WO2019026320A1 (ja) 2019-02-07

Family

ID=65233362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006260 WO2019026320A1 (ja) 2017-08-03 2018-02-21 表示制御装置

Country Status (5)

Country Link
US (1) US11383642B2 (ja)
EP (1) EP3664014B1 (ja)
JP (1) JP7039879B2 (ja)
CN (1) CN110945558B (ja)
WO (1) WO2019026320A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3761262A1 (en) * 2019-07-04 2021-01-06 DENSO TEN Limited Image processing device and image processing method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131165A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP6909151B2 (ja) * 2017-12-28 2021-07-28 アルパイン株式会社 車載システム
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016225865A (ja) 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
WO2017056989A1 (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
WO2010051979A1 (de) * 2008-11-05 2010-05-14 Johnson Controls Gmbh Fahrzeuganzeigesystem bzw. projektionsdisplay für ein kraftfahrzeug und verfahren zur kalibrierung
WO2013008623A1 (ja) * 2011-07-12 2013-01-17 日産自動車株式会社 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
US10449900B2 (en) 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016225865A (ja) 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
WO2017056989A1 (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3664014A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3761262A1 (en) * 2019-07-04 2021-01-06 DENSO TEN Limited Image processing device and image processing method

Also Published As

Publication number Publication date
CN110945558B (zh) 2023-06-06
US11383642B2 (en) 2022-07-12
US20200238907A1 (en) 2020-07-30
CN110945558A (zh) 2020-03-31
EP3664014B1 (en) 2022-08-10
EP3664014A4 (en) 2020-07-08
JP2019028920A (ja) 2019-02-21
EP3664014A1 (en) 2020-06-10
JP7039879B2 (ja) 2022-03-23

Similar Documents

Publication Publication Date Title
JP7039879B2 (ja) 表示制御装置
JP6115104B2 (ja) 車両の制御装置、及び制御方法
JP7222254B2 (ja) 周辺表示制御装置
CN111095921B (zh) 显示控制装置
JP7151293B2 (ja) 車両周辺表示装置
JP6962036B2 (ja) 周辺監視装置
CN111066319B (zh) 图像处理装置
WO2020116352A1 (ja) 路面検出装置および路面検出プログラム
WO2017057006A1 (ja) 周辺監視装置
JP7013751B2 (ja) 画像処理装置
JP7009785B2 (ja) 周辺監視装置
JP2020053819A (ja) 撮像システム、撮像装置、および信号処理装置
JP2019036832A (ja) 周辺監視装置
JP6965563B2 (ja) 周辺監視装置
JP6601097B2 (ja) 表示制御装置
JP2022009331A (ja) 周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18842006

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018842006

Country of ref document: EP

Effective date: 20200303