WO2017033518A1 - 車両用表示装置および車両用表示方法 - Google Patents

車両用表示装置および車両用表示方法 Download PDF

Info

Publication number
WO2017033518A1
WO2017033518A1 PCT/JP2016/066186 JP2016066186W WO2017033518A1 WO 2017033518 A1 WO2017033518 A1 WO 2017033518A1 JP 2016066186 W JP2016066186 W JP 2016066186W WO 2017033518 A1 WO2017033518 A1 WO 2017033518A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
distance
processing unit
image processing
Prior art date
Application number
PCT/JP2016/066186
Other languages
English (en)
French (fr)
Inventor
山田　康夫
一郎 石田
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015167709A external-priority patent/JP6519408B2/ja
Priority claimed from JP2015257083A external-priority patent/JP6565674B2/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP16838865.0A priority Critical patent/EP3342644B1/en
Priority to CN201680025389.2A priority patent/CN107531182B/zh
Publication of WO2017033518A1 publication Critical patent/WO2017033518A1/ja
Priority to US15/845,267 priority patent/US10427683B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Definitions

  • the present invention relates to vehicle display technology, and more particularly to a vehicle display device and a vehicle display method for displaying an image.
  • ⁇ ⁇ ⁇ Cameras may be installed at multiple locations on the vehicle. At that time, a bird's-eye view image is generated by synthesizing the captured images by performing viewpoint conversion (see, for example, Patent Document 1).
  • the distance between objects with vertical position differences cannot be accurately expressed, and a sense of incongruity may occur or the distance to the object may not be accurately grasped.
  • a parking lot where a plurality of vehicles are parked side by side
  • the rear vehicle appears to have a distance.
  • the frame line directly below the end of the rear vehicle is a frame line indicating the parking range of the own vehicle, the distance to the vehicle behind cannot be properly grasped.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide a technique that accurately reflects the distance to an object when performing viewpoint conversion.
  • a vehicle display device includes an image acquisition unit that acquires an image obtained by capturing an image of the periphery of the vehicle, and a first object included in the image acquired by the image acquisition unit.
  • a distance acquisition unit that acquires a first distance between the vehicle and the vehicle, and a position below the first object included in the image acquired by the image acquisition unit according to the first distance acquired by the distance acquisition unit.
  • An image processing unit that performs image processing that reflects the distance from the second object, a viewpoint conversion processing unit that performs viewpoint conversion processing on the image as viewed from above the vehicle, and generates an overhead image, and viewpoint conversion
  • a display control unit that causes the display unit to display the overhead view image generated in the processing unit.
  • Another aspect of the present invention is a vehicle display method. According to this method, an image obtained by capturing an image of the periphery of the vehicle, a step of acquiring a first distance between the first object included in the acquired image and the vehicle, and the acquired first distance A step of performing image processing that reflects a distance from a second object located below the first object included in the acquired image, and a viewpoint conversion as viewed from above the vehicle. A step of generating a bird's-eye view video by performing processing, and a step of displaying the generated bird's-eye view video on a display unit.
  • the distance to the object can be accurately reflected when performing viewpoint conversion.
  • FIGS. 2A and 2B are diagrams showing an outline of processing in the comparison target of the first embodiment of the present invention. It is a figure which shows the structure of the display apparatus for vehicles which concerns on Example 1 of this invention. It is a figure which shows the image imaged in the back imaging part of FIG.
  • FIGS. 5A and 5B are diagrams showing an outline of processing in the vehicle display device of FIG. 6A and 6B are diagrams showing an outline of another process in the vehicle display device of FIG. It is a flowchart which shows the display procedure by the display apparatus for vehicles of FIG. It is a flowchart which shows another display procedure by the display apparatus for vehicles of FIG.
  • FIGS. 10A and 10B are diagrams showing an outline of processing in the vehicle display device of FIG. It is a figure which shows the image processed in the image process part of FIG. It is a figure which shows the outline
  • FIGS. 13A and 13B are diagrams showing an outline of processing in the vehicle display device of FIG. 14 (a)-(b) are diagrams showing an outline of processing in the vehicle display device of FIG. It is a flowchart which shows the display procedure by the display apparatus for vehicles of FIG. It is a flowchart which shows another display procedure by the display apparatus for vehicles of FIG. It is a figure which shows the structure of the display apparatus for vehicles which concerns on Example 3 of this invention. It is a figure which shows the outline
  • Embodiment 1 of the present invention relates to a vehicle display device that generates a bird's-eye view image by viewpoint conversion with respect to images taken by a plurality of image pickup units installed in a vehicle, and displays the generated bird's-eye view image.
  • the parking frame line drawn just below the end of the other vehicle behind is shielded below the other vehicle when viewed from above. Should not be visible. When viewed from above, it should be hidden behind other vehicles.
  • the parking frame line may not be hidden by the other vehicle and may be arranged close to the vehicle side. Therefore, it seems that the driver is further away from the parking frame line and there is another vehicle behind, and the distance to the other vehicle behind cannot be properly grasped.
  • the display device for a vehicle detects an object such as another vehicle from a vehicle peripheral image captured by a plurality of imaging units in which the vehicle is installed, and up to the detected object. Get the distance. Further, when the distance is shorter than the threshold value, the vehicle display device deletes the parking frame line located below the object of the other vehicle from the image. Furthermore, the vehicle display device generates a bird's-eye view image by performing viewpoint conversion on the image from which the parking frame line has been deleted, and displays the generated bird's-eye view image.
  • FIG. 1 is a perspective view showing an imaging range formed around the vehicle 100 according to the first embodiment of the present invention.
  • a front imaging unit 12 is installed in a front portion of the vehicle 100, for example, a bumper, a bonnet, or the like.
  • the front imaging unit 12 forms a front imaging region 20 so as to go forward from the front imaging unit 12, and captures an image in the front imaging region 20.
  • a left side imaging unit 14 is installed in a left side portion of the vehicle, for example, a lower portion of the left door mirror.
  • the left side imaging unit 14 forms a left side imaging region 22 so as to go to the left from the left side imaging unit 14, and captures an image in the left side imaging region 22.
  • the rear imaging unit 16 is installed in a rear part of the vehicle, for example, a bumper, a trunk, or the like.
  • the rear imaging unit 16 forms a rear imaging region 24 so as to go rearward from the rear imaging unit 16, and captures an image in the rear imaging region 24.
  • a right side imaging unit 18 (not shown) is installed on the right side portion of the vehicle so as to be symmetrical with the left side imaging unit 14.
  • the right side imaging unit 18 forms a right side imaging region 26 so as to go right from the right side imaging unit 18, and captures an image in the right side imaging region 26.
  • the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, and the right side imaging unit 18 are used as the imaging unit 10, and the periphery of the vehicle 100 is captured by an image captured by the imaging unit 10.
  • FIGS. 2 (a)-(b) show an outline of the processing in the comparison target of Example 1 of the present invention.
  • a comparison target as illustrated in FIG. 1, it is assumed that an image is captured by the imaging unit 10 installed in the vehicle 100.
  • the process for generating the overhead image by the viewpoint conversion on the image corresponds to the process that has been performed so far.
  • FIG. 2A shows a case where the vehicle 100 of FIG. 1 is viewed from the left side.
  • the rear imaging unit 16 is installed in the rear portion of the vehicle 100.
  • another vehicle 110 is parked or stopped behind the vehicle 100.
  • a frame line 30 is drawn on the ground, and the frame line 30 exists below the front end of the other vehicle 110.
  • the frame line 30 is hidden by the other vehicle 110.
  • the image captured by the rear imaging unit 16 includes the front end of the other vehicle 110 and the frame line 30.
  • FIG. 2B shows an overhead image 48 generated by performing viewpoint conversion on the image captured by the imaging unit 10.
  • the processing that has been performed so far is executed in the processing for generating the overhead image 48.
  • a vehicle 100 is arranged in the central portion of the overhead image 48.
  • a front image 40 is arranged in front of the vehicle 100, a left side image 42 is arranged on the left side of the vehicle 100, a rear image 44 is arranged behind the vehicle 100, and a right side is shown on the right side of the vehicle 100.
  • An image 46 is arranged.
  • the rear image 44 is generated based on an image obtained by imaging the imaging range 32 in FIG.
  • the other vehicle 110 is disposed behind the vehicle 100, and the frame line 30 is disposed between the vehicle 100 and the other vehicle 110. That is, the frame line 30 that should originally be hidden by the other vehicle 110 is not hidden by the other vehicle 110, and the overhead image 48 and the actual situation are different.
  • FIG. 3 shows a configuration of the vehicle display device 50 according to the first embodiment of the present invention.
  • the vehicle display device 50 is connected to the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, and the right side imaging unit 18 that constitute the imaging unit 10.
  • the vehicle display device 50 includes an image acquisition unit 52, a distance acquisition unit 54, an image processing unit 56, a viewpoint conversion processing unit 58, a display processing unit 60, and a display unit 62.
  • the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, and the right side imaging unit 18 capture an image as described above.
  • the image is a moving image, but may be a still image.
  • the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, and the right side imaging unit 18 output images to the image acquisition unit 52.
  • the image acquisition unit 52 inputs an image from each of the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, and the right side imaging unit 18. That is, the image acquisition unit 52 acquires an image obtained by capturing the periphery of the vehicle 100.
  • FIG. 4 shows an example of an image captured by the rear imaging unit 16. In the example of the image shown in FIG. 4, for ease of explanation, image distortion due to the fact that each of the imaging units 10 is a camera capable of wide-angle shooting is not shown.
  • FIG. 2A it is assumed that the other vehicle 110 is parked behind the vehicle 100 and the frame line 30 is depicted on the ground below the other vehicle 110.
  • the image includes the other vehicle 110 and the frame line 30.
  • the image acquisition unit 52 outputs the acquired image to the distance acquisition unit 54.
  • the distance acquisition unit 54 inputs the image from the image acquisition unit 52.
  • the distance acquisition unit 54 performs edge detection processing on the image.
  • the edge detection process is a kind of feature detection or feature extraction, and is an algorithm for specifying a location where the brightness of the image changes discontinuously. Therefore, an object included in the image, for example, another vehicle 110 is detected. To detect.
  • the distance acquisition unit 54 also detects a pattern included in the image, for example, the frame line 30 by the edge detection process. Since edge detection processing is a known technique, detailed description thereof is omitted here.
  • the frame line 30 here is generally a white line drawn on the road surface, and a known white line detection technique based on a captured image can be applied. The same applies to a curb instead of the frame 30.
  • the distance acquisition unit 54 acquires the distance to the detected object.
  • the object for which the distance acquisition unit 54 acquires the distance is, for example, the other vehicle 110.
  • a known technique may be used. For example, stereo distance measurement or a twin-lens camera is used. This calculates the parallax which arises between several optical systems, and measures the distance to an object based on parallax.
  • the rear imaging unit 16 includes a plurality of optical systems.
  • a distance sensor may be used for distance measurement with an object.
  • a distance sensor (not shown) is provided in the vicinity of the rear imaging unit 16, and the distance sensor irradiates the object with infrared light, laser light, or the like, and then receives the reflected light, thereby forming the imaging position information. Calculate the distance from A millimeter wave or the like may be used for the distance sensor.
  • vector detection processing may be used for distance measurement with an object.
  • the vector detection process measures a distance from an object by detecting a specific point in the image and calculating a vector movement amount of the specific point.
  • FIGS. 5A and 5B show an outline of processing in the vehicle display device 50.
  • FIG. FIG. 5A is shown in the same manner as FIG.
  • the distance acquisition unit 54 measures the distance “d1”.
  • FIG. 5B will be described later, and the processing returns to FIG.
  • the distance acquisition unit 54 outputs the acquired distance and the image to the image processing unit 56.
  • the distance acquisition unit 54 also outputs information about the detected object and pattern to the image processing unit 56.
  • the image processing unit 56 inputs a distance and an image from the distance acquisition unit 54. Further, the image processing unit 56 also inputs information related to the object and the pattern from the distance acquisition unit 54. The distance acquisition unit 54 determines whether the pattern exists below the object based on the information regarding the object and the pattern. In the case of FIG. 4, a frame line 30 that is a pattern exists below the other vehicle 110 that is an object. That is, the distance acquisition unit 54 determines that the pattern exists below the object when the pattern exists below the object on the image. When the pattern exists below the object, the image processing unit 56 executes the following processing.
  • the image processing unit 56 stores a threshold value in advance, and compares the input distance with the threshold value. When the distance is shorter than the threshold value, the image processing unit 56 erases the pattern included in the image and located below the object from the image. In the case of FIG. 4, the image processing unit 56 deletes the frame line 30 drawn on the ground from the image. If the distance d1 shown in FIG. 5A is shorter than the threshold value, the image processing unit 56 deletes the frame line 30. That is, the distance acquisition unit 54 deletes the pattern from the image according to the acquired distance. The image processing unit 56 outputs the image to the viewpoint conversion processing unit 58.
  • the viewpoint conversion processing unit 58 inputs an image from the image processing unit 56.
  • the viewpoint conversion processing unit 58 converts the viewpoint of the image as viewed from above the vehicle 100.
  • a known technique may be used for the conversion. For example, each pixel of the image is projected onto a three-dimensional curved surface in a virtual three-dimensional space, and a three-dimensional object is displayed according to a virtual viewpoint from above the vehicle 100. Cut out the necessary area of the curved surface. The cut out region corresponds to an image whose viewpoint has been converted.
  • FIG. 5B shows an example of an image obtained by converting the viewpoint.
  • the vehicle 100 is arranged in the central portion of the overhead view image 78 in FIG.
  • a front image 70 is arranged in front of the vehicle 100, a left side image 72 is arranged on the left side of the vehicle 100, a rear image 74 is arranged behind the vehicle 100, and a right side is shown on the right side of the vehicle 100.
  • An image 76 is arranged.
  • the rear image 74 does not include the frame line 30 that has already been deleted.
  • FIGS. 6A to 6B show an outline of another process in the vehicle display device 50.
  • FIG. FIG. 6A is shown in the same manner as FIG. 5A, except that the distance between the vehicle 100 and the other vehicle 110 is different, and the frame line 30 is below the front end of the other vehicle 110. Does not exist.
  • the vehicle 100 and the other vehicle 110 are separated by a distance d2.
  • the distance d2 is longer than the distance d1 and is equal to or greater than a threshold value in the image processing unit 56. Therefore, the frame line 30 is not deleted in the image processing unit 56.
  • the bird's-eye view image 78 in FIG. 6B is shown in the same manner as in FIG. 5B, but the frame 30 is included between the vehicle 100 and the other vehicle 110 in the rear image 74.
  • the viewpoint conversion processing unit 58 outputs the overhead image 78 that is the converted image to the display processing unit 60.
  • the display processing unit 60 inputs the overhead image 78 from the viewpoint conversion processing unit 58.
  • the display processing unit 60 displays the overhead image 78 on the display unit 62.
  • the display unit 62 displays a bird's-eye view image 78 as shown in FIGS. 5B and 6B.
  • the image processing unit 56 may execute processing different from the processing described above in order to determine that the pattern exists below the object.
  • the image processing unit 56 specifies the number of pixels between the object and the pattern based on the information regarding the object and the pattern.
  • the distance acquisition unit 54 specifies the angle of view of the image based on the input distance. Further, the distance acquisition unit 54 stores in advance the relationship between the number of pixels and the actual distance for each angle of view, and the distance between the object and the pattern based on the specified number of pixels and the angle of view. Is derived.
  • the derived distance is indicated as a distance d3 in FIG. 5A and is indicated as a distance d4 in FIG. 6A.
  • the image processing unit 56 holds a threshold different from the aforementioned threshold in advance, and compares the derived distance with the threshold. When the distance is shorter than the threshold value, the image processing unit 56 erases the pattern included in the image and located below the object from the image. The distance d3 in FIG. 5 (a) is shorter than the threshold value, and the distance d4 in FIG. 6 (a) is greater than or equal to the threshold value. Therefore, as before, the image processing unit 56 deletes the frame line 30 from FIG. 5A and does not delete the frame line 30 from FIG. Subsequent processing is the same as before.
  • the threshold value is a fixed value in any case.
  • the threshold value may be set according to the position where the rear imaging unit 16 or the like is attached. That is, the image processing unit 56 may set a threshold value according to the height of the rear imaging unit 16 and the like from the ground. The higher the height of the rear imaging unit 16 and the like, the closer the image captured by the rear imaging unit 16 and the image viewed from above the vehicle 100 are. In that case, even though the frame line 30 actually exists under the other vehicle 110, when the viewpoint is changed, a situation in which the frame line 30 is shown between the vehicle 100 and the other vehicle 110 occurs. It becomes difficult to do.
  • the threshold value should be adjusted so that the pattern such as the frame line 30 is difficult to be erased.
  • the distance acquisition unit 54 sets a threshold value that becomes shorter as the height of the rear imaging unit 16 and the like becomes higher. For example, when attaching the rear imaging unit 16 or the like to the vehicle 100, a threshold value is set from the outside.
  • This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded in the memory, but here it is realized by their cooperation.
  • Draw functional blocks Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • FIG. 7 is a flowchart showing a display procedure by the vehicle display device 50.
  • the distance acquisition unit 54 acquires the distance from the other vehicle 110 behind (S10). If the distance is shorter than the threshold value (Y in S12), the image processing unit 56 deletes the frame line 30 (S14). On the other hand, if the distance is not shorter than the threshold value (N in S12), the process proceeds to step S16.
  • the viewpoint conversion processing unit 58 converts the viewpoint of the image (S16).
  • the display processing unit 60 displays an image on the display unit 62 (S18).
  • FIG. 8 is a flowchart showing another display procedure by the vehicle display device 50.
  • the distance acquisition unit 54 acquires the distance from the other vehicle 110 behind (S50).
  • the image processing unit 56 derives the distance between the other vehicle 110 behind and the frame line 30 (S52). If the distance is shorter than the threshold value (Y in S54), the image processing unit 56 deletes the frame line 30 (S56). On the other hand, if the distance is not shorter than the threshold value (N in S54), the process proceeds to step S58.
  • the viewpoint conversion processing unit 58 converts the viewpoint of the image (S58).
  • the display processing unit 60 displays an image on the display unit 62 (S60).
  • step S14 and step S56 The erasing process of the frame line 30 in step S14 and step S56 will be described.
  • the frame line 30 detected by the distance acquisition unit 54 is a white line indicating a parking lot section
  • the area adjacent to the white line is copied to the white line portion with the same color tone as the surrounding color of the white line.
  • Processing such as pasting on the white line or drawing a line covering the white line with a color such as black on the white line is applied.
  • a frame line 30 that is perpendicular or substantially perpendicular to each photographing direction of the imaging unit 10 is an erasure target.
  • the frame line 30 that is parallel or substantially parallel to the side of the other vehicle 110 that faces the imaging unit 10 that photographs the other vehicle 110 is set as an erasure target.
  • the frame 30 shown in FIG. 2B satisfies both conditions.
  • the frame line located below the other vehicle is deleted from the image to generate the overhead image, so the frame line to be hidden by the other vehicle is displayed in the overhead image. Can be avoided. Moreover, since it is avoided that the frame line which should be hidden in another vehicle in a bird's-eye view image, an actual condition and a bird's-eye view image can be brought close. In addition, since the actual situation and the overhead view image are close to each other, the distance to the object can be accurately reflected when performing viewpoint conversion. Further, since the distance from the other vehicle and the threshold value are only compared, the processing can be simplified. Further, since the distance between the other vehicle and the frame line is compared with the threshold value, the processing accuracy can be improved. In addition, since the threshold value is set according to the height of the imaging unit from the ground, the processing accuracy can be improved.
  • the vehicular display device detects an object such as another vehicle from a vehicle peripheral image captured by a plurality of imaging units in which the vehicle is installed, and acquires a distance to the detected object. Moreover, the display apparatus for vehicles performs the process which shields the parking frame line located under the object of another vehicle with a vehicle, when distance is shorter than a threshold value. Furthermore, the vehicular display device generates a bird's-eye view image by performing viewpoint conversion on the image where the parking frame line is hidden, and displays the generated bird's-eye view image.
  • FIG. 1 and 2 are the same in the second embodiment.
  • the rear imaging unit 16 images the other vehicle 110 and the frame line 30 obliquely from a position that is not above the vehicle 100, so that an image captured by the rear imaging unit 16 is not included in the image captured by the rear imaging unit 16.
  • the front end of the other vehicle 110 and the frame line 30 are included.
  • the frame line 30 that should be shielded by the other vehicle 110 is not shielded by the other vehicle 110, and the overhead image 48 and the actual situation are different.
  • FIG. 9 shows a configuration of the vehicle display device 50 according to the second embodiment of the present invention.
  • the vehicle display device 50 is connected to the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, and the right side imaging unit 18 that constitute the imaging unit 10.
  • the vehicle display device 50 includes an image acquisition unit 52, a distance acquisition unit 54, a generation unit 64, a display processing unit 60, and a display unit 62.
  • the generation unit 64 includes an image processing unit 56 and a viewpoint conversion processing unit 58.
  • the front imaging unit 12, the left side imaging unit 14, the rear imaging unit 16, the right side imaging unit 18, and the image acquisition unit 52 are the same as those in FIG.
  • the distance acquisition unit 54 acquires the distance between the first object and the vehicle 100.
  • the object for which the distance acquisition unit 54 acquires the distance is, for example, the other vehicle 110.
  • the distance acquisition unit 54 may always acquire the distance to the object that exists in the direction in which the distance to the object is detected.
  • the first object When the first object is detected by the image processing unit 56, the first object May be operated as a detection target.
  • a known technique may be used. For example, stereo distance measurement or a twin-lens camera is used.
  • the rear imaging unit 16 includes a plurality of optical systems.
  • a distance sensor may be used for distance measurement with an object.
  • a distance sensor (not shown) is provided in the vicinity of the rear imaging unit 16, and the distance sensor irradiates the object with infrared light, laser light, or the like, and then receives the reflected light, thereby forming the imaging position information. Calculate the distance from A millimeter wave or the like may be used for the distance sensor.
  • the distance acquisition unit 54 may apply vector detection processing using the image acquired from the image acquisition unit 52 to the distance measurement with the object.
  • the vector detection process measures a distance from an object by detecting a specific point in the image and calculating a vector movement amount of the specific point.
  • FIGS. 10A and 10B show an outline of processing in the vehicle display device 50.
  • FIG. FIG. 10A is shown in the same manner as FIG.
  • the distance acquisition unit 54 measures the distance “d1” as the first distance.
  • FIG. 10B will be described later, and the processing returns to FIG.
  • the distance acquisition unit 54 outputs the acquired first distance to the image processing unit 56.
  • the image processing unit 56 inputs an image from the image acquisition unit 52. In the following, for the sake of clarity, the processing for the image captured by the rear imaging unit 16 will be described, but the same processing may be performed for other images.
  • the image processing unit 56 performs edge detection processing on the image.
  • the edge detection process is a kind of feature detection or feature extraction, and is an algorithm for specifying a location where the brightness of an image changes discontinuously.
  • the image processing unit 56 detects the first object included in the image, for example, the other vehicle 110. Similarly, the image processing unit 56 also detects a second object included in the image, for example, the frame line 30. Since edge detection processing is a known technique, detailed description thereof is omitted here.
  • the frame line 30 here is generally a white line drawn on the road surface, and a known white line detection technique based on a captured image can be applied. The same applies to a curb instead of the frame 30.
  • the image processing unit 56 also acquires the positional relationship between the detected first object and second object.
  • the image processing unit 56 determines whether or not the second object exists below the first object based on the detected information on the first object and the second object.
  • the frame line 30 that is the second object exists below the other vehicle 110 that is the first object. That is, in the image processing unit 56, the position of the second object is below the first object on the image, and the second distance represented by the number of pixels therebetween is shorter than the second threshold value.
  • a condition that the second object is arranged orthogonal to the imaging direction may be added. In the case of FIG. 4, a portion extending in the horizontal direction of the screen of the frame 30 as the second object is targeted.
  • the image processing unit 56 executes the following process.
  • the image processing unit 56 holds in advance a first threshold value for the distance between the vehicle 100 and the first object, and calculates the first distance and the first threshold value input from the distance acquisition unit 54. Compare. For example, when the distance d1 that is the first distance shown in FIG. 10A is shorter than the first threshold value, the image processing unit 56 is included in the image and positioned below the first object. The process which makes the state which shielded the 2nd object to perform is performed. More specifically, the image processing unit 56 cuts out the outer shape of the first object and then pastes it on the second object. The result is FIG. 11, and FIG. 11 shows an image processed by the image processing unit 56. Thus, the other vehicle 110 is overlapped with the frame line 30 so that a part of the frame line 30 is shielded. Here, the image processing unit 56 pastes the outer shape of the other vehicle 110 so as to be closer to the vehicle 100 than the frame line 30. Returning to FIG. The image processing unit 56 outputs the image to the viewpoint conversion processing unit 58.
  • the viewpoint conversion processing unit 58 inputs an image from the image processing unit 56.
  • the viewpoint conversion processing unit 58 generates an overhead image by converting the viewpoint of the image as viewed from above the vehicle 100.
  • a known technique may be used for the conversion. For example, each pixel of the image is projected onto a three-dimensional curved surface in a virtual three-dimensional space, and a three-dimensional object is displayed according to a virtual viewpoint from above the vehicle 100. Cut out the necessary area of the curved surface. The cut out region corresponds to an image whose viewpoint has been converted.
  • FIG. 10B shows an example of an image obtained by converting the viewpoint.
  • the vehicle 100 is arranged in the center portion of the overhead view image 78 in FIG.
  • a front image 70 is arranged in front of the vehicle 100, a left side image 72 is arranged on the left side of the vehicle 100, a rear image 74 is arranged behind the vehicle 100, and a right side is shown on the right side of the vehicle 100.
  • An image 76 is arranged.
  • the other vehicle 110 is shown so as to overlap from above the frame line 30, and a part of the frame line 30 is shielded by the other vehicle 110.
  • FIGS. 6A to 6B show an outline of another process in the vehicle display device 50.
  • FIG. 6 (a) is shown in the same manner as FIG. 10 (a), in which the distance between the vehicle 100 and the other vehicle 110 is different, and the frame line 30 is below the front end of the other vehicle 110. Does not exist.
  • the vehicle 100 and the other vehicle 110 are separated by a distance d2 as the first distance.
  • the distance d2 is longer than the distance d1 and is not less than the first threshold value. Therefore, in the image processing unit 56, the other vehicle 110 is not moved and the frame line 30 is not shielded.
  • the bird's-eye view image 78 in FIG. 6B is shown in the same manner as in FIG. 10B, but the frame 30 is included between the vehicle 100 and the other vehicle 110 in the rear image 74.
  • the viewpoint conversion processing unit 58 outputs the overhead image 78 that is the converted image to the display processing unit 60.
  • the display processing unit 60 inputs the overhead image 78 from the viewpoint conversion processing unit 58.
  • the display processing unit 60 displays the overhead image 78 on the display unit 62.
  • the display unit 62 displays a bird's-eye view image 78 as shown in FIGS. 10B and 6B.
  • the processing in which the image processing unit 56 obtains the second distance in order to determine that the second object exists below the first object will be specifically described.
  • the image processing unit 56 specifies the number of pixels between the first object and the second object based on information about the first object and the second object.
  • the image processing unit 56 derives a relationship between the number of pixels based on the first distance acquired by the distance acquisition unit 54 and the actual distance using the field angle information of the image.
  • the image processing unit 56 calculates the second distance between the first object and the second object based on the specified number of pixels and the angle of view between the first object and the second object. To derive.
  • the derived second distance is indicated as a distance d3 in FIG. 10A and indicated as a distance d4 in FIG. 6A.
  • the image processing unit 56 holds in advance a second threshold different from the first threshold described above, and compares the derived second distance with the second threshold.
  • the image processing unit 56 is a second object such as a pattern included in the image and is located below the first object. Processing is performed to block the second object.
  • the distance d3 in FIG. 10 (a) is shorter than the second threshold value, and the distance d4 in FIG. 6 (a) is greater than or equal to the second threshold value. Therefore, as in the past, the image processing unit 56 superimposes the other vehicle 110 on the frame 30 in FIG. 10A and does not move the other vehicle 110 in FIG.
  • FIG. 12 shows an outline of processing in the vehicle display device 50. This is shown in the same manner as FIGS. 10 (a) and 6 (a).
  • the imaging unit height 80 is set to 500 mm
  • the inter-vehicle distance 82 is set to 700 mm
  • the ground height 90 at the rear lower end of the other vehicle is set to 150 mm
  • the width of the frame line 30 is set to 100 mm.
  • the front end 84 of the frame line is a portion of the frame line 30 closest to the vehicle 100
  • the rear end 86 of the frame line is a portion of the frame line 30 farthest from the vehicle 100.
  • the other vehicle rear lower end portion 88 is a lower end on the vehicle 100 side in the other vehicle 110.
  • the direction of the rear imaging unit 16 in the height direction of the vehicle 100 is set to ⁇ 45 degrees
  • the imaging range 32 that is, the angle of view is set to ⁇ 25 degrees.
  • FIG. 13A and 13B show an outline of processing in the vehicle display device 50.
  • FIG. The left side of FIG. 13A shows a case where the front end 84 of the frame line 30 is separated from the vehicle 100 (not shown) by 200 mm from the rear lower end 88 of the other vehicle.
  • the number of pixels from the upper end of the image to the rear edge 86 of the frame line is “142”
  • the number of pixels from the upper end of the image to the front end 84 of the frame line is “196”.
  • the number of pixels between 88 and the frame line back side edge 86 is “0”.
  • the frame line 30 is not shielded by the other vehicle 110, so that the other vehicle 110 needs to move.
  • FIG. 13B shows a case where the front end 84 of the frame line 30 is separated from the vehicle 100 (not shown) by 100 mm from the rear lower end 88 of the other vehicle.
  • the number of pixels from the upper end of the image to the rear edge 86 of the frame line is “196”
  • the number of pixels from the upper end of the image to the front end 84 of the frame line is “259”.
  • the number of pixels between 88 and the frame line back side edge 86 is “54”.
  • the frame line 30 is not shielded by the other vehicle 110, so that the other vehicle 110 needs to move.
  • FIGS. 14A to 14B show an outline of processing in the vehicle display device 50.
  • FIG. The left side of FIG. 14A shows a case where the front end 84 of the frame line 30 is aligned with the rear lower end 88 of the other vehicle.
  • the number of pixels from the upper end of the image to the rear edge 86 of the frame line is “259”
  • the number of pixels from the upper end of the image to the front end 84 of the frame line is “336”.
  • the number of pixels between 88 and the frame line inner side edge 86 is “117”.
  • the frame line 30 is not shielded by the other vehicle 110, so that the other vehicle 110 needs to move.
  • FIG. 14B shows a case where the front end 84 of the frame line 30 is closer to the vehicle 100 (not shown) by 100 mm than the lower end 88 of the rear side of the other vehicle.
  • the number of pixels from the upper end of the image to the rear edge 86 of the frame line is “336”
  • the number of pixels from the upper end of the image to the front end 84 of the frame line is “428”.
  • the number of pixels between 88 and the frame line back side edge 86 is “194”.
  • the frame 30 is not hidden by the other vehicle 110, but the other vehicle 110 does not need to move.
  • 13A to 13B and FIGS. 14A to 14B are combined, the second threshold value in the image processing unit 56 is set to around “120”.
  • the second threshold value is a fixed value in any case.
  • the second threshold value may be set according to the position where the rear imaging unit 16 or the like is attached. That is, the image processing unit 56 may set the second threshold value according to the height from the ground of the rear imaging unit 16 or the like. The higher the height of the rear imaging unit 16 and the like, the closer the image captured by the rear imaging unit 16 and the image viewed from above the vehicle 100 are. In that case, even though the frame line 30 actually exists under the other vehicle 110, when the viewpoint is changed, a situation in which the frame line 30 is shown between the vehicle 100 and the other vehicle 110 occurs. It becomes difficult to do.
  • the second threshold value should be adjusted so that the other vehicle 110 is less likely to be played.
  • the distance acquisition unit 54 sets a second threshold value that becomes shorter as the height of the rear imaging unit 16 and the like becomes higher. For example, when the rear imaging unit 16 or the like is attached to the vehicle 100, the second threshold value is set from the outside.
  • This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded in the memory, but here it is realized by their cooperation.
  • Draw functional blocks Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • FIG. 15 is a flowchart showing a display procedure by the vehicle display device 50.
  • the distance acquisition unit 54 acquires the distance from the other vehicle 110 behind, which is the first object, as the first distance (S110). If the first distance is shorter than the first threshold (Y in S112), the image processing unit 56 executes a process of moving the other vehicle 110 (S114). On the other hand, if the first distance is not shorter than the first threshold (N in S112), the process proceeds to step S16.
  • the viewpoint conversion processing unit 58 converts the viewpoint of the image (S116).
  • the display processing unit 60 displays an image on the display unit 62 (S118).
  • FIG. 16 is a flowchart showing another display procedure by the vehicle display device 50.
  • the distance acquisition unit 54 acquires the distance from the other vehicle 110 behind that is the first object as the first distance (S150).
  • the image processing unit 56 derives the distance between the other vehicle 110 behind which is the first object and the frame line 30 which is the second object as the second distance (S152). If the second distance is shorter than the second threshold (Y in S154), the image processing unit 56 executes a process of moving the other vehicle 110 (S156). On the other hand, if the second distance is not shorter than the second threshold value (N in S154), the process proceeds to step S58.
  • the viewpoint conversion processing unit 58 converts the viewpoint of the image (S158).
  • the display processing unit 60 displays an image on the display unit 62 (S160).
  • the overhead line image is generated by shielding the frame line located below the other vehicle according to the distance to the other vehicle, so that the frame line to be shielded by the other vehicle is displayed in the overhead image. Can be avoided. Moreover, since it is avoided that the frame line which should be shielded by the other vehicle is displayed in the bird's-eye view image, the bird's-eye view image close to the actual situation can be displayed. Further, since an overhead image close to the actual situation is displayed, the distance to the object can be accurately grasped. Further, since the distance from the other vehicle and the threshold value are only compared, the processing can be simplified. Further, since the distance between the other vehicle and the frame line is compared with the threshold value, the processing accuracy can be improved. Further, since the outer shape of the object is cut out and pasted on the pattern, the processing can be simplified. Moreover, since the outer shape of the object is pasted closer to the vehicle than the pattern, the risk of collision can be reduced.
  • Example 3 relates to a vehicle display device that generates a bird's-eye view image by performing viewpoint conversion on images captured by a plurality of imaging units installed in a vehicle and displays the generated bird's-eye view image. .
  • the vehicle display device When the distance is shorter than the threshold value, the vehicle display device according to the second embodiment hides the parking frame line located below the object of the other vehicle with the vehicle, and then performs the viewpoint conversion to perform the overhead view image. Is generated.
  • Example 3 after generating a bird's-eye view image by executing viewpoint conversion, if the distance is shorter than the threshold value, the parking frame line located below the object of the other vehicle is blocked by the vehicle. That is, the processing order is different from that in the second embodiment.
  • the difference from the second embodiment will be mainly described.
  • FIG. 17 shows a configuration of the vehicle display device 50 according to the third embodiment of the present invention.
  • the vehicle display device 50 includes the same components as in FIG. 17 differs from FIG. 9 in that the viewpoint conversion processing unit 58 and the image processing unit 56 are arranged in this order.
  • the viewpoint conversion processing unit 58 generates an overhead image obtained by converting the viewpoint as viewed from above the vehicle with respect to the image acquired by the image acquisition unit 52.
  • the image processing unit 56 performs a process of shielding a pattern located below the object included in the overhead image generated by the viewpoint conversion processing unit 58 according to the distance acquired by the distance acquisition unit 54.
  • the process for shielding the pattern may be performed by moving the other vehicle 110 as before.
  • the image processing unit 56 may paste the pseudo object 120 simulating the outer shape of the object so as to overlap the pattern instead of moving the other vehicle 110.
  • FIG. 18 shows an outline of processing in the vehicle display device 50.
  • the pseudo object 120 may be a figure as shown in the figure, not an image of the other vehicle 110.
  • the size of the pseudo object 120 is set to be equal to or larger than the size of the other vehicle 110.
  • Such a pseudo object 120 may be used in the second embodiment.
  • the processing can be simplified.
  • the application to the rear image 74 captured by the rear imaging unit 16 has been described.
  • the front image 70 captured by the front imaging unit 12, the left side image 72 captured by the left side imaging unit 14, Application to the right side image 76 captured by the right side imaging unit 18 is also possible.
  • this invention When applying this invention to the back image 74 which the back imaging part 16 imaged, it is useful, for example at the time of reverse parking in a parking lot.
  • the front image 70 which the front imaging part 12 imaged it is useful, for example at the time of forward parking in a parking lot.
  • the present invention is applied to the left side image 72 captured by the left side imaging unit 14 or the right side image 76 captured by the right side imaging unit 18, it is useful when, for example, side-by-side parking or passing on a narrow road. It is.
  • vehicle display device 52 image acquisition unit, 54 distance acquisition unit, 56 image processing unit, 58 viewpoint conversion processing unit, 60 display processing unit, 62 display unit, 70 front image, 72 left side image, 74 rear image, 76 Right side image, 78 overhead image, 100 vehicles.
  • the distance to the object can be accurately reflected when performing viewpoint conversion.

Abstract

画像取得部５２は、車両の周辺を撮像した画像を取得する。距離取得部５４は、取得した画像に撮像された第１の物体との距離を取得する。画像処理部５６は、取得した距離に応じて、取得した画像に含まれた第１の物体の下方に位置する第２の物体との距離を反映した画像処理を行う。視点変換処理部５８は、画像処理を行った画像に対して、車両の上方から見たように視点を変換する。表示処理部６０は、変換した画像を表示部６２に表示させる。

Description

車両用表示装置および車両用表示方法
　本発明は、車両用表示技術に関し、特に画像を表示する車両用表示装置および車両用表示方法に関する。
　車両の複数個所にカメラを設置する場合がある。その際、撮影された画像を視点変換して合成することによって、俯瞰画像が生成される（例えば、特許文献１参照）。
特開２０１２－２１７０００号公報
　視点変換では、上下方向の位置の差がある物体間の距離を正確に表すことができず、違和感を生じたり、物体までの距離を正確に把握できなかったりする場合がある。例えば、複数の車両を並べて駐車する駐車場において、後退により駐車区画への駐車を行う場合、後方の車両の端部直下に駐車枠線があっても、視点変換を行った画像では、枠線と後方の車両には距離があるように見えてしまう。このような場合、後方の車両の端部直下の枠線が、自車の駐車範囲を示す枠線である場合、後方にある車両までの距離が適切に把握できない。
　本発明はこうした状況に鑑みてなされたものであり、その目的は、視点変換を行う場合に、物体までの距離を正確に反映する技術を提供することである。
　上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した画像を取得する画像取得部と、画像取得部において取得した画像に含まれた第１の物体と車両との第１の距離を取得する距離取得部と、距離取得部において取得した第１の距離に応じて、画像取得部において取得した画像に含まれた第１の物体の下方に位置する第２の物体との距離を反映した画像処理を行う画像処理部と、画像に対して、車両の上方から見たように視点変換処理を行い俯瞰映像を生成する視点変換処理部と、視点変換処理部において生成した俯瞰映像を表示部に表示させる表示制御部と、を備える。
　本発明の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した画像を取得するステップと、取得した画像に含まれた第１の物体と車両との第１の距離を取得するステップと、取得した第１の距離に応じて、取得した画像に含まれた第１の物体の下方に位置する第２の物体との距離を反映した画像処理を行うステップと、画像に対して、車両の上方から見たように視点変換処理を行い俯瞰映像を生成するステップと、生成した俯瞰映像を表示部に表示させるステップと、を備える。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、視点変換を行う場合に、物体までの距離を正確に反映できる。
本発明の実施例１に係る車両の周辺に形成される撮像範囲を示す斜視図である。 図２（ａ）－（ｂ）は、本発明の実施例１の比較対象における処理の概要を示す図である。 本発明の実施例１に係る車両用表示装置の構成を示す図である。 図３の後方撮像部において撮像された画像を示す図である。 図５（ａ）－（ｂ）は、図３の車両用表示装置における処理の概要を示す図である。 図６（ａ）－（ｂ）は、図３の車両用表示装置における別の処理の概要を示す図である。 図３の車両用表示装置による表示手順を示すフローチャートである。 図３の車両用表示装置による別の表示手順を示すフローチャートである。 本発明の実施例２に係る車両用表示装置の構成を示す図である。 図１０（ａ）－（ｂ）は、図９の車両用表示装置における処理の概要を示す図である。 図９の画像処理部において処理された画像を示す図である。 図９の車両用表示装置における処理の概要を示す図である。 図１３（ａ）－（ｂ）は、図９の車両用表示装置における処理の概要を示す図である。 図１４（ａ）－（ｂ）は、図９の車両用表示装置における処理の概要を示す図である。 図９の車両用表示装置による表示手順を示すフローチャートである。 図９の車両用表示装置による別の表示手順を示すフローチャートである。 本発明の実施例３に係る車両用表示装置の構成を示す図である。 図１７の車両用表示装置における処理の概要を示す図である。
（実施例１）
　本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例１は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。複数の車両を並べて駐車する駐車場において後退により駐車区画への駐車を行う場合、後方の他車両の端部直下に描画された駐車枠線は、上方から見ると他車両の下方に遮蔽されて見えないはずである。上方から見ると他車両に隠れて見えないはずである。しかしながら、視点変換によって生成した俯瞰画像において、駐車枠線が他車両に隠れず、本車両側に近づいて配置されることがある。そのため、運転者には、駐車枠線からさらに離れて、後方の他車両が存在するように見えてしまい、後方にある他の車両までの距離が適切に把握できない。
　これに対応するために、本実施例に係る車両用表示装置は、車両の設置された複数の撮像部において撮像した車両周辺画像から他車両のような物体を検出するとともに、検出した物体までの距離を取得する。また、車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を画像から消去する。さらに、車両用表示装置は、駐車枠線を消去した画像に対して、視点変換を実行することによって俯瞰画像を生成し、生成した俯瞰画像を表示する。
　以下、本発明の実施例について、図面を参照しつつ説明する。かかる実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
　図１は、本発明の実施例１に係る車両１００の周辺に形成される撮像範囲を示す斜視図である。車両１００の前方部分、例えばバンパー、ボンネット等には、前方撮像部１２が設置される。前方撮像部１２は、前方撮像部１２から前方に向かうように前方撮像領域２０を形成し、前方撮像領域２０において画像を撮像する。車両の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、左側方撮像部１４から左方に向かうように左側方撮像領域２２を形成し、左側方撮像領域２２において画像を撮像する。
　車両の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、後方撮像部１６から後方に向かうように後方撮像領域２４を形成し、後方撮像領域２４において画像を撮像する。左側方撮像部１４と左右対称になるように、車両の右側部分には、図示しない右側方撮像部１８が設置される。右側方撮像部１８は、右側方撮像部１８から右方に向かうように、右側方撮像領域２６を形成し、右側方撮像領域２６において画像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した画像によって、車両１００の周辺が撮像される。
　図２（ａ）－（ｂ）は、本発明の実施例１の比較対象における処理の概要を示す。比較対象では、図１に示すように、車両１００に設置された撮像部１０において画像を撮像する場合を想定する。一方、比較対象では、画像に対する視点変換により俯瞰画像を生成するための処理が、これまでなされていた処理に相当する。図２（ａ）は、図１の車両１００を左側方から見た場合を示す。前述のごとく、車両１００の後方部分には後方撮像部１６が設置されている。また、車両１００の後方には、他車両１１０が駐車あるいは停車している。さらに、地面には枠線３０が描画されており、枠線３０は、他車両１１０の前方端部の下に存在する。そのため、車両１００、他車両１１０を上方から見下ろした場合、枠線３０は他車両１１０に隠れる。一方、後方撮像部１６は、撮像範囲３２を有しているので、後方撮像部１６によって撮像された画像には、他車両１１０の前方端部、枠線３０が含まれる。
　図２（ｂ）は、撮像部１０において撮像した画像に対して、視点変換を実行して生成した俯瞰画像４８を示す。前述のごとく、俯瞰画像４８を生成するための処理には、これまでなされていた処理が実行されている。俯瞰画像４８の中央部分には、車両１００が配置される。車両１００の前方には前方画像４０が配置され、車両１００の左側方には左側方画像４２が配置され、車両１００の後方には後方画像４４が配置され、車両１００の右側方には右側方画像４６が配置される。特に、後方画像４４は、図２（ａ）における撮像範囲３２を撮像した画像をもとに生成されている。そのため、後方画像４４では、車両１００の後方に他車両１１０が配置されるとともに、車両１００と他車両１１０との間に枠線３０が配置される。つまり、本来、他車両１１０に隠れるはずの枠線３０が、他車両１１０に隠れなくなり、俯瞰画像４８と実際の状況とが異なる。
　図３は、本発明の実施例１に係る車両用表示装置５０の構成を示す。車両用表示装置５０は、撮像部１０を構成する前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８に接続される。車両用表示装置５０は、画像取得部５２、距離取得部５４、画像処理部５６、視点変換処理部５８、表示処理部６０、表示部６２を含む。
　前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、画像を撮像する。画像は動画像であるが、静止画像であってもよい。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、画像を画像取得部５２に出力する。
　画像取得部５２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから画像を入力する。つまり、画像取得部５２は、車両１００の周辺を撮像した画像を取得する。図４は、後方撮像部１６において撮像された画像の例を示す。図４に示す画像の例は、説明を容易にするために、撮像部１０の各々が広角撮影可能なカメラであることによる画像の歪みは表していない。ここで、図２（ａ）のごとく、車両１００の後方に他車両１１０が駐車しており、他車両１１０の下方の地面に枠線３０が描写されているとする。画像には、他車両１１０と枠線３０とが含まれている。図３に戻る。画像取得部５２は、取得した画像を距離取得部５４に出力する。
　距離取得部５４は、画像取得部５２からの画像を入力する。以下では、説明を明瞭にするために、後方撮像部１６において撮像した画像に対する処理を説明するが、他の画像に対しても同様の処理がなされればよい。距離取得部５４は、画像に対して、エッジ検出処理を実行する。エッジ検出処理は、特徴検出や特徴抽出の一種であり、画像の明るさが不連続に変化している箇所を特定するためのアルゴリズムであるので、画像に含まれた物体、例えば他車両１１０を検出する。また、距離取得部５４は、エッジ検出処理によって、画像に含まれた模様、例えば、枠線３０も検出する。なお、エッジ検出処理は公知の技術であるので、ここでは詳細な説明を省略する。ここでいう枠線３０は、一般的には路面に描画された白線であり、撮像した画像に基づく公知の白線検出技術が適用可能である。また、枠線３０ではなく縁石である場合も同様である。
　距離取得部５４は、検出した物体との距離を取得する。距離取得部５４において距離を取得する対象となる物体は、例えば、他車両１１０である。物体との測距には、公知の技術が使用されればよいが、例えば、ステレオ測距、二眼カメラが使用される。これは、複数の光学系間に生じる視差を算出し、視差をもとに、物体までの距離を測定する。この場合、後方撮像部１６には、複数の光学系が備えられる。また、物体との測距に、距離センサが使用されてもよい。図示しない距離センサが、後方撮像部１６の近傍に備えられており、距離センサは、赤外光やレーザ光などを物体に照射してから、その反射光を受光することによって、結像位置情報から距離を算出する。距離センサには、ミリ波などを用いてもよい。
　また、物体との測距に、ベクトル検出処理が使用されてもよい。ベクトル検出処理は、画像中の特定点を検出するとともに、特定点のベクトル移動量を算出することによって、物体との距離を測定する。図５（ａ）－（ｂ）は、車両用表示装置５０における処理の概要を示す。図５（ａ）は、図２（ａ）と同様に示される。距離取得部５４は、距離「ｄ１」を測定する。図５（ｂ）は後述し、図３に戻る。距離取得部５４は、取得した距離と、画像とを画像処理部５６に出力する。また、距離取得部５４は、検出した物体、模様に関する情報も画像処理部５６に出力する。
　画像処理部５６は、距離取得部５４から距離と画像とを入力する。また、画像処理部５６は、距離取得部５４から、物体、模様に関する情報も入力する。距離取得部５４は、物体、模様に関する情報をもとに、模様が物体の下方に存在するか否かを判定する。図４の場合、模様である枠線３０が、物体である他車両１１０の下方に存在する。つまり、距離取得部５４は、画像上において、模様が物体の下方に存在する場合、模様が物体の下方に存在すると判定する。模様が物体の下方に存在する場合、画像処理部５６は、下記の処理を実行する。
　画像処理部５６は、しきい値を予め保持しており、入力した距離としきい値とを比較する。距離がしきい値よりも短い場合に、画像処理部５６は、画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去する。図４の場合、画像処理部５６は、地面に描画された枠線３０を画像から消去する。また、図５（ａ）に示した距離ｄ１がしきい値よりも短ければ、画像処理部５６は枠線３０を消去する。つまり、距離取得部５４は、取得した距離に応じて、模様を画像から消去する。画像処理部５６は、画像を視点変換処理部５８に出力する。
　視点変換処理部５８は、画像処理部５６から画像を入力する。視点変換処理部５８は、画像に対して、車両１００の上方から見たように視点を変換する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。視点を変換した画像の一例が、図５（ｂ）である。図５（ｂ）における俯瞰画像７８の中央部分には、車両１００が配置される。車両１００の前方には前方画像７０が配置され、車両１００の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。特に、後方画像７４には、既に消去された枠線３０が含まれていない。
　図６（ａ）－（ｂ）は、車両用表示装置５０における別の処理の概要を示す。図６（ａ）は、図５（ａ）と同様に示されるが、これらにおいて、車両１００と他車両１１０との距離が異なっており、枠線３０は、他車両１１０の前方端部の下に存在しない。図６（ａ）では、車両１００と他車両１１０は、距離ｄ２だけ離れている。ここで、距離ｄ２は、距離ｄ１よりも長く、画像処理部５６でのしきい値以上である。そのため、画像処理部５６において、枠線３０は消去されない。図６（ｂ）における俯瞰画像７８は、図５（ｂ）と同様に示されるが、後方画像７４において、車両１００と他車両１１０との間に枠線３０が含まれる。図３に戻る。視点変換処理部５８は、変換した画像である俯瞰画像７８を表示処理部６０に出力する。
　表示処理部６０は、視点変換処理部５８から俯瞰画像７８を入力する。表示処理部６０は、俯瞰画像７８を表示部６２に表示させる。表示部６２は、図５（ｂ）、図６（ｂ）のような俯瞰画像７８を表示する。
　なお、画像処理部５６は、模様が物体の下方に存在することを判定するために場合、前述した処理とは別の処理を実行してもよい。画像処理部５６は、物体、模様に関する情報をもとに、物体と模様との間の画素数を特定する。また、距離取得部５４は、入力した距離をもとに、画像の画角を特定する。さらに、距離取得部５４は、画角毎に、画素数と実際の距離との関係を予め記憶しており、特定した画素数と画角とをもとに、物体と模様との間の距離を導出する。導出された距離は、図５（ａ）において距離ｄ３と示され、図６（ａ）において距離ｄ４と示される。
　画像処理部５６は、前述のしきい値とは別のしきい値を予め保持しており、導出した距離としきい値とを比較する。距離がしきい値よりも短い場合に、画像処理部５６は、画像に含まれた模様であって、かつ物体の下方に位置する模様を画像から消去する。図５（ａ）における距離ｄ３はしきい値よりも短く、図６（ａ）における距離ｄ４はしきい値以上である。そのため、これまでと同様に、画像処理部５６は、図５（ａ）に対して枠線３０を消去し、図６（ａ）に対して枠線３０を消去しない。これに続く処理は、これまでと同様である。
　画像処理部５６における２種類の処理を説明したが、いずれにおいてもしきい値は、固定値とされている。一方、しきい値は、後方撮像部１６等が取り付けられた位置に応じて設定されてもよい。つまり、画像処理部５６は、後方撮像部１６等の地面からの高さに応じて、しきい値を設定してもよい。後方撮像部１６等の高さが高くなるほど、後方撮像部１６等において撮像される画像と、車両１００の上方から見た画像とが近くなる。その場合、実際は他車両１１０の下に枠線３０が存在しているにもかかわらず、視点変換すると、車両１００と他車両１１０との間に枠線３０が示されているような状況が発生しにくくなる。そのため、枠線３０等の模様が消去されにくくなるようにしきい値が調節されるべきである。これらを考慮して、距離取得部５４は、後方撮像部１６等の高さが高くなるほど、短くなるようなしきい値を設定する。例えば、後方撮像部１６等を車両１００に取り付ける際に、外部からしきい値が設定される。
　この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　以上の構成による車両用表示装置５０の動作を説明する。図７は、車両用表示装置５０による表示手順を示すフローチャートである。距離取得部５４は、後方の他車両１１０との距離を取得する（Ｓ１０）。距離がしきい値よりも短ければ（Ｓ１２のＹ）、画像処理部５６は、枠線３０を消去する（Ｓ１４）。一方、距離がしきい値よりも短くなければ（Ｓ１２のＮ）、ステップＳ１６へ推移する。視点変換処理部５８は、画像の視点を変換する（Ｓ１６）。表示処理部６０は、表示部６２に画像を表示させる（Ｓ１８）。
　図８は、車両用表示装置５０による別の表示手順を示すフローチャートである。距離取得部５４は、後方の他車両１１０との距離を取得する（Ｓ５０）。画像処理部５６は、後方の他車両１１０と枠線３０との間の距離を導出する（Ｓ５２）。距離がしきい値よりも短ければ（Ｓ５４のＹ）、画像処理部５６は、枠線３０を消去する（Ｓ５６）。一方、距離がしきい値よりも短くなければ（Ｓ５４のＮ）、ステップＳ５８へ推移する。視点変換処理部５８は、画像の視点を変換する（Ｓ５８）。表示処理部６０は、表示部６２に画像を表示させる（Ｓ６０）。
　ステップＳ１４およびステップＳ５６における枠線３０の消去処理について説明する。例えば、距離取得部５４が検出した枠線３０が駐車場の区画を示す白線である場合、白線部分に対して、白線の周辺色と同様の色調で塗りつぶす、白線に隣接した領域をコピーして白線上に張り付ける、白線上に黒色などの色で白線を覆う線を描画するなどの処理が適用される。この場合、撮像部１０の各々の撮影方向に垂直またはほぼ垂直の枠線３０を消去対象とする。または、他車両１１０を撮影する撮像部１０に対向する他車両１１０の辺と平行またはほぼ平行な枠線３０を消去対象とする。図２（ｂ）に示す枠線３０はいずれの条件も満たしている。
　本実施例によれば、他車両との距離に応じて、他車両の下方に位置する枠線を画像から消去して俯瞰画像を生成するので、俯瞰画像において他車両に隠れるべき枠線が表示されてしまうことを回避できる。また、俯瞰画像において他車両に隠れるべき枠線が表示されてしまうことが回避されるので、実際の状況と俯瞰画像とを近くできる。また、実際の状況と俯瞰画像とが近くなるので、視点変換を行う場合に、物体までの距離を正確に反映できる。また、他車両との距離としきい値とを比較するだけなので、処理を簡易にできる。また、他車両と枠線との間の距離としきい値とを比較するので、処理の精度を向上できる。また、撮像部の地面からの高さに応じてしきい値を設定するので、処理の精度を向上できる。
　上記実施例においては、後方撮像部１６が撮像した後方画像７４への適用について説明したが、前方撮像部１２が撮影した前方画像７０、左側方撮像部１４が撮影した左側方画像７２、右側方撮像部１８が撮影した右側方画像７６への適用も可能である。後方撮像部１６が撮像した後方画像７４に本発明を適用する場合は、例えば駐車場での後退駐車時に有用である。前方撮像部１２が撮影した前方画像７０に本発明を適用する場合は、例えば駐車場での前進駐車時に有用である。左側方撮像部１４が撮影した左側方画像７２または右側方撮像部１８が撮影した右側方画像７６に本発明を適用する場合は、例えば側方への幅寄せ駐車や狭い道でのすれ違い時に有用である。
（実施例２）
　次に、実施例２を説明する。本実施例２に係る車両用表示装置は、車両の設置された複数の撮像部において撮像した車両周辺画像から他車両のような物体を検出するとともに、検出した物体までの距離を取得する。また、車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で遮蔽させる処理を行う。さらに、車両用表示装置は、駐車枠線を隠した画像に対して、視点変換を実行することによって俯瞰画像を生成し、生成した俯瞰画像を表示する。
　図１、図２は、実施例２においても同様である。なお、図２（ａ）において、後方撮像部１６は、車両１００の上方ではない位置から斜めに他車両１１０および枠線３０を撮像しているので、後方撮像部１６によって撮像された画像には、他車両１１０の前方端部、枠線３０が含まれる。また、図２（ｂ）において、本来、他車両１１０に遮蔽されるはずの枠線３０が、他車両１１０に遮蔽されなくなり、俯瞰画像４８と実際の状況とが異なる。
　図９は、本発明の実施例２に係る車両用表示装置５０の構成を示す。車両用表示装置５０は、撮像部１０を構成する前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８に接続される。車両用表示装置５０は、画像取得部５２、距離取得部５４、生成部６４、表示処理部６０、表示部６２を含む。生成部６４は、画像処理部５６、視点変換処理部５８を含む。
　前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８、画像取得部５２は、図３と同様である。距離取得部５４は、第１の物体と車両１００との距離を取得する。距離取得部５４において距離を取得する対象となる物体は、例えば、他車両１１０である。距離取得部５４は、物体との距離を検出する方向に存在する物体までの距離を常時取得していてもよく、画像処理部５６により第１の物体が検出されたときに、第１の物体を検出対象として動作してもよい。物体との測距には、公知の技術が使用されればよいが、例えば、ステレオ測距、二眼カメラが使用される。これは、複数の光学系間に生じる視差を算出し、視差をもとに、物体までの距離を測定する。この場合、後方撮像部１６には、複数の光学系が備えられる。また、物体との測距に、距離センサが使用されてもよい。図示しない距離センサが、後方撮像部１６の近傍に備えられており、距離センサは、赤外光やレーザ光などを物体に照射してから、その反射光を受光することによって、結像位置情報から距離を算出する。距離センサには、ミリ波などを用いてもよい。
　また、距離取得部５４は、物体との測距に、画像取得部５２から取得した画像を用いたベクトル検出処理を適用してもよい。ベクトル検出処理は、画像中の特定点を検出するとともに、特定点のベクトル移動量を算出することによって、物体との距離を測定する。図１０（ａ）－（ｂ）は、車両用表示装置５０における処理の概要を示す。図１０（ａ）は、図２（ａ）と同様に示される。距離取得部５４は、第１の距離として距離「ｄ１」を測定する。図１０（ｂ）は後述し、図９に戻る。距離取得部５４は、取得した第１の距離を画像処理部５６に出力する。
　画像処理部５６は、画像取得部５２から画像を入力する。以下では、説明を明瞭にするために、後方撮像部１６において撮像した画像に対する処理を説明するが、他の画像に対しても同様の処理がなされればよい。画像処理部５６は、画像に対して、エッジ検出処理を実行する。エッジ検出処理は、特徴検出や特徴抽出の一種であり、画像の明るさが不連続に変化している箇所を特定するためのアルゴリズムである。画像処理部５６は、画像に含まれた第１の物体、例えば他車両１１０を検出する。また、画像処理部５６は、同様に画像に含まれた第２の物体、例えば、枠線３０も検出する。なお、エッジ検出処理は公知の技術であるので、ここでは詳細な説明を省略する。ここでいう枠線３０は、一般的には路面に描画された白線であり、撮像した画像に基づく公知の白線検出技術が適用可能である。また、枠線３０ではなく縁石である場合も同様である。
　また、画像処理部５６は、検出した第１の物体と第２の物体の位置関係も取得する。画像処理部５６は、検出した第１の物体および第２の物体に関する情報をもとに、第２の物体が第１の物体の下方に存在するか否かを判定する。図４の場合、第２の物体である枠線３０が、第１の物体である他車両１１０の下方に存在する。つまり、画像処理部５６は、画像上において、第２の物体の位置が第１の物体の下方であり、かつその間の画素数で表される第２の距離が第２のしきい値より短い場合、第２の物体が第１の物体の下方に存在すると判定する。第２の物体が第１の物体の下方に存在する判断においては、第２の物体が撮像方向に直交して配置されていることを条件に加えてもよい。図４の場合、第２の物体である枠線３０の画面横方向に延びている部分を対象とする。第２の物体が第１の物体の下方に存在する場合、画像処理部５６は、下記の処理を実行する。
　画像処理部５６は、車両１００と第１の物体との距離に対する第１のしきい値を予め保持しており、距離取得部５４から入力した第１の距離と第１のしきい値とを比較する。例えば、図１０（ａ）に示した第１の距離である距離ｄ１が第１のしきい値よりも短い場合に、画像処理部５６は、画像に含まれかつ第１の物体の下方に位置する第２の物体を遮蔽した状態とする処理を行う。具体的に説明すると、画像処理部５６は、第１の物体の外形を切り出してから、第２の物体に重ねて貼り付ける。その結果が、図１１であり、図１１は、画像処理部５６において処理された画像を示す。このように、枠線３０の一部が遮蔽されるように、他車両１１０は枠線３０に重ねられる。ここで、画像処理部５６は、枠線３０よりも本車両１００に近づけるように、他車両１１０の外形を貼り付ける。図９に戻る。画像処理部５６は、画像を視点変換処理部５８に出力する。
　視点変換処理部５８は、画像処理部５６から画像を入力する。視点変換処理部５８は、画像に対して、車両１００の上方から見たように視点を変換することによって俯瞰画像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。視点を変換した画像の一例が、図１０（ｂ）である。図１０（ｂ）における俯瞰画像７８の中央部分には、車両１００が配置される。車両１００の前方には前方画像７０が配置され、車両１００の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。特に、後方画像７４では、枠線３０の上から重なるように他車両１１０が示されており、枠線３０の一部が他車両１１０に遮蔽された状態となる。
　図６（ａ）－（ｂ）は、車両用表示装置５０における別の処理の概要を示す。図６（ａ）は、図１０（ａ）と同様に示されるが、これらにおいて、車両１００と他車両１１０との距離が異なっており、枠線３０は、他車両１１０の前方端部の下に存在しない。図６（ａ）では、車両１００と他車両１１０は、第１の距離として距離ｄ２だけ離れている。ここで、距離ｄ２は、距離ｄ１よりも長く、第１のしきい値以上である。そのため、画像処理部５６において、他車両１１０は移動されず、枠線３０は遮蔽されない。図６（ｂ）における俯瞰画像７８は、図１０（ｂ）と同様に示されるが、後方画像７４において、車両１００と他車両１１０との間に枠線３０が含まれる。図９に戻る。視点変換処理部５８は、変換した画像である俯瞰画像７８を表示処理部６０に出力する。
　表示処理部６０は、視点変換処理部５８から俯瞰画像７８を入力する。表示処理部６０は、俯瞰画像７８を表示部６２に表示させる。表示部６２は、図１０（ｂ）、図６（ｂ）のような俯瞰画像７８を表示する。
　画像処理部５６が、第２の物体が第１の物体の下方に存在することを判定するために第２の距離を求める処理を具体的に説明する。画像処理部５６は、第１の物体、第２の物体に関する情報をもとに、第１の物体と第２の物体との間の画素数を特定する。また、画像処理部５６は、画像の画角情報を用い距離取得部５４が取得した第１の距離に基づく画素数と実際の距離との関係を導出する。画像処理部５６は、第１の物体と第２の物体との間の特定した画素数と画角とをもとに、第１の物体と第２の物体との間の第２の距離を導出する。導出された第２の距離は、図１０（ａ）において距離ｄ３と示され、図６（ａ）において距離ｄ４と示される。
　画像処理部５６は、前述の第１のしきい値とは別の第２のしきい値を予め保持しており、導出した第２の距離と第２のしきい値とを比較する。第２の距離が第２のしきい値よりも短い場合に、画像処理部５６は、画像に含まれた模様などの第２の物体がであって、かつ第１の物体の下方に位置する第２の物体を遮蔽した状態とする処理を行う。図１０（ａ）における距離ｄ３は第２のしきい値よりも短く、図６（ａ）における距離ｄ４は第２のしきい値以上である。そのため、これまでと同様に、画像処理部５６は、図１０（ａ）における枠線３０に他車両１１０を重ね、図６（ａ）において他車両１１０を移動させない。
　図１２は、車両用表示装置５０における処理の概要を示す。これは、図１０（ａ）、図６（ａ）と同様に示される。図１２において、例えば、撮像部高８０は５００ｍｍに設定され、車間８２は７００ｍｍに設定され、他車後下端部地上高９０は１５０ｍｍに設定され、枠線３０の幅は１００ｍｍに設定される。また、枠線手前端８４は、枠線３０のうちの最も車両１００に近い部分であり、枠線奥側端８６は、枠線３０のうちの最も車両１００から遠い部分である。他車後下端部８８は、他車両１１０において、車両１００側の下端である。さらに、車両１００の高さ方向における後方撮像部１６の向きは－４５度に設定され、撮像範囲３２、つまり画角は±２５度に設定される。
　このような状況下において、後方撮像部１６において撮像した画像の縦方向の画素数を「１０８０」であるとした場合、画像の上端から他車後下端部８８までの画素数は「１４２」になる。図１３（ａ）－（ｂ）は、車両用表示装置５０における処理の概要を示す。図１３（ａ）の左側は、枠線３０の枠線手前端８４が、他車後下端部８８よりも２００ｍｍだけ車両１００（図示せず）から離れている場合を示す。その際、画像の上端から枠線奥側端８６までの画素数は「１４２」であり、画像の上端から枠線手前端８４までの画素数は「１９６」であるので、他車後下端部８８と枠線奥側端８６との間の画素数は「０」になる。この場合の俯瞰画像は、右側に示されるように、枠線３０は他車両１１０に遮蔽されていないので、他車両１１０の移動が必要になる。
　図１３（ｂ）の左側は、枠線３０の枠線手前端８４が、他車後下端部８８よりも１００ｍｍだけ車両１００（図示せず）から離れている場合を示す。その際、画像の上端から枠線奥側端８６までの画素数は「１９６」であり、画像の上端から枠線手前端８４までの画素数は「２５９」であるので、他車後下端部８８と枠線奥側端８６との間の画素数は「５４」になる。この場合の俯瞰画像は、右側に示されるように、枠線３０は他車両１１０に遮蔽されていないので、他車両１１０の移動が必要になる。
　図１４（ａ）－（ｂ）は、車両用表示装置５０における処理の概要を示す。図１４（ａ）の左側は、枠線３０の枠線手前端８４が、他車後下端部８８に合っている場合を示す。その際、画像の上端から枠線奥側端８６までの画素数は「２５９」であり、画像の上端から枠線手前端８４までの画素数は「３３６」であるので、他車後下端部８８と枠線奥側端８６との間の画素数は「１１７」になる。この場合の俯瞰画像は、右側に示されるように、枠線３０は他車両１１０に遮蔽されていないので、他車両１１０の移動が必要になる。
　図１４（ｂ）の左側は、枠線３０の枠線手前端８４が、他車後下端部８８よりも１００ｍｍだけ車両１００（図示せず）に近い場合を示す。その際、画像の上端から枠線奥側端８６までの画素数は「３３６」であり、画像の上端から枠線手前端８４までの画素数は「４２８」であるので、他車後下端部８８と枠線奥側端８６との間の画素数は「１９４」になる。この場合の俯瞰画像は、右側に示されるように、枠線３０は他車両１１０に隠されていないが、他車両１１０の移動が不要である。図１３（ａ）－（ｂ）、図１４（ａ）－（ｂ）をまとめると、画像処理部５６における第２のしきい値は、「１２０」前後に設定される。
　画像処理部５６における２種類の処理を説明したが、いずれにおいても第２のしきい値は、固定値とされている。一方、第２のしきい値は、後方撮像部１６等が取り付けられた位置に応じて設定されてもよい。つまり、画像処理部５６は、後方撮像部１６等の地面からの高さに応じて、第２のしきい値を設定してもよい。後方撮像部１６等の高さが高くなるほど、後方撮像部１６等において撮像される画像と、車両１００の上方から見た画像とが近くなる。その場合、実際は他車両１１０の下に枠線３０が存在しているにもかかわらず、視点変換すると、車両１００と他車両１１０との間に枠線３０が示されているような状況が発生しにくくなる。そのため、他車両１１０がされにくくなるように第２のしきい値が調節されるべきである。これらを考慮して、距離取得部５４は、後方撮像部１６等の高さが高くなるほど、短くなるような第２のしきい値を設定する。例えば、後方撮像部１６等を車両１００に取り付ける際に、外部から第２のしきい値が設定される。
　この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　以上の構成による車両用表示装置５０の動作を説明する。図１５は、車両用表示装置５０による表示手順を示すフローチャートである。距離取得部５４は、第１の物体である後方の他車両１１０との距離を第１の距離として取得する（Ｓ１１０）。第１の距離が第１のしきい値よりも短ければ（Ｓ１１２のＹ）、画像処理部５６は、他車両１１０を移動する処理を実行する（Ｓ１１４）。一方、第１の距離が第１のしきい値よりも短くなければ（Ｓ１１２のＮ）、ステップＳ１６へ推移する。視点変換処理部５８は、画像の視点を変換する（Ｓ１１６）。表示処理部６０は、表示部６２に画像を表示させる（Ｓ１１８）。
　図１６は、車両用表示装置５０による別の表示手順を示すフローチャートである。距離取得部５４は、第１の物体である後方の他車両１１０との距離を第１の距離として取得する（Ｓ１５０）。画像処理部５６は、第１の物体である後方の他車両１１０と第２の物体である枠線３０との間の距離を第２の距離として導出する（Ｓ１５２）。第２の距離が第２のしきい値よりも短ければ（Ｓ１５４のＹ）、画像処理部５６は、他車両１１０を移動する処理を実行する（Ｓ１５６）。一方、第２の距離が第２のしきい値よりも短くなければ（Ｓ１５４のＮ）、ステップＳ５８へ推移する。視点変換処理部５８は、画像の視点を変換する（Ｓ１５８）。表示処理部６０は、表示部６２に画像を表示させる（Ｓ１６０）。
　本実施例によれば、他車両との距離に応じて、他車両の下方に位置する枠線を遮蔽して俯瞰画像を生成するので、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことを回避できる。また、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことが回避されるので、実際の状況に近い俯瞰画像を表示することができる。また、実際の状況に近い俯瞰画像を表示するため物体までの距離を正確に把握することができる。また、他車両との距離としきい値とを比較するだけなので、処理を簡易にできる。また、他車両と枠線との間の距離としきい値とを比較するので、処理の精度を向上できる。また、物体の外形を切り出してから、模様に重ねて貼り付けるので、処理を簡易にできる。また、模様よりも本車両に近づけて、物体の外形を貼り付けるので、衝突の危険性を低減できる。
（実施例３）
　次に、実施例３を説明する。実施例３は、実施例２と同様に、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。実施例２に係る車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で隠してから、視点変換を実行することによって俯瞰画像を生成している。一方、実施例３では、視点変換を実行することによって俯瞰画像を生成してから、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で遮蔽する。つまり、処理の順序が、実施例２とは異なる。ここでは、実施例２との差異を中心に説明する。
　図１７は、本発明の実施例３に係る車両用表示装置５０の構成を示す。車両用表示装置５０は、図９と同様の構成要素を含む。図１７における生成部６４は、図９と異なり、視点変換処理部５８、画像処理部５６の順に配置される。
　視点変換処理部５８は、画像取得部５２において取得した画像に対して、車両の上方から見たように視点を変換した俯瞰画像を生成する。画像処理部５６は、距離取得部５４において取得した距離に応じて、視点変換処理部５８において生成した俯瞰画像に含まれた物体の下方に位置する模様を遮蔽させる処理を行う。模様を遮蔽させるための処理は、これまでと同様に他車両１１０を移動されればよい。
　なお、画像処理部５６は、他車両１１０を移動させる代わりに、物体の外形を模した疑似物体１２０を、模様に重ねて貼り付けてもよい。図１８は、車両用表示装置５０における処理の概要を示す。疑似物体１２０は、他車両１１０の画像ではなく、図示されたような図形であればよい。なお、疑似物体１２０のサイズは、他車両１１０のサイズ以上にされる。このような疑似物体１２０は、実施例２において使用されてもよい。
　本実施例によれば、始点を変換してから、模様を遮蔽させるので、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことを回避できる。また、物体の外形を模した疑似物体を、模様に重ねて貼り付けるので、処理を簡易にできる。
　実施例２、３においては、後方撮像部１６が撮像した後方画像７４への適用について説明したが、前方撮像部１２が撮像した前方画像７０、左側方撮像部１４が撮像した左側方画像７２、右側方撮像部１８が撮像した右側方画像７６への適用も可能である。後方撮像部１６が撮像した後方画像７４に本発明を適用する場合は、例えば駐車場での後退駐車時に有用である。前方撮像部１２が撮像した前方画像７０に本発明を適用する場合は、例えば駐車場での前進駐車時に有用である。左側方撮像部１４が撮像した左側方画像７２または右側方撮像部１８が撮像した右側方画像７６に本発明を適用する場合は、例えば側方への幅寄せ駐車や狭い道でのすれ違い時に有用である。
　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　５０　車両用表示装置、　５２　画像取得部、　５４　距離取得部、　５６　画像処理部、　５８　視点変換処理部、　６０　表示処理部、　６２　表示部、　７０　前方画像、　７２　左側方画像、　７４　後方画像、　７６　右側方画像、　７８　俯瞰画像、　１００　車両。
　本発明によれば、視点変換を行う場合に、物体までの距離を正確に反映できる。

Claims (11)

  1. 　車両の周辺を撮像した画像を取得する画像取得部と、
    　前記画像取得部において取得した画像に含まれた第１の物体と前記車両との第１の距離を取得する距離取得部と、
    　前記距離取得部において取得した前記第１の距離に応じて、前記画像取得部において取得した画像に含まれた前記第１の物体の下方に位置する第２の物体との距離を反映した画像処理を行う画像処理部と、
    　前記画像に対して、前記車両の上方から見たように視点変換処理を行い俯瞰映像を生成する視点変換処理部と、
    　前記視点変換処理部において生成した俯瞰映像を表示部に表示させる表示制御部と、
    　を備えることを特徴とする車両用表示装置。
  2. 　前記画像処理部は、前記第１の距離が第１のしきい値よりも短い場合に、前記第１の物体の下方に位置する第２の物体との距離を反映した画像処理を行う、
    　請求項１に記載の車両用表示装置。
  3. 　前記画像処理部は、前記第１の距離をもとに、前記第１の物体と前記第２の物体との間の第２の距離を導出し、導出した前記第２の距離が第２のしきい値よりも短い場合に、前記第１の物体の下方に位置する第２の物体との距離を反映した画像処理を行う、
    　請求項２に記載の車両用表示装置。
  4. 　前記画像処理部は、前記画像取得部において取得した画像を撮像した撮像装置の地面からの高さに応じて、前記第１のしきい値および前記第２のしきい値を設定することを特徴とする請求項２または３に記載の車両用表示装置。
  5. 　前記第１の物体は、他の車両であり、
    　前記第２の物体は、地面に描画または載置された区画であることを特徴とする、
    　請求項１から４のいずれか１項に記載の車両用表示装置。
  6. 　前記画像処理部は、前記距離取得部において取得した前記第１の距離に応じて、前記第２の物体を画像から消去する画像処理を行う、
    　請求項１から５のいずれか１項に記載の車両用表示装置。
  7. 　前記画像処理部は、前記距離取得部において取得した前記第１の距離に応じて、前記第２の物体を前記第１の物体で遮蔽した状態とする画像処理を行う、
    　請求項１から５のいずれか１項に記載の車両用表示装置。
  8. 　前記画像処理部は、前記第１の物体の外形を切り出してから、前記第２の物体に重ねて貼り付けることで、前記第２の物体を前記第１の物体で遮蔽した状態とする、
    　請求項７に記載の車両用表示装置。
  9. 　前記画像処理部は、前記第２の物体よりも本車両に近づけて、前記第１の物体の外形を貼り付けることを特徴とする請求項８に記載の車両用表示装置。
  10. 　前記画像処理部は、前記第１の物体の外形を模した疑似物体を、前記第２の物体に重ねて貼り付けることで、前記第２の物体を前記第１の物体で遮蔽した状態とする、
    　請求項７に記載の車両用表示装置。
  11. 　車両の周辺を撮像した画像を取得するステップと、
    　取得した画像に含まれた第１の物体と前記車両との第１の距離を取得するステップと、
    　取得した前記第１の距離に応じて、取得した画像に含まれた前記第１の物体の下方に位置する第２の物体との距離を反映した画像処理を行うステップと、
    　前記画像に対して、前記車両の上方から見たように視点変換処理を行い俯瞰映像を生成するステップと、
    　生成した俯瞰映像を表示部に表示させるステップと、
    　を備えることを特徴とする車両用表示方法。
PCT/JP2016/066186 2015-08-27 2016-06-01 車両用表示装置および車両用表示方法 WO2017033518A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16838865.0A EP3342644B1 (en) 2015-08-27 2016-06-01 Display device for vehicle and display method for vehicle
CN201680025389.2A CN107531182B (zh) 2015-08-27 2016-06-01 车辆用显示装置以及车辆用显示方法
US15/845,267 US10427683B2 (en) 2015-08-27 2017-12-18 Vehicle display device and vehicle display method for displaying images

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-167709 2015-08-27
JP2015167709A JP6519408B2 (ja) 2015-08-27 2015-08-27 車両用表示装置および車両用表示方法
JP2015-257083 2015-12-28
JP2015257083A JP6565674B2 (ja) 2015-12-28 2015-12-28 車両用表示装置および車両用表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/845,267 Continuation US10427683B2 (en) 2015-08-27 2017-12-18 Vehicle display device and vehicle display method for displaying images

Publications (1)

Publication Number Publication Date
WO2017033518A1 true WO2017033518A1 (ja) 2017-03-02

Family

ID=58099785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066186 WO2017033518A1 (ja) 2015-08-27 2016-06-01 車両用表示装置および車両用表示方法

Country Status (4)

Country Link
US (1) US10427683B2 (ja)
EP (1) EP3342644B1 (ja)
CN (1) CN107531182B (ja)
WO (1) WO2017033518A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107531182B (zh) * 2015-08-27 2023-10-27 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
DE102019206490B3 (de) * 2019-05-06 2020-03-26 Volkswagen Aktiengesellschaft Parkassistenzsystem für ein Kraftfahrzeug, Verfahren zur Einparkunterstützung für ein Kraftfahrzeug, Computerprogramm und computerlesbares Speichermedium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007090939A (ja) * 2005-09-27 2007-04-12 Clarion Co Ltd 駐車支援装置
JP2007116377A (ja) * 2005-10-19 2007-05-10 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2010232723A (ja) * 2009-03-25 2010-10-14 Nippon Soken Inc 車両周辺表示装置
JP2015105070A (ja) * 2013-12-02 2015-06-08 株式会社デンソー 駐車支援装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10331235A1 (de) * 2003-07-10 2005-02-03 Robert Bosch Gmbh Fahrhilfsvorrichtung insbesondere zum Einparken eines Fahrzeugs
JP2006160193A (ja) * 2004-12-10 2006-06-22 Alpine Electronics Inc 車両運転支援装置
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4677847B2 (ja) * 2005-08-01 2011-04-27 日産自動車株式会社 車両用周囲監視装置及び車両周囲監視方法
JP4682809B2 (ja) * 2005-11-04 2011-05-11 株式会社デンソー 駐車支援システム
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
JP2010016805A (ja) * 2008-06-04 2010-01-21 Sanyo Electric Co Ltd 画像処理装置、運転支援システム、及び画像処理方法
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
DE102010034140A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung und Fahrerassistenzsystem
JP5743652B2 (ja) 2011-03-31 2015-07-01 富士通テン株式会社 画像表示システム、画像生成装置及び画像生成方法
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
CN103863192B (zh) * 2014-04-03 2017-04-12 深圳市德赛微电子技术有限公司 一种车载全景成像辅助方法及其系统
CN107531182B (zh) * 2015-08-27 2023-10-27 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007090939A (ja) * 2005-09-27 2007-04-12 Clarion Co Ltd 駐車支援装置
JP2007116377A (ja) * 2005-10-19 2007-05-10 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2010232723A (ja) * 2009-03-25 2010-10-14 Nippon Soken Inc 車両周辺表示装置
JP2015105070A (ja) * 2013-12-02 2015-06-08 株式会社デンソー 駐車支援装置

Also Published As

Publication number Publication date
EP3342644B1 (en) 2020-07-22
CN107531182A (zh) 2018-01-02
US20180105173A1 (en) 2018-04-19
US10427683B2 (en) 2019-10-01
EP3342644A4 (en) 2018-08-29
EP3342644A1 (en) 2018-07-04
CN107531182B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US10097812B2 (en) Stereo auto-calibration from structure-from-motion
KR101811157B1 (ko) 사발형 영상 시스템
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
US8102427B2 (en) Camera egomotion estimation from an infra-red image sequence for night vision
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
JP5299296B2 (ja) 車両周辺画像表示装置及び車両周辺画像表示方法
KR102438078B1 (ko) 어라운드뷰 제공 장치 및 방법
JP6699427B2 (ja) 車両用表示装置および車両用表示方法
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
WO2017033518A1 (ja) 車両用表示装置および車両用表示方法
JP2011033594A (ja) 車両用距離算出装置
JP6802999B2 (ja) 区画線検出システム
JP6565674B2 (ja) 車両用表示装置および車両用表示方法
JP7047291B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
WO2019198399A1 (ja) 画像処理装置および方法
JP5984714B2 (ja) 立体物検出装置、運転支援装置および立体物検出方法
WO2022160232A1 (zh) 一种检测方法、装置和车辆
JP6519408B2 (ja) 車両用表示装置および車両用表示方法
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
WO2017086057A1 (ja) 車両用表示装置および車両用表示方法
KR20140118115A (ko) 차량 주위 영상 보정 시스템 및 차량 주위 영상 보정 방법
JP2004310282A (ja) 車両検出装置
WO2023095340A1 (ja) 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16838865

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 201680025389.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016838865

Country of ref document: EP