WO2019172073A1 - 画像作成装置及び画像作成方法 - Google Patents

画像作成装置及び画像作成方法 Download PDF

Info

Publication number
WO2019172073A1
WO2019172073A1 PCT/JP2019/007827 JP2019007827W WO2019172073A1 WO 2019172073 A1 WO2019172073 A1 WO 2019172073A1 JP 2019007827 W JP2019007827 W JP 2019007827W WO 2019172073 A1 WO2019172073 A1 WO 2019172073A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
creation
dimensional object
overhead
Prior art date
Application number
PCT/JP2019/007827
Other languages
English (en)
French (fr)
Inventor
圭徳 尾崎
博彦 柳川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN201980017348.2A priority Critical patent/CN111819595A/zh
Priority to DE112019001190.1T priority patent/DE112019001190T5/de
Publication of WO2019172073A1 publication Critical patent/WO2019172073A1/ja
Priority to US17/011,763 priority patent/US11258963B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present disclosure relates to an image creation apparatus and an image creation method for creating an overhead image from a captured image obtained by capturing the periphery of a vehicle.
  • An image obtained by imaging the periphery of the vehicle using a plurality of in-vehicle cameras is converted into a bird's-eye view image obtained by projecting the periphery of the vehicle from a virtual camera above the vehicle and displayed on a display device provided in the vehicle.
  • Systems that provide and support safe driving are known.
  • Overhead conversion which is a conversion from a captured image to a bird's-eye view image, converts all points in the captured image as coordinates existing on the road surface. For this reason, it is recognized that the three-dimensional object existing in the image exists farther away from the road surface. As a result, the display of the three-dimensional object in the captured image is converted into a shape extending around the position of the in-vehicle camera by the overhead view conversion, and there is a difference between the state where the vehicle is actually viewed from above and the overhead view image. There was a possibility of giving a sense of incongruity.
  • Patent Document 1 when a three-dimensional object image that is an image representing a three-dimensional object is stored in advance and the three-dimensional object is detected, the position on the overhead image corresponding to the position where the three-dimensional object is detected.
  • a technique for displaying a composite image obtained by combining three-dimensional object images is disclosed. In this case, since the three-dimensional object image is combined with the bird's-eye view image after the bird's-eye view conversion, the above-described elongation due to the bird's-eye view conversion does not occur, and the above-mentioned uncomfortable feeling is eliminated.
  • This disclosure aims to provide a technique for suppressing a displayed three-dimensional object from giving a driver a sense of incongruity.
  • the image creation device includes an image acquisition unit and an overhead view creation unit.
  • the image acquisition unit is configured to acquire a captured image that is an image captured by an imaging device configured to capture a peripheral range that is a predetermined range around the vehicle.
  • the overhead view creation unit creates the overhead view image by performing the overhead view conversion, which is a process of converting the captured image into an overhead view image that is an image viewed from above the vehicle, based on the captured image acquired by the image acquisition unit. Configured.
  • the overhead view creation unit includes an outline extraction unit, an area determination unit, a first creation unit, a second creation unit, and an image composition unit.
  • the contour extraction unit is configured to extract the contour shape of an object existing in the captured image based on the luminance and chromaticity in the captured image in the captured image acquired by the image acquisition unit.
  • the region determination unit is a three-dimensional object region that is a region representing a three-dimensional object, or a road surface region that represents something other than a three-dimensional object. Configured to determine if there is.
  • the first creating unit has a solid curvature that is a predetermined curvature and projects it onto a three-dimensional projection surface that represents a virtual surface that is inclined in the upward direction from the imaging position of the imaging device toward the far side.
  • Stereoscopic conversion which is a process of performing coordinate conversion, is performed on the three-dimensional object region to create a stereoscopic image.
  • the second creation unit performs a plane view conversion, which is a process of converting the viewpoint by projecting on a road projection plane, which is a virtual plane set in advance, representing a road surface on which a vehicle exists in real space, to the road surface area. Configured to generate a planar view image.
  • the image composition unit is configured to synthesize the stereoscopic image created by the first creation unit and the planar view image created by the second creation unit.
  • the image creation method further includes an image acquisition process and an overhead view creation process.
  • the image acquisition step is configured to acquire a captured image that is an image captured by an imaging device configured to capture a peripheral range that is a predetermined range around the vehicle.
  • the bird's-eye view creation process the bird's-eye view image is created by performing the bird's-eye conversion, which is a process of converting the captured image into the bird's-eye view image viewed from above the vehicle, based on the captured image acquired in the image acquisition process.
  • the overhead view creation process includes an outline extraction process, an area determination process, a first creation process, a second creation process, and an image composition process.
  • the contour extraction step is configured to extract the contour shape of an object existing in the captured image based on the luminance and chromaticity in the captured image acquired in the captured image acquired in the image acquisition step.
  • the region represented by the contour shape is a three-dimensional object region that is a region representing a three-dimensional object, or a road surface region that represents other than a three-dimensional object. Configured to determine if there is.
  • the first creation step by projecting onto a three-dimensional projection surface that represents a virtual surface that has a three-dimensional curvature that is a predetermined curvature and that is inclined in the upward direction from the imaging position of the imaging device toward the far side.
  • Stereoscopic conversion which is a process of performing coordinate conversion, is performed on the three-dimensional object region to create a stereoscopic image.
  • plane view conversion which is a process of converting the viewpoint by projecting onto a road projection plane that is a preset virtual plane that represents a road surface on which a vehicle in real space exists, is applied to the road surface area.
  • the image composition step is configured to synthesize the stereoscopic image created in the first creation step and the planar view image created in the second creation step.
  • the image display system 1 is mounted on a vehicle and includes a front camera 10a, a rear camera 10b, a left camera 10c, a right camera 10d, an image creation device 20, and a display device 30, as shown in FIG.
  • a vehicle including the image display system 1 is referred to as a host vehicle.
  • the front camera 10a, the rear camera 10b, the left camera 10c, and the right camera 10d are imaging devices that capture an imaging range, which is a predetermined range, and have the same basic configuration.
  • the imaging devices 10 are also referred to as the imaging devices 10, respectively.
  • the front camera 10a and the rear camera 10b are mounted on the front portion of the own vehicle and the rear portion of the own vehicle, respectively.
  • the front part of the own vehicle refers to, for example, the front bumper of the vehicle, the vicinity of the rear mirror of the own vehicle, and the vicinity of the instrument panel of the own vehicle.
  • the rear portion of the own vehicle refers to, for example, the vicinity of the rear bumper of the own vehicle and the back door of the hatchback.
  • the left camera 10c and the right camera 10d are mounted near the center of the vehicle body in the front-rear direction.
  • the front camera 10a, the rear camera 10b, the left camera 10c, and the right camera 10d have optical axis directions that are 90 ° to the left of the vehicle forward direction, the vehicle backward direction, and the vehicle forward direction, respectively. It is mounted so that it faces 90 ° to the right with respect to the forward direction of the vehicle.
  • the front camera 10a and the rear camera 10b each capture an angle range of about 180 °, for example, in front of and behind the vehicle.
  • Each of the left camera 10c and the right camera 10d images, for example, a range of a viewing angle of about 180 ° on the left side and the right side of the vehicle.
  • the positional relationship between the front camera 10a and the left camera 10c, the left camera 10c and the rear camera 10b, the rear camera 10b and the right camera 10d, the right camera 10d and the front camera 10a is hereinafter referred to as an adjacent positional relationship.
  • the imaging devices 10 that are adjacent to each other are installed at positions where their imaging ranges partially overlap.
  • the display device 30 is mounted at a position where the driver can visually recognize the display from the driver's seat of the own vehicle, and acquires and displays the composite image from the image creation device 20.
  • the display device 30 is a known device such as a display installed on an instrument panel of the own vehicle or a display of a car navigation system mounted on the own vehicle.
  • the image creating apparatus 20 is mainly configured by a known microcomputer having a CPU 21 and a semiconductor memory (hereinafter referred to as a memory 22) such as a RAM, a ROM, and a flash memory.
  • a memory 22 such as a RAM, a ROM, and a flash memory.
  • Various functions of the image creating apparatus 20 are realized by the CPU 21 executing a program stored in a non-transitional physical recording medium.
  • the memory 22 corresponds to a non-transitional tangible recording medium that stores a program. Also, by executing this program, a method corresponding to the program is executed. Note that the number of microcomputers constituting the image creating apparatus 20 may be one or plural.
  • the image creating apparatus 20 is realized by the CPU 21 executing a program, but this method is not limited to software, and some or all of the elements are realized using one or a plurality of hardware. May be.
  • the electronic circuit may be realized by a digital circuit including a large number of logic circuits, an analog circuit, or a combination thereof.
  • the CPU 21 acquires captured images captured by each imaging device 10, that is, the front camera 10a, the rear camera 10b, the left camera 10c, and the right camera 10d.
  • the CPU 21 detects a three-dimensional object in each captured image acquired in S110.
  • the three-dimensional object here refers to an object having a height such as a roadside tree or a pylon, and includes humans such as pedestrians.
  • the detection of the three-dimensional object is performed by, for example, semantic segmentation for each captured image acquired in S110. Specifically, as shown in FIG. 4, semantic segmentation is performed by dividing a region based on luminance and chromaticity for each pixel of a captured image, and from the contour shape of the region divided by region division, a pedestrian and a street tree.
  • the type of the object represented by the area is determined.
  • the type of object represented by the region is determined based on learning data generated by machine learning.
  • the areas may be recognized separately for each area, such as pedestrian A and pedestrian B, for example. And when the kind of thing which a field shows is classified into a solid thing, it is judged with a solid thing.
  • the method for detecting a three-dimensional object is not limited to the method using semantic segmentation, and may be performed by various methods.
  • planar view processing refers to processing for creating an overall bird's-eye view image 103 by performing planar view conversion and combining the acquired captured images.
  • the overall bird's-eye view image 103 is an image converted so that the road surface on which the own vehicle exists is looked down from above the own vehicle.
  • planar view conversion means that the CPU 21 converts the viewpoint as seen from the virtual point Pi to the road surface projection surface corresponding to the plane on which the vehicle exists as shown in FIG.
  • the virtual point Pi is a point virtually set above the vehicle.
  • an image obtained by planarly converting a captured image captured by the front camera 10a is referred to as a front overhead image 103a
  • an image obtained by planarly converting the captured image captured by the rear camera 10b is referred to as a rear overhead image 103b
  • an image obtained by planarly transforming a captured image captured by the left camera 10c is referred to as a left overhead image 103c
  • an image obtained by planarly transforming an captured image captured by the right camera 10d is referred to as a right overhead image 103d.
  • the front overhead image 103a, the rear overhead image 103b, the left overhead image 103c, and the right overhead image 103d are also referred to as individual overhead images.
  • the CPU 21 displays the front overhead image 103a, the rear overhead image 103b, the left overhead image 103c, and the right overhead image 103d, which are captured images captured by the respective imaging devices 10, with respect to the position of the host vehicle. Synthesize to correspond.
  • the CPU 21 determines whether or not a three-dimensional object is displayed in any one of the captured images by detecting the three-dimensional object in S120.
  • the CPU 21 performs stereoscopic processing.
  • the stereoscopic object reflected in the captured image is subjected to stereoscopic conversion different from the planar conversion, and the stereoscopic object is prevented from being extended and displayed in the overhead image. And the process of combining.
  • the CPU 21 displays the image created in S130 or S150 on the display device 30, and ends the image display process. Further, a part of the created image, for example, an image within a predetermined range around the vehicle may be displayed.
  • the processing at S110 corresponds to an image acquisition unit and an image acquisition process
  • the processing from S120 to S160 corresponds to an overhead view creation unit and an overhead view creation process
  • the processing at S120 corresponds to an outline extraction unit, an outline extraction step, and an area. This corresponds to a determination unit and a region determination step.
  • the process in S130 corresponds to a second creation unit, a second creation process, and an overall synthesis unit.
  • the planar view solid object refers to a range representing the solid object that has been planarly transformed.
  • the overall overhead image 203 shown in FIG. 10 is obtained as a result of obtaining the above-described forward overhead image 201a and right overhead image 201d.
  • the overall overhead image 203 will be described on the assumption that a planar stereoscopic object 303k corresponding to the planar stereoscopic object 301k and a planar stereoscopic object 303m corresponding to the planar stereoscopic object 301m exist.
  • the CPU 21 deletes the planar view three-dimensional object from the entire overhead image 203.
  • the deletion of the planar view solid object may be performed, for example, by deleting the range in which the area determined to be the solid object in S120 is converted to the planar view as the planar view solid object.
  • the three-dimensional objects 303k and 303m in the plan view existing in the overall overhead image 203 are deleted.
  • the CPU 21 selects any one of the three-dimensional objects in plan view deleted in S210 as a selected three-dimensional object.
  • one of the three-dimensional objects 303k and 303m that are present in the overall overhead image 203 shown in FIG. 10 is selected as the selected three-dimensional object.
  • the CPU 21 determines whether or not the selected three-dimensional object selected in S220 exists in the overlapping range R in the overall overhead image 203.
  • the overlapping range R here is a range in which the individual overhead images overlap as shown in FIG.
  • planar view solid object 303m is determined to be a planar view solid object included in the overlapping range R
  • planar view solid object 303k is determined to be a planar view solid object not included in the overlap range R.
  • Whether or not the planar view solid object is included in the overlapping range R may be determined based on whether or not a point closest to the host vehicle included in the planar view solid object is included in the overlap range R. You may determine by whether the gravity center position of a solid object is contained in the overlapping range R.
  • the CPU 21 extracts a three-dimensional object region, which is a region in which the three-dimensional object corresponding to the selected three-dimensional object is reflected in the captured image, from the captured image, and proceeds to S270.
  • the extraction of the three-dimensional object region may be performed, for example, by extracting, as a three-dimensional object region, a range in which the same type of three-dimensional object is reflected in the captured image. If a plurality of the same type of three-dimensional object is reflected in the captured image, a three-dimensional object region corresponding to the selected three-dimensional object represented by the recognition result recognized separately for each three-dimensional object may be extracted.
  • the individual overhead view image synthesized in the overall overhead view image 203 may be inversely transformed to extract a region corresponding to the selected three-dimensional object as a three-dimensional object region.
  • the reverse conversion refers to conversion from an individual overhead image to a captured image with respect to a planar view conversion that is a conversion from the captured image to the individual overhead image.
  • planar view three-dimensional object 303m is selected as the selected three-dimensional object, it is determined that the selected three-dimensional object exists in the overlapping range R in the overall overhead image 203.
  • one of the captured images in which the selected three-dimensional object is included in the imaging range is selected as the selected image.
  • the selected image for example, a captured image in which the position where the selected three-dimensional object is reflected in the captured image is closer to the lower end of the captured image is selected.
  • the captured image captured by the imaging device 10 that is closer to the reflected three-dimensional object is selected as the selected image.
  • the CPU 21 extracts the extraction area from the selected image using the three-dimensional object area that is an area in which the three-dimensional object corresponding to the selected three-dimensional object is reflected in the selected image selected in S250, and performs the process in S270. Transition.
  • the extraction area extraction from the selected image is performed in the same manner as the extraction of the three-dimensional object area from the captured image performed in S240.
  • the CPU 21 creates a stereoscopic image by performing stereoscopic conversion based on the three-dimensional object region or the extracted region extracted in S240 or S260.
  • the stereoscopic image is created by projecting the three-dimensional object region or the extracted region extracted in S240 or S260 onto a three-dimensional projection surface Sr representing a predetermined curved surface as shown in FIG.
  • the three-dimensional projection surface Sr is a virtual curved surface having a three-dimensional curvature that is a predetermined curvature as shown in FIG. 13 and inclining in the upward direction from the imaging position of the imaging apparatus.
  • the stereoscopic projection plane Sr is set so that the origin position coincides with the center position of the own vehicle. Further, the X-axis direction represents the vehicle width direction of the own vehicle, the Y-axis direction represents the traveling direction of the own vehicle, and the Z-axis direction represents the height direction of the own vehicle.
  • the CPU 21 determines whether or not there is a solid object not selected in S220 in the overall overhead image 203.
  • the CPU 21 determines in S280 that there is an unselected solid object in S220 in the overall bird's-eye view image 203, the CPU 21 proceeds to S220 and performs the subsequent processes.
  • the processing from S220 to S280 is repeatedly performed until all the three-dimensional objects existing in the entire overhead image 203 are stereoscopically converted.
  • the three-dimensional object selected in S220 is selected from unselected planar view three-dimensional objects.
  • the CPU 21 determines in S280 that there is no solid object that has not been selected in S220 in the overall bird's-eye image 203, that is, if all the three-dimensional objects present in the overall bird's-eye image 203 have been selected, the CPU 21 proceeds to S290. Migrate processing.
  • the CPU 21 synthesizes the stereoscopic image created in S270 at a position corresponding to the position where the three-dimensional object is present in the overall overhead image 203, and ends the process. Note that when there are a plurality of stereoscopic images, they are respectively combined with the overall overhead image 203.
  • the composition of the stereoscopic image is performed by matching the lower end portion of the stereoscopic image to a point closest to the own vehicle in the range where the deleted three-dimensional object is displayed in S210. It may be done.
  • the synthesis of the stereoscopic image is not limited to such a method.
  • the center of gravity of the range in which the three-dimensional object is reflected in the overall overhead image 203 matches the center of gravity of the stereoscopic image. May be synthesized.
  • the processing at S230 corresponds to the object specifying unit
  • the processing at S250 and S260 corresponds to the region extracting unit
  • the processing at S270 corresponds to the first generating unit, the first generating step, and the selective converting unit
  • This processing corresponds to processing as an image composition unit, an image composition step, and a composition execution unit.
  • the discomfort that the driver learns can be suppressed by the displayed stereoscopic image.
  • the stereoscopic image is created based on the three-dimensional object captured by the captured image. For this reason, for example, it is possible to suppress a sense of discomfort given to the driver by displaying a bird's-eye view image of a three-dimensional object having a different color from the three-dimensional object that actually exists.
  • stereoscopic transformation different from the planar transformation is performed on the three-dimensional object region that is a region in which the three-dimensional object is reflected in the captured image.
  • the image Mc is compared with the three-dimensional object Mi.
  • the tip portion of the three-dimensional object that is far from the ground, especially if the three-dimensional object is a pedestrian, the portion corresponding to the head greatly extends compared to the other portions.
  • the image Mr projected onto the three-dimensional projection surface Sr has a small extension compared to the image Mc, and the tip portion is prevented from extending greatly compared to the other portions.
  • semantic segmentation determines from the contour shape to the type of the three-dimensional object represented by the region, but it may be determined only whether or not the object is a three-dimensional object.
  • captured images are acquired from a plurality of imaging devices 10, but the number of imaging devices 10 is not limited to a plurality, and may be one. That is, the above-described overhead conversion may be performed on one captured image.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment.
  • a system including the image creation apparatus as a constituent element, a program for causing a computer to function as the image creation apparatus, and a non-transitional actual recording such as a semiconductor memory in which the program is recorded
  • a non-transitional actual recording such as a semiconductor memory in which the program is recorded
  • the present disclosure can also be realized in various forms such as a medium and an image creation method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本開示の一態様は、画像作成装置（２０）であって、車両に搭載される。画像作成装置は、画像取得部（Ｓ１１０）と俯瞰作成部（Ｓ１２０～Ｓ１６０）とを備える。画像取得部は、当該車両の周辺範囲の撮像画像を取得する。俯瞰作成部は、俯瞰画像を作成する。俯瞰作成部は、輪郭抽出部（Ｓ１２０）と領域判別部（Ｓ１２０）と第一作成部（Ｓ２７０）と第二作成部（Ｓ１３０）と画像合成部（Ｓ２９０）とを備える。輪郭抽出部は、撮像画像中の物体の輪郭形状を抽出する。領域判別部は、輪郭形状の領域が、立体物領域か路面領域かを判別する。第一作成部は、立体視画像を作成し、第二作成部は、平面視画像を作成する。画像合成部は、立体視画像と平面視画像とを合成する。

Description

画像作成装置及び画像作成方法 関連出願の相互参照
　本国際出願は、２０１８年３月５日に日本国特許庁に出願された日本国特許出願第２０１８－３８５８１号に基づく優先権を主張するものであり、日本国特許出願第２０１８－３８５８１号の全内容を本国際出願に参照により援用する。
　本開示は、車両の周辺を撮像した撮像画像から俯瞰画像を作成する画像作成装置及び画像作成方法に関する。
　複数の車載カメラを用いて車両の周辺を撮像した画像を、車両の周囲を車両の上方の仮想カメラから映し出した俯瞰画像に変換し、当該車両に備えられた表示装置に表示することによりドライバに提示し、安全な運転を支援するシステムが知られている。
　撮像画像から俯瞰画像への変換である俯瞰変換は、撮像画像中のすべての点を路面上に存在する点であるとして座標変換する。このため、画像中に存在する立体物は路面から離れるほど遠くに存在するように認識される。その結果、撮像画像中の立体物の表示は、俯瞰変換により車載カメラの位置を中心として伸びた形状に変換され、実際に車両を上からみた様子と俯瞰画像とに相違が生じるため、ドライバに違和感を与える可能性があった。
　これに対し、特許文献１には、立体物を表した画像である立体物画像をあらかじめ記憶し、立体物を検知した場合に、その立体物が検知された位置に対応する俯瞰画像上の位置に、立体物画像を合成した合成画像を表示する技術が開示されている。この場合、立体物画像は俯瞰変換後の俯瞰画像に合成されるため、上述したような俯瞰変換による伸びが生じず、上述した違和感は解消される。
特開２００７－２９５０４３号公報
　しかしながら発明者の詳細な検討の結果、特許文献１に記載の方法では、合成画像において表示される立体物と実際に存在する立体物との形状及び色等が不一致となる可能性がある。そのような合成画像が表示されると、ドライバは、その形状及び色等の不一致に起因した違和感を覚える可能性があるという課題が見出された。
　本開示は、表示される立体物がドライバに違和感を与えることを抑制する技術を提供することを目的とする。
　本開示の一態様は、画像作成装置であって、車両に搭載される。画像作成装置は、画像取得部と、俯瞰作成部と、を備える。画像取得部は、当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像するように構成された撮像装置により撮像された画像である撮像画像を取得するように構成される。俯瞰作成部は、画像取得部により取得された撮像画像に基づいて、撮像画像を車両の上方から見た画像である俯瞰画像に変換する処理である俯瞰変換を行うことにより俯瞰画像を作成するように構成される。また、俯瞰作成部は、輪郭抽出部と、領域判別部と、第一作成部と、第二作成部と、画像合成部と、を備える。輪郭抽出部は、画像取得部により取得された撮像画像において、撮像画像中の輝度及び色度に基づいて、撮像画像中に存在する物体の輪郭形状を抽出するように構成される。領域判別部は、輪郭抽出部により抽出された輪郭形状に基づいて、当該輪郭形状が表している領域を、立体物を表す領域である立体物領域であるか、立体物以外を表す路面領域であるかを判別するように構成される。第一作成部は、あらかじめ決められた曲率である立体曲率を有し、かつ、撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の面を表した立体投影面に投影することにより座標変換する処理である立体視変換を、立体物領域に対して行い、立体視画像を作成するように構成される。第二作成部は、実空間上における車両が存在する路面を表した、あらかじめ設定される仮想の平面である路面投影面に投影することにより視点変換する処理である平面視変換を、路面領域に対して行い、平面視画像を作成するように構成される。画像合成部は、第一作成部により作成された立体視画像と第二作成部により作成された平面視画像とを合成するように構成される。
　本開示の別の一態様は、画像作成方法であって、車両に搭載される画像作成装置に画像を作成させる画像作成方法である。画像作成方法は、さらに、画像取得工程と、俯瞰作成工程と、を備える。画像取得工程では、当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像するように構成された撮像装置により撮像された画像である撮像画像を取得するように構成される。俯瞰作成工程では、画像取得工程により取得された撮像画像に基づいて、撮像画像を車両の上方から見た画像である俯瞰画像に変換する処理である俯瞰変換を行うことにより俯瞰画像を作成するように構成される。また、俯瞰作成工程は、輪郭抽出工程と、領域判別工程と、第一作成工程と、第二作成工程と、画像合成工程と、を含む。輪郭抽出工程では、画像取得工程により取得された撮像画像において、撮像画像中の輝度及び色度に基づいて、撮像画像中に存在する物体の輪郭形状を抽出するように構成される。領域判別工程では、輪郭抽出工程により抽出された輪郭形状に基づいて、当該輪郭形状が表している領域を、立体物を表す領域である立体物領域であるか、立体物以外を表す路面領域であるかを判別するように構成される。第一作成工程では、あらかじめ決められた曲率である立体曲率を有し、かつ、撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の面を表した立体投影面に投影することにより座標変換する処理である立体視変換を、立体物領域に対して行い、立体視画像を作成するように構成される。第二作成工程では、実空間上における車両が存在する路面を表した、あらかじめ設定される仮想の平面である路面投影面に投影することにより視点変換する処理である平面視変換を、路面領域に対して行い、平面視画像を作成するように構成される。画像合成工程では、第一作成工程により作成された立体視画像と第二作成工程により作成された平面視画像とを合成するように構成される。
　このような構成によれば、俯瞰画像において立体物の表示が伸びることを抑制することができ、立体物の伸びた表示がドライバに違和感を与えることを抑制することができる。
画像表示システムの構成を示すブロック図である。 自車において各構成が搭載される位置の例を表した図である。 画像表示処理を表したフローチャートである。 撮像画像に対して立体物検知を行った結果の例の図である。 平面視処理における用いられる路面投影面の形状を表した図である。 全体俯瞰画像を表した図である。 立体視処理を表したフローチャートである。 立体物が映り込んだ前方俯瞰画像１０１ａ及び後方俯瞰画像１０１ｂの例を表した図である。 立体物が映り込んだ左俯瞰画像１０１ｃ及び右俯瞰画像１０１ｄの例を表した図である。 立体物が映り込んだ全体俯瞰画像を表した図である。 重複範囲を表した図である。 立体視処理における用いられる立体投影面の形状を表した図である。 立体視処理において用いられる立体投影面の形状全体を表した図である。 立体視処理により作成される立体視画像を表した図である。 平面視処理と立体視処理とにより作成される像の形状の違いを表した図である。
　以下、図面を参照しながら、本開示の実施形態を説明する。
　［１．構成］
　画像表示システム１は車両に搭載され、図１に示すように、フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ、右カメラ１０ｄ、画像作成装置２０及び表示装置３０を備える。なお、以下では、画像表示システム１を備える車両を自車という。
　フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ及び右カメラ１０ｄはそれぞれあらかじめ決められた範囲である撮像範囲を撮像する撮像装置であり、それぞれ基本的な構成は同様である。以下では、フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ及び右カメラ１０ｄをそれぞれ区別しないときは、それぞれ撮像装置１０ともいう。
　図２に示すように、フロントカメラ１０ａ及びリアカメラ１０ｂは、自車の前方部分及び自車の後方部分にそれぞれ搭載される。ここで、自車の前方部分とは、例えば、車両のフロントバンパー、自車のバックミラー付近及び自車のインストルメンタルパネル付近などをいう。また、自車の後方部分とは、例えば自車のリアバンパー及びハッチバックのバックドア付近などをいう。左カメラ１０ｃ及び右カメラ１０ｄは、自車の車体の前後方向の中央付近にそれぞれ搭載される。
　フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ及び右カメラ１０ｄは、その光軸方向がそれぞれ、自車の前進方向、自車の後進方向、自車の前進方向に対して左側９０°の方向及び自車の前進方向に対して右側９０°の方向を向くように搭載される。
　また、フロントカメラ１０ａ及びリアカメラ１０ｂはそれぞれ、例えば自車の前方及び後方の視野角１８０°程度の角度範囲を撮像する。左カメラ１０ｃ及び右カメラ１０ｄはそれぞれ、例えば自車の左側方及び右側方の視野角１８０°程度の範囲を撮像する。
　フロントカメラ１０ａ及び左カメラ１０ｃ、左カメラ１０ｃ及びリアカメラ１０ｂ、リアカメラ１０ｂ及び右カメラ１０ｄ、右カメラ１０ｄ及びフロントカメラ１０ａの位置関係を以下では、隣り合う位置関係という。隣り合う位置関係にある撮像装置１０は、それぞれ、その撮像範囲が一部重なり合う位置に設置される。
　表示装置３０は、自車の運転席からドライバが表示を視認できる位置に搭載され、画像作成装置２０から合成画像を取得して表示する。表示装置３０は例えば、自車のインストルメントパネルに設置されたディスプレイや自車に搭載されたカーナビゲーションシステムのディスプレイなどの周知の装置である。
　画像作成装置２０は、ＣＰＵ２１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ２２）と、を有する周知のマイクロコンピュータを中心に構成される。画像作成装置２０の各種機能は、ＣＰＵ２１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ２２がプログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像作成装置２０を構成するマイクロコンピュータの数は１つでも複数でもよい。
　画像作成装置２０は、ＣＰＵ２１がプログラムを実行することで実現されるが、この手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
　［２．処理］
＜画像表示処理＞
　次に、ＣＰＵ２１が実行する画像表示処理について、図３のフローチャートを用いて説明する。画像表示処理はシフトレバーが「Ｒ」の位置に設定されている場合に繰り返し実行される。ここでいう「Ｒ」の位置とは、リバースレンジであって、車両を後進させる際にシフトレバーを移動させる位置である。
　Ｓ１１０で、ＣＰＵ２１は、各撮像装置１０、すなわち、フロントカメラ１０ａ、リアカメラ１０ｂ、左カメラ１０ｃ及び右カメラ１０ｄにより撮像された撮像画像を取得する。
　Ｓ１２０で、ＣＰＵ２１は、Ｓ１１０で取得した各撮像画像それぞれにおいて立体物の検知を行う。ここでいう立体物とは、例えば街路樹やパイロンなど高さのある物をいい、歩行者などの人間も含む。また、立体物の検知は、例えば、Ｓ１１０で取得した各撮像画像に対してセマンティックセグメンテーションにより行われる。セマンティックセグメンテーションは、具体的には、図４に示すように撮像画像の画素ごとの輝度及び色度に基づいて領域分けを行い、領域分けにより分けられた領域の輪郭形状から、歩行者、街路樹などといった、その領域が表す物の種類を決定する。領域が表す物の種類は、機械学習により生成された学習データを元に決定される。なお、同一種類の物を表した領域が複数検知された場合、例えば、歩行者Ａ、歩行者Ｂといったように、領域ごとに分けて認識してもよい。そして領域が表す物の種類が立体物に分類される場合、立体物であると判定される。なお、立体物の検出方法はセマンティックセグメンテーションを用いた方法に限定されるものではなく、種々の方法により行ってもよい。
　Ｓ１３０で、ＣＰＵ２１は、Ｓ１１０で平面視処理を行う。
　ここで平面視処理は、取得された各撮像画像を平面視変換し合成することにより全体俯瞰画像１０３を作成する処理をいう。ここでいう、全体俯瞰画像１０３は、自車の上方から自車の存在する路面を見下ろしたように変換された画像である。
　平面視変換は、具体的には、ＣＰＵ２１は図５に示すように自車の存在する平面に対応した面である路面投影面に仮想点Ｐｉから見たように視点変換することをいう。なお、仮想点Ｐｉは車両の上方に仮想的に設定される点である。
　また、フロントカメラ１０ａにより撮像された撮像画像を平面視変換した画像を前方俯瞰画像１０３ａといい、リアカメラ１０ｂにより撮像された撮像画像を平面視変換した画像を後方俯瞰画像１０３ｂという。また、同様に、左カメラ１０ｃにより撮像された撮像画像を平面視変換した画像を左俯瞰画像１０３ｃといい、右カメラ１０ｄにより撮像された撮像画像を平面視変換した画像を右俯瞰画像１０３ｄという。なお、前方俯瞰画像１０３ａ、後方俯瞰画像１０３ｂ、左俯瞰画像１０３ｃ及び右俯瞰画像１０３ｄをそれぞれ個別俯瞰画像ともいう。
　そして、ＣＰＵ２１は、図６に示すように各撮像装置１０により撮像された撮像画像である前方俯瞰画像１０３ａ、後方俯瞰画像１０３ｂ、左俯瞰画像１０３ｃ及び右俯瞰画像１０３ｄを自車の位置に対して対応するように合成する。
　Ｓ１４０で、ＣＰＵ２１は、Ｓ１２０での立体物検知により、各撮像画像のいずれかに立体物が表示されているか否かを判定する。
　各撮像画像のいずれかに立体物が表示されているとＳ１４０で判定された場合、ＣＰＵ２１は、Ｓ１５０に処理を移行する。
　Ｓ１５０で、ＣＰＵ２１は、立体視処理を行う。
　ここで立体視処理は、撮像画像に映り込んだ立体物に関して、平面視変換とは異なる立体視変換を行い、立体物が俯瞰画像において伸びて表示されることを抑制したうえで、全体俯瞰画像と合成する処理をいう。
　一方、撮像画像内に立体物が存在しないとＳ１４０で判定された場合、ＣＰＵ２１は、Ｓ１６０に処理を移行する。
　Ｓ１６０で、ＣＰＵ２１は、Ｓ１３０又はＳ１５０にて作成された画像を表示装置３０に表示し、画像表示処理を終了する。また、作成された画像の一部、例えば、車両の周辺のあらかじめ決められた範囲内の画像を表示してもよい。
　なお、Ｓ１１０での処理が画像取得部及び画像取得工程に相当し、Ｓ１２０からＳ１６０までの処理が俯瞰作成部及び俯瞰作成工程に相当し、Ｓ１２０での処理が輪郭抽出部、輪郭抽出工程、領域判別部及び領域判別工程に相当する。Ｓ１３０での処理が第二作成部、第二作成工程及び全体合成部に相当する。
＜立体視処理＞
　次にＳ１５０でＣＰＵ２１が実行する立体視処理について、図７のフローチャートを用いて説明する。
　ここでは、Ｓ１３０での平面視処理において、図８に示すような平面視立体物３０１ｋ及び平面視立体物３０１ｌが映り込んだ前方俯瞰画像２０１ａ及び図９に示すような平面視立体物３０１ｍが映り込んだ右俯瞰画像２０１ｄが得られた場合を例として説明する。ここで、平面視立体物とは、平面視変換された立体物を表した範囲をいう。
　また、上述した前方俯瞰画像２０１ａ及び右俯瞰画像２０１ｄが得られた結果、図１０に示す全体俯瞰画像２０３が得られたとして説明する。ここで、全体俯瞰画像２０３には、平面視立体物３０１ｋに対応する平面視立体物３０３ｋ及び平面視立体物３０１ｍに対応する平面視立体物３０３ｍが存在するとして説明する。
　Ｓ２１０で、ＣＰＵ２１は、全体俯瞰画像２０３のうち平面視立体物を消去する。
　ここで、平面視立体物の消去は、例えば、Ｓ１２０で立体物であると判定された領域が平面視変換された範囲を平面視立体物であるとして消去することにより行われてもよい。
　具体的には、図１０に示すように全体俯瞰画像２０３に存在する平面視立体物３０３ｋ、３０３ｍを消去する。
　Ｓ２２０で、ＣＰＵ２１は、Ｓ２１０で消去された平面視立体物のうち、いずれか１つを選択立体物として選択する。
　具体的には、例えば、図１０に示す全体俯瞰画像２０３に存在する平面視立体物３０３ｋ、３０３ｍのうちいずれか１つを選択立体物として選択する。
　Ｓ２３０で、ＣＰＵ２１は、Ｓ２２０で選択した選択立体物が、全体俯瞰画像２０３において、重複範囲Ｒに存在するか否かを判定する。ここでいう重複範囲Ｒとは、図１１に示すように、個別俯瞰画像同士が重複した範囲をいう。
　例えば、平面視立体物３０３ｍについては、重複範囲Ｒに含まれる平面視立体物であると判定され、平面視立体物３０３ｋについては、重複範囲Ｒに含まれない平面視立体物であると判定される。
　なお、平面視立体物が重複範囲Ｒに含まれるか否かは、平面視立体物に含まれる自車に最も近い点が重複範囲Ｒに含まれるか否かにより判定してもよく、平面視立体物の重心位置が重複範囲Ｒに含まれるか否かにより判定してもよい。
　ＣＰＵ２１は、Ｓ２３０で、全体俯瞰画像２０３において、選択立体物が重複範囲Ｒに存在しないと判定された場合、Ｓ２４０に処理を移行する。
　Ｓ２４０で、ＣＰＵ２１は、選択立体物に対応した立体物が撮像画像に映り込んでいる領域である立体物領域を撮像画像から抽出し、Ｓ２７０に処理を移行する。立体物領域の抽出は、例えば、撮像画像において、選択立体物と同一の種類の立体物が映り込んでいる範囲を、立体物領域として抽出することにより行われてもよい。なお、同一の種類の立体物が撮像画像において複数映り込んでいる場合には、立体物ごとに分けて認識した認識結果が表す選択立体物に対応した立体物領域を抽出してもよい。
　また、全体俯瞰画像２０３において合成された個別俯瞰画像を逆変換し、選択立体物に対応した領域を立体物領域として抽出することにより行われてもよい。ここで逆変換とは、撮像画像から個別俯瞰画像への変換である平面視変換に対して、個別俯瞰画像から撮像画像への変換をいう。
　一方、ＣＰＵ２１は、Ｓ２３０で、選択立体物が全体俯瞰画像２０３において、重複範囲Ｒに存在すると判定された場合には、Ｓ２５０に処理を移行する。
　具体的には、平面視立体物３０３ｍが選択立体物として選択された場合、選択立体物が全体俯瞰画像２０３において、重複範囲Ｒに存在すると判定される。
　Ｓ２５０で、選択立体物が撮像範囲に含まれる撮像画像のうち、いずれかの撮像画像を選択画像として選択する。
　ここで、選択画像は、例えば、撮像画像に選択立体物が映り込んでいる位置が当該撮像画像の下端からより近い撮像画像が選択される。すなわち、映り込んでいる立体物との距離がより近い撮像装置１０により撮像された撮像画像を選択画像として選択する。
　Ｓ２６０で、ＣＰＵ２１は、Ｓ２５０で選択した選択画像に選択立体物に対応した立体物が映り込んでいる領域である立体物領域を抽出領域として、選択画像から抽出領域を抽出し、Ｓ２７０に処理を移行する。選択画像からの抽出領域の抽出は、Ｓ２４０で行った、撮像画像からの立体物領域の抽出と同様に行われる。
　Ｓ２７０で、ＣＰＵ２１は、Ｓ２４０又はＳ２６０で抽出された立体物領域又は抽出領域に基づいて、立体視変換を行うことにより立体視画像を作成する。
　ここで、立体視画像は、Ｓ２４０又はＳ２６０で抽出された立体物領域又は抽出領域を、図１２に示すようにあらかじめ決められた曲面を表した立体投影面Ｓｒに投影することにより作成される。また立体投影面Ｓｒは、図１３に示すようなあらかじめ決められた曲率である立体曲率を有し、かつ、撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の曲面である。
　立体投影面Ｓｒは、原点位置が自車の中心位置と一致するように設定される。また、Ｘ軸方向が自車の車幅方向を表し、Ｙ軸方向が自車の進行方向を表し、Ｚ軸方向が自車の高さ方向を表す。
　Ｓ２８０で、ＣＰＵ２１は、全体俯瞰画像２０３中にＳ２２０で未選択の立体物が存在するか否か判定する。
　ＣＰＵ２１は、Ｓ２８０で、全体俯瞰画像２０３中にＳ２２０で未選択の立体物が存在すると判定した場合、Ｓ２２０に処理を移行し、以降の処理を行う。
　すなわち、Ｓ２２０からＳ２８０までの処理は、全体俯瞰画像２０３中に存在する立体物がすべて立体視変換されるまで、繰り返し行われる。なお、Ｓ２２０で選択される立体物は、未選択の平面視立体物から選択される。
　一方、ＣＰＵ２１は、Ｓ２８０で、全体俯瞰画像２０３中にＳ２２０で未選択の立体物が存在しない、すなわち、全体俯瞰画像２０３中に存在する立体物をすべて選択したと判定した場合には、Ｓ２９０に処理を移行する。
　Ｓ２９０で、ＣＰＵ２１は、全体俯瞰画像２０３中の立体物が存在した位置に相当する位置に、Ｓ２７０で作成された立体視画像を合成し、処理を終了する。なお、立体視画像が複数存在する場合には、それぞれ全体俯瞰画像２０３に合成する。
　ここで、立体視画像の合成は、例えば、図１４に示すように、Ｓ２１０において、消去した立体物を表示した範囲の最も自車に近い点に、立体視画像の下端部分を一致させることにより行われてもよい。ただし、立体視画像の合成は、このような方法に限定されるものではなく、例えば、全体俯瞰画像２０３中の立体物が映り込んだ範囲の重心位置と、立体視画像の重心位置とが一致するように合成されてもよい。
　Ｓ２３０での処理が物体特定部に相当し、Ｓ２５０及びＳ２６０での処理が領域抽出部に相当し、Ｓ２７０での処理が第一作成部、第一作成工程及び選択変換部に相当し、Ｓ２９０での処理が画像合成部、画像合成工程及び合成実行部としての処理に相当する。
　［３．効果］
　以上詳述した実施形態によれば、以下の効果を奏する。
　（１）上述した実施形態では、表示された立体視画像により、ドライバが覚える違和感を抑制することができる。
　すなわち、本実施形態では、立体視画像は、撮像画像により撮像された立体物を元に作成される。このため、例えば、実際に存在する立体物と異なる色の立体物の俯瞰画像が表示されることによりドライバに与える違和感を抑制することができる。
　（２）また、本実施形態では、立体物が撮像画像に映り込んでいる領域である立体物領域に対して、平面視変換とは異なる立体視変換が行われる。この立体視変換が行われることにより、立体物が伸びて表示されることが抑制される。これにより、立体物と平面とで同じ俯瞰変換が行われた場合に比べ、ドライバに与える違和感を抑制することができる。
　具体的には、図１５に示すように、立体物Ｍｉを路面投影面Ｓｃに投影した像Ｍｃと、実際に存在する立体物Ｍｉの形状とを比べると、像Ｍｃは、立体物Ｍｉに比べて伸び、特に、特に立体物の地面から遠い先端部分、立体物が歩行者であれば頭部に相当する部分がそれ以外の部分に比べ大きく伸びることがわかる。これに対して、立体投影面Ｓｒに投影した像Ｍｒは、像Ｍｃに比べ伸びも小さく、先端部分がそれ以外の部分に比べて大きく伸びることが抑制される。
　立体物領域についてこのような立体視変換がなされることにより、ドライバに与える違和感を抑制することができる。
　［４．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（１）上記実施形態では、セマンティックセグメンテーションにより、輪郭形状からその領域が表す立体物の種類まで判定するが、立体物であるか否かのみを判定してもよい。
　（２）上記実施形態では、複数の撮像装置１０から撮像画像を取得するが、撮像装置１０の数は複数に限定されるものではなく、一つであってもよい。すなわち、一つの撮像画像に対して上述した俯瞰変換を行ってもよい。
　（３）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
　（４）上述した画像作成装置の他、当該画像作成装置を構成要素とするシステム、当該画像作成装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像作成方法など、種々の形態で本開示を実現することもできる。

Claims (5)

  1. 　車両に搭載され、
    　当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像するように構成された撮像装置（１０）により撮像された画像である撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
    　前記画像取得部により取得された前記撮像画像に基づいて、前記撮像画像を前記車両の上方から見た画像である俯瞰画像に変換する処理である俯瞰変換を行うことにより俯瞰画像を作成するように構成された俯瞰作成部（Ｓ１２０～Ｓ１６０）と、を備え、
    　前記俯瞰作成部は、
    　前記画像取得部により取得された前記撮像画像において、前記撮像画像中の輝度及び色度に基づいて、前記撮像画像中に存在する物体の輪郭形状を抽出するように構成された輪郭抽出部（Ｓ１２０）と、
    　前記輪郭抽出部により抽出された前記輪郭形状に基づいて、当該輪郭形状が表している領域を、立体物を表す領域である立体物領域であるか、立体物以外を表す路面領域であるかを判別するように構成された領域判別部（Ｓ１２０）と、
    　あらかじめ決められた曲率である立体曲率を有し、かつ、前記撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の面を表した立体投影面に投影することにより座標変換する処理である立体視変換を、前記立体物領域に対して行い、立体視画像を作成するように構成された第一作成部（Ｓ２７０）と、
    　実空間上における前記車両が存在する路面を表した、あらかじめ設定される仮想の平面である路面投影面に投影することにより視点変換する処理である平面視変換を、前記路面領域に対して行い、平面視画像を作成するように構成された第二作成部（Ｓ１３０）と、
    　前記第一作成部により作成された前記立体視画像と前記第二作成部により作成された前記平面視画像とを合成するように構成された画像合成部（Ｓ２９０）と、
    　を備える、画像作成装置（２０）。
  2. 　請求項１に記載の画像作成装置であって、
    　前記画像取得部は、撮像範囲が互いに重なり合う重複範囲を有するように設置された複数の撮像装置から前記撮像画像を複数取得するように構成され、
    　前記俯瞰作成部は、前記画像取得部により取得された複数の前記撮像画像のそれぞれに対して前記平面視変換を行うことにより個別俯瞰画像を作成するように構成され、
    　前記複数の個別俯瞰画像を合成した全体俯瞰画像を作成するように構成された全体合成部（Ｓ１３０）を更に備え、
    　前記俯瞰作成部は、
    　前記画像取得部により取得された複数の前記撮像画像のそれぞれに対して前記平面視変換を行うことにより個別俯瞰画像を作成するように構成され、
    　前記領域判別部は、前記撮像画像同士の前記重複範囲中に含まれる前記立体物を特定するように構成された物体特定部（Ｓ２３０）と、
    　前記物体特定部により特定された前記重複範囲に映り込んでいる前記立体物が同一の立体物を表している場合、前記複数の撮像画像のうち、前記撮像画像の下端から距離がより近い位置に存在する前記立体物領域を抽出領域として抽出するように構成された領域抽出部（Ｓ２５０、Ｓ２６０）と、
    　前記抽出領域に対して前記立体視変換を行うことにより前記立体視画像を作成するように構成された選択変換部（Ｓ２７０）と、を備え、
    　前記画像合成部は、前記平面視画像における前記抽出領域に相当する位置に前記選択変換部により作成された前記立体視画像を合成するように構成された、画像作成装置。
  3. 　請求項１又は請求項２に記載の画像作成装置であって、
    　前記画像合成部は、
    　前記第二作成部により作成された前記平面視画像の前記立体物領域の下端に相当する位置と、前記立体視画像の下端とを一致させて合成するように構成された合成実行部（Ｓ２９０）を備える、画像作成装置。
  4. 　請求項１から請求項３までのいずれか１項に記載の画像作成装置であって、
    　前記領域判別部は、セマンティックセグメンテーションを用いて立体物であるか否かを判定するように構成された、画像作成装置。
  5. 　車両に搭載される画像作成装置に画像を作成させる画像作成方法であって、
    　当該車両の周辺のあらかじめ決められた範囲である周辺範囲を撮像するように構成された撮像装置（１０）により撮像された画像である撮像画像を取得するように構成された画像取得工程（Ｓ１１０）と、
    　前記画像取得工程により取得された前記撮像画像に基づいて、前記撮像画像を前記車両の上方から見た画像である俯瞰画像に変換する処理である俯瞰変換を行うことにより俯瞰画像を作成するように構成された俯瞰作成工程（Ｓ１２０～Ｓ１６０）と、を備え、
    　前記俯瞰作成工程は、
    　前記画像取得工程により取得された前記撮像画像において、前記撮像画像中の輝度及び色度に基づいて、前記撮像画像中に存在する物体の輪郭形状を抽出するように構成された輪郭抽出工程（Ｓ１２０）と、
    　前記輪郭抽出工程により抽出された前記輪郭形状に基づいて、当該輪郭形状が表している領域を、立体物を表す領域である立体物領域であるか、立体物以外を表す路面領域であるかを判別するように構成された領域判別工程（Ｓ１２０）と、
    　あらかじめ決められた曲率である立体曲率を有し、かつ、前記撮像装置の撮像位置から遠方に向かって上り方向に傾斜する仮想の面を表した立体投影面に投影することにより座標変換する処理である立体視変換を、前記立体物領域に対して行い、立体視画像を作成するように構成された第一作成工程（Ｓ２７０）と、
    　実空間上における前記車両が存在する路面を表した、あらかじめ設定される仮想の平面である路面投影面に投影することにより視点変換する処理である平面視変換を、前記路面領域に対して行い、平面視画像を作成するように構成された第二作成工程（Ｓ１３０）と、
    　前記第一作成工程により作成された前記立体視画像と前記第二作成工程により作成された前記平面視画像とを合成するように構成された画像合成工程（Ｓ２９０）と、
    　を含む、画像作成方法（２０）。
PCT/JP2019/007827 2018-03-05 2019-02-28 画像作成装置及び画像作成方法 WO2019172073A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980017348.2A CN111819595A (zh) 2018-03-05 2019-02-28 图像制成装置以及图像制成方法
DE112019001190.1T DE112019001190T5 (de) 2018-03-05 2019-02-28 Bilderzeugungsvorrichtung und bilderzeugungsverfahren
US17/011,763 US11258963B2 (en) 2018-03-05 2020-09-03 Image creation device and image creation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018038581A JP6809495B2 (ja) 2018-03-05 2018-03-05 画像作成装置
JP2018-038581 2018-03-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/011,763 Continuation US11258963B2 (en) 2018-03-05 2020-09-03 Image creation device and image creation method

Publications (1)

Publication Number Publication Date
WO2019172073A1 true WO2019172073A1 (ja) 2019-09-12

Family

ID=67846170

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007827 WO2019172073A1 (ja) 2018-03-05 2019-02-28 画像作成装置及び画像作成方法

Country Status (5)

Country Link
US (1) US11258963B2 (ja)
JP (1) JP6809495B2 (ja)
CN (1) CN111819595A (ja)
DE (1) DE112019001190T5 (ja)
WO (1) WO2019172073A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109452A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
JP2013090005A (ja) * 2011-10-13 2013-05-13 Aisin Seiki Co Ltd 画像生成装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4626400B2 (ja) 2005-05-25 2011-02-09 日産自動車株式会社 俯瞰画像表示装置及び俯瞰画像表示方法
JP4846426B2 (ja) 2006-04-20 2011-12-28 パナソニック株式会社 車両周囲監視装置
EP2720458A4 (en) * 2011-06-09 2015-02-25 Aisin Seiki IMAGING DEVICE
CN103782591B (zh) * 2011-08-26 2017-02-15 松下知识产权经营株式会社 驾驶辅助装置
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
JP5959073B2 (ja) * 2014-09-30 2016-08-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、及び、プログラム
US9916522B2 (en) * 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
US9704257B1 (en) * 2016-03-25 2017-07-11 Mitsubishi Electric Research Laboratories, Inc. System and method for semantic segmentation using Gaussian random field network
JP6672076B2 (ja) * 2016-05-27 2020-03-25 株式会社東芝 情報処理装置及び移動体装置
US10671860B2 (en) * 2018-02-20 2020-06-02 GM Global Technology Operations LLC Providing information-rich map semantics to navigation metric map

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109452A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
JP2013090005A (ja) * 2011-10-13 2013-05-13 Aisin Seiki Co Ltd 画像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NEZU TADASHI ET AL.: "Camera to see everything", NIKKEI ELECTRONICS, no. 1179, 20 April 2017 (2017-04-20), pages 30 *

Also Published As

Publication number Publication date
US20200404191A1 (en) 2020-12-24
CN111819595A (zh) 2020-10-23
DE112019001190T5 (de) 2020-12-10
JP2019153138A (ja) 2019-09-12
US11258963B2 (en) 2022-02-22
JP6809495B2 (ja) 2021-01-06

Similar Documents

Publication Publication Date Title
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP7263731B2 (ja) 画像処理装置
JP6406159B2 (ja) 車載表示制御装置、車載表示制御方法
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
WO2017022497A1 (ja) 運転者に支援画像を提示する装置及びその方法
CN110857057B (zh) 车辆用周边显示装置
JP2017098932A (ja) 車両用表示装置および車両用表示方法
JP2008048094A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
CN111918020A (zh) 图像处理装置、以及图像处理方法
US11458892B2 (en) Image generation device and image generation method for generating a composite image
JP2018074411A (ja) 物体検出装置及び物体検出方法
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
JP6406175B2 (ja) 車載表示制御装置、車載表示制御方法
WO2019172073A1 (ja) 画像作成装置及び画像作成方法
JP7203205B2 (ja) 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
JP7209442B2 (ja) 画像処理装置及び画像処理方法
JP2020053916A (ja) 表示制御装置、車両、表示制御方法
WO2017086057A1 (ja) 車両用表示装置および車両用表示方法
JP6785480B2 (ja) 画像合成装置、及び、制御方法
JP6781010B2 (ja) 画像表示装置及び画像処理方法
JP6700222B2 (ja) 画像作成装置
JP2007028444A (ja) 画像表示システム
JP2023061207A (ja) 車両用視認装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764279

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19764279

Country of ref document: EP

Kind code of ref document: A1