WO2019003854A1 - 画像処理装置、画像変換方法 - Google Patents

画像処理装置、画像変換方法 Download PDF

Info

Publication number
WO2019003854A1
WO2019003854A1 PCT/JP2018/021906 JP2018021906W WO2019003854A1 WO 2019003854 A1 WO2019003854 A1 WO 2019003854A1 JP 2018021906 W JP2018021906 W JP 2018021906W WO 2019003854 A1 WO2019003854 A1 WO 2019003854A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
conversion
distance
coordinate
information
Prior art date
Application number
PCT/JP2018/021906
Other languages
English (en)
French (fr)
Inventor
樋口　晴彦
田中　和彦
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US16/627,723 priority Critical patent/US11134204B2/en
Priority to EP18824785.2A priority patent/EP3648458A4/en
Priority to CN201880043396.4A priority patent/CN110832851B/zh
Publication of WO2019003854A1 publication Critical patent/WO2019003854A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image processing apparatus and an image conversion method.
  • Patent Document 1 a captured image acquisition unit that acquires data of a captured image captured by a camera mounted on a vehicle, a viewpoint setting unit that sets a virtual viewpoint of an image to be displayed, and the projection of the captured image Coordinate system deformation means for deforming at least a part of a reference curved surface coordinate system having a curved surface, which has been defined in advance, in accordance with the position of the virtual viewpoint with respect to the reference curved surface coordinate system; Projection means for projecting data onto the deformed coordinate system and generating an image of the vehicle and the surroundings of the vehicle from the set virtual viewpoint, and displaying the generated image on a display screen
  • a display device for a vehicle having display control means.
  • An image processing apparatus is an image acquisition unit for acquiring a captured image having a first spatial resolution, and depth information having a second spatial resolution lower than the first spatial resolution.
  • a distance acquisition unit for acquiring a distance image, an image recognition unit for extracting a region including a three-dimensional object region corresponding to a three-dimensional object in the photographed image, and calculating depth information of the three-dimensional object region based on the distance image
  • a distance calculation unit a correction unit that corrects coordinate conversion information for coordinate conversion of the captured image based on depth information of the solid object region calculated by the distance calculation unit, and coordinate conversion information corrected by the correction unit
  • a viewpoint conversion image generation unit configured to generate a viewpoint conversion image obtained by performing coordinate conversion on the photographed image using
  • An image conversion method is to obtain a captured image having a first spatial resolution, and depth information having a second spatial resolution lower than the first spatial resolution.
  • Obtaining a distance image extracting a region including a three-dimensional object region corresponding to a three-dimensional object in the photographed image, calculating depth information of the three-dimensional object region based on the distance image, The coordinate conversion information for converting the coordinate of the photographed image is corrected based on the calculated depth information of the three-dimensional object region, and the coordinate conversion information of the photographed image is converted using the coordinate conversion information corrected by the correction. Generating a viewpoint conversion image.
  • FIG. (C) shows the relationship between density and distance Functional block diagram of the image processing apparatus 100 according to the first embodiment A view from above of a vehicle 20 equipped with the image processing apparatus 100 Side view of the vehicle 20 Diagram showing definitions of camera coordinate system, virtual viewpoint coordinate system, and world coordinate system Figure showing an example of table data 121 A figure showing an example of amendment of table data 121 in a 1st embodiment 9 (a) shows a photographed image 900 of the front camera 10A, FIG.
  • FIG. 9 (b) shows a distance image 910 obtained by the distance detection unit 14, and FIG. 9 (c) shows an ideal distance sensor.
  • Showing a distance image 920 10 (a) is an enlarged view of the area 911 in FIG. 9 (b) and the outline of the tree 21 superimposed, and FIG. 10 (b) is a view showing the boundary of regions having different distances in FIG. 10 (A).
  • FIG. 10C is a diagram in which coordinate corresponding pixels of the table data 121 are superimposed on FIG. 10B.
  • 11 (a) shows an example of segment division, and FIG. 11 (b) shows a segment with a symbol.
  • Flow chart showing the operation of the image processing apparatus 100 in the first embodiment A figure showing an example of table data 121A in modification 1 Fig.
  • FIG. 14 (a) is a diagram showing a case where coordinate corresponding points are set sparsely with respect to the contour
  • Fig. 14 (b) is a schematic diagram showing ideal depth information between PQs in Fig. 14 (a).
  • FIG.14 (c) is a schematic diagram which shows the depth information between PQ in Fig.14 (a).
  • Fig.15 (a) is a figure which shows the coordinate corresponding point corrected by the table correction
  • FIG.15 (b) is a schematic diagram which shows the depth information between PQ in Fig.15 (a).
  • Functional block diagram of the image processing apparatus 100 in the second embodiment The figure which shows an example of correction
  • FIG. 1 is a hardware configuration diagram of an image processing apparatus 100 mounted on a vehicle 20.
  • the vehicle 20 includes an image processing apparatus 100, a front camera 10A, a left camera 10B, a right camera 10C, a rear camera 10D, a display unit 13, and a distance detection unit 14.
  • the front camera 10A, the left camera 10B, the right camera 10C, and the rear camera 10D are collectively referred to as a camera 10.
  • An image obtained by photographing by the camera 10 is called a photographed image.
  • the resolution of the captured image is determined by, for example, the number of imaging devices incorporated in the camera 10, and has a resolution of 1920 ⁇ 1080, for example.
  • this resolution is also referred to as spatial resolution.
  • the camera 10 and the distance detection unit 14 operate in synchronization, and acquire surrounding information at the same timing.
  • the image processing apparatus 100 captures an image of the surroundings of the vehicle 20 by using an image captured by the camera 10 and installing a virtual camera at a virtual position (hereinafter, virtual viewpoint) different from the installation position of the camera 10
  • An image (hereinafter referred to as a viewpoint conversion image) obtained in the case is output to the display unit 13.
  • the mounting position and mounting posture of the camera 10 to the vehicle 20 are known and stored in the storage unit 104.
  • the display unit 13 is, for example, a display unit of an LCD display, a projector, or a car navigation device mounted on the vehicle 20.
  • the display unit 13 displays the information output from the interface 105.
  • the distance detection unit 14 detects depth information of an object around the vehicle as information having resolution in the horizontal and vertical directions, that is, in two dimensions.
  • the distance detection unit 14 is, for example, LIDAR (Light Detection and Ranging).
  • distance information having two-dimensional resolution acquired by the distance detection unit 14 will be referred to as a “distance image”.
  • the field of view of the distance detection unit 14 overlaps at least a part of the camera 10. In the present embodiment, it is assumed that the field of view of the front camera 10A and the field of view of the distance detection unit 14 coincide with each other. However, the resolution of the distance image acquired by the distance detection unit 14 is lower than the resolution of the camera 10.
  • the distance detection unit 14 has a resolution of 25x25. That is, when the spatial resolution of the captured image is referred to as a first spatial resolution and the spatial resolution of the distance image is referred to as a second spatial resolution, the second spatial resolution is lower than the first spatial resolution.
  • the resolution in the depth direction in the distance image is referred to as “distance resolution” and is distinguished from the spatial resolution.
  • the mounting position and mounting posture of the distance detection unit 14 on the vehicle 20 are known, and are stored in the storage unit 104.
  • FIG. 2 (a) is a conceptual view of a distance image obtained by the distance detection unit 14
  • FIG. 2 (b) is a conceptual view of a distance image obtained using a distance sensor having an ideal high spatial resolution
  • FIG. 2 (c) is a diagram showing the relationship between the density and the distance in FIGS. 2 (a) and 2 (b).
  • a high resolution distance sensor for imaging FIG. 2B is shown for the sake of explanation and is not mounted on the above-described vehicle 20.
  • FIG. 2A and FIG. 2B are conceptual diagrams of distance images obtained from the distance detection unit 14 installed toward the horizon and the ideal distance sensor on the ground where there is no obstacle. That is, since the lower part of the drawing is near, the distance is short, and the upper part of the drawing is horizontal or empty, indicating that the distance is long.
  • FIG. 2 (a) the concentration changes stepwise as shown in the graph on the right end, but in FIG. 2 (b), the concentration changes continuously. This is because the device that acquired the information in FIG. 2 (b) has a higher spatial resolution.
  • a sensor having a low spatial resolution is used in the present embodiment, a result similar to the case of using a sensor having a high spatial resolution shown in FIG. Returning to FIG. 1, the description will be continued.
  • the image processing apparatus 100 includes a CPU 101, a ROM 102, a RAM 103, a storage unit 104, and an interface 105.
  • the CPU 101 is a central processing unit, and develops a program stored in the ROM 102 in the RAM 103 and executes the program to exhibit functions described later.
  • the storage unit 104 is a non-volatile storage device, such as a flash memory or a hard disk drive.
  • An interface 105 is an entrance and exit of information with another apparatus in the image processing apparatus 100, and the information input to the interface 105 is output to the CPU 101.
  • the image processing apparatus 100 uses the interface 105 to acquire a photographed image obtained by the camera 10 and a distance image obtained by the distance detection unit 14, and inputs the image to the CPU 101.
  • the interface 105 is a serial port or the like, and may include an AD converter or the like.
  • FIG. 3 is a functional block diagram representing the functions of the image processing apparatus 100 as functional blocks.
  • the image processing apparatus 100 includes an image recognition unit 111, a distance correction unit 112, a table correction unit 113, an association unit 114, an image conversion unit 115, and a display control unit 117 as its functions.
  • Table data 121 illustrated in FIG. 2 is information stored in the storage unit 104.
  • the table data 121 is a look-up table used when generating a viewpoint conversion image such as a bird's-eye view image or a bird's-eye view image.
  • the table data 121 is created in advance at the design stage of the system including the image processing apparatus 100 according to the position and angle of the camera 10 installed in the vehicle 20 and the virtual viewpoint and the imaging condition.
  • the table data 121 exists for each viewpoint which performs viewpoint conversion for each of the cameras 10, only one virtual viewpoint of the certain camera 10A will be described below.
  • the image recognition unit 111 performs a segment division process of processing a captured image of the camera 10, extracting an outline of each subject included in the captured image, and dividing the captured image into a plurality of regions.
  • each area set in the captured image by the segment division processing performed by the image recognition unit 111 is referred to as a “segment”.
  • Extraction of the contour of the subject in this processing is performed by analyzing the method based on known contour detection or analyzing color information of the photographed image, and dividing the photographed image into a plurality of regions from the similarity of luminance, hue, saturation, and lightness. It is possible to adopt a method of extracting the contour of each area.
  • the distance correction unit 112 makes a distance to each coordinate corresponding point described later.
  • the distance which is the measurement value of the detection unit 14 is corrected.
  • the distance corrected by the distance correction unit 112 is hereinafter referred to as “three-dimensional object distance”.
  • the table correction unit 113 rewrites the table data 121 using the three-dimensional object distance calculated by the distance correction unit 112.
  • the association unit 114 associates the photographed image with the distance image based on the attachment position of the camera 10 and the distance detection unit 14 to the vehicle 20 and the attachment attitude, which are stored in the storage unit 104. For example, the associating unit 114 calculates an area in the distance image corresponding to a certain area in the captured image. However, in the present embodiment, as described above, the fields of view of the camera 10A and the distance detection unit 14 coincide with each other. Therefore, the correspondence between the photographed image of the camera 10A and the distance image can be easily performed.
  • the image conversion unit 115 converts the captured image of the camera 10 using the table data 121 rewritten by the table correction unit 113, and combines the captured images of the respective cameras 10 to generate a viewpoint conversion image.
  • the display control unit 117 outputs the viewpoint conversion image generated by the image conversion unit 115 to the display unit 13 for display.
  • FIG. 4 and 5 are diagrams for explaining the environment in which the image processing apparatus 100 operates.
  • FIG. 4 is a top view of the vehicle 20 equipped with the image processing apparatus 100
  • FIG. 5 is a side view of the vehicle 20.
  • the vehicle 20 is present in a region sandwiched by a straight line LL and a straight line LR, which are white lines indicating the vehicle passing zone.
  • a marker 22 is installed on the ground in front of the vehicle 20, and a tree, ie, a three-dimensional object 21, is on the front left of the vehicle 20.
  • the front camera 10A is installed at the front of the vehicle 20, and its optical axis is directed to the road surface in front of the vehicle 20, and captures the tree 21 which is a three-dimensional object and the marker 22 on the road surface within its imaging range.
  • the left camera 10B, the right camera 10C, and the rear camera 10D are respectively installed on the left, right and rear of the vehicle 20, and their optical axes are respectively the left, right and rear of the vehicle 20. Is directed to the road surface.
  • the camera 10 includes wide-angle lenses, each having an angle of view of approximately 180 degrees.
  • the installation positions and installation angles of the camera 10 and the distance detection unit 14 are predetermined and known in the design stage of the vehicle 20.
  • a virtual viewpoint 25 illustrated in FIG. 5 is a viewpoint that captures an image of the front upper part of the vehicle 20 and directly below and looks over the front of the vehicle 20.
  • a method of creating an image obtained from the virtual viewpoint 25 in the situation shown in FIG. 5 will be described.
  • the image processing apparatus 100 includes the cameras 10A to 10D, the case of converting a photographed image of the front camera 10A will be representatively described.
  • FIG. 6 is a diagram showing definitions of a camera coordinate system, a virtual viewpoint coordinate system, and a world coordinate system.
  • the camera coordinate system is a coordinate system based on a camera that captures an image. 3 axes of the camera coordinate system R, since the previous camera 10A in FIG. 6, that is X r, Y r, Z r is shown.
  • the virtual viewpoint coordinate system is a coordinate system based on a predetermined virtual viewpoint. Three axes of the virtual viewpoint coordinate system V based on the virtual viewpoint 25, that is, X v , Y v and Z v are illustrated in FIG. 6.
  • Z r is coincident with the optical axis of the front camera 10A is a 1-axis of the camera coordinate system R, i.e. perpendicular to the image pickup device, the X r and Y r is the other two axes, long sides of the imaging element before the camera 10A And parallel to the short side.
  • the axis of the virtual viewpoint coordinate system Z v is coincident with the optical axis of the virtual camera placed in the virtual viewpoint 25, i.e. perpendicular to the virtual imaging device is a the other two axes X v and Y v Are parallel to the long side and the short side of the virtual imaging device.
  • a certain point P is called P w in the world coordinate system W, and its coordinates are expressed as (x w , y w , z w ).
  • the point P in the captured image when the point P w is captured by the front camera 10A is called P r, and the coordinates of the point P r are represented as (x r , y r , z r ).
  • the point P in an image obtained from the virtual viewpoint 25 is referred to as P v, representing the coordinates of P v and (x v, y v, z v).
  • Mr is a 4 ⁇ 4 perspective projection transformation matrix as shown in equation (2).
  • R r is a 3 ⁇ 3 rotation matrix
  • T r is a 1 ⁇ 3 translation matrix
  • 0 is a 3 ⁇ 1 zero matrix.
  • the rotation matrix R r and the translation matrix T r are known methods based on the installation position and installation angle of the camera 10A on the world coordinate system, the focal length which is the internal parameters of the camera 10A, the effective pixel size of the imaging device, etc. Calculated by
  • M v is a 4 ⁇ 4 perspective projection transformation matrix as shown in equation (4).
  • R v is a 3 ⁇ 3 rotation matrix
  • T v is a 1 ⁇ 3 translation matrix
  • 0 is a 3 ⁇ 1 zero matrix.
  • the rotation matrix R v and the translation matrix T v are known in a known manner based on the position and angle of the virtual viewpoint 25 on the world coordinate system, the virtual focal length of the virtual viewpoint 25 and the effective pixel size of the image sensor. It is calculated.
  • Equation (5) for performing coordinate conversion of the coordinates of point P r of camera coordinate system R to the coordinates of point P v of virtual viewpoint coordinate system V Be
  • Equation (5) the coordinates of P r point in the camera coordinate system R and the coordinate transformation to the coordinates of a point P w in the world coordinate system by the inverse matrix of the perspective projection transformation matrix M r, perspective projection coordinates of the point P w coordinate transformation matrix M v by the point P v of the virtual viewpoint coordinate system V (x v, y v, z v) are coordinate transformation.
  • the pixel value of the point P v of the viewpoint conversion image 311 can be calculated from the pixel value of the point P r of the corresponding captured image 301 using the coordinate conversion result by the equation (5).
  • the geometric position of the origin position of the camera coordinate system R in the world coordinate system and the coordinates of the point Pr and the object calculated by the distance correction unit 112 The coordinates of the point P w1 are calculated using the distance information of That is, the z w1 is the Z-coordinate of the X and Y coordinates, and the subject of the reference height is the point P w1 from high plane 230 of the position at which the point P w1 on the reference height plane of the point P w1 Calculate the value.
  • the table data 121 is corrected by calculating the coordinates of the corresponding point P v1 in the viewpoint conversion image 311 from the position of the camera 25 and the position of the calculated point P w1 .
  • Table data 121 Each table data 121 stored in the storage unit 104 corresponds to the correspondence between the point P r on the photographed image and the point P v on the viewpoint conversion image calculated under the assumption that all the objects are all present on the road surface. The relationship is described for multiple sets.
  • the table data 121 is calculated on the premise that the subject is in the reference height plane 230. That is, the coordinates (x r1, y r1) of the camera coordinate system given point R P r1, coordinates (x r2, y r2) of P r2, the virtual viewpoint coordinate system, respectively..
  • the above equation (5) It is obtained by converting the coordinates to the corresponding point of V.
  • the correspondence between the corresponding points in the two coordinate systems that is, the correspondence between the pixels
  • the coordinate correspondence information is created as the table data 121.
  • the information of the Zr coordinate is omitted on the assumption that the focal length of the camera 10A and the like are fixed.
  • a pixel whose coordinate correspondence information is stored in the table data 121 is referred to as a coordinate corresponding pixel or a coordinate corresponding point. That is, in the captured image 301 and the viewpoint conversion image 311, a plurality of coordinate corresponding points are set in advance.
  • the number of operations of the above equation (5) can be reduced, and the processing time of coordinate conversion can be shortened. Can.
  • the coordinate correspondence information stored in advance in the table data 121 increases, the data amount of the table data 121 increases.
  • the table data 121 In order to reduce the data amount of the table data 121, coordinate correspondence information is stored in advance for only some pixels of the captured image 301, and for other pixels, the pixel value of the point P v is calculated by interpolation processing.
  • the table data 121 may be created in consideration of distortion of the lens of the camera 10 or the like.
  • the table data 121 is previously calculated under the assumption that all objects are present on the road surface. Therefore, when the subject is not present on the road surface, that is, when it is a three-dimensional object having a height, it is necessary to calculate based on the distance information and rewrite the table data 121.
  • this rewriting of the table data 121 is also referred to as correction of the table data 121.
  • the table correction unit 113 corrects the table data 121. That is, the table correction unit 113 corrects the coordinate corresponding points included in the area of the three-dimensional object 21 in the table data 121.
  • amendment object is called "correction
  • FIG. 7 is a view showing an example of the table data 121.
  • the table data 121 is a coordinate correspondence table that defines the correspondence between the coordinates of discrete pixels of the captured image 301 and the coordinates of the pixels of the viewpoint conversion image 311 corresponding to the coordinates.
  • coordinate correspondence information of each pixel of correspondence numbers 1, 2,..., N is shown.
  • the image processing apparatus 100 calculates the coordinates of the pixel of the corresponding viewpoint conversion image 311 with reference to the table data 121 for each coordinate of each pixel of the captured image 301.
  • FIG. 8 is a diagram showing a coordinate corresponding point to be corrected from the table data 121 and showing coordinates before and after correction. Further, the three-dimensional object distance required for correction of the table data 121 is also described. That is, the table shown in FIG. 8 is merely illustrated for the sake of explanation, and the table itself does not have to be stored in the RAM 103 or the storage unit 104.
  • the table correction unit 113 corrects the table data 121 by correcting the coordinate correspondence information related to the correction target coordinate corresponding point among the coordinate correspondence information related to each coordinate corresponding point of the table data 121.
  • FIG. 16 is a diagram showing a distance image 920 of FIG.
  • FIG. 9A in the photographed image 900, there is a tree 21 which is a three-dimensional object on the left in the figure, and a white line LL and a white line LR extend upward from below the center of the figure.
  • a marker 22 at the lower part of the figure and a horizon 35 at the upper part.
  • the distance to the ground gradually changes, and the tree 21 is shown in the shape of a cross as indicated by reference numeral 911. This is because the spatial resolution of the distance detection unit 14 is low. If an ideal distance sensor is used in the same environment, a distance image 920 shown in FIG. 9C is obtained. In the distance image 920, the tree 21 is shown as the shape of the tree 21 as indicated by reference numeral 921.
  • FIG. 10 (a) is the figure which expanded the code
  • FIG. 10 (b) is a diagram showing the boundary of regions having different distances in FIG. 10 (A).
  • FIG. 10C is a diagram in which coordinate corresponding pixels of the table data 121 are superimposed on FIG. However, coordinate corresponding pixels in FIG. 10C are indicated by three types of cross marks, circles, and triangles. Crosses indicate points at which appropriate distance information is obtained, circles indicate points farther than the appropriate distance, and triangles indicate points closer than the appropriate distance.
  • the circle indicated by reference numeral 912 is a part of the tree 21 and should be recognized at substantially the same distance as the other parts of the tree 21.
  • the circle 912 is at a distance farther than the tree 21.
  • the point of the triangle mark indicated by reference numeral 913 is a point in the ground, not the tree 21 with reference to FIGS. 10A and 8, and is farther than the tree 21.
  • the triangle 913 is recognized to be at the same distance as the tree 21. Therefore, the distance correction unit 112 corrects the distance information as shown in FIG. That is, since the three-dimensional object distance shown in FIG. 8 is calculated by the distance correction unit 112, the table correction unit 113 corrects the table data 121 using this three-dimensional object distance. Thus, appropriate conversion is performed on all coordinate-corresponding pixels of the table data 121.
  • the image recognition unit 111 divides a captured image into a plurality of areas, that is, segments by segmenting processing using the above-described method using color information or the like on the captured image of the camera 10A shown in FIG. 9A. .
  • the tree 21 is recognized as one area indicated by reference numeral 1101
  • the marker 22 is recognized as four areas as indicated by reference numeral 1102.
  • FIG. 11 (b) is a diagram in which symbols are attached to the respective segments shown in FIG. 11 (a) for the sake of convenience.
  • the image recognition unit 111 divides the photographed image into nine segments A to I. However, in this segmentation, no distinction is made between a solid object and a road surface.
  • the distance correction unit 112 corrects, for each segment, the distance of the coordinate corresponding point in the segment by one of the following three methods.
  • the first method is a simple average.
  • the distance correction unit 112 calculates an average value of distance information of all coordinate corresponding points in the segment, and sets this average value as a solid object distance of all coordinate corresponding points in the processing target segment. That is, according to the first method, all coordinate corresponding points in the segment have the same solid object distance.
  • the second method is a linear approximation.
  • the distance correction unit 112 approximates, with a linear function, the correlation between each coordinate value and distance information for coordinate corresponding points in the segment. Then, the distance correction unit 112 determines the three-dimensional object distance of each coordinate corresponding point based on the approximate expression. That is, according to the second method, it is possible to accurately calculate, for example, the distance of the wall diagonally facing the vehicle 20 and the like.
  • the third method is multidimensional approximation. The third method is to make the approximation in the second method a multidimensional function of second order or higher. According to the third method, the distance of an object having a complicated shape can also be accurately calculated.
  • the operation of the image processing apparatus 100 when displaying a viewpoint conversion image on the display unit 13 will be described with reference to FIG.
  • the operation of the image processing apparatus 100 described below starts to be performed every predetermined time, for example, every 16 ms.
  • the execution subject of each step of the processing described below is the CPU 101.
  • step S501 the CPU 101 acquires a distance image from the distance detection unit 14.
  • step S 502 the CPU 101 acquires a photographed image from the camera 10.
  • step S503 the CPU 101 causes the image recognition unit 111 to process the distance image acquired in step S502 and execute segment division.
  • An execution example of this step is as described in FIG.
  • step S504 the CPU 101 executes steps S505 to S508 described below on each of the segments calculated in S503. Although the processing of S505 to S508 may be executed in parallel for all the segments, it is assumed here that the processing object is changed and processing is sequentially performed one by one. A segment to be processed is called a processing target segment.
  • step S505 the CPU 101 determines whether the segment is an area corresponding to a three-dimensional object or an area corresponding to a road surface, based on distance information in the processing target segment. This determination can be made, for example, as follows. That is, since the attachment position and attachment attitude of the camera 10A are known, the association unit 114 can calculate in advance the relationship between the position in the captured image and the distance assuming that the imaging target is a road surface. Then, by comparing the difference between the distance information in the segment and the above-mentioned distance calculated from the position in the photographed image of the segment, it can be determined whether the subject in the segment is the road surface. If the CPU 101 determines that the subject in the segment is a three-dimensional object, the process proceeds to step S506. If the CPU 101 determines that the subject in the segment is a road surface, the process proceeds to step S508. If it is determined that the subject of the processing target segment is empty because the distance is infinite or unmeasurable, the process proceeds to step S508.
  • step S506 the CPU 101 corrects the distance information of all coordinate corresponding points in the processing target segment using the distance correction unit 112, that is, calculates the solid object distance.
  • step S507 the CPU 101 causes the table correction unit 113 to rewrite all coordinate corresponding points in the processing target segment in the table data 121, and the process proceeds to step S509.
  • the table data 121 corrected in this step is discarded when the execution of step S510 described later is completed, so to speak, the process of this step is a correction to a temporary copy of the table data 121.
  • step S508 which is executed when it is determined that the processing target segment is the road surface in step S505, the CPU 101 proceeds to step S509 without causing the table correction unit 113 to correct the table data 121. That is, since the special processing is not performed in S508, when it is determined in step S505 that the road surface is determined, the process may directly proceed to S509.
  • step S509 which is executed after steps S507 and S508, the CPU 101 determines whether all segments have been processed. When it is determined that there is a segment not to be processed, the CPU 101 sets the segment as a processing target and returns to step S505. If the CPU 101 determines that all segments have been processed, the process proceeds to step S510.
  • step S510 the image conversion unit 115 converts the captured image of the camera 10 using the table data 121 corrected in step S507. Then, the display control unit 117 outputs the converted image to the display unit 13, and the process shown in FIG. 12 is ended.
  • the image processing apparatus 100 acquires an interface 105 for acquiring a photographed image having a first spatial resolution, and a distance image which is depth information having a second spatial resolution lower than the first spatial resolution.
  • Interface 105 an image recognition unit 111 for extracting a region including a three-dimensional object region corresponding to a three-dimensional object in the photographed image, a distance correction unit 112 for calculating depth information of the three-dimensional object region based on the distance image,
  • the table correction unit 113 corrects the table data 121 which is coordinate conversion information for coordinate conversion based on the depth information of the solid object region calculated by the distance correction unit 112, and the table data 121 corrected by the table correction unit 113.
  • an image conversion unit 115 that generates a viewpoint conversion image obtained by performing coordinate conversion on the captured image. Therefore, a highly accurate viewpoint conversion image can be generated using a distance image which is distance information with low spatial resolution.
  • the image recognition unit 111 extracts the outlines of a plurality of segments including a solid object region based on at least one of luminance, lightness, saturation, and lightness of a captured image. Therefore, the image recognition unit 111 can easily divide the captured image into a plurality of segments including a three-dimensional object region.
  • the table data 121 includes a plurality of combinations of conversion source coordinates on the photographed image and conversion destination coordinates on the viewpoint conversion image.
  • the table correction unit 113 corrects conversion destination coordinates, that is, coordinates on the viewpoint conversion image as shown in FIG. 8 based on the distance information of the solid object region in the distance image. Therefore, the resolution of the distance image can be artificially improved.
  • the table data 121 is created in advance on the premise that the subject in the photographed image is an area on the road surface.
  • the image recognition unit 111 divides the captured image into a plurality of segments for each subject included in the captured image.
  • the table correction unit 113 determines whether or not the plurality of segments are three-dimensional object regions based on the distance image (S505 in FIG. 12), and corresponds to transformation source coordinates in the segments determined as three-dimensional object regions.
  • the conversion destination coordinates are corrected in the table data 121 (S507). Therefore, it is not necessary to correct the table data 121 for an area that is not a three-dimensional object, and the processing time can be shortened.
  • the table data 121 is calculated on the premise that the subject of the photographed image exists in the reference height plane.
  • the table correction unit 113 calculates the height of the subject from the reference height plane 230 and the position of the subject on the reference height plane using the depth information of the three-dimensional object region calculated by the distance correction unit 112. Further, the table correction unit 113 corrects the table data 121 using the reference position for viewpoint conversion, the calculated height of the subject from the reference height plane, and the calculated position of the subject on the reference height plane.
  • the table data 121 in the first embodiment indicates the correspondence between the point P r on the photographed image and the point P v on the viewpoint conversion image, which is expressed by the equation (5).
  • the table data 121 may indicate the correspondence between the point P r on the photographed image and the point P w on the three-dimensional space, which is expressed by the equation (1).
  • the table data is hereinafter referred to as table data 121A.
  • the photographed image projected on the three-dimensional section is deformed by correcting the table data 121A.
  • the image conversion unit 115 creates an image obtained by capturing a captured image projected on a three-dimensional space from a virtual viewpoint, that is, a viewpoint conversion image.
  • FIG. 13 is a diagram showing an example of the table data 121A.
  • the table data 121A indicates the correspondence between the point P r on the photographed image 301 and the point P w on the three-dimensional space, which is expressed by the equation (1).
  • the table data 121 is created in advance under the assumption that all objects are present on the road surface.
  • the table data 121 may be created at any time without creating it in advance.
  • table data 121 is created in the process shown in FIG. That is, in steps S507 and S508, the corresponding part of the table data 121 is created.
  • the vehicle 20 is provided with four cameras, the front camera 10A, the left camera 10B, the right camera 10C, and the rear camera 10D. However, the vehicle 20 may have at least one camera. Vehicle 20 may also be equipped with five or more cameras.
  • the image recognition unit 111 performs segment division processing to divide the captured image into a plurality of areas, and among them, the coordinate corresponding points of the area corresponding to the three-dimensional object are processed.
  • the table correction unit 113 corrects the table data 121.
  • the image recognition unit 111 may specify only the region corresponding to the three-dimensional object in the captured image. For example, an area corresponding to a three-dimensional object is identified in a captured image by extracting a portion where depth information is not changing stepwise in the distance image and identifying an area of the same subject corresponding to the portion in the captured image. It is possible.
  • Second Embodiment A second embodiment of the image processing apparatus 100 will be described with reference to FIGS. 14 to 18.
  • the same components as in the first embodiment will be assigned the same reference numerals and differences will be mainly described.
  • the points that are not particularly described are the same as in the first embodiment.
  • the present embodiment is different from the first embodiment mainly in that the values of the coordinates on the photographed image of the table data 121 are also corrected.
  • FIG. 14 is a diagram showing a problem that may occur when the first embodiment is applied.
  • FIG. 14A is an example showing a case where coordinate corresponding points are set sparsely with respect to the contour.
  • FIG. 14 (b) is a schematic diagram showing ideal depth information between PQs in FIG. 14 (a)
  • FIG. 14 (c) is a schematic diagram showing depth information between PQs in FIG. 14 (a) .
  • FIG. 14 (b) and FIG. 14 (c) it is shown that the distance in the upper direction in the figure is far, and the white circles indicate the contours.
  • FIG. 14 (b) ideally, it is desirable that the distance information clearly change at the border.
  • the distance information is set only at the coordinate corresponding point and the point between the coordinate corresponding point and the coordinate corresponding point is interpolated, the so-called distance information is different from the ideal as shown in FIG. 14 (c). I will.
  • FIG.15 (a) is a figure which shows the coordinate corresponding point corrected by the table correction
  • FIG.15 (b) is a schematic diagram which shows the depth information between PQ in Fig.15 (a).
  • FIG. 15A coordinate corresponding points are set in the vicinity of the outline of the solid object area and on both sides of the outline, that is, outside and inside the solid object area. Therefore, as shown in FIG. 15 (b), the distance changes rapidly in the vicinity of the contour and roughly matches the ideal distance shown in FIG. 14 (b).
  • the space between the contour and the coordinate corresponding point is open in FIG. 15 for convenience of illustration, it is desirable that the contour and the coordinate corresponding point be as close as possible.
  • FIG. 16 is a functional block diagram representing the functions of the image processing apparatus 100 as functional blocks.
  • the image processing apparatus 100 further includes a coordinate corresponding point setting unit 118 in addition to the functions in the first embodiment.
  • the coordinate corresponding point setting unit 118 sets a coordinate corresponding point in the vicinity of the outline of the segment divided by the image recognition unit 111.
  • the coordinate corresponding point setting unit 118 may correct the coordinates of an existing coordinate corresponding point, or may newly add a coordinate corresponding point.
  • FIG. 17 is a diagram showing coordinates before and after correction by extracting correction target coordinate corresponding points and newly set coordinate corresponding points from the table data 121.
  • FIG. 17 corresponds to FIG. 8 in the first embodiment. The differences from FIG. 8 will be mainly described below.
  • the coordinates on the photographed image can also be corrected.
  • the correspondence number "o2" in FIG. 17 both the Xr coordinate and the Yr coordinate of the coordinates on the photographed image are corrected, and in the correspondence number "o3", the Yr coordinates of the coordinates on the photographed image are corrected.
  • the correspondence number "o4" is a newly set coordinate correspondence point, as can be seen from the fact that it does not exist before the correction.
  • step S505 The processing up to step S505 is the same as that of the first embodiment, and thus the description and illustration thereof will be omitted.
  • step S505 If it is determined in step S505 that the object is a solid object, the process proceeds to step S521, and if it is determined that the road surface or the sky is empty, the process proceeds to step S508.
  • step S 521 the CPU 101 causes the coordinate corresponding point setting unit 118 to set coordinate corresponding points in the vicinity of the contour of the segment to be processed and inside and outside the segment.
  • the CPU 101 causes the distance correction unit 112 to set distance information of coordinate corresponding points existing outside the segment among the coordinate corresponding points set in step S521.
  • the distance of the coordinate corresponding point may be determined based on the distance of the coordinate corresponding point originally existing outside the contour, or may be determined on the assumption that the coordinate corresponding point exists on the road surface.
  • the CPU 101 corrects the distance information of all coordinate corresponding points in the processing target segment using the distance correction unit 112, that is, calculates the solid object distance.
  • all coordinate corresponding points in the processing target segment include the coordinate corresponding points newly set in step S521.
  • the processes after step S507 are the same as in the first embodiment, and thus the description thereof is omitted.
  • the distance correction unit 112 includes a plurality of combinations of conversion source coordinates on the captured image and conversion destination coordinates on the viewpoint conversion image.
  • the table correction unit 113 corrects the transformation source coordinates to the vicinity of the contour of the three-dimensional object region. Therefore, even if the coordinate corresponding points are not set densely in the distance correction unit 112, the coordinate corresponding points are corrected in the vicinity of the contour of the subject, thereby enhancing the reproduction of the three-dimensional shape in the viewpoint conversion image. be able to.
  • the table correction unit 113 arranges the transformation source coordinates in the vicinity of the contour of the three-dimensional object region and outside and inside the three-dimensional object region. Therefore, as shown in FIG. 15, the three-dimensional shape can be more accurately reproduced.
  • the present invention is not limited to the embodiments described above, but includes various modifications.
  • the above-described embodiment describes the entire system in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the configurations described.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • Other embodiments considered within the scope of the technical idea of the present invention are also included within the scope of the present invention.
  • each of the configurations, functions, processing units, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit. Further, each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置は、第１の空間解像度を有する撮影画像を取得する画像取得部と、第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得する距離取得部と、撮影画像において立体物に対応する立体物領域を含む領域を抽出する画像認識部と、距離画像に基づき立体物領域の奥行き情報を算出する距離算出部と、撮影画像を座標変換するための座標変換情報を距離算出部が算出した立体物領域の奥行き情報に基づき補正する補正部と、補正部により補正された座標変換情報を用いて撮影画像を座標変換した視点変換画像を生成する視点変換画像生成部と、を備える。

Description

画像処理装置、画像変換方法
　本発明は、画像処理装置、および画像変換方法に関する。
　車両に設置されたカメラで車両の周囲を撮影し、撮影して得られた画像を車内に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、運転者は車両周辺の様子を視認性高く確認することができる。特許文献１には、車両に搭載されたカメラが撮像した撮像画像のデータを取得する撮像画像取得手段と、表示する映像の仮想視点を設定する視点設定手段と、前記撮像画像を投影するために予め定義された、曲面を有する基準曲面座標系の少なくとも一部を、当該基準曲面座標系に対する前記仮想視点の位置に応じて変形し、変形座標系を得る座標系変形手段と、前記撮像画像のデータを前記変形された変形座標系に投影し、前記設定された仮想視点から車両及び当該車両の周囲を見た映像を生成する投影手段と、前記生成された前記映像を表示用画面に表示させる表示制御手段と、を有する車両用表示装置が開示されている。
日本国特開２０１２－１３８６６０号公報
　特許文献１に記載されている発明では、撮影して得られた画像に立体物が含まれている場合に視点変換画像において立体物に像歪みが発生する。距離センサを併用して歪みが低減された像を表示する手法が広く知られているが、距離センサの空間解像度と視点変換画像において立体物に生じる像歪みとは一般に密接に関連する。すなわち、空間解像度が低い距離情報を用いて高精度な視点変換画像を生成することは困難である。
　本発明の第１の態様による画像処理装置は、第１の空間解像度を有する撮影画像を取得する画像取得部と、前記第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得する距離取得部と、前記撮影画像において立体物に対応する立体物領域を含む領域を抽出する画像認識部と、前記距離画像に基づき前記立体物領域の奥行き情報を算出する距離算出部と、前記撮影画像を座標変換するための座標変換情報を前記距離算出部が算出した前記立体物領域の奥行き情報に基づき補正する補正部と、前記補正部により補正された座標変換情報を用いて前記撮影画像を座標変換した視点変換画像を生成する視点変換画像生成部と、を備える。
　本発明の第２の態様による画像変換方法は、第１の空間解像度を有する撮影画像を取得することと、前記第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得することと、前記撮影画像において立体物に対応する立体物領域を含む領域の抽出を行うことと、前記距離画像に基づき前記立体物領域の奥行き情報の算出を行うことと、前記撮影画像を座標変換するための座標変換情報を前記算出された前記立体物領域の奥行き情報に基づき補正を行うことと、前記補正により補正された座標変換情報を用いて前記撮影画像を座標変換した視点変換画像を生成することとを含む。
　本発明によれば、空間解像度が低い距離情報を用いて高精度な視点変換画像を生成することができる。
画像処理装置１００のハードウエア構成図 図２（ａ）は距離検出部１４により得られた距離画像の概念図、図２（ｂ）は理想的な高い空間解像度を有する距離センサを用いて得られた距離画像の概念図、図２（ｃ）は濃淡と距離の関係を示す図 第１の実施の形態における画像処理装置１００の機能ブロック図 画像処理装置１００を搭載する車両２０を上部から見下ろした図 車両２０を側面から見た図 カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図 テーブルデータ１２１の一例を示す図 第１の実施の形態におけるテーブルデータ１２１の補正の一例を示す図 図９（ａ）は前カメラ１０Ａの撮影画像９００を示す図、図９（ｂ）は距離検出部１４が取得した距離画像９１０を示す図、図９（ｃ）は理想的な距離センサで取得した距離画像９２０を示す図 図１０（ａ）は図９（ｂ）の符号９１１付近を拡大し、樹木２１の輪郭を重畳した図、図１０（ｂ）は図１０（Ａ）において距離が異なる領域の境界を示す図、図１０（ｃ）は図１０（ｂ）にテーブルデータ１２１の座標対応画素を重畳した図 図１１（ａ）はセグメント分割の例を示す図、図１１（ｂ）はセグメントに記号を付した図 第１の実施の形態における画像処理装置１００の動作を示すフローチャート 変形例１におけるテーブルデータ１２１Ａの一例を示す図 図１４（ａ）は輪郭に対して座標対応点が疎に設定されている場合を示す図、図１４（ｂ）は図１４（ａ）におけるＰＱ間の理想的な奥行き情報を示す模式図、図１４（ｃ）は図１４（ａ）におけるＰＱ間の奥行き情報を示す模式図 図１５（ａ）は第２の実施の形態によるテーブル補正部１１３により補正された座標対応点を示す図、図１５（ｂ）は図１５（ａ）におけるＰＱ間の奥行き情報を示す模式図 第２の実施の形態における画像処理装置１００の機能ブロック図 第２の実施の形態におけるテーブルデータ１２１の補正の一例を示す図 第２の実施の形態における画像処理装置１００の動作を示すフローチャート
（第１の実施の形態）
　以下、図１～図１２を参照して、画像処理装置の第１の実施の形態を説明する。
　図１は、車両２０に搭載される画像処理装置１００のハードウエア構成図である。車両２０は、画像処理装置１００と、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄと、表示部１３と、距離検出部１４とを備える。以下では、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄとをまとめて、カメラ１０と呼ぶ。カメラ１０が撮影して得られた画像を撮影画像と呼ぶ。撮影画像の解像度は、たとえばカメラ１０に内蔵される撮像素子の数により決定され、たとえば１９２０ｘ１０８０の解像度を有する。以下ではこの解像度を空間解像度とも呼ぶ。
　カメラ１０と距離検出部１４は同期して動作しており、同一のタイミングで周囲の情報を取得する。画像処理装置１００は、カメラ１０が撮影した画像を用いて、車両２０の周囲をカメラ１０の設置位置とは異なる仮想的な位置（以下、仮想視点）に仮想的なカメラを設置して撮影した場合に得られる画像（以下、視点変換画像）を表示部１３に出力する。カメラ１０の車両２０への取付け位置、および取付け姿勢は既知であり、記憶部１０４に格納される。
　表示部１３は、例えばＬＣＤディスプレイやプロジェクタ、または車両２０に搭載されたカーナビゲーション装置の表示部である。表示部１３はインタフェース１０５から出力された情報を表示する。
　距離検出部１４は、車両周囲の物体の奥行き情報を、水平方向および垂直方向、すなわち２次元に分解能を持った情報として検出する。距離検出部１４は、たとえばＬＩＤＡＲ（Light　Detection　and　Ranging）である。以下では、距離検出部１４が取得する２次元に分解能を有する距離情報を「距離画像」と呼ぶ。距離検出部１４の視野は、カメラ１０の少なくとも一部と重複する。本実施の形態では、前カメラ１０Ａの視野と距離検出部１４の視野が一致しているとする。ただし距離検出部１４が取得する距離画像の解像度は、カメラ１０の解像度よりも低い。たとえばカメラ１０は水平方向ｘ垂直方向が１９２０ｘ１０８０の解像度を有する場合に、距離検出部１４は２５ｘ２５の解像度を有する。すなわち撮影画像の空間解像度を第１の空間解像度、距離画像の空間解像度を第２の空間解像度と呼ぶと、第２の空間解像度は第１の空間解像度よりも低い。なお以下では、距離画像における奥行き方向の分解能を「距離分解能」と呼び空間解像度と区別する。なお距離検出部１４の車両２０への取付け位置、および取付け姿勢は既知であり、記憶部１０４に格納される。
　図２（ａ）は、距離検出部１４により得られた距離画像の概念図、図２（ｂ）は理想的な高い空間解像度を有する距離センサを用いて得られた距離画像の概念図、図２（ｃ）は図２（ａ）および図２（ｂ）における濃淡と距離の関係を示す図である。ただし図２（ｂ）を撮影する高解像度な距離センサは説明のために示しており、前述の車両２０には搭載されない。図２（ａ）および図２（ｂ）は、障害物が存在しない大地において、水平線に向けて設置された距離検出部１４および理想的な距離センサから得られた距離画像の概念図である。すなわち図示下部は近傍なので距離が近く、図示上部は水平線または空であり距離が遠いことを示している。
　図２（ａ）および図２（ｂ）のいずれも、上端は黒で下端は白である。しかしその濃度の変化の様子が異なる。図２（ａ）では右端のグラフに示すように段階的に濃度が変化するが、図２（ｂ）では連続的に濃度が変化する。これは図２（ｂ）の情報を取得した装置の方が空間解像度が高いからである。このように本実施の形態では低い空間解像度を有するセンサを使用するが、後述する工夫により図２（ｂ）に示す空間解像度が高いセンサを使用する場合に近い結果が得られる。図１に戻って説明を続ける。
　画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、記憶部１０４と、インタフェース１０５とを備える。ＣＰＵ１０１は中央演算処理装置であり、ＲＯＭ１０２に格納されるプログラムをＲＡＭ１０３に展開して実行することにより、後述する機能を発揮する。記憶部１０４は不揮発性の記憶装置であり、たとえばフラッシュメモリやハードディスクドライブである。インタフェース１０５は、画像処理装置１００における他の装置との情報の出入り口であり、インタフェース１０５に入力された情報はＣＰＵ１０１へ出力される。画像処理装置１００は、このインタフェース１０５を用いて、カメラ１０で得られた撮影画像や、距離検出部１４で得られた距離画像を取得し、ＣＰＵ１０１に入力する。インタフェース１０５は、シリアルポートなどであり、ＡＤコンバータなどが含まれてもよい。
　図３は、画像処理装置１００が備える機能を機能ブロックとして表した機能ブロック図である。画像処理装置１００は、その機能として画像認識部１１１と、距離修正部１１２と、テーブル補正部１１３と、対応付け部１１４と、画像変換部１１５と、表示制御部１１７とを備える。図２に示すテーブルデータ１２１は、記憶部１０４に格納される情報である。テーブルデータ１２１は、俯瞰画像や鳥瞰画像などの視点変換画像を生成する際に用いられるルックアップテーブルである。テーブルデータ１２１は、画像処理装置１００を含むシステムの設計段階において、車両２０に設置するカメラ１０および仮想視点の位置や角度、撮像条件により予め作成される。テーブルデータ１２１は、カメラ１０のそれぞれについて視点変換を行う視点ごとに存在するが、以下ではあるカメラ１０Ａのある１つの仮想視点についてのみ説明する。
　画像認識部１１１は、カメラ１０の撮影画像を処理対象とし、撮影画像に含まれる被写体ごとの輪郭を抽出して撮影画像を複数の領域に分割するセグメント分割処理を行う。なお、以下の説明では、画像認識部１１１が行うセグメント分割処理によって撮影画像内に設定される各領域を「セグメント」と称する。本処理における被写体の輪郭の抽出は、既知の輪郭検出に基づく方法や、撮影画像の色情報を解析し、輝度、色相、彩度、および明度の類似性から撮影画像を複数の領域に分割して各領域の輪郭を抽出する方法を採用することができる。距離修正部１１２は、画像認識部１１１の認識結果において立体物に対応するセグメント、すなわち被写体が立体物である領域が存在する場合に、当該セグメントについて、後述するそれぞれの座標対応点を対象として距離検出部１４の測定値である距離を補正する。距離修正部１１２により補正された距離を、以後は「立体物距離」と呼ぶ。テーブル補正部１１３は、距離修正部１１２が算出した立体物距離を用いてテーブルデータ１２１を書き換える。
　対応付け部１１４は、記憶部１０４に格納されカメラ１０および距離検出部１４の車両２０への取付け位置、および取付け姿勢に基づき、撮影画像と距離画像の対応付けを行う。たとえば対応付け部１１４は、撮影画像におけるある領域に対応する距離画像における領域を算出する。ただし本実施の形態では、前述のとおりカメラ１０Ａと距離検出部１４の視野が一致する。そのためカメラ１０Ａの撮影画像と距離画像との対応付けは容易に行うことができる。画像変換部１１５は、テーブル補正部１１３により書き換えられたテーブルデータ１２１を用いてカメラ１０の撮影画像を変換し、それぞれのカメラ１０の撮影画像を組み合わせて視点変換画像を生成する。表示制御部１１７は、画像変換部１１５により生成された視点変換画像を表示部１３に出力し表示させる。
（動作環境）
　図４および図５は、画像処理装置１００が動作する環境を説明する図である。図４は画像処理装置１００を搭載する車両２０を上部から見下ろした図であり、図５は車両２０を側面から見た図である。車両２０は、車両通行帯を示す白線である直線ＬＬおよび直線ＬＲに挟まれた領域に存在する。車両２０の前方正面の地面にはマーカー２２が設置され、車両２０の前方左には樹木、すなわち立体物２１がある。
　車両２０の前部には前カメラ１０Ａが設置され、その光軸は車両２０の前方の路面に向けられており、立体物である樹木２１および路面上のマーカー２２をその撮影範囲内に捉えている。また同様に、車両２０の左部、右部および後部には、それぞれ左カメラ１０Ｂ、右カメラ１０Ｃ、および後カメラ１０Ｄが設置され、それらの光軸はそれぞれ車両２０の左方、右方、後方の路面に向けられている。カメラ１０は広角のレンズを備え、それぞれ約１８０度の画角を有する。カメラ１０、および距離検出部１４の設置位置および設置角度は、車両２０の設計段階において予め定められ既知である。
　図５に示す仮想視点２５は、車両２０の前方上部から真下を撮像し、車両２０の前方を俯瞰する視点である。以下では図５に示す状況において仮想視点２５から得られる画像の作成方法を説明する。ただし画像処理装置１００はカメラ１０Ａ～１０Ｄを備えるが、前カメラ１０Ａの撮影画像を変換する場合を代表して説明する。
　仮想視点２５から得られる画像の作成方法を説明する。
（座標変換）
　図６は、カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図である。カメラ座標系とは、画像を撮影するカメラを基準とする座標系である。図６には前カメラ１０Ａを基準とするカメラ座標系Ｒの３軸、すなわちＸｒ、Ｙｒ、Ｚｒが図示される。仮想視点座標系とは、あらかじめ定められた仮想視点を基準とする座標系である。図６には仮想視点２５を基準とする仮想視点座標系Ｖの３軸、すなわちＸｖ、Ｙｖ、Ｚｖが図示される。ワールド座標系は、車両２０が走行する路面を基準に設定された座標系である。図６にはワールド座標系Ｗの３軸、すなわちＸｗ、Ｙｗ、Ｚｗが図示される。ＸｗおよびＹｗは路面に平行であり、Ｚｗ＝０の基準高さ平面２３０に路面が含まれる。
　カメラ座標系Ｒの１軸であるＺｒは前カメラ１０Ａの光軸と一致、すなわち撮像素子と直交し、他の２軸であるＸｒおよびＹｒは、前カメラ１０Ａの撮像素子の長辺および短辺と平行である。カメラの焦点距離ｚｒを用いて表すと、撮影画像３０１を構成する各画素の位置は、Ｚｒ＝ｚｒに位置するＸｒＹｒ平面上の座標データで表現される。すなわち、カメラ座標系Ｒは、撮影画像３０１の座標系と等しい。
　仮想視点座標系の１軸であるＺｖは仮想視点２５に置かれた仮想的なカメラの光軸と一致、すなわち仮想的な撮像素子と直交し、他の２軸であるＸｖおよびＹｖは、仮想的な撮像素子の長辺および短辺と平行である。仮想視点２５に置かれるカメラの焦点距離ｚvを用いて表すと、視点変換画像３１１を構成する各画素の位置は、Ｚｖ＝ｚｖに位置するＸｖＹｖ平面上の座標データで表現される。すなわち、仮想視点座標系Ｖは、視点変換画像３１１の座標系と等しい。
　ある点Ｐをワールド座標系ＷではＰｗと呼び、その座標を（ｘｗ、ｙｗ、ｚｗ）と表す。前カメラ１０Ａにより点Ｐｗを撮影した際の撮影画像における点ＰをＰｒと呼び、点Ｐｒの座標を（ｘｒ、ｙｒ、ｚｒ）と表す。仮想視点２５から得られる画像における点ＰをＰｖと呼び、Ｐｖの座標を（ｘｖ、ｙｖ、ｚｖ）と表す。
　ワールド座標系Ｗにおける点Ｐｗの座標（ｘｗ、ｙｗ、ｚｗ）をカメラ座標系Ｒの点Ｐｒの座標（ｘｒ、ｙｒ、ｚｒ）に座標変換するには、たとえば、式（１）に示すようなアフィン変換が用いられる。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｍｒは、式（２）に示されるような４ｘ４の透視投影変換行列である。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、Ｒｒは３ｘ３の回転行列、Ｔｒは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒｒおよび平行移動行列Ｔｒは、ワールド座標系上でのカメラ１０Ａの設置位置および設置角度、カメラ１０Ａの内部パラメータである焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
　また、ワールド座標系Ｗの点Ｐｗの座標（ｘｗ、ｙｗ、ｚｗ）を仮想視点座標系Ｖの点Ｐｖの座標（ｘｖ、ｙｖ、ｚｖ）に座標変換するには、たとえば、式（３）に示すようなアフィン変換が用いられる。
Figure JPOXMLDOC01-appb-M000003
　ここで、Ｍｖは、式（４）に示されるような４ｘ４の透視投影変換行列である。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、Ｒｖは３ｘ３の回転行列、Ｔｖは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒｖおよび平行移動行列Ｔｖは、ワールド座標系上での仮想視点２５の位置および角度、仮想視点２５の仮想的な焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
　上述した式（１）と式（３）とを組み合わせると、カメラ座標系Ｒの点Ｐｒの座標を仮想視点座標系Ｖの点Ｐｖの座標に座標変換するための式（５）が得られる。
Figure JPOXMLDOC01-appb-M000005
　式（５）では、透視投影変換行列Ｍｒの逆行列によりカメラ座標系Ｒの点Ｐｒの座標をワールド座標系の点Ｐｗの座標に座標変換し、その点Ｐｗの座標を透視投影変換行列Ｍｖにより仮想視点座標系Ｖの点Ｐｖの座標（ｘｖ、ｙｖ、ｚｖ）に座標変換している。式（５）による座標変換結果を用いて、視点変換画像３１１の点Ｐｖの画素値を、対応する撮影画像３０１の点Ｐｒの画素値から算出することができる。
　ただしカメラ１０の撮影画像からは被写体までの距離情報が得られないので、たとえば点Ｐｗが路面上、すなわちｚw＝０の平面上にあると仮定することで視点変換画像３１１の点Ｐｖの画素値を算出することができる。そして路面上にない被写体が撮影された領域のみ視点変換画像３１１の点Ｐｖの画素値を改めて計算する。たとえば撮影画像３０１における点Ｐｒが路面上の点Ｐｗではなく、Ｚw＝ｚw1（≠０）の平面上に存在する点Ｐｗ1であった場合は、視点変換画像３１１における対応点は点Ｐｖではなく点Ｐｖ1となる。カメラ１０の撮影画像の被写体が路面上に存在するか否かは、被写体までの距離により判断可能である。また被写体が路面上に存在しない場合は、その距離情報を用いることで視点変換画像３１１における対応点を算出可能である。
　図６を参照して対応点の算出の一例を説明すると、まずワールド座標系におけるカメラ座標系Ｒの原点位置、および点Ｐｒの座標の幾何的な関係、および距離修正部１１２が算出した被写体までの距離情報を用いて点Ｐｗ1の座標を算出する。すなわち、点Ｐｗ1の基準高さ平面上の位置である点Ｐｗ1のＸ座標とＹ座標、および被写体の基準高さ平面２３０からの高さである点Ｐｗ1のＺ座標であるｚw1の値を算出する。そして、カメラ２５の位置、および算出した点Ｐｗ1の位置から視点変換画像３１１における対応点Ｐv1の座標を算出してテーブルデータ１２１を補正する。
（テーブルデータ１２１）
　記憶部１０４に格納されるそれぞれのテーブルデータ１２１は、あらかじめ被写体がすべて路面上に存在するとの仮定の下で計算された撮影画像上の点Ｐｒと視点変換画像上の点Ｐｖとの対応関係を複数組について記述したものである。換言すると、テーブルデータ１２１は、被写体が基準高さ平面２３０内に存在することを前提に算出されている。すなわち、カメラ座標系Ｒの所定の点Ｐｒ１の座標（ｘｒ１，ｙｒ１）、Ｐｒ２の座標（ｘｒ２，ｙｒ２）、・・・をそれぞれ上述の式（５）で仮想視点座標系Ｖの対応点への座標に変換して得られたものである。ここで、２つの座標系で対応する点同士、すなわち画素同士の対応関係を座標対応情報と呼び、この座標対応情報がテーブルデータ１２１として作成されている。なお、テーブルデータ１２１においては、カメラ１０Ａの焦点距離等が固定されているものとしてＺｒ座標の情報は省略されている。
　以降の説明では、撮影画像３０１および視点変換画像３１１の画素のうち、テーブルデータ１２１に座標対応情報が記憶されている画素を座標対応画素、あるいは座標対応点と呼ぶ。すなわち、撮影画像３０１および視点変換画像３１１には、複数の座標対応点が予め設定されている。テーブルデータ１２１を予め記憶部１０４に記憶しておき、視点変換画像３１１を作成する際に参照することで、上述の式（５）の演算回数を低減し、座標変換の処理時間を短縮することができる。なお、テーブルデータ１２１に予め記憶しておく座標対応情報が増加するほど、テーブルデータ１２１のデータ量が増加する。テーブルデータ１２１のデータ量を削減するため、撮影画像３０１の一部の画素についてのみ座標対応情報を予め記憶し、他の画素については補間処理により点Ｐｖの画素値を算出する。なおテーブルデータ１２１は、カメラ１０のレンズの歪みなどを考慮して作成されてもよい。
　上述のとおり、テーブルデータ１２１は、あらかじめ被写体がすべて路面上に存在するとの仮定の下で計算されている。そのため、被写体が路面上に存在しない場合、すなわち高さを有する立体物である場合は、距離情報に基づき計算を行いテーブルデータ１２１を書き換える必要がある。以下ではこのテーブルデータ１２１の書き換えを、テーブルデータ１２１の補正とも呼ぶ。本実施の形態では、テーブル補正部１１３がテーブルデータ１２１を補正する。すなわちテーブル補正部１１３は、テーブルデータ１２１における立体物２１の領域に含まれる座標対応点を補正する。以下では、補正対象の座標対応点を「補正対象座標対応点」と呼ぶ。
　図７は、テーブルデータ１２１の一例を示す図である。テーブルデータ１２１は、撮影画像３０１の離散的な画素の座標と、その座標に対応する視点変換画像３１１の画素の座標との対応関係を定義する座標対応テーブルである。図７では、対応関係番号１、２、…、ｎの各画素の座標対応情報が示されている。画像処理装置１００は、撮影画像３０１の各画素の座標ごとにテーブルデータ１２１を参照して、対応する視点変換画像３１１の画素の座標を演算する。
　図８は、テーブルデータ１２１から補正対象座標対応点を抽出し、補正前後の座標を示した図である。またテーブルデータ１２１の補正に必要な立体物距離も併記している。すなわち図８に示す表は説明のために例示したにすぎず、この表そのものがＲＡＭ１０３や記憶部１０４に格納される必要はない。本実施の形態では、テーブル補正部１１３がテーブルデータ１２１の各座標対応点に関する座標対応情報のうち、上記の補正対象座標対応点に関する座標対応情報を補正することで、テーブルデータ１２１を補正する。具体的には、補正対象座標対応点ｏ１、ｏ２、ｏ３、・・・、ｏｉについて、これらの視点変換画像上の座標、すなわち仮想視点座標系Ｖにおける座標である、（ｘｖ＿ｏ１，ｙｖ＿ｏ１）、（ｘｖ＿ｏ２，ｙｖ＿ｏ２）、（ｘｖ＿ｏ３，ｙｖ＿ｏ３）、・・・、（ｘｖ＿ｏｉ，ｙｖ＿ｏｉ）を、（ｘｖ＿ｏ１’，ｙｖ＿ｏ１’）、（ｘｖ＿ｏ２’，ｙｖ＿ｏ２’）、（ｘｖ＿ｏ３’，ｙｖ＿ｏ３’）、・・・、（ｘｖ＿ｏｉ’，ｙｖ＿ｏｉ’）にそれぞれ補正する。前述のとおりテーブル補正部１１３は、立体物距離を用いて上述する補正を行う。
　仮にカメラ１０Ａの撮影画像の全領域に立体物が撮影されていた場合は、テーブルデータ１２１の全ての座標対応点について視点変換画像上の座標が書き換えられることとなる。しかしこの場合でも、テーブルデータ１２１における撮影画像上の座標は書き換えられない。
（距離画像と補正の必要性）
　図９（ａ）は前カメラ１０Ａの撮影画像９００を示す図、図９（ｂ）は距離検出部１４が取得した距離画像９１０を示す図、図９（ｃ）は理想的な距離センサで取得した距離画像９２０を示す図である。図９（ａ）に示すように撮影画像９００には、図示左手に立体物である樹木２１があり、図示中央の下から上へ白線ＬＬおよび白線ＬＲが延びている。また図示下部にはマーカー２２があり、上部には地平線３５がある。距離検出部１４が取得した距離画像９１０では、図２にて示したように地面までの距離が段階的に変化しており、樹木２１は符号９１１で示すように十字の形状で示される。これは、距離検出部１４の空間解像度が低いためである。仮に同一の環境において理想的な距離センサを用いると、図９（ｃ）に示す距離画像９２０が得られる。距離画像９２０では樹木２１は符号９２１で示すように樹木２１の形状どおりに示される。
　図１０（ａ）は、図９（ｂ）の符号９１１付近を拡大し、符号２１Ａで示す樹木２１の輪郭を重畳した図である。図１０（ｂ）は、図１０（Ａ）において距離が異なる領域の境界を示す図である。図１０（ｃ）は、図１０（ｂ）にテーブルデータ１２１の座標対応画素を重畳した図である。ただし図１０（ｃ）における座標対応画素は、バツ印、丸印、三角印の３種類で示している。バツ印は適切な距離情報が得られている点を示し、丸印は適切な距離よりも遠い点を示し、三角印は適切な距離よりも近い点を示す。たとえば符号９１２で示す丸印は、樹木２１の一部なので樹木２１の他の部位と略同一の距離に認識されるべきである。
　しかし図１０（ａ）を参照すると明らかなように、丸印９１２は樹木２１よりも遠い距離にあると認識されている。また符号９１３で示す三角印の点は、図１０（ａ）および図８を参照すると樹木２１ではなく地面中の点であり、樹木２１よりも遠いと認識されるべきである。しかし三角印９１３は樹木２１と同じ距離にあると認識されている。そこで、距離修正部１１２は後述する処理により図１０（ｄ）に示すように距離情報を補正する。すなわち距離修正部１１２により図８に示した立体物距離が算出されるので、テーブル補正部１１３はこの立体物距離を用いてテーブルデータ１２１を補正する。これによりテーブルデータ１２１の全ての座標対応画素において適切な変換が行われる。
（画像認識部の動作例）
　図９（ａ）および図１１を参照して画像認識部１１１の動作例を説明する。画像認識部１１１は、図９（ａ）に示すカメラ１０Ａの撮影画像を処理対象として、前述の色情報を用いた手法等によるセグメント分割処理により、撮影画像を複数の領域、すなわちセグメントに分割する。図１１（ａ）では樹木２１が符号１１０１で示す１つの領域と認識されており、マーカー２２が符号１１０２で示すように４つの領域に認識されている。図１１（ｂ）は、図１１（ａ）に示すそれぞれのセグメントに便宜的に記号を付した図である。図１１（ｂ）に示すように、画像認識部１１１により撮影画像はＡ～Ｉの９のセグメントに分割されている。ただしこのセグメント分割では、立体物と路面との区別はされていない。
（距離修正部の動作）
　距離修正部１１２は、セグメントごとに、そのセグメント内の座標対応点の距離を次の３つのいずれかの方法で修正する。第１の方法は単純平均である。距離修正部１１２は、セグメント内の全ての座標対応点の距離情報の平均値を算出し、この平均値を処理対象セグメント内の全ての座標対応点の立体物距離とする。すなわち第１の方法によればセグメント内の全ての座標対応点は同一の立体物距離を有する。
　第２の方法は１次近似である。距離修正部１１２は、セグメント内の座標対応点について、それぞれの座標値と距離情報の相関を一次関数で近似する。そして距離修正部１１２は、その近似式に基づきそれぞれの座標対応点の立体物距離を決定する。すなわち第２の方法によれば、たとえば車両２０に対して斜めに正対する壁の距離などを正確に算出できる。第３の方法は多次元近似である。第３の方法は第２の方法における近似を２次以上の多次元関数とするものである。第３の方法によれば、複雑な形状を有する物体の距離も正確に算出できる。
（画像処理装置の動作）
　図１２を参照して視点変換画像を表示部１３に表示する際の画像処理装置１００の動作を説明する。以下に説明する画像処理装置１００の動作は、所定の時間ごと、たとえば１６ｍｓごとに実行が開始される。以下に説明する処理の各ステップの実行主体はＣＰＵ１０１である。
　まずステップＳ５０１では、ＣＰＵ１０１は距離検出部１４から距離画像を取得する。続くステップＳ５０２ではＣＰＵ１０１は、カメラ１０から撮影画像を取得する。続くステップＳ５０３ではＣＰＵ１０１は、画像認識部１１１にステップＳ５０２において取得した距離画像を処理させてセグメント分割を実行させる。本ステップの実行例は図１１で説明したとおりである。続くステップＳ５０４ではＣＰＵ１０１は、以下に説明するステップＳ５０５～Ｓ５０８をＳ５０３において算出されたそれぞれのセグメントに対して実行する。全てのセグメントに対して平行してＳ５０５～Ｓ５０８の処理を実行してもよいが、ここでは処理対象を変化させて１つずつ順番に処理するとして説明する。また処理対象とするセグメントを処理対象セグメントと呼ぶ。
　ステップＳ５０５ではＣＰＵ１０１は、処理対象セグメント内の距離情報に基づき、そのセグメントが立体物に対応する領域であるか、それとも路面に対応する領域であるかを判断する。この判断は例えば以下のように行うことができる。すなわち、カメラ１０Ａの取り付け位置および取り付け姿勢は既知なので、対応付け部１１４により、撮影対象を路面と仮定して撮影画像内の位置と距離の関係を予め算出できる。そしてセグメント内の距離情報と、そのセグメントの撮影画像内の位置から算出される前述の距離との差を比較することにより、そのセグメントにおける被写体が路面であるか否かを判断できる。ＣＰＵ１０１は、そのセグメントにおける被写体が立体物であると判断する場合はステップＳ５０６に進み、そのセグメントにおける被写体が路面であると判断する場合はステップＳ５０８に進む。なお距離が無限大または測定不能であることにより、処理対象セグメントの被写体が空であると判断する場合もステップＳ５０８に進む。
　ステップＳ５０６ではＣＰＵ１０１は、距離修正部１１２を用いて処理対象セグメント内の全ての座標対応点の距離情報を修正、すなわち立体物距離を算出する。続くステップＳ５０７ではＣＰＵ１０１は、テーブル補正部１１３にテーブルデータ１２１における処理対象セグメント内の全ての座標対応点について書き換えを行わせてステップＳ５０９に進む。ただし本ステップにおいて補正されたテーブルデータ１２１は、後述するステップＳ５１０の実行が完了すると破棄されるものであり、いわば本ステップの処理はテーブルデータ１２１の一時的なコピーに対する補正である。ステップＳ５０５において処理対象セグメントが路面であると判断されると実行されるステップＳ５０８ではＣＰＵ１０１は、テーブル補正部１１３にテーブルデータ１２１を補正させることなくステップＳ５０９に進む。すなわちＳ５０８では特段の処理を行わないので、ステップＳ５０５において路面であると判断された場合はそのままＳ５０９に進んでもよい。
　ステップＳ５０７およびステップＳ５０８の次に実行されるステップＳ５０９では、ＣＰＵ１０１は全てのセグメントを処理対象としたか否かを判断する。ＣＰＵ１０１は、処理対象としていないセグメントが存在すると判断する場合はそのセグメントを処理対象に設定してステップＳ５０５に戻る。ＣＰＵ１０１は、全てのセグメントを処理対象にしたと判断する場合はステップＳ５１０に進む。ステップＳ５１０では、画像変換部１１５がステップＳ５０７において補正されたテーブルデータ１２１を用いてカメラ１０の撮影画像を変換する。そして表示制御部１１７がこの変換された画像を表示部１３に出力して図１２に示す処理を終了する。
　上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置１００は、第１の空間解像度を有する撮影画像を取得するインタフェース１０５と、第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得するインタフェース１０５と、撮影画像において立体物に対応する立体物領域を含む領域を抽出する画像認識部１１１と、距離画像に基づき立体物領域の奥行き情報を算出する距離修正部１１２と、撮影画像を座標変換するための座標変換情報であるテーブルデータ１２１を距離修正部１１２が算出した立体物領域の奥行き情報に基づき補正するテーブル補正部１１３と、テーブル補正部１１３により補正されたテーブルデータ１２１を用いて撮影画像を座標変換した視点変換画像を生成する画像変換部１１５と、を備える。そのため、空間解像度が低い距離情報である距離画像を用いて高精度な視点変換画像を生成することができる。
（２）画像認識部１１１は、撮影画像の輝度、明度、彩度、および明度の少なくとも１つに基づき立体物領域を含む複数のセグメントの輪郭を抽出する。そのため画像認識部１１１は撮影画像を容易に立体物領域を含む複数のセグメントに分割することができる。
（３）テーブルデータ１２１は、撮影画像上の変換元座標と視点変換画像上の変換先座標との組み合わせを複数含む。テーブル補正部１１３は、距離画像における立体物領域の距離情報に基づき、図８に示すように変換先座標、すなわち視点変換画像上の座標を補正する。そのため距離画像の解像度を疑似的に向上させることができる。
（４）テーブルデータ１２１は、撮影画像における被写体が路面上の領域であることを前提としてあらかじめ作成される。画像認識部１１１は、撮影画像に含まれる被写体ごとに撮影画像を複数のセグメントに分割する。テーブル補正部１１３は、距離画像に基づき複数のセグメントが立体物領域であるか否かをそれぞれ判断し（図１２のＳ５０５）、立体物領域であると判断したセグメント内の変換元座標に対応する変換先座標をテーブルデータ１２１において補正する（Ｓ５０７）。そのため、立体物ではない領域についてはテーブルデータ１２１の補正を行う必要がなく、処理時間を短縮することができる。
（５）テーブルデータ１２１は撮影画像の被写体が基準高さ平面内に存在することを前提に算出されている。テーブル補正部１１３は、距離修正部１１２が算出した立体物領域の奥行き情報を用いて被写体の基準高さ平面２３０からの高さ、および被写体の基準高さ平面上の位置を算出する。さらにテーブル補正部１１３は、視点変換の基準位置、算出した被写体の基準高さ平面からの高さ、および算出した被写体の基準高さ平面上の位置を用いてテーブルデータ１２１を補正する。
（変形例１）
　第１の実施の形態におけるテーブルデータ１２１は、式（５）により表される撮影画像上の点Ｐｒと視点変換画像上の点Ｐｖとの対応関係を示すものであった。しかしテーブルデータ１２１は、式（１）により表される撮影画像上の点Ｐｒと三次元空間上の点Ｐｗとの対応関係を示すものであってもよい。変形例１におけるテーブルデータを第１の実施の形態におけるテーブルデータ１２１と区別するために以下ではテーブルデータ１２１Ａと呼ぶ。本変形例においては、テーブルデータ１２１Ａを補正することにより３次元区間上に投影される撮影画像が変形される。画像変換部１１５は、３次元空間上に投影された撮影画像を仮想視点から撮影した画像、すなわち視点変換画像を作成する。
　図１３は、テーブルデータ１２１Ａの一例を示す図である。テーブルデータ１２１Ａは、式（１）により表される撮影画像３０１上の点Ｐｒと三次元空間上の点Ｐｗとの対応関係を示すものである。ただし本実施の形態では、補正前のテーブルデータ１２１Ａにおいて、３次元空間上の点ＰｗのＺｗ座標の値は全てゼロである。すなわち補正前のテーブルデータ１２１Ａは、撮影画像３０１上の点Ｐｒと三次元空間上のＺｗ＝０の平面上の点Ｐｗとの対応関係を示す。
　本変形例によれば、事前に想定していない仮想視点がユーザにより設定された場合にもテーブルデータ１２１Ａを用いて視点変換画像を作成することができる。
（変形例２）
　上述した第１の実施の形態では、テーブルデータ１２１は被写体がすべて路面上に存在するとの仮定の下であらかじめ作成されていた。しかしテーブルデータ１２１をあらかじめ作成せず随時作成してもよい。この場合は、図１２に示す処理においてテーブルデータ１２１が作成される。すなわちステップＳ５０７およびステップＳ５０８において、テーブルデータ１２１の該当する箇所が作成される。
（変形例３）
　上述した第１の実施の形態では、車両２０は前カメラ１０Ａ、左カメラ１０Ｂ、右カメラ１０Ｃ、および後カメラ１０Ｄの４つのカメラを備えた。しかし車両２０は少なくとも１つのカメラを備えればよい。また車両２０は５つ以上のカメラを備えてもよい。
（変形例４）
　上述した第１の実施の形態では、画像認識部１１１がセグメント分割処理を行うことで撮影画像を複数の領域に分割し、その中で立体物に対応する領域の座標対応点を処理対象として、テーブル補正部１１３がテーブルデータ１２１の補正を行うこととした。しかし、画像認識部１１１は撮影画像内で立体物に対応する領域のみを特定してもよい。例えば、距離画像において奥行き情報が段階的に変化していない部分を抽出し、その部分に対応する同一被写体の領域を撮影画像において特定することで、立体物に対応する領域を撮影画像内で特定することが可能である。
（第２の実施の形態）
　図１４～図１８を参照して、画像処理装置１００の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、テーブルデータ１２１の撮影画像上の座標の値も修正される点が、第１の実施の形態と異なる。
（第２の実施の形態の概要）
　第１の実施の形態では、抽出された輪郭に対してもともと座標対応点が密に設定されていた。しかし抽出された輪郭に対して座標対応点が疎に設定されている場合は、第１の実施の形態における効果は限定的になる。そこで本実施の形態では抽出された立体物の輪郭に対応させて、新たに座標対応点を設定する。
　図１４は、第１の実施の形態を適用した場合に生じうる問題点を示す図である。図１４（ａ）は輪郭に対して座標対応点が疎に設定されている場合を示す例である。図１４（ｂ）は図１４（ａ）におけるＰＱ間の理想的な奥行き情報を示す模式図であり、図１４（ｃ）は図１４（ａ）におけるＰＱ間の奥行き情報を示す模式図である。ただし図１４（ｂ）および図１４（ｃ）において、図示上方向が距離が遠いことを示しており、白丸は輪郭を示している。図１４（ｂ）に示すように、理想的には輪郭を境に距離情報が明確に変化することが望ましい。しかし距離情報は座標対応点にのみ設定され、座標対応点と座標対応点との間の点は補間処理がされるので、いわば距離情報は図１４（ｃ）に示すように理想とは異なってしまう。
　図１５（ａ）は第２の実施の形態によるテーブル補正部１１３により補正された座標対応点を示す図であり、図１５（ｂ）は図１５（ａ）におけるＰＱ間の奥行き情報を示す模式図である。本実施の形態では、図１５（ａ）に示すように座標対応点が立体物領域の輪郭の近傍であって輪郭の両側、すなわち立体物領域の外部と内部にそれぞれ設定される。そのため図１５（ｂ）に示すように距離が輪郭付近で急激に変化し、図１４（ｂ）に示した理想的な距離とおおよそ一致する。なお図１５では図示の都合により輪郭と座標対応点の間が空いているが、可能な限り輪郭と座標対応点を密接させることが望ましい。
（構成）
　第２の実施の形態における画像処理装置１００の構成、および車両２０のハードウエア構成は、第１の実施の形態と同様である。ただし画像処理装置１００のＲＯＭ１０２に格納されるプログラムの動作が後述するように異なる。
　図１６は、画像処理装置１００が備える機能を機能ブロックとして表した機能ブロック図である。画像処理装置１００は、第１の実施の形態における機能に加えて、座標対応点設定部１１８をさらに備える。座標対応点設定部１１８は、画像認識部１１１が分割したセグメントの輪郭の近傍に座標対応点を設定する。ただし座標対応点設定部１１８は、既存の座標対応点の座標を修正してもよいし、新たに座標対応点を加えてもよい。
（テーブルデータの補正）
　図１７は、テーブルデータ１２１から補正対象座標対応点および新たに設定された座標対応点を抽出し、補正前後の座標を示した図である。図１７は、第１の実施の形態における図８に対応する。以下では主に図８との相違点を説明する。第２の実施の形態では、撮影画像上の座標も補正されうる。たとえば図１７の対応番号「ｏ２」では撮影画像上の座標のＸｒ座標およびＹｒ座標の両方が補正され、対応番号「ｏ３」では撮影画像上の座標のＹｒ座標が補正されている。また対応関係番号「ｏ４」は補正前には存在していないことからわかるように、新たに設定された座標対応点である。
（画像処理装置の動作）
　図１８を参照して第２の実施の形態における画像処理装置１００の動作を説明する。ただし第１の実施の形態と共通する動作は説明を省略する。ステップＳ５０５までの処理は第１の実施の形態と同様なので、説明および図示を省略する。
　ステップＳ５０５において立体物であると判断すると、ステップＳ５２１に進み、路面または空であると判断する場合はステップＳ５０８に進む。ステップＳ５２１においてＣＰＵ１０１は、座標対応点設定部１１８に処理対象のセグメントの輪郭の近傍であって当該セグメントの内部と外部に座標対応点を設定させる。
　続くステップＳ５２２ではＣＰＵ１０１は、距離修正部１１２にステップＳ５２１において設定した座標対応点のうち、セグメントの外部に存在する座標対応点の距離情報を設定させる。この座標対応点の距離は、輪郭の外側に元々存在する座標対応点の距離に基づいて決定してもよいし、その座標対応点が路面に存在すると仮定して決定してもよい。続くステップＳ５０６ＡではＣＰＵ１０１は、距離修正部１１２を用いて処理対象セグメント内の全ての座標対応点の距離情報を修正、すなわち立体物距離を算出する。ただし処理対象セグメント内の全ての座標対応点には、ステップＳ５２１において新たに設定された座標対応点も含まれる。ステップＳ５０７以降の処理は第１の実施の形態と同様なので説明を省略する。
　上述した第２の実施の形態によれば、次の作用効果が得られる。
（６）距離修正部１１２は、撮影画像上の変換元座標と視点変換画像上の変換先座標との組み合わせを複数含む。テーブル補正部１１３は、変換元座標を立体物領域の輪郭の近傍に補正する。そのため座標対応点が距離修正部１１２において密に設定されていない場合であっても、座標対応点を被写体の輪郭の近傍に補正することで、視点変換画像における立体形状の再現を高精度化することができる。
（７）テーブル補正部１１３は、立体物領域の輪郭の近傍であって立体物領域の外部および内部に変換元座標を配置する。そのため図１５に示すように立体形状の再現をさらに高精度化することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１７－１２８２８０（２０１７年６月３０日出願）
１０　　　…　カメラ
１４　　　…　距離検出部
１００　　…　画像処理装置
１０１　　…　ＣＰＵ
１０４　　…　記憶部
１０５　　…　インタフェース
１１１　　…　画像認識部
１１２　　…　距離修正部
１１３　　…　テーブル補正部
１１４　　…　対応付け部
１１５　　…　画像変換部
１１８　　…　座標対応点設定部
１２１　　…　テーブルデータ

Claims (14)

  1. 　第１の空間解像度を有する撮影画像を取得する画像取得部と、
    　前記第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得する距離取得部と、
    　前記撮影画像において立体物に対応する立体物領域を含む領域を抽出する画像認識部と、
    　前記距離画像に基づき前記立体物領域の奥行き情報を算出する距離算出部と、
    　前記撮影画像を座標変換するための座標変換情報を前記距離算出部が算出した前記立体物領域の奥行き情報に基づき補正する補正部と、
    　前記補正部により補正された座標変換情報を用いて前記撮影画像を座標変換した視点変換画像を生成する視点変換画像生成部と、を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記画像認識部は、前記撮影画像の輝度、明度、彩度、および明度の少なくとも１つに基づき前記立体物領域を含む複数の領域の輪郭を抽出する画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記座標変換情報は、前記撮影画像上の変換元座標と前記視点変換画像上の変換先座標との組み合わせを複数含み、
    　前記補正部は、前記立体物領域の奥行き情報に基づき前記変換先座標を補正する画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記座標変換情報は、前記撮影画像における被写体が路面上の領域であることを前提としてあらかじめ作成され、
    　前記画像認識部は、前記撮影画像に含まれる被写体ごとに前記撮影画像を複数の領域に分割し、
    　前記補正部は、前記距離画像に基づき前記複数の領域が前記立体物領域であるか否かをそれぞれ判断し、前記立体物領域であると判断した領域内の前記変換元座標に対応する前記変換先座標を補正する画像処理装置。
  5. 　請求項１に記載の画像処理装置において、
    　前記座標変換情報は、前記撮影画像上の変換元座標と前記視点変換画像上の変換先座標との組み合わせを複数含み、
    　前記補正部は、前記変換元座標を前記立体物領域の輪郭の近傍に補正する画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記補正部は、前記立体物領域の輪郭の近傍であって前記立体物領域の外部および内部に前記変換元座標を配置する画像処理装置。
  7. 　請求項１に記載の画像処理装置において、
    　前記座標変換情報は前記撮影画像の被写体が基準高さ平面内に存在することを前提に算出されており、
    　前記補正部は、前記距離算出部が算出した前記立体物領域の奥行き情報を用いて前記被写体の前記基準高さ平面からの高さ、および前記被写体の前記基準高さ平面上の位置を算出し、
    　前記補正部は、視点変換の基準位置、算出した前記被写体の前記基準高さ平面からの高さ、および算出した前記被写体の前記基準高さ平面上の位置を用いて前記座標変換情報を補正する画像処理装置。
  8. 　第１の空間解像度を有する撮影画像を取得することと、
    　前記第１の空間解像度よりも解像度が低い第２の空間解像度を有する奥行き情報である距離画像を取得することと、
    　前記撮影画像において立体物に対応する立体物領域を含む領域の抽出を行うことと、
    　前記距離画像に基づき前記立体物領域の奥行き情報の算出を行うことと、
    　前記撮影画像を座標変換するための座標変換情報を前記算出された前記立体物領域の奥行き情報に基づき補正を行うことと、
    　前記補正により補正された座標変換情報を用いて前記撮影画像を座標変換した視点変換画像を生成することとを含む画像変換方法。
  9. 　請求項８に記載の画像変換方法において、
    　前記立体物領域を含む領域の抽出は、前記撮影画像の輝度、明度、彩度、および明度の少なくとも１つに基づき実行される画像変換方法。
  10. 　請求項８に記載の画像変換方法において、
    　前記座標変換情報は、前記撮影画像上の変換元座標と前記視点変換画像上の変換先座標との組み合わせを複数含み、
    　前記立体物領域における奥行き情報に基づき前記変換先座標を補正する画像変換方法。
  11. 　請求項１０に記載の画像変換方法において、
    　前記座標変換情報は、前記撮影画像における被写体が路面上の領域であることを前提としてあらかじめ作成され、
    　前記撮影画像に含まれる被写体ごとに前記撮影画像を複数の領域に分割し、
    　前記距離画像に基づき前記複数の領域が前記立体物領域であるか否かをそれぞれ判断し、前記立体物領域であると判断した領域内の前記変換元座標に対応する前記変換先座標を補正する画像変換方法。
  12. 　請求項８に記載の画像変換方法において、
    　前記座標変換情報は、前記撮影画像上の変換元座標と前記視点変換画像上の変換先座標との組み合わせを複数含み、
    　前記立体物領域の奥行き情報に基づく補正には、前記変換元座標を前記立体物領域の輪郭の近傍に補正することが含まれる画像変換方法。
  13. 　請求項１２に記載の画像変換方法において、
    　前記立体物領域の奥行き情報に基づく補正には、前記立体物領域の輪郭の近傍であって前記立体物領域の外部および内部に前記変換元座標を配置することが含まれる画像変換方法。
  14. 　請求項８に記載の画像変換方法において、
    　前記座標変換情報は前記撮影画像の被写体が基準高さ平面内に存在することを前提に算出されており、
    　前記座標変換情報の補正は、算出した前記立体物領域の奥行き情報を用いて前記被写体の前記基準高さ平面からの高さ、および前記被写体の前記基準高さ平面上の位置を算出し、視点変換の基準位置、算出した前記被写体の前記基準高さ平面からの高さ、および算出した前記被写体の前記基準高さ平面上の位置を用いて行われる画像変換方法。
PCT/JP2018/021906 2017-06-30 2018-06-07 画像処理装置、画像変換方法 WO2019003854A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/627,723 US11134204B2 (en) 2017-06-30 2018-06-07 Image processing apparatus and image transformation method
EP18824785.2A EP3648458A4 (en) 2017-06-30 2018-06-07 IMAGE PROCESSING DEVICE AND IMAGE CONVERSION METHOD
CN201880043396.4A CN110832851B (zh) 2017-06-30 2018-06-07 图像处理装置、图像变换方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017128280A JP2019012915A (ja) 2017-06-30 2017-06-30 画像処理装置、画像変換方法
JP2017-128280 2017-06-30

Publications (1)

Publication Number Publication Date
WO2019003854A1 true WO2019003854A1 (ja) 2019-01-03

Family

ID=64741458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021906 WO2019003854A1 (ja) 2017-06-30 2018-06-07 画像処理装置、画像変換方法

Country Status (5)

Country Link
US (1) US11134204B2 (ja)
EP (1) EP3648458A4 (ja)
JP (1) JP2019012915A (ja)
CN (1) CN110832851B (ja)
WO (1) WO2019003854A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142660A1 (ja) * 2018-01-19 2019-07-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7262064B2 (ja) * 2019-03-26 2023-04-21 パナソニックＩｐマネジメント株式会社 測距撮像システム、測距撮像方法、及びプログラム
JP2023047495A (ja) * 2021-09-27 2023-04-06 キヤノン株式会社 移動体、画像処理方法、およびコンピュータプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216934A (ja) * 2002-01-18 2003-07-31 Nissan Motor Co Ltd 障害物検出装置および障害物検出方法
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
JP2012138660A (ja) 2010-12-24 2012-07-19 Nissan Motor Co Ltd 車両用表示装置
JP2012214169A (ja) * 2011-04-01 2012-11-08 Mitsubishi Electric Corp 運転支援装置
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2015194501A1 (ja) * 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法
JP2016143381A (ja) * 2015-02-05 2016-08-08 クラリオン株式会社 画像生成装置、座標変換テーブル作成装置および作成方法
JP2016181072A (ja) * 2015-03-24 2016-10-13 クラリオン株式会社 物体認識装置
JP2017128280A (ja) 2016-01-21 2017-07-27 藤倉航装株式会社 浮力付与具

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP2009218909A (ja) * 2008-03-11 2009-09-24 Ricoh Co Ltd 画像撮像装置
CN103609100B (zh) 2011-06-09 2017-09-29 爱信精机株式会社 图像生成装置
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
CN109313018B (zh) * 2016-06-08 2021-12-10 索尼公司 成像控制装置和方法、以及车辆
CN109313021B (zh) * 2016-06-08 2021-10-29 索尼公司 成像控制装置和方法、以及车辆
CN206236170U (zh) * 2016-11-22 2017-06-09 塔普翊海（上海）智能科技有限公司 一种包含深度信息获取的扩增实境系统
JP7062563B2 (ja) * 2018-09-07 2022-05-06 キオクシア株式会社 輪郭抽出方法、輪郭抽出装置、及びプログラム
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
US11308338B2 (en) * 2018-12-28 2022-04-19 Nvidia Corporation Distance to obstacle detection in autonomous machine applications

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216934A (ja) * 2002-01-18 2003-07-31 Nissan Motor Co Ltd 障害物検出装置および障害物検出方法
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
JP2012138660A (ja) 2010-12-24 2012-07-19 Nissan Motor Co Ltd 車両用表示装置
JP2012214169A (ja) * 2011-04-01 2012-11-08 Mitsubishi Electric Corp 運転支援装置
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2015194501A1 (ja) * 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法
JP2016143381A (ja) * 2015-02-05 2016-08-08 クラリオン株式会社 画像生成装置、座標変換テーブル作成装置および作成方法
JP2016181072A (ja) * 2015-03-24 2016-10-13 クラリオン株式会社 物体認識装置
JP2017128280A (ja) 2016-01-21 2017-07-27 藤倉航装株式会社 浮力付与具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3648458A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142660A1 (ja) * 2018-01-19 2019-07-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
US11134204B2 (en) 2021-09-28
CN110832851A (zh) 2020-02-21
JP2019012915A (ja) 2019-01-24
EP3648458A4 (en) 2020-11-04
CN110832851B (zh) 2021-06-15
EP3648458A1 (en) 2020-05-06
US20210160437A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP5108605B2 (ja) 運転支援システム及び車両
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP2009129001A (ja) 運転支援システム、車両、立体物領域推定方法
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
WO2019003854A1 (ja) 画像処理装置、画像変換方法
KR20130064167A (ko) 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법
US20220319145A1 (en) Image processing device, image processing method, moving device, and storage medium
CN110738696B (zh) 行车盲区透视视频的生成方法及行车盲区视野透视系统
JP7074546B2 (ja) 画像処理装置および方法
WO2018016274A1 (ja) 画像処理装置
JP2009077022A (ja) 運転支援システム及び車両
JP6388744B1 (ja) 測距装置および測距方法
KR20210015769A (ko) 주변 환경 영상에서 광원의 위치 좌표 추정
US11858420B2 (en) Below vehicle rendering for surround view systems
KR101762117B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
CN117173014B (zh) 一种在bev图像中合成3d目标的方法及装置
Fuchs et al. Perspectively correct construction of virtual views
KR101192474B1 (ko) 건조물문화재의 객체 중심의 3ｄ 파노라마 생성 방법
CN117078506A (zh) 一种基于avm图像在鱼眼图像中合成车位的方法及装置
CN118334116A (zh) Led灯珠标定方法、装置、设备及介质
CN118869955A (zh) 相机辅助投影仪自动避障方法、装置、设备和介质
KR20210041241A (ko) 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18824785

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018824785

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018824785

Country of ref document: EP

Effective date: 20200130