WO2018016274A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2018016274A1
WO2018016274A1 PCT/JP2017/023601 JP2017023601W WO2018016274A1 WO 2018016274 A1 WO2018016274 A1 WO 2018016274A1 JP 2017023601 W JP2017023601 W JP 2017023601W WO 2018016274 A1 WO2018016274 A1 WO 2018016274A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coordinate
coordinates
dimensional object
viewpoint
Prior art date
Application number
PCT/JP2017/023601
Other languages
English (en)
French (fr)
Inventor
樋口　晴彦
中嶋　満雄
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Publication of WO2018016274A1 publication Critical patent/WO2018016274A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image processing apparatus.
  • Patent Document 1 discloses a configuration in which coordinates for projecting an image obtained by photographing are deformed in accordance with a virtually set viewpoint position.
  • the image processing apparatus includes a viewpoint conversion image generation unit that generates a viewpoint conversion image obtained by performing coordinate conversion of an input captured image using predetermined coordinate conversion information, and the coordinate conversion information.
  • a correction unit that corrects, the correction unit corrects information corresponding to a region where a three-dimensional object exists in the captured image in the coordinate conversion information, and the viewpoint conversion image generation unit includes the correction unit.
  • the coordinate conversion of the captured image is performed using the coordinate conversion information corrected by the above.
  • FIG. 1 is a block diagram of an image processing device 100 mounted on a vehicle 20. It is the figure which looked down at the vehicle 20 from the upper part. It is the figure which looked at the vehicle 20 from the side. It is a figure which shows the definition of a camera coordinate system, a virtual viewpoint coordinate system, and a world coordinate system. It is a figure which shows an example of the table data.
  • FIG. 6A is a diagram illustrating a captured image 301 of the front camera 10A in the situation illustrated in FIGS.
  • FIG. 6B is a diagram showing the viewpoint conversion image 311 of the virtual viewpoint 25 in the situation shown in FIGS.
  • FIG. 8A is a diagram in which correction target coordinate corresponding points are superimposed on a captured image 301 similar to FIG.
  • FIG. 8B is a diagram in which the coordinate P0v of the ground contact point 61 of the three-dimensional object 21 is superimposed on the viewpoint conversion image 311 similar to that in FIG.
  • FIG. 8A is a diagram in which correction target coordinate corresponding points are superimposed on a captured image 301 similar to FIG.
  • FIG. 8B is a diagram in which the coordinate P0v of the ground contact point 61 of the three-dimensional object 21 is superimposed on the viewpoint conversion image 311 similar to that in FIG.
  • FIGS. 4 is a view showing a viewpoint conversion image 1001 of a virtual viewpoint 26 when the table data 121 is not corrected in the situation shown in FIGS. It is a figure which shows an example of a correction result.
  • 3 is a flowchart showing the operation of the image processing apparatus 100. It is a block diagram of the image processing apparatus 100 in 2nd Embodiment. It is a figure which shows an example of table data 121A. It is the figure which extracted the correction
  • FIG. 1 is a block diagram of an image processing apparatus 100 mounted on the vehicle 20.
  • the vehicle 20 includes an image processing apparatus 100, a front camera 10A, a left camera 10B, a right camera 10C, a rear camera 10D, a distance detection unit 114, and a display unit 13.
  • the front camera 10A, the left camera 10B, the right camera 10C, and the rear camera 10D are collectively referred to as cameras 10A to 10D.
  • the image processing apparatus 100 installs a virtual camera around the vehicle 20 at a virtual position (hereinafter referred to as a virtual viewpoint) different from the installation position of the cameras 10A to 10D, using images taken by the cameras 10A to 10D.
  • a virtual viewpoint a virtual position
  • an image (hereinafter referred to as a viewpoint-converted image) obtained when shooting is output to the display unit 13.
  • the processing of the image processing device 100 does not need to consider the movement of the vehicle 20 because the vehicle 20 is stationary or the processing of the image processing device 100 is sufficiently fast. To do.
  • the user selects a virtual viewpoint from a plurality set in advance, and the user cannot arbitrarily set the virtual viewpoint.
  • the optical axis of the virtual camera installed at the virtual viewpoint is oriented vertically downward or horizontally, but the orientation of the optical axis of the virtual camera Is not limited to this.
  • the direction of the optical axis of the virtual camera can be freely set.
  • the image processing apparatus 100 includes a control unit 11 including a CPU and a storage unit 12 including a flash memory and a ROM.
  • the control unit 11 executes the program stored in the storage unit 12 to thereby perform the first image acquisition unit 111A, the second image acquisition unit 111B, the third image acquisition unit 111C, the fourth image acquisition unit 111D, and the mode switching.
  • the first image acquisition unit 111A, the second image acquisition unit 111B, the third image acquisition unit 111C, and the fourth image acquisition unit 111D are collectively referred to as image acquisition units 111A to 111D.
  • the storage unit 12 stores a program executed by the control unit 11 and table data 121 described later.
  • the table data 121 is a look-up table used when generating a viewpoint conversion image such as a bird's-eye view image or a bird's-eye view image.
  • the table data 121 and the cameras 10A to 10D installed on the vehicle 20 It is created in advance according to the position and angle of the virtual viewpoint and the imaging conditions.
  • the first image acquisition unit 111A, the second image acquisition unit 111B, the third image acquisition unit 111C, and the fourth image acquisition unit 111D are photographed by the front camera 10A, the left camera 10B, the right camera 10C, and the rear camera 10D, respectively. Get an image.
  • the mode switching unit 112 acquires an input to a virtual viewpoint switching switch (not shown) via a CAN (Controller Area Network) (not shown).
  • the virtual viewpoint changeover switch is used to select the position of the virtual viewpoint and the direction of the optical axis of the virtual camera installed at the virtual viewpoint from preset combinations.
  • the mode switching unit 112 outputs the acquired input to the virtual viewpoint switching switch to the table correction unit 113.
  • the table correction unit 113 reads the table data 121 corresponding to each camera from the storage unit 12 based on the output of the mode switching unit 112. That is, the table data 121 is provided for each camera and each virtual viewpoint. Further, as will be described later, the table data 121 is corrected based on the output of the distance acquisition unit 114A, and the corrected table data is output to the deformation synthesis unit 115.
  • the distance acquisition unit 114A acquires depth information detected by the distance detection unit 114 and having resolution in the horizontal direction and the vertical direction.
  • the depth information acquired by the distance acquisition unit 114A is referred to as a distance image.
  • the deformation synthesis unit 115 generates a viewpoint conversion image using the captured images acquired by the image acquisition units 111A to 111D and the table data corrected by the table correction unit 113.
  • the display control unit 116 outputs and displays the viewpoint conversion image generated by the deformation synthesis unit 115 on the display unit 13.
  • the display unit 13 is, for example, a display unit of an LCD display, a projector, or a car navigation device mounted on the vehicle 20.
  • the display unit 13 displays information output from the display control unit 116.
  • the distance detection unit 114 detects depth information of objects around the vehicle as information having resolution in the horizontal direction and the vertical direction.
  • a ranging device such as laser radar, sonar, ToF (Time of Flight) or the like may be used, triangulation using a stereo camera, or SfM (Structure of Motion) using a monocular camera.
  • the surrounding three-dimensional shape may be surveyed in advance, and the vehicle position may be estimated using GPS (Global Positioning System) to obtain depth information between the vehicle and the object.
  • GPS Global Positioning System
  • FIGS. 2 to 3 are diagrams for explaining a situation in which the image processing apparatus 100 operates.
  • 2 is a view of the vehicle 20 equipped with the image processing apparatus 100 as viewed from above
  • FIG. 3 is a view of the vehicle 20 as viewed from the side.
  • a marker 22 is installed on the ground in front of the vehicle 20, and a tree, that is, a three-dimensional object 21, is on the front left of the vehicle 20.
  • the cameras indicated by broken lines in FIGS. 2 to 3 represent virtually installed cameras, that is, virtual viewpoints.
  • a front camera 10A is installed in the front part of the vehicle 20, the optical axis thereof is directed to the road surface 23 in front of the vehicle 20, and the three-dimensional object 21 and the marker 22 on the road surface are captured within the shooting range.
  • a left camera 10B, a right camera 10C, and a rear camera 10D are installed on the left, right, and rear of the vehicle 20, respectively, and their optical axes are on the left, right, and rear of the vehicle 20, respectively. It is directed to the road surface 23.
  • Cameras 10A to 10D have wide-angle lenses and each have an angle of view of about 180 degrees.
  • the installation positions and installation angles of the cameras 10A to 10D and the distance detection unit 114 are predetermined and known at the design stage of the vehicle 20.
  • the distance acquisition unit 114A is shown to be included in the image processing apparatus 100 in FIGS. 2 to 3, but may be installed outside the image processing apparatus 100, or each of the cameras 10A to 10D. Multiple units may be installed in the vicinity.
  • the virtual viewpoint 25 is a viewpoint that captures an image directly below the front of the vehicle 20 and looks down on the front of the vehicle 20.
  • the virtual viewpoint 26 is a viewpoint that desires the vehicle 20 from the right front to the left front.
  • a method of creating an image obtained from the virtual viewpoint 25 in the situation shown in FIGS. Next, a method for creating an image obtained from the virtual viewpoint 26 will be described.
  • the image processing apparatus 100 includes the cameras 10A to 10D, the case where the captured image of the front camera 10A is converted will be described as a representative.
  • FIG. 4 is a diagram illustrating definitions of a camera coordinate system, a virtual viewpoint coordinate system, and a world coordinate system.
  • the camera coordinate system is a coordinate system based on a camera that captures an image.
  • FIG. 4 shows three axes of the camera coordinate system R based on the front camera 10A, that is, Xr, Yr, and Zr.
  • the virtual viewpoint coordinate system is a coordinate system based on a virtual viewpoint determined by input to the mode switching unit 112.
  • FIG. 4 illustrates three axes of the virtual viewpoint coordinate system V based on the virtual viewpoint 25, that is, Xv, Yv, and Zv.
  • the world coordinate system is a coordinate system set based on the road surface on which the vehicle 20 travels.
  • FIG. 4 shows three axes of the world coordinate system W, that is, Xw, Yw, and Zw.
  • Zr which is one axis of the camera coordinate system R, coincides with the optical axis of the front camera 10A, that is, is orthogonal to the image sensor
  • Xr and Yr which are the other two axes, are the long side and short side of the image sensor of the front camera 10A.
  • Zv which is one axis of the virtual viewpoint coordinate system, coincides with the optical axis of the virtual camera placed at the virtual viewpoint 25, that is, is orthogonal to the virtual image sensor, and Xv and Yv, which are the other two axes, are virtual.
  • the long side and the short side of a typical image sensor are parallel to each other.
  • a point P is called Pw in the world coordinate system W, and its coordinates are represented as (xw, yw, zw).
  • Pr The point P in the captured image when the point Pw is captured by the front camera 10A
  • Pr the coordinates of the point Pr are represented as (xr, yr, zr).
  • Pv A point P in the image obtained from the virtual viewpoint 25 is referred to as Pv, and the coordinates of Pv are represented as (xv, yv, zv).
  • Mr is a 4 ⁇ 4 perspective projection transformation matrix as shown in Equation (2).
  • Rr is a 3 ⁇ 3 rotation matrix
  • Tr is a 1 ⁇ 3 translation matrix
  • 0 is a 3 ⁇ 1 zero matrix.
  • the rotation matrix Rr and the translation matrix Tr are calculated by a well-known method based on the installation position and installation angle of the camera 10A on the world coordinate system, the focal length which is an internal parameter of the camera 10A, the effective pixel size of the image sensor, and the like. Is done.
  • Mv is a 4 ⁇ 4 perspective projection transformation matrix as shown in Equation (4).
  • Equation (4) Rv is a 3 ⁇ 3 rotation matrix
  • Tv is a 1 ⁇ 3 translation matrix
  • 0 is a 3 ⁇ 1 zero matrix.
  • the rotation matrix Rv and the translation matrix Tv are calculated by a known method based on the position and angle of the virtual viewpoint 25 on the world coordinate system, the virtual focal length of the virtual viewpoint 25, the effective pixel size of the image sensor, and the like.
  • Equation (5) for converting the coordinates of the point Pr in the camera coordinate system R into the coordinates of the point Pv in the virtual viewpoint coordinate system V.
  • the coordinates of the point Pr of the camera coordinate system R are transformed into the coordinates of the point Pw of the world coordinate system by the inverse matrix of the perspective projection transformation matrix Mr, and the coordinates of the point Pw are transformed by the perspective projection transformation matrix Mv.
  • the coordinates are converted to the coordinates (xv, yv, zv) of the point Pv in the virtual viewpoint coordinate system V.
  • the pixel value of the point Pv of the viewpoint conversion image 311 can be calculated from the pixel value of the point Pr of the corresponding photographed image 301 using the coordinate conversion result obtained by Expression (5).
  • Each table data 121 stored in the storage unit 12 describes a plurality of sets of correspondence relationships between the points Pr on the photographed image and the points Pv on the viewpoint conversion image calculated in advance. That is, the coordinates (xr1, yr1) of the predetermined point Pr1 of the camera coordinate system R, the coordinates (xr2, yr2) of Pr2, etc. are respectively converted to the corresponding points of the virtual viewpoint coordinate system V by the above equation (5). It was obtained by converting to coordinates.
  • the correspondence between the points corresponding to the two coordinate systems that is, the correspondence between the pixels is referred to as coordinate correspondence information, and this coordinate correspondence information is created as table data 121.
  • the Zr coordinate information is omitted assuming that the focal length of the camera 10A is fixed.
  • a pixel whose coordinate correspondence information is stored in the table data 121 is referred to as a coordinate correspondence pixel or a coordinate correspondence point. That is, a plurality of coordinate corresponding points are set in advance in the captured image 301 and the viewpoint conversion image 311.
  • the number of calculations of Equation 5 can be reduced, and the processing time of coordinate conversion can be shortened.
  • the amount of data in the table data 121 increases as the coordinate correspondence information stored in advance in the table data 121 increases.
  • the coordinate correspondence information is stored in advance only for some of the pixels of the captured image 301, and the pixel value of the point Pv is calculated by interpolation processing for the other pixels.
  • FIG. 5 is a diagram illustrating an example of the table data 121.
  • the table data 121 is a coordinate correspondence table that defines the correspondence between the coordinates of discrete pixels of the captured image 301 and the coordinates of pixels of the viewpoint conversion image 311 corresponding to the coordinates.
  • the coordinate correspondence information of each pixel of correspondence number 1, 2,..., N is shown.
  • the image processing apparatus 100 refers to the table data 121 for each pixel coordinate of the captured image 301 and calculates the coordinates of the corresponding viewpoint-converted image 311 pixel.
  • FIG. 6A is a diagram illustrating a captured image 301 of the front camera 10A in the situation illustrated in FIGS.
  • “x” marks regularly arranged in a grid form represent the coordinate-corresponding pixels described above.
  • a road surface 23 and a marker 22 near the front camera 10A are photographed in the lower part of FIG. 6A, and a road surface 23 farther from the front camera 10A is photographed in the upper part of FIG. 6A.
  • a three-dimensional object 21 existing in the left front of the vehicle 20 is photographed in the upper left part of FIG.
  • FIG. 6B is a diagram showing the viewpoint conversion image 311 of the virtual viewpoint 25 in the situation shown in FIGS.
  • the “x” mark in FIG. 6B also represents the coordinate-corresponding pixel described above.
  • FIG. 6B shows an example in which the table data 121 stored in the storage unit 12 is used as it is without correcting the table data 121 described later.
  • correction processing for reducing image distortion by correcting the table data 121 will be described.
  • the lower left and lower right images of the viewpoint conversion image 311 in FIG. 6B are created by using a part of images acquired from the cameras 10B and 10C.
  • images acquired from the two cameras 10A and 10B are combined by ⁇ blending.
  • FIG. 7 is a diagram illustrating an example of the depth information of the subject acquired by the distance acquisition unit 114 ⁇ / b> A, that is, the distance image 60.
  • the distance detection unit 114 has resolutions in the horizontal and vertical directions, similar to a general camera, and acquires depth information of the subject at each position on the imaging surface corresponding to the resolution and outputs it to the distance acquisition unit 114A. .
  • the distance acquisition unit 114A can acquire the depth image from the distance detection unit 114 to acquire the distance image 60 as illustrated in FIG.
  • the depth information of the subject at each position on the imaging surface of the distance detection unit 114 is represented by the intensity of white to black luminance of each pixel.
  • FIG. 1 the depth information of the subject acquired by the distance acquisition unit 114 ⁇ / b> A
  • the depth is expressed using four types of hatching due to restrictions on the representation of the drawing, but the depth resolution of the distance detection unit 114 is assumed to be higher.
  • the distance image 60 is illustrated as an example in which the distance detection unit 114 and the camera 10 ⁇ / b> A have the same installation position, optical axis direction, and angle of view in order to simplify the description.
  • the three-dimensional object 21 hardly changes in depth from the lower part to the upper part of the image, and the distance from the distance detection unit 114 from the base to the top of the three-dimensional object 21 is substantially the same. Therefore, it is possible to detect the three-dimensional object having a height, that is, the three-dimensional object 21 in the example of FIG.
  • the ground contact point 61 where the depth information is continuous with the surroundings below the detected three-dimensional object 21 can be detected as an intersection of the three-dimensional object 21 and the road surface 23.
  • the coordinates of the contact point 61 in the distance image 60 are referred to as P0d.
  • the region of the three-dimensional object 21 on the photographed image 301 can be specified by converting the coordinates in the distance image 60 obtained by the distance detection unit 114 into the coordinates of the photographed image 301 obtained by the front camera 10A. .
  • the coordinates of the ground contact point 61 of the three-dimensional object 21 in the captured image 301 can also be specified.
  • the coordinates of the contact point 61 of the three-dimensional object 21 in the captured image 301 are referred to as P0r
  • the coordinates of the contact point 61 in the viewpoint conversion image are referred to as P0v.
  • the table correction unit 113 corrects the table data 121 with the coordinate corresponding points included in the region of the three-dimensional object 21 on the captured image 301 as correction targets for reducing image distortion.
  • the coordinate corresponding point to be corrected is referred to as “correction target coordinate corresponding point”.
  • the correction target coordinate corresponding point may be determined in consideration of the luminance information of the captured image 301 as well as whether or not it is included in the region of the three-dimensional object 21 on the captured image 301.
  • FIG. 8A a coordinate corresponding point that is not a correction target is superimposed as “x” in the same manner as in FIG. 6A on a captured image 301 similar to FIG. It is a figure superimposed as “*”.
  • FIG. 8B is a diagram in which the coordinate P0v of the ground contact point 61 of the three-dimensional object 21 is superimposed on the viewpoint conversion image 311 similar to that in FIG.
  • FIG. 9 is a diagram illustrating coordinates before and after correction by extracting correction target coordinate corresponding points from the table data 121.
  • the table data 121 is corrected by correcting the coordinate correspondence information regarding the correction target coordinate corresponding point among the coordinate corresponding information regarding each coordinate corresponding point of the table data 121.
  • the correction target coordinate corresponding points o1, o2, o3,..., Oi are coordinates on the viewpoint conversion image, that is, coordinates in the virtual viewpoint coordinate system V, (xv_o1, yv_o1), ( xv_o2, yv_o2), (xv_o3, yv_o3), ..., (xv_oi, yv_oi), (xv_o1 ', yv_o1'), (xv_o2 ', yv_o2'), (xv_o3 ', yv_o3'), Corrections are made to (xv_oi ′, yv_oi ′), respectively.
  • the deformation synthesis unit 115 By using the corrected table data 121 corrected in this way, the deformation synthesis unit 115 generates a viewpoint conversion image, thereby reducing the image distortion of the three-dimensional object 21 illustrated in FIG. 6B.
  • Expression (6) As an example of correcting the coordinates of the correction target coordinate corresponding point, Expression (6) is shown.
  • the weighted average of the coordinates (xv, yv) before correction on the viewpoint conversion image of the corresponding points to be corrected and the coordinates (xo, yo) of the ground point P0v is performed using the weighting factor w.
  • the corrected coordinates (xv ′, yv ′) of each correction target coordinate corresponding point are calculated.
  • the weighting coefficient w is a value between 0 and 1 and is determined by the processing described later.
  • the image distortion of the three-dimensional object 21 is reduced as compared with FIG. 6B, and a display that allows the user to easily see the object is realized.
  • the area 91 in which the three-dimensional object 21 was originally displayed in a distorted manner is an area that is a blind spot from the camera 10A and cannot be imaged (hereinafter referred to as a missing area).
  • a missing area As a method for displaying this missing area, it may be displayed as an area in which image information is missing as illustrated in FIG. 10, or as long as it is an area captured by another camera (for example, camera 10B).
  • the captured image may be complemented from the captured image of the past frame, or may be supplemented from the captured image of the past frame as long as the vehicle 20 is moving and the past frame image is captured.
  • the method for determining the weighting factor w is as follows. That is, image distortion in the viewpoint conversion image is reduced as the weighting factor w is closer to 1 at the maximum, but the missing region increases as the weighting factor w increases. Therefore, the maximum weight coefficient w that does not exceed a predetermined ratio, for example, 30%, of the missing area in the viewpoint conversion image is calculated and used.
  • the table correction unit 113 determines that the difference between the area of the three-dimensional object 21 in the viewpoint-converted image before correction, that is, the area of the missing region, and the area of the three-dimensional object 21 in the corrected viewpoint-converted image is a predetermined ratio.
  • the weighting factor w can be set so as to be the maximum value in a range not reaching an area corresponding to (for example, 30%).
  • the table correction unit 113 corrects the table data 121 using the weight coefficient w and the above-described equation (6), and outputs the corrected table data to the deformation synthesis unit 115.
  • the deformation synthesis unit 115 creates a viewpoint conversion image 311 obtained from the virtual viewpoint 25 using the corrected table data 121.
  • FIG. 26 Viewpoint conversion image of virtual viewpoint 26
  • a method for creating an image obtained from the virtual viewpoint 26 will be described with a focus on differences from the case of the virtual viewpoint 25.
  • the difference between the method of creating an image obtained from the virtual viewpoint 26 and the method of creating an image obtained from the virtual viewpoint 25 is the method of correcting the table data 121. That is, the correction target coordinate corresponding point determination method is the same, but the corrected coordinate calculation method is different.
  • FIG. 11 is a diagram showing the viewpoint conversion image 1001 of the virtual viewpoint 26 when the table data 121 is not corrected in the situation shown in FIGS.
  • the image of the three-dimensional object 21 is greatly distorted as in FIG.
  • the table correction unit 113 reduces the distortion of the three-dimensional object 21 illustrated in FIG. 11 by correcting the table data 121 as follows.
  • the table correction unit 113 first calculates the coordinates of the point P0v (xo, yo) corresponding to the ground contact point 61 of the three-dimensional object 21 in the viewpoint conversion image 1001 using the table data 121. Next, based on the known positional relationship and posture relationship between the virtual viewpoint 26 and the previous camera 10A and the focal length zv of the virtual camera placed at the virtual viewpoint 26, the point Pc (xc, yc) shown in FIG. ) Is calculated.
  • the coordinates of are calculated.
  • an angle ⁇ formed by a straight line L1 connecting the points P0v and Pc and a straight line L2 in the illustrated horizontal direction is obtained. Since the three-dimensional object 21 standing upright with respect to the road surface pays attention to the point-transformed image 1001 that is transformed by being distorted radially from the ground contact surface 61 as viewed from the camera 10A, the angle ⁇ is obtained in this way. It was.
  • Expression (7) using a rotation matrix of ⁇ is shown.
  • ⁇ and ⁇ are weighting factors, which are values of 0 or more and 1 or less, and are determined by processing described later.
  • the solid object 21 in the correction from the uncorrected coordinates (xv, yv) on the viewpoint conversion image to the corrected coordinates (xv ′, yv ′), the solid object 21 is rotated about the ground point P0v by the weighting coefficient ⁇ .
  • the degree of rotation in the illustrated vertical direction as the center is determined, and the degree of approach to the grounding point P0v is determined by the weight coefficient ⁇ .
  • the processing in Expression (7) is a combination of the weighted average processing and the rotation processing centered on the contact point P0v as shown in Expression (6).
  • step S1201 the table correction unit 113 reads the setting of the mode switching unit 112 and reads the table data 121 of each of the four cameras 10A to 10D corresponding to the setting. Next, the process proceeds to step S1202.
  • step S1202 the table correction unit 113 acquires a distance image, which is distance information around the vehicle 20 detected by the distance detection unit 114, via the distance acquisition unit 114A, and proceeds to step S1203.
  • step S1203 the table correction unit 113 detects a three-dimensional object from the distance image acquired in step S1202. Further, the area on the distance image where the detected three-dimensional object exists and the coordinates of the ground contact point of the three-dimensional object are recorded. For example, as shown on the left side of FIG. 7, if there is a region where the distance does not change from the bottom to the top, it is detected as a solid object. Next, the process proceeds to step S1204.
  • step S1204 it is determined whether or not a three-dimensional object is detected in step S1203. If it is determined that a three-dimensional object has been detected, the process proceeds to step S1205. If it is determined that a three-dimensional object is not detected, the process proceeds to step S1210.
  • step S1205 the coordinates of the three-dimensional object region and the three-dimensional object grounding point in the distance image detected in step S1203 are converted into the three-dimensional object region and three-dimensional object grounding point coordinate P0r in the captured image 301.
  • step S1206 the process proceeds to step S1206.
  • step S1206 data to be corrected is extracted from the table data 121 read in step S1201, that is, data included in the three-dimensional object region in the captured image 301 calculated in step S1205. Next, the process proceeds to step S1207.
  • step S1207 it is determined whether the correction mode is the bird's-eye view mode or the bird's-eye view mode.
  • the bird's-eye view mode is a mode that is selected when the optical axis of the virtual camera installed at the virtual viewpoint is perpendicular to the ground.
  • the bird's-eye mode is the optical axis of the virtual camera installed at the virtual viewpoint. This mode is selected when it is not vertical.
  • the bird's-eye view mode is selected when the virtual viewpoint 25 is set, and the bird's-eye view mode is selected when the virtual viewpoint 26 is set. If it is determined that the bird's-eye view mode is selected, the process proceeds to step S1208. If it is determined that the bird's-eye view mode is selected, the process proceeds to step S1209.
  • step S1208 the table data 121 is corrected using equation 6 and the process proceeds to step S1210.
  • step S1209 the table data 121 is corrected using Expression 7, and the process proceeds to step S1210.
  • step S1210 the table data 121 is read from the table correction unit 113 by the deformation synthesis unit 115, and a viewpoint conversion image is generated using the captured images 301 acquired by the image acquisition units 111A to 111D. If a three-dimensional object is detected, the table data 121 is corrected in S1208 or S1209, and a viewpoint conversion image in which the distortion of the three-dimensional object is reduced is generated. Then, it is displayed on the display unit 13 via the display control unit 116.
  • the image processing apparatus 100 includes a viewpoint conversion image generation unit that generates a viewpoint conversion image obtained by performing coordinate conversion on the input captured image 301 using predetermined coordinate conversion information, that is, table data 121, that is, a deformation synthesis unit 115. And a table correction unit 113 that corrects the table data 121.
  • the table correction unit 113 corrects the coordinate correspondence information corresponding to the area where the three-dimensional object exists in the captured image 301 in the table data 121.
  • the viewpoint conversion image generation unit that is, the deformation synthesis unit 115 performs coordinate conversion of the captured image 301 using the table data 121 corrected by the table correction unit 113.
  • the image processing apparatus 100 is configured in this way, it is possible to generate a viewpoint conversion image with reduced image distortion of a three-dimensional object. Further, since the correction is limited to information corresponding to the area where the three-dimensional object exists in the table data 121, the processing can be speeded up as compared with the case where the entire table data 121 is corrected.
  • the coordinate conversion information that is, the table data 121 is a conversion table between the coordinates of the captured image 301 and the coordinates of the viewpoint conversion image. Therefore, the deformation synthesis unit 115 can easily create a viewpoint conversion image by referring to the table data 121.
  • the coordinate conversion information that is, the table data 121 includes a coordinate system of the captured image 301 of a plurality of preset coordinate corresponding points, that is, coordinates in the camera coordinate system R, and a virtual viewpoint coordinate system V that is another coordinate system. It is a conversion table showing the correspondence with the coordinate in.
  • the table correction unit 113 identifies a region where a three-dimensional object exists in the captured image 301, for example, a region of the three-dimensional object 21 surrounded by a broken line in FIG. 7, and a ground point P0d of the three-dimensional object, for example, a ground point 61 in FIG.
  • the table correction unit 113 uses the coordinate corresponding points o1, o2, o3,..., Oi in the region where the three-dimensional object exists in the captured image 301 among the plurality of coordinate corresponding points in the table data 121 as the correction target coordinate corresponding points. Then, the coordinates in the virtual viewpoint coordinate system V of these correction target coordinate corresponding points are corrected based on the coordinates P0v in the virtual viewpoint coordinate system V of the coordinate corresponding points corresponding to the ground contact point P0r of the three-dimensional object. Therefore, the table data 121 can be corrected based on the ground contact point 61 of the three-dimensional object 21 without distortion in the viewpoint conversion image.
  • the table correction unit 113 determines the weighting factor w in advance in the viewpoint conversion image by determining the difference between the area of the solid object in the other coordinate system before correction and the area of the solid object in the other coordinate system after correction. For example, the maximum value that does not reach the area corresponding to 30% is set. Therefore, it is possible to reduce the image distortion of the three-dimensional object while keeping the defective area below a predetermined ratio.
  • the table correction unit 113 further rotates the coordinates (xv ′, yv ′) in another coordinate system around the coordinates P0v (xo, yo) in another coordinate system corresponding to the ground contact point of the three-dimensional object. Correct the coordinates. For this reason, it is possible to prevent the three-dimensional object from being drawn down in the viewpoint conversion image.
  • Modification 1 When the table correction unit 113 detects a three-dimensional object from the distance image, the position of the virtual viewpoint may be changed close to the camera 10 according to the position where the three-dimensional object is captured in the captured image 301. Furthermore, the direction of the optical axis of the virtual camera installed at the virtual viewpoint may be made closer to the direction of the optical axis of the camera 10.
  • Modification 2 When the three-dimensional object detected by the table correction unit 113 from the distance image is present in an area captured by a plurality of cameras, viewpoint conversion with less image distortion among viewpoint conversion images generated from the respective captured images 301.
  • the correction processing of the present invention may be applied by selecting an image.
  • the image processing apparatus 100 includes the first to fourth image acquisition units. However, the image processing apparatus 100 may include only one image acquisition unit and sequentially input images from a plurality of cameras. The number of cameras connected to the image processing apparatus 100 may be at least one and may be five or more.
  • the first embodiment described above can also be applied to the case where the cameras 10A to 10D and the distance detection unit 114 operate every hour and the viewpoint conversion image is displayed as a moving image. Further, the present invention can be applied even in a situation where the point P0v and the point P0v are changed by the movement of the vehicle 20 or the three-dimensional object 21. In that case, for example, the following calculation may be performed for the purpose of preventing blurring of a moving three-dimensional object in the converted image. That is, the table correction unit 113 stores the history of the table data 121 to be corrected, and the corrected coordinates of each correction target coordinate corresponding point by the weighted average using the history of the table data 121 when the next table data 121 is corrected. (Xv ′, yv ′) may be calculated.
  • FIGS. 1-10 A second embodiment of the image processing apparatus 100 will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment is different from the first embodiment mainly in that the user can freely set the virtual viewpoint.
  • the table data 121 in the first embodiment indicates the correspondence between the point Pr on the captured image and the point Pv on the viewpoint conversion image represented by the equation (5).
  • the table data 121A in the embodiment indicates the correspondence between the point Pr on the captured image represented by the equation (1) and the point Pw in the three-dimensional space.
  • the captured image projected on the three-dimensional section is deformed by correcting the table data 121A.
  • the deformation synthesis unit 115A creates an image obtained by photographing a photographed image projected on the three-dimensional section from a virtual viewpoint, that is, a viewpoint conversion image.
  • FIG. 14 is a block diagram of the image processing apparatus 100 according to the second embodiment. Of the operations and functions of each block, differences from the first embodiment will be described.
  • the image processing apparatus 100 according to the second embodiment includes a control unit 11A and a storage unit 12A.
  • the control unit 11 executes the program stored in the storage unit 12 to thereby perform the first image acquisition unit 111A, the second image acquisition unit 111B, the third image acquisition unit 111C, the fourth image acquisition unit 111D, and the mode switching. 112A, table correction unit 113A, distance acquisition unit 114A, deformation synthesis unit 115A, display control unit 116, and bus 117.
  • the storage unit 12A stores a program executed by the control unit 11 and table data 121A.
  • the table data 121A is provided in the same number as the cameras provided in the vehicle 20, that is, only four. This is because the table data 121A in the second embodiment does not include information on the position and orientation of the virtual viewpoint. The configuration of the table data 121A will be described later.
  • the mode switching unit 112A acquires a setting made by the user to a virtual viewpoint setting unit (not shown) via a CAN (Controller Area Network) (not shown).
  • the virtual viewpoint setting unit allows the user to freely set the position of the virtual viewpoint and the direction of the optical axis of the virtual camera installed at the virtual viewpoint.
  • the mode switching unit 112A outputs the acquired setting of the virtual viewpoint setting unit to the deformation synthesis unit 115.
  • the table correction unit 113A reads the table data 121 corresponding to each camera from the storage unit 12.
  • the table correction unit 113 corrects the table data 121 based on the output of the distance acquisition unit 114A, and outputs the corrected table data to the deformation synthesis unit 115.
  • the deformation synthesis unit 115A projects the captured images acquired by the image acquisition units 111A to 111D on the three-dimensional space using the table data corrected by the table correction unit 113. Then, based on the setting of the virtual viewpoint setting unit output from the mode switching unit 112, the deformation synthesis unit 115 performs a coordinate conversion process represented by Expression (3) on the captured image projected on the three-dimensional space, and performs the viewpoint. Get converted image.
  • FIG. 15 is a diagram illustrating an example of the table data 121A.
  • the table data 121A indicates a correspondence relationship between the point Pr on the photographed image 301 and the point Pw on the three-dimensional space represented by Expression (1).
  • FIG. 16 is a diagram illustrating coordinates before and after correction by extracting correction target coordinate corresponding points from the table data 121A.
  • (xw_o1, yw_o1, zw_o1), (xw_o2, yw_o2, zw_o2), (xw_o3, yw_o3, zw_o3) which are the coordinates in the three-dimensional space of the correction target coordinate corresponding point of the three-dimensional object 21.
  • the coordinate conversion table 121 is a conversion table between the coordinates of the captured image 301 and the coordinates in the three-dimensional space.
  • the viewpoint conversion image generation unit that is, the deformation synthesis unit 115 further obtains a viewpoint conversion image by further performing coordinate conversion of the captured image in the three-dimensional space coordinate-converted using the coordinate conversion table 121. Therefore, even when a virtual viewpoint that is not assumed in advance is set by the user, a viewpoint conversion image can be created using the coordinate conversion table 121.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments are described in detail for the entire system in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.

Abstract

画像処理装置は、入力された撮影画像を所定の座標変換情報を用いて座標変換した視点変換画像を生成する視点変換画像生成部と、座標変換情報を補正する補正部と、を備え、補正部は、座標変換情報のうち、撮影画像において立体物が存在する領域に対応する情報を補正し、視点変換画像生成部は、補正部により補正された座標変換情報を用いて撮影画像の座標変換を行う。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　車両に設置されたカメラで車両の周囲を撮影し、撮影して得られた画像を車内に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、運転者は車両周辺の様子をリアルタイムに視認性高く確認することができる。特許文献１には、仮想的に設定した視点の位置に応じて、撮影して得られた画像を投影する座標を変形させる構成が開示されている。
日本国特開２０１２－１３８６６０号公報
　特許文献１に記載されている発明では、撮影して得られた画像に立体物が含まれている場合に立体物に像歪みが発生する。
　本発明の第１の態様によると、画像処理装置は、入力された撮影画像を所定の座標変換情報を用いて座標変換した視点変換画像を生成する視点変換画像生成部と、前記座標変換情報を補正する補正部と、を備え、前記補正部は、前記座標変換情報のうち、前記撮影画像において立体物が存在する領域に対応する情報を補正し、前記視点変換画像生成部は、前記補正部により補正された前記座標変換情報を用いて前記撮影画像の座標変換を行う。
　本発明によれば、立体物の像歪みを低減した視点変換画像を生成することができる。
車両２０に搭載される画像処理装置１００のブロック図である。 車両２０を上部から見下ろした図である。 車両２０を側面から見た図である。 カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図である。 テーブルデータ１２１の一例を示す図である。 図６（Ａ）は、図２～３に示す状況における前カメラ１０Ａの撮影画像３０１を示す図である。図６（Ｂ）は、図２～３に示す状況における仮想視点２５の視点変換画像３１１を示す図である。 距離取得部１１４Ａにより取得される被写体の奥行き情報、すなわち距離画像の一例を示す図である。 図８（Ａ）は図６（Ａ）と同様の撮影画像３０１に、補正対象座標対応点を重畳した図である。図８（Ｂ）は図６（Ｂ）と同様の視点変換画像３１１に、立体物２１の接地点６１の座標Ｐ０ｖを重畳した図である。 テーブルデータ１２１から補正対象座標対応点を抽出し、補正前後の座標を示した図である。 仮想視点２５の視点変換画像３１１を本提案手法により補正した画像の例を示す図である。 図２～３に示す状況において、テーブルデータ１２１を補正しない場合の仮想視点２６の視点変換画像１００１を示す図である。 補正結果の一例を示す図である。 画像処理装置１００の動作を表すフローチャートである。 第２の実施の形態における画像処理装置１００のブロック図である。 テーブルデータ１２１Ａの一例を示す図である。 テーブルデータ１２１Ａから補正対象座標対応点を抽出し、補正前後の座標を示した図である。
（第１の実施の形態）
　以下、図１～図１２を参照して、画像処理装置の第１の実施の形態を説明する。
　図１は、車両２０に搭載される画像処理装置１００のブロック図である。車両２０は、画像処理装置１００と、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄと、距離検出部１１４と、表示部１３とを備える。以下では、前カメラ１０Ａと、左カメラ１０Ｂと、右カメラ１０Ｃと、後カメラ１０Ｄとをまとめて、カメラ１０Ａ～１０Ｄと呼ぶ。画像処理装置１００は、カメラ１０Ａ～１０Ｄが撮影した画像を用いて、車両２０の周囲をカメラ１０Ａ～１０Ｄの設置位置とは異なる仮想的な位置（以下、仮想視点）に仮想的なカメラを設置して撮影した場合に得られる画像（以下、視点変換画像）を表示部１３に出力する。本実施の形態では、車両２０は静止している、または画像処理装置１００の処理が十分高速である、などの理由により画像処理装置１００の処理は、車両２０の移動を考慮する必要がないとする。さらに本実施の形態では、仮想視点は予め設定された複数からユーザが選択するものとし、ユーザは任意に仮想視点を設定できないものとする。
　なお以下に説明する第１の実施の形態では、仮想視点に設置する仮想的なカメラの光軸は鉛直下方向、または水平方向を向くものとして説明するが、仮想的なカメラの光軸の向きはこれに限定しない。以下に説明する座標変換の回転軸を１軸追加することにより、仮想的なカメラの光軸の向きを自由に設定できる。
　画像処理装置１００は、ＣＰＵなどから構成される制御部１１と、フラッシュメモリやＲＯＭなどから構成される記憶部１２とを備える。
　制御部１１は、記憶部１２に記憶されているプログラムを実行することにより、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、第４画像取得部１１１Ｄ、モード切替部１１２、テーブル補正部１１３、距離取得部１１４Ａ、変形合成部１１５、表示制御部１１６およびバス１１７として機能する。以下では、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、および第４画像取得部１１１Ｄをまとめて画像取得部１１１Ａ～１１１Ｄと呼ぶ。
　記憶部１２には、制御部１１により実行されるプログラム、および後述するテーブルデータ１２１が記憶される。テーブルデータ１２１は、俯瞰画像や鳥瞰画像などの視点変換画像を生成する際に用いられるルックアップテーブルであり、画像処理装置１００を含むシステムの設計段階において、車両２０に設置するカメラ１０Ａ～１０Ｄおよび仮想視点の位置や角度、撮像条件により予め作成される。
　第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、および第４画像取得部１１１Ｄは、それぞれ前カメラ１０Ａ、左カメラ１０Ｂ、右カメラ１０Ｃ、後カメラ１０Ｄにより撮影される画像を取得する。
　モード切替部１１２は、不図示の仮想視点切替えスイッチへの入力を不図示のＣＡＮ（Controller Area Network）を介して取得する。仮想視点切替えスイッチは、仮想視点の位置、および仮想視点に設置される仮想的なカメラの光軸の向きを、予め設定された組み合わせから選択するものである。モード切替部１１２は、取得した仮想視点切替えスイッチへの入力をテーブル補正部１１３に出力する。
　テーブル補正部１１３は、モード切替部１１２の出力に基づき、それぞれのカメラに対応するテーブルデータ１２１を記憶部１２から読み込む。すなわち、テーブルデータ１２１はカメラごと、仮想視点ごとに設けられる。また、後述するように距離取得部１１４Ａの出力に基づきテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。
　距離取得部１１４Ａは、距離検出部１１４が検出した、水平方向および垂直方向に分解能を持った奥行き情報を取得する。以下では、距離取得部１１４Ａが取得する奥行き情報を距離画像と呼ぶ。
　変形合成部１１５は、画像取得部１１１Ａ～１１１Ｄにより取得された撮影画像と、テーブル補正部１１３により補正されたテーブルデータとを用いて、視点変換画像を生成する。
　表示制御部１１６は、変形合成部１１５により生成された視点変換画像を表示部１３に出力し表示させる。
　バス１１７は、上述した制御部１１の各ブロックにおいて生成もしくは取得された情報が書き込まれまたは読み出される。
　表示部１３は、例えばＬＣＤディスプレイやプロジェクタ、または車両２０に搭載されたカーナビゲーション装置の表示部である。表示部１３は表示制御部１１６から出力された情報を表示する。
　距離検出部１１４は、車両周囲の物体の奥行き情報を、水平方向および垂直方向に分解能を持った情報として検出する。検出手段としては、レーザレーダ、ソナー、ＴｏＦ（Time of Flight）などの測距デバイスを用いるのでもよいし、ステレオカメラを用いた三角測量、単眼カメラのＳｆＭ（Structure from Motion）により推定するのでもよいし、事前に周囲の立体形状を測量し、ＧＰＳ（Global Positioning System）を用いて自車位置を推定して自車と物体との奥行き情報を求めてもよい。距離検出部１１４の車両２０への取付け位置、および取付け姿勢は既知であり、記憶部１２に格納される。
（動作環境）
　図２～図３は、画像処理装置１００が動作する状況を説明する図である。図２は画像処理装置１００を搭載する車両２０を上部から見下ろした図、図３は車両２０を側面から見た図である。車両２０の前方正面の地面にはマーカー２２が設置され、車両２０の前方左には樹木、すなわち立体物２１がある。図２～図３に破線で示すカメラは、仮想的に設置されるカメラ、すなわち仮想視点を表している。
　車両２０の前部には前カメラ１０Ａが設置され、その光軸は車両２０の前方の路面２３に向けられており、立体物２１および路面上のマーカー２２をその撮影範囲内に捉えている。また同様に、車両２０の左部、右部および後部には、それぞれ左カメラ１０Ｂ、右カメラ１０Ｃ、および後カメラ１０Ｄが設置され、それらの光軸はそれぞれ車両２０の左方、右方、後方の路面２３に向けられている。
　カメラ１０Ａ～１０Ｄは広角のレンズを備え、それぞれ約１８０度の画角を有する。カメラ１０Ａ～１０Ｄ、および距離検出部１１４の設置位置および設置角度は、車両２０の設計段階において予め定められ既知である。なお、距離取得部１１４Ａは、図２～図３において、画像処理装置１００に内包されるように示しているが、画像処理装置１００の外部に設置されてもよいし、カメラ１０Ａ～１０Ｄの各近傍に複数台を設置してもよい。
　仮想視点２５は、車両２０の前方上部から真下を撮像し、車両２０の前方を俯瞰する視点である。仮想視点２６は、車両２０の右前方から左前方を望む視点である。以下では、まず図２～３に示す状況において仮想視点２５から得られる画像の作成方法を説明する。次に、仮想視点２６から得られる画像の作成方法を説明する。ただし画像処理装置１００はカメラ１０Ａ～１０Ｄを備えるが、前カメラ１０Ａの撮影画像を変換する場合を代表して説明する。
　仮想視点２５から得られる画像の作成方法を説明する。
（座標変換）
　図４は、カメラ座標系、仮想視点座標系、およびワールド座標系の定義を示す図である。カメラ座標系とは、画像を撮影するカメラを基準とする座標系である。図４には前カメラ１０Ａを基準とするカメラ座標系Ｒの３軸、すなわちＸｒ、Ｙｒ、Ｚｒが図示される。仮想視点座標系とは、モード切替部１１２への入力によって決定される仮想視点を基準とする座標系である。図４には仮想視点２５を基準とする仮想視点座標系Ｖの３軸、すなわちＸｖ、Ｙｖ、Ｚｖが図示される。ワールド座標系は、車両２０が走行する路面を基準に設定された座標系である。図４にはワールド座標系Ｗの３軸、すなわちＸｗ、Ｙｗ、Ｚｗが図示される。ＸｗおよびＹｗは路面に平行であり、Ｚｗ＝０の平面に路面が含まれる。
　カメラ座標系Ｒの１軸であるＺｒは前カメラ１０Ａの光軸と一致、すなわち撮像素子と直交し、他の２軸であるＸｒおよびＹｒは、前カメラ１０Ａの撮像素子の長辺および短辺と平行である。カメラの焦点距離ｚｒを用いて表すと、撮影画像３０１を構成する各画素の位置は、Ｚｒ＝ｚｒに位置するＸｒＹｒ平面上の座標データで表現される。すなわち、カメラ座標系Ｒは、撮影画像３０１の座標系と等しい。
　仮想視点座標系の１軸であるＺｖは仮想視点２５に置かれた仮想的なカメラの光軸と一致、すなわち仮想的な撮像素子と直交し、他の２軸であるＸｖおよびＹｖは、仮想的な撮像素子の長辺および短辺と平行である。仮想視点２５に置かれるカメラの焦点距離ｚvを用いて表すと、視点変換画像３１１を構成する各画素の位置は、Ｚｖ＝ｚｖに位置するＸｖＹｖ平面上の座標データで表現される。すなわち、仮想視点座標系Ｖは、視点変換画像３１１の座標系と等しい。
　ある点Ｐをワールド座標系ＷではＰｗと呼び、その座標を（ｘｗ、ｙｗ、ｚｗ）と表す。前カメラ１０Ａにより点Ｐｗを撮影した際の撮影画像における点ＰをＰｒと呼び、点Ｐｒの座標を（ｘｒ、ｙｒ、ｚｒ）と表す。仮想視点２５から得られる画像における点ＰをＰｖと呼び、Ｐｖの座標を（ｘｖ、ｙｖ、ｚｖ）と表す。
　ワールド座標系Ｗにおける点Ｐｗの座標（ｘｗ、ｙｗ、ｚｗ）をカメラ座標系Ｒの点Ｐｒの座標（ｘｒ、ｙｒ、ｚｒ）に座標変換するには、たとえば、式（１）に示すようなアフィン変換が用いられる。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｍｒは、式（２）に示されるような４ｘ４の透視投影変換行列である。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、Ｒｒは３ｘ３の回転行列、Ｔｒは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒｒおよび平行移動行列Ｔｒは、ワールド座標系上でのカメラ１０Ａの設置位置および設置角度、カメラ１０Ａの内部パラメータである焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
　また、ワールド座標系Ｗの点Ｐｗの座標（ｘｗ、ｙｗ、ｚｗ）を仮想視点座標系Ｖの点Ｐｖの座標（ｘｖ、ｙｖ、ｚｖ）に座標変換するには、たとえば、式（３）に示すようなアフィン変換が用いられる。
Figure JPOXMLDOC01-appb-M000003
　ここで、Ｍｖは、式（４）に示されるような４ｘ４の透視投影変換行列である。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、Ｒｖは３ｘ３の回転行列、Ｔｖは１ｘ３の平行移動行列、０は３ｘ１の零行列である。回転行列Ｒｖおよび平行移動行列Ｔｖは、ワールド座標系上での仮想視点２５の位置および角度、仮想視点２５の仮想的な焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
　上述した式（１）と式（３）とを組み合わせると、カメラ座標系Ｒの点Ｐｒの座標を仮想視点座標系Ｖの点Ｐｖの座標に座標変換するための式（５）が得られる。
Figure JPOXMLDOC01-appb-M000005
　式（５）では、透視投影変換行列Ｍｒの逆行列によりカメラ座標系Ｒの点Ｐｒの座標をワールド座標系の点Ｐｗの座標に座標変換し、その点Ｐｗの座標を透視投影変換行列Ｍｖにより仮想視点座標系Ｖの点Ｐｖの座標（ｘｖ、ｙｖ、ｚｖ）に座標変換している。式（５）による座標変換結果を用いて、視点変換画像３１１の点Ｐｖの画素値を、対応する撮影画像３０１の点Ｐｒの画素値から算出することができる。
（テーブルデータ１２１）
　記憶部１２に格納されるそれぞれのテーブルデータ１２１は、あらかじめ計算された撮影画像上の点Ｐｒと視点変換画像上の点Ｐｖとの対応関係を複数組について記述したものである。すなわち、カメラ座標系Ｒの所定の点Ｐｒ１の座標（ｘｒ１，ｙｒ１）、Ｐｒ２の座標（ｘｒ２，ｙｒ２）、・・・をそれぞれ上述の式（５）で仮想視点座標系Ｖの対応点への座標に変換して得られたものである。ここで、２つの座標系で対応する点同士、すなわち画素同士の対応関係を座標対応情報と呼び、この座標対応情報がテーブルデータ１２１として作成されている。なお、テーブルデータ１２１においては、カメラ１０Ａの焦点距離等が固定されているものとしてＺｒ座標の情報は省略されている。
　以降の説明では、撮影画像３０１および視点変換画像３１１の画素のうち、テーブルデータ１２１に座標対応情報が記憶されている画素を座標対応画素、あるいは座標対応点と呼ぶ。すなわち、撮影画像３０１および視点変換画像３１１には、複数の座標対応点が予め設定されている。テーブルデータ１２１を予め記憶部１２に記憶しておき、視点変換画像３１１を作成する際に参照することで、数式５の演算回数を低減し、座標変換の処理時間を短縮することができる。なお、テーブルデータ１２１に予め記憶しておく座標対応情報が増加するほど、テーブルデータ１２１のデータ量が増加する。テーブルデータ１２１のデータ量を削減するため、撮影画像３０１の一部の画素についてのみ座標対応情報を予め記憶し、他の画素については補間処理により点Ｐｖの画素値を算出する。
　図５は、テーブルデータ１２１の一例を示す図である。テーブルデータ１２１は、撮影画像３０１の離散的な画素の座標と、その座標に対応する視点変換画像３１１の画素の座標との対応関係を定義する座標対応テーブルである。図５では、対応関係番号１、２、…、ｎの各画素の座標対応情報が示されている。画像処理装置１００は、撮影画像３０１の各画素の座標ごとにテーブルデータ１２１を参照して、対応する視点変換画像３１１の画素の座標を演算する。
（テーブルデータを用いた処理例）
　図６（Ａ）は、図２～３に示す状況における前カメラ１０Ａの撮影画像３０１を示す図である。図６（Ａ）において格子状に規則的に配置される「×」印は、上述した座標対応画素を表している。図６（Ａ）の下部には前カメラ１０Ａ付近の路面２３やマーカー２２が撮影され、図６（Ａ）の上部ほど前カメラ１０Ａから遠い路面２３が撮影されている。図６（Ａ）の左上部には車両２０の左前方に存在する立体物２１が撮影されている。
　図６（Ｂ）は、図２～３に示す状況における仮想視点２５の視点変換画像３１１を示す図である。図６（Ｂ）における「×」印も、上述した座標対応画素を表している。ただし図６（Ｂ）は後述するテーブルデータ１２１の補正を行わず、記憶部１２に保存されたテーブルデータ１２１をそのまま用いた場合の例である。視点変換画像３１１は、撮影画像３０１を用いて、Ｚｖ＝０の平面に画像を投影し生成しており、視点変換画像３１１のうち立体物２１の像については拡大されるような像歪みを生じている。以下では、テーブルデータ１２１を補正することで像歪みを低減する補正処理を説明する。
　なお、図６（Ｂ）の視点変換画像３１１の左下部および右下部の画像は、カメラ１０Ｂおよび１０Ｃから取得された画像の一部を利用して作成されている。カメラ１０Ａが撮像する被写体領域とカメラ１０Ｂが撮像する被写体領域とが重なる領域は、たとえば、二つのカメラ１０Ａおよび１０Ｂから取得した画像をαブレンディングにより合成する。
（補正対象の特定）
　図７は、距離取得部１１４Ａにより取得される被写体の奥行き情報、すなわち距離画像６０の一例を示す図である。距離検出部１１４は、一般的なカメラと同様に水平方向・垂直方向に分解能を持ち、この分解能に応じた撮像面上の各位置における被写体の奥行き情報を取得して距離取得部１１４Ａに出力する。距離取得部１１４Ａは、距離検出部１１４からの奥行き情報を取得することで、図７のような距離画像６０を取得することができる。距離画像６０では、たとえば各画素の白から黒の輝度の濃淡により、距離検出部１１４の撮像面上の各位置における被写体の奥行き情報を表している。なお図７では図面の表現の制約により４種類のハッチングを用いて奥行きを表現しているが、距離検出部１１４の奥行きの分解能はより高いものとする。また図７では説明の簡易化のために、距離検出部１１４とカメラ１０Ａとが同一の設置位置、光軸方向および画角を持つものとして距離画像６０を例示している。
　距離取得部１１４Ａにより取得される距離画像６０において、図４におけるＺｗ＝０である路面２３および路面上のマーカー２２は、画像下部から上部にかけて奥行き情報が連続的に変化している。一方、立体物２１は画像下部から上部にかけて奥行きの変化がほとんどなく、立体物２１の基部から頂部まで距離検出部１１４からの距離は略同一である。そのため、距離画像６０において奥行き情報が周囲と異なる境界を抽出することにより、高さを持つ立体物、すなわち図７の例における立体物２１を検出することが可能である。また、検出した立体物２１の下方、奥行き情報が周囲と連続的となる接地点６１は、立体物２１と路面２３との交点として検出することができる。以下では、距離画像６０における接地点６１の座標をＰ０ｄと呼ぶ。
　前述のとおり、距離検出部１１４と前カメラ１０Ａとの位置関係および姿勢関係は既知である。そのため、距離検出部１１４により得られた距離画像６０における座標を前カメラ１０Ａにより得られた撮影画像３０１の座標に変換することで、撮影画像３０１上の立体物２１の領域を特定することができる。同様に撮影画像３０１における立体物２１の接地点６１の座標も特定できる。以下では、撮影画像３０１における立体物２１の接地点６１の座標をＰ０ｒと呼び、視点変換画像における接地点６１の座標をＰ０ｖと呼ぶ。
　テーブル補正部１１３は、撮影画像３０１上の立体物２１の領域に含まれる座標対応点を像歪みを低減するための補正対象として、テーブルデータ１２１を補正する。以下では、補正対象の座標対応点を「補正対象座標対応点」と呼ぶ。ただし補正対象座標対応点は、撮影画像３０１上の立体物２１の領域に含まれるか否かだけでなく、撮影画像３０１の輝度情報を加味して決定してもよい。
　図８（Ａ）は、図６（Ａ）と同様の撮影画像３０１に、補正対象ではない座標対応点を図６（Ａ）と同様に「×」として重畳し、補正対象座標対応点を「＊」として重畳した図である。図８（Ｂ）は、図６（Ｂ）と同様の視点変換画像３１１に、立体物２１の接地点６１の座標Ｐ０ｖを重畳した図である。
（仮想視点２５用のテーブルデータ１２１の補正）
　図９は、テーブルデータ１２１から補正対象座標対応点を抽出し、補正前後の座標を示した図である。本実施の形態では、テーブルデータ１２１の各座標対応点に関する座標対応情報のうち、上記の補正対象座標対応点に関する座標対応情報を補正することで、テーブルデータ１２１を補正する。具体的には、補正対象座標対応点ｏ１、ｏ２、ｏ３、・・・、ｏｉについて、これらの視点変換画像上の座標、すなわち仮想視点座標系Ｖにおける座標である、（ｘｖ＿ｏ１，ｙｖ＿ｏ１）、（ｘｖ＿ｏ２，ｙｖ＿ｏ２）、（ｘｖ＿ｏ３，ｙｖ＿ｏ３）、・・・、（ｘｖ＿ｏｉ，ｙｖ＿ｏｉ）を、（ｘｖ＿ｏ１’，ｙｖ＿ｏ１’）、（ｘｖ＿ｏ２’，ｙｖ＿ｏ２’）、（ｘｖ＿ｏ３’，ｙｖ＿ｏ３’）、・・・、（ｘｖ＿ｏｉ’，ｙｖ＿ｏｉ’）にそれぞれ補正する。こうして補正された補正後のテーブルデータ１２１を用いて変形合成部１１５が視点変換画像を生成することにより、図６（Ｂ）に例示した立体物２１の像歪みを低減する。
　補正対象座標対応点の座標を補正する一例として、式（６）を示す。
Figure JPOXMLDOC01-appb-M000006
　式（６）では、各補正対象座標対応点の視点変換画像上の補正前の座標（ｘｖ，ｙｖ）と接地点Ｐ０ｖの座標（ｘｏ，ｙｏ）とを重み係数ｗを用いて加重平均することにより、各補正対象座標対応点の補正後の座標（ｘｖ’，ｙｖ’）を算出している。ここで、重み係数ｗは０以上１以下の値であり後述する処理により決定される。
　図１０に、ｗ＝０．７５とした視点変換画像の補正結果の一例を示す。図中、立体物２１の像歪みは図６（Ｂ）と比較して低減しており、使用者にとって物体を視認しやすい表示を実現している。ただしこのとき、もともと立体物２１が歪んで表示されていた領域９１は、カメラ１０Ａからは死角となり撮像できていない領域（以下、欠損領域と呼ぶ）である。この欠損領域の表示方法としては、図１０に例示するように画像情報が欠損した領域として表示してもよいし、別のカメラ（例えばカメラ１０Ｂ）が撮像している領域であれば、そのカメラの撮影画像から補完してもよいし、車両２０が移動している状況でかつ過去フレーム画像で撮像しているのであれば、過去フレームの撮影画像から補完してもよい。
　重み係数ｗの決定方法は以下のとおりである。すなわち、重み係数ｗは最大の１に近いほど視点変換画像における像歪みが低減されるが、重み係数ｗが大きいほど欠損領域が増加する。そこで、欠損領域が視点変換画像において予め定めた割合、たとえば３０％を超えない最大の重み係数ｗを算出し、これを用いることとする。換言すると、テーブル補正部１１３は、補正前の視点変換画像における立体物２１の面積、すなわち欠損領域の面積と、補正後の視点変換画像における立体物２１の面積との差分が、予め定めた割合（たとえば３０％）に相当する面積に達しない範囲で最大の値となるように、重み係数ｗを設定することができる。
　テーブル補正部１１３は、この重み係数ｗと上述した式（６）を用いてテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。変形合成部１１５は、補正されたテーブルデータ１２１を用いて仮想視点２５から得られる視点変換画像３１１を作成する。
（仮想視点２６の視点変換画像）
　仮想視点２６から得られる画像の作成方法を、仮想視点２５の場合との差異点を中心に説明する。仮想視点２６から得られる画像の作成方法と、仮想視点２５から得られる画像の作成方法との違いは、テーブルデータ１２１の補正方法である。すなわち、補正対象座標対応点の決定方法は同じであるが、補正後の座標の算出方法が異なる。
　図１１は、図２～３に示す状況において、テーブルデータ１２１を補正しない場合の仮想視点２６の視点変換画像１００１を示す図である。図１１では、図６（Ｂ）と同様に立体物２１の像は大きく歪んでいる。テーブル補正部１１３は、テーブルデータ１２１を以下のように補正することにより、図１１に例示した立体物２１の歪みを軽減する。
（仮想視点２６用のテーブルデータ１２１の補正）
　テーブル補正部１１３は、まずテーブルデータ１２１を用いて、視点変換画像１００１における立体物２１の接地点６１に対応する点Ｐ０ｖ（ｘｏ，ｙｏ）の座標を算出する。次に、既知である仮想視点２６と前カメラ１０Ａとの位置関係および姿勢関係、ならびに仮想視点２６に置かれる仮想的なカメラの焦点距離ｚｖに基づき、図１１に示した点Ｐｃ（ｘｃ，ｙｃ）の座標を算出する。すなわち、ワールド座標系Ｗにおける前カメラ１０Ａの座標を、Ｚｖ＝ｚｖに位置するＸｖＹｖ平面上に平行投影した座標、すなわち視点変換画像１００１における前カメラ１０Ａの位置に対応する点Ｐｃ（ｘｃ，ｙｃ）の座標を算出する。そして、点Ｐ０ｖと点Ｐｃを結ぶ直線Ｌ１と図示水平方向の直線Ｌ２とのなす角度θを得る。路面に対して直立する立体物２１は、視点変換画像１００１において、カメラ１０Ａから見て接地面６１を起点に放射状に歪んで変換される点に注目しているため、このように角度θを求めた。テーブルデータ１２１を補正する一例として、θの回転行列を用いた式（７）を示す。
Figure JPOXMLDOC01-appb-M000007
　αおよびβは重み係数であり、０以上１以下の値であり後述する処理により決定される。式（７）では、視点変換画像上の補正前の座標（ｘｖ，ｙｖ）から補正後の座標（ｘｖ’，ｙｖ’）への補正において、重み係数βにより立体物２１を接地点Ｐ０ｖを回転中心として図示鉛直方向に回転させる度合いを決定し、重み係数αにより接地点Ｐ０ｖに近づける度合いを決定している。式（７）における処理を換言すると、式（６）に示したように加重平均処理と接地点Ｐ０ｖを中心とした回転処理を複合したものである。
　図１２に、α＝β＝０．７５としたときの補正結果の一例を示す。図１０に示した補正画像と同様に、立体物２１の像歪みを低減している。すなわち本実施形態では、前述のような方法により、テーブルデータ１２１の各座標対応点に関する座標対応情報のうち、立体物の領域に含まれる補正対象座標対応点に関する座標対応情報を補正することで、テーブルデータ１２１が補正される。その結果、図１０および図１２に示すように、像歪みを低減し違和感の少ない映像を提供することが可能となる。なお、図１２では補正前に立体物２１が表示されていた領域は欠損領域９１として表示しているが、別カメラの撮影画像や過去フレームの撮影画像から補完してもよい。
（フローチャート）
　以上説明した視点変換画像の作成処理を図１３のフローチャートを用いて説明する。
　ステップＳ１２０１では、テーブル補正部１１３は、モード切替部１１２の設定を読み込み、その設定に対応する４つのカメラ１０Ａ～１０Ｄそれぞれのテーブルデータ１２１を読み込む。次にステップＳ１２０２に進む。
　ステップＳ１２０２では、テーブル補正部１１３は、距離検出部１１４が検出した車両２０の周囲の距離情報である距離画像を距離取得部１１４Ａを介して取得し、ステップＳ１２０３に進む。
　ステップＳ１２０３では、テーブル補正部１１３は、ステップＳ１２０２において取得した距離画像から立体物を検出する。さらに検出した立体物が存在する距離画像上の領域、および立体物の接地点の座標を記録する。たとえば、図７の左側に示すように下方から上方にかけて距離が変化しない領域があれば立体物として検出する。次にステップＳ１２０４に進む。
　ステップＳ１２０４では、ステップＳ１２０３において立体物が検出されたか否かを判断し、立体物が検出されたと判断する場合はステップＳ１２０５に進み、立体物が検出されないと判断する場合はステップＳ１２１０に進む。
　ステップＳ１２０５では、ステップＳ１２０３において検出した、距離画像における立体物の領域および立体物の接地点の座標を、撮影画像３０１における立体物の領域および立体物の接地点の座標Ｐ０ｒに変換する。次にステップＳ１２０６に進む。
　ステップＳ１２０６では、ステップＳ１２０１において読み込んだテーブルデータ１２１のうち補正対象となるデータ、すなわちステップＳ１２０５において算出した撮影画像３０１における立体物の領域に含まれるデータを抽出する。次にステップＳ１２０７に進む。
　ステップＳ１２０７では、補正モードが俯瞰モードと鳥瞰モードのいずれであるかを判断する。俯瞰モードとは仮想視点に設置される仮想的なカメラの光軸が地面に鉛直な場合に選択されるモードであり、鳥瞰モードとは仮想視点に設置される仮想的なカメラの光軸が地面に鉛直ではない場合に選択されるモードである。本実施の形態では仮想視点２５が設定された場合には俯瞰モードが選択され、仮想視点２６が設定された場合には鳥瞰モードが選択される。俯瞰モードであると判断する場合はステップＳ１２０８に進み、鳥瞰モードであると判断する場合はステップＳ１２０９に進む。
　ステップＳ１２０８では、式６を用いてテーブルデータ１２１を補正してステップＳ１２１０に進む。ステップＳ１２０９では、式７を用いてテーブルデータ１２１を補正してステップＳ１２１０に進む。
　ステップＳ１２１０では、変形合成部１１５によりテーブル補正部１１３からテーブルデータ１２１を読み込み、画像取得部１１１Ａ～１１１Ｄにより取得された撮影画像３０１を用いて視点変換画像を生成する。立体物が検出されていた場合は、テーブルデータ１２１はＳ１２０８もしくはＳ１２０９により補正されており、立体物の歪みが低減された視点変換画像が生成される。そして、表示制御部１１６を介して表示部１３に表示する。
　上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置１００は、入力された撮影画像３０１を所定の座標変換情報、すなわちテーブルデータ１２１を用いて座標変換した視点変換画像を生成する視点変換画像生成部、すなわち変形合成部１１５と、テーブルデータ１２１を補正するテーブル補正部１１３と、を備える。テーブル補正部１１３は、テーブルデータ１２１のうち、撮影画像３０１において立体物が存在する領域に対応する座標対応情報を補正する。視点変換画像生成部、すなわち変形合成部１１５は、テーブル補正部１１３により補正されたテーブルデータ１２１を用いて撮影画像３０１の座標変換を行う。
　画像処理装置１００をこのように構成したので、立体物の像歪みを低減した視点変換画像を生成することができる。また、テーブルデータ１２１のうち立体物が存在する領域に対応する情報に限定して補正しているので、テーブルデータ１２１の全体を補正する場合に比べて処理を高速化できる。
（２）座標変換情報、すなわちテーブルデータ１２１は、撮影画像３０１の座標と視点変換画像の座標との変換テーブルである。そのため変形合成部１１５は、テーブルデータ１２１を参照することで容易に視点変換画像を作成することができる。
（３）座標変換情報、すなわちテーブルデータ１２１は、予め設定された複数の座標対応点の撮影画像３０１の座標系、すなわちカメラ座標系Ｒにおける座標と、他の座標系である仮想視点座標系Ｖにおける座標との対応関係を表す変換テーブルである。テーブル補正部１１３は、撮影画像３０１において立体物が存在する領域、たとえば図７において破線で囲んだ立体物２１の領域、および立体物の接地点Ｐ０ｄ、たとえば図７における接地点６１を特定する。テーブル補正部１１３は、テーブルデータ１２１において、複数の座標対応点のうち撮影画像３０１において立体物が存在する領域内の座標対応点ｏ１、ｏ２、ｏ３、・・・、ｏｉを補正対象座標対応点として、これらの補正対象座標対応点の仮想視点座標系Ｖにおける座標を、立体物の接地点Ｐ０ｒに対応する座標対応点の仮想視点座標系Ｖにおける座標Ｐ０ｖに基づき補正する。そのため、視点変換画像において歪みのない立体物２１の接地点６１を基準としてテーブルデータ１２１を補正することができる。
（４）テーブル補正部１１３は、重み係数ｗを、補正前の他の座標系における立体物の面積と補正後の他の座標系における立体物の面積との差分が、視点変換画像における予め定めた割合、たとえば３０％に相当する面積に達しない最大の値に設定する。そのため、欠損領域を予め定めた割合以下に留めつつ、立体物の像歪みを低減することができる。
（５）テーブル補正部１１３はさらに、他の座標系における座標（ｘｖ’、ｙｖ’）を、立体物の接地点に対応する他の座標系における座標Ｐ０ｖ（ｘｏ、ｙｏ）を回転中心として回転させた座標に補正する。そのため、視点変換画像において立体物が倒れ込むようむ描画されることを抑制することができる。
（変形例１）
　テーブル補正部１１３が距離画像から立体物を検出すると、撮影画像３０１において当該立体物が撮像されている位置に応じて、仮想視点の位置をカメラ１０の近くに変更してもよい。さらに、仮想視点に設置される仮想的なカメラの光軸の向きをカメラ１０の光軸の向きに近づけてもよい。
（変形例２）
　テーブル補正部１１３が距離画像から検出した立体物が、複数のカメラにより撮影される領域に存在する場合は、各々の撮影画像３０１から生成される視点変換画像のうち、像歪みのより少ない視点変換画像を選択して本発明の補正処理を適用してもよい。
（変形例３）
　画像処理装置１００は、第１～第４の画像取得部を備えたが、画像取得部を１つのみ備え、複数のカメラから順次画像が入力されてもよい。また、画像処理装置１００に接続されるカメラの数は少なくとも１つあればよく、５以上であってもよい。
（変形例４）
　上述した第１の実施の形態は、各カメラ１０Ａ～１０Ｄ及び距離検出部１１４が毎時刻動作しており、視点変換画像を動画像として表示する場合にも適用することができる。また、車両２０もしくは立体物２１が動くことにより、点Ｐ０ｖ及び点Ｐ０ｖが変化している状況でも、適用することができる。その場合は、例えば変換画像において動く立体物の像のブレを防止することを目的として、以下のように演算を行ってもよい。すなわち、テーブル補正部１１３は補正するテーブルデータ１２１の履歴を保存し、次のテーブルデータ１２１の補正時にテーブルデータ１２１の履歴を用いた加重平均などにより、各補正対象座標対応点の補正後の座標（ｘｖ’，ｙｖ’）を算出してもよい。
（第２の実施の形態）
　図１４～図１６を参照して、画像処理装置１００の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、ユーザが仮想視点を自由に設定可能な点で、第１の実施の形態と異なる。
（第２の実施の形態の概要）
　第１の実施の形態におけるテーブルデータ１２１は、式（５）により表される撮影画像上の点Ｐｒと視点変換画像上の点Ｐｖとの対応関係を示すものであったが、後述する第２の実施の形態におけるテーブルデータ１２１Ａは、式（１）により表される撮影画像上の点Ｐｒと三次元空間上の点Ｐｗとの対応関係を示すものである。本実施の形態では、テーブルデータ１２１Ａを補正することにより３次元区間上に投影される撮影画像が変形される。変形合成部１１５Ａは、３次元区間上に投影された撮影画像を仮想視点から撮影した画像、すなわち視点変換画像を作成する。
（構成）
　図１４は、第２の実施の形態における画像処理装置１００のブロック図である。各ブロックの動作および機能のうち、第１の実施の形態との差異点を説明する。第２の実施の形態における画像処理装置１００は、制御部１１Ａと、記憶部１２Ａとを備える。
　制御部１１は、記憶部１２に記憶されているプログラムを実行することにより、第１画像取得部１１１Ａ、第２画像取得部１１１Ｂ、第３画像取得部１１１Ｃ、第４画像取得部１１１Ｄ、モード切替部１１２Ａ、テーブル補正部１１３Ａ、距離取得部１１４Ａ、変形合成部１１５Ａ、表示制御部１１６およびバス１１７として機能する。
　記憶部１２Ａには、制御部１１により実行されるプログラム、およびテーブルデータ１２１Ａが記憶される。テーブルデータ１２１Ａは、車両２０が備えるカメラと同じ数、すなわち４つのみ備えられる。第２の実施の形態におけるテーブルデータ１２１Ａは、仮想視点の位置や姿勢等に関する情報を含まないからである。テーブルデータ１２１Ａの構成は後述する。
　モード切替部１１２Ａは、ユーザによる不図示の仮想視点設定部への設定を不図示のＣＡＮ（Controller Area Network）を介して取得する。仮想視点設定部は、仮想視点の位置、および仮想視点に設置される仮想的なカメラの光軸の向きを、ユーザが自由に設定できるものである。モード切替部１１２Ａは、取得した仮想視点設定部の設定を変形合成部１１５に出力する。
　テーブル補正部１１３Ａは、それぞれのカメラに対応するテーブルデータ１２１を記憶部１２から読み込む。テーブル補正部１１３は、距離取得部１１４Ａの出力に基づき第１の実施の形態と同様にテーブルデータ１２１を補正し、補正したテーブルデータを変形合成部１１５に出力する。
　変形合成部１１５Ａは、テーブル補正部１１３により補正されたテーブルデータを用いて、画像取得部１１１Ａ～１１１Ｄにより取得された撮影画像を３次元空間上に投影する。そして変形合成部１１５は、モード切替部１１２が出力する仮想視点設定部の設定に基づき、３次元空間上に投影された撮影画像を対象に式（３）により表される座標変換処理を行い視点変換画像を取得する。
（テーブルデータ１２１Ａ）
　図１５は、テーブルデータ１２１Ａの一例を示す図である。テーブルデータ１２１Ａは、式（１）により表される撮影画像３０１上の点Ｐｒと三次元空間上の点Ｐｗとの対応関係を示すものである。ただし本実施の形態では、３次元空間上の点ＰｗのＺｗ座標の値は全てゼロである。すなわちテーブルデータ１２１Ａは、撮影画像３０１上の点Ｐｒと三次元空間上のＺｗ＝０の平面上の点Ｐｗとの対応関係を示す。
（テーブルデータ１２１Ａの補正）
　図１６は、テーブルデータ１２１Ａから補正対象座標対応点を抽出し、補正前後の座標を示した図である。本実施の形態では、立体物２１の補正対象座標対応点の３次元空間上の座標である、（ｘｗ＿ｏ１，ｙｗ＿ｏ１，ｚｗ＿ｏ１）、（ｘｗ＿ｏ２，ｙｗ＿ｏ２，ｚｗ＿ｏ２）、（ｘｗ＿ｏ３，ｙｗ＿ｏ３，ｚｗ＿ｏ３）、・・・を、（ｘｗ＿ｏ１’，ｙｗ＿ｏ１’，ｚｗ＿ｏ１’）、（ｘｗ＿ｏ２’，ｙｗ＿ｏ２’，ｚｗ＿ｏ２’）、（ｘｗ＿ｏ３’，ｙｗ＿ｏ３’，ｚｗ＿ｏ３’）、・・・に補正する。ただし補正前後のいずれもＺｗ座標はゼロとする。すなわち当該補正は三次元空間上のＺｗ＝０の平面上に限られるものであり、補正に用いる計算式は第１の実施の形態と同様である。
　上述した第２の実施の形態によれば、次の作用効果が得られる。
（１）座標変換テーブル１２１は、撮影画像３０１の座標と三次元空間上の座標との変換テーブルである。視点変換画像生成部、すなわち変形合成部１１５は、座標変換テーブル１２１を用いて座標変換した三次元空間上の撮影画像を、さらに座標変換することにより視点変換画像を得る。そのため、事前に想定していない仮想視点がユーザにより設定された場合にも座標変換テーブル１２１を用いて視点変換画像を作成することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１６年第１４２１０９号（２０１６年７月２０日出願）
Ｒ　…　カメラ座標系
Ｖ　…　仮想視点座標系
Ｗ　…　ワールド座標系
ｗ　…　重み係数
１２、１２Ａ　…　記憶部
２０　…　車両
２１　…　立体物
２５、２６　…　仮想視点
１００　…　画像処理装置
１１１Ａ～１１１Ｄ　…　画像取得部
１１４　…　距離検出部
１１４Ａ　…　距離取得部
１１５　…　変形合成部
１１５Ａ　…　変形合成部
１２１、１２１Ａ　…　テーブルデータ
３０１　…　撮影画像
３１１　…　視点変換画像
 

Claims (7)

  1. 　入力された撮影画像を所定の座標変換情報を用いて座標変換した視点変換画像を生成する視点変換画像生成部と、
    　前記座標変換情報を補正する補正部と、を備え、
    　前記補正部は、前記座標変換情報のうち、前記撮影画像において立体物が存在する領域に対応する情報を補正し、
    　前記視点変換画像生成部は、前記補正部により補正された前記座標変換情報を用いて前記撮影画像の座標変換を行う、画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記座標変換情報は、前記撮影画像の座標と前記視点変換画像の座標との変換テーブルである画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記座標変換情報は、前記撮影画像の座標と三次元空間上の座標との変換テーブルであり、
    　前記視点変換画像生成部は、前記座標変換情報を用いて座標変換した前記三次元空間上の前記撮影画像を、さらに座標変換することにより前記視点変換画像を得る、画像処理装置。
  4. 　請求項１に記載の画像処理装置において、
    　前記座標変換情報は、予め設定された複数の座標対応点の前記撮影画像の座標系における座標と他の座標系における座標との対応関係を表す座標変換テーブルであり、
    　前記補正部は、
    　前記撮影画像において前記立体物が存在する領域、および前記立体物の接地点を特定し、
    　前記座標変換テーブルにおいて、前記複数の座標対応点のうち前記撮影画像において前記立体物が存在する領域内の座標対応点を補正対象座標対応点として、前記補正対象座標対応点の前記他の座標系における座標を、前記立体物の接地点に対応する座標対応点の前記他の座標系における座標に基づき補正する、画像処理装置。
  5. 　請求項４に記載の画像処理装置において、
    　前記補正部は、前記立体物の接地点に対応する座標対応点の前記他の座標系における座標と、前記補正対象座標対応点の前記他の座標系における座標とを、０以上１以下の実数である重み係数を用いて加重平均することにより、前記補正対象座標対応点の前記他の座標系における座標を補正する、画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記補正部は、前記重み係数を、補正前の前記他の座標系における前記立体物の面積と補正後の前記他の座標系における前記立体物の面積との差分が、前記視点変換画像における予め定めた割合に相当する面積に達しない最大の値となるように設定する、画像処理装置。
  7. 　請求項５に記載の画像処理装置において、
    　前記補正部はさらに、前記補正対象座標対応点の前記他の座標系における座標を、前記立体物の接地点に対応する座標対応点の前記他の座標系における座標を回転中心として回転させた座標に補正する、画像処理装置。
     
PCT/JP2017/023601 2016-07-20 2017-06-27 画像処理装置 WO2018016274A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016142109A JP6734136B2 (ja) 2016-07-20 2016-07-20 画像処理装置
JP2016-142109 2016-07-20

Publications (1)

Publication Number Publication Date
WO2018016274A1 true WO2018016274A1 (ja) 2018-01-25

Family

ID=60993317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023601 WO2018016274A1 (ja) 2016-07-20 2017-06-27 画像処理装置

Country Status (2)

Country Link
JP (1) JP6734136B2 (ja)
WO (1) WO2018016274A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7074546B2 (ja) * 2018-04-13 2022-05-24 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置および方法
WO2023242903A1 (ja) * 2022-06-13 2023-12-21 三菱電機株式会社 物体検出装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP2009118416A (ja) * 2007-11-09 2009-05-28 Alpine Electronics Inc 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP2009118415A (ja) * 2007-11-09 2009-05-28 Alpine Electronics Inc 鳥瞰画像生成装置および方法
JP2010109452A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP2009118416A (ja) * 2007-11-09 2009-05-28 Alpine Electronics Inc 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP2009118415A (ja) * 2007-11-09 2009-05-28 Alpine Electronics Inc 鳥瞰画像生成装置および方法
JP2010109452A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置

Also Published As

Publication number Publication date
JP6734136B2 (ja) 2020-08-05
JP2018014583A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
JP7054293B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
JP5491235B2 (ja) カメラキャリブレーション装置
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP4861574B2 (ja) 運転支援装置
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
JP6079131B2 (ja) 画像処理装置、方法、及びプログラム
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
US20120069153A1 (en) Device for monitoring area around vehicle
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP2009129001A (ja) 運転支援システム、車両、立体物領域推定方法
JP2008083786A (ja) 画像生成装置および画像生成方法
JPWO2009119110A1 (ja) 死角表示装置
JP6276719B2 (ja) 画像生成装置、座標変換テーブル作成装置および作成方法
JP5299296B2 (ja) 車両周辺画像表示装置及び車両周辺画像表示方法
JP2009239754A (ja) 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
US10897600B1 (en) Sensor fusion based perceptually enhanced surround view
JP2016225865A (ja) 俯瞰画像生成装置
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
WO2018016274A1 (ja) 画像処理装置
KR101351911B1 (ko) 카메라의 영상 처리 장치 및 방법
JP7074546B2 (ja) 画像処理装置および方法
CN110832851B (zh) 图像处理装置、图像变换方法
JP2009077022A (ja) 運転支援システム及び車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17830794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17830794

Country of ref document: EP

Kind code of ref document: A1