WO2010119734A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2010119734A1
WO2010119734A1 PCT/JP2010/053389 JP2010053389W WO2010119734A1 WO 2010119734 A1 WO2010119734 A1 WO 2010119734A1 JP 2010053389 W JP2010053389 W JP 2010053389W WO 2010119734 A1 WO2010119734 A1 WO 2010119734A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bird
obj
images
camera
Prior art date
Application number
PCT/JP2010/053389
Other languages
English (en)
French (fr)
Inventor
亮平 山本
長輝 楊
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Publication of WO2010119734A1 publication Critical patent/WO2010119734A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an image processing apparatus, and in particular, an image processing apparatus that converts a scene image output from each of a plurality of cameras that capture a reference plane from an oblique direction so as to partially have a common visual field into a bird's-eye view image.
  • an image processing apparatus that converts a scene image output from each of a plurality of cameras that capture a reference plane from an oblique direction so as to partially have a common visual field into a bird's-eye view image.
  • Patent Document 1 An example of this type of device is disclosed in Patent Document 1.
  • the four cameras are mounted on the vehicle so that the fields of view of the two adjacent cameras partially overlap.
  • the surroundings of the vehicle are captured by such a camera, and the object scene image output from each camera is converted into a bird's-eye view image.
  • Boundary lines are assigned on partial images corresponding to overlapping fields of view in the converted bird's-eye view image.
  • the four bird's-eye images respectively corresponding to the four cameras are combined with each other through the trimming process referring to such a boundary line.
  • the position of the boundary line is changed so as to avoid the three-dimensional object image. Thereby, the quality of the three-dimensional object image is maintained.
  • the reproducibility of the three-dimensional object in the bird's-eye view image varies due to the difference in height between the camera and the three-dimensional object, the distance from the camera to the three-dimensional object, etc. To do.
  • the position of the boundary line is not controlled in consideration of such characteristics, and the visibility of the three-dimensional object is limited.
  • a main object of the present invention is to provide an image processing apparatus capable of improving the visibility of a three-dimensional object.
  • An image processing apparatus includes the following: a capturing unit that captures a plurality of object scene images respectively output from a plurality of cameras that capture a reference plane obliquely from above so as to partially have a common visual field; Conversion means for converting a plurality of object scene images captured by the means into a plurality of bird's-eye images representing a state in which the reference plane is viewed from directly above; a plurality of bird's-eye images converted by the conversion means can be assigned to a common field of view Combining means for referring to the weights; detecting a difference in size between the plurality of three-dimensional object images respectively appearing in the plurality of bird's-eye images converted by the conversion means when a three-dimensional object exists in the common visual field; 1 detection means; and first adjustment means for adjusting the weight with reference to the difference detected by the first detection means.
  • the first adjustment means adjusts the weight so that a larger three-dimensional object image is reproduced.
  • second detection means for detecting the movement amount of the three-dimensional object in relation to the detection processing of the first detection means
  • second adjustment means for adjusting the weight with reference to the movement amount detected by the second detection means
  • control means for activating the second adjustment means instead of the first adjustment means when the difference detected by the first detection means falls below the reference.
  • the second adjustment means adjusts the weight so that the three-dimensional object image of the camera existing in the moving direction of the three-dimensional object is reproduced.
  • the weight includes a boundary line defined in the common visual field as a parameter, and the combining unit deletes a partial image outside the boundary line from each of the plurality of bird's-eye images, and deletion processing of the deleting unit And a plurality of partial bird's-eye images remaining after the combining unit.
  • the plurality of cameras are provided on the moving body, and further include display means for displaying the synthesized bird's-eye view image created by the synthesizing means toward the operator of the moving body.
  • the weight referred to when combining a plurality of bird's-eye images is adjusted by paying attention to the difference between the cameras in the size of the three-dimensional object image. Thereby, the visibility of a three-dimensional object can be improved.
  • FIG. 1 It is a block diagram which shows the basic composition of this invention. It is a block diagram which shows the structure of one Example of this invention. It is an illustration figure which shows the visual field captured by the some camera attached to the vehicle.
  • A is an illustrative view showing an example of a bird's eye view image based on the output of the previous camera
  • B is an illustrative view showing an example of a bird's eye view image based on the output of the right camera
  • (C) is an output of the left camera.
  • (D) is an illustration figure which shows an example of the bird's-eye view image based on the output of a back camera.
  • FIG. 10 is an illustrative view showing another portion of the operation of creating the driving assistance image. It is an illustration figure which shows an example of the operation
  • FIG. 11 is a flowchart showing still another portion of behavior of the CPU applied to the embodiment in FIG. 2;
  • FIG. 10 is a flowchart showing yet another portion of behavior of the CPU applied to the embodiment in FIG. 2;
  • FIG. 11 is a flowchart showing still another portion of behavior of the CPU applied to the embodiment in FIG. 2;
  • the image processing apparatus of the present invention is basically configured as follows.
  • the capturing means 2 captures a plurality of object scene images respectively output from a plurality of cameras 1, 1,... Capturing the reference plane obliquely from above so as to partially have a common visual field.
  • the converting unit 3 converts the plurality of scene images captured by the capturing unit 2 into a plurality of bird's-eye images representing a state where the reference plane is captured from directly above.
  • the synthesizing unit 4 synthesizes the plurality of bird's-eye images converted by the converting unit 3 with reference to the weight assigned to the common visual field.
  • the first detection unit 5 detects a difference in size between the plurality of three-dimensional object images respectively appearing in the plurality of bird's-eye images converted by the conversion unit 3 when a three-dimensional object exists in the common visual field.
  • the first adjusting unit 6 adjusts the weight with reference to the difference detected by the first detecting unit.
  • the size of the three-dimensional object image that appears in the bird's-eye view image differs depending on the height of the three-dimensional object from the reference plane and the height difference between the camera 1 and the three-dimensional object.
  • the weight referred to when combining a plurality of bird's-eye images is adjusted by paying attention to the difference between the cameras 1 in the size of such a three-dimensional object image. Thereby, the visibility of a three-dimensional object can be improved.
  • the steering support device 10 of this embodiment shown in FIG. 2 includes four cameras C_1 to C_4.
  • the cameras C_1 to C_4 output scene images P_1 to P_4 every 1/30 seconds in synchronization with the common timing signal.
  • the output scene images P_1 to P_4 are given to the image processing circuit 12.
  • camera C_1 is installed at the center of the front portion of vehicle 100 in a posture in which the optical axis of camera C_1 extends obliquely downward in front of vehicle 100.
  • the camera C_2 is installed on the upper right side of the vehicle 100 in a posture in which the optical axis of the camera C_2 extends obliquely downward to the right of the vehicle 100.
  • the camera C_3 is installed at the center of the rear part of the vehicle 100 in a posture in which the optical axis of the camera C_3 extends obliquely downward rearward of the vehicle 100.
  • the camera C_4 is installed on the upper left side of the vehicle 100 such that the optical axis of the camera C_4 extends obliquely downward to the left of the vehicle 100.
  • the object scene around the vehicle 100 is captured from such a direction that intersects the road surface in an oblique direction by the cameras C_1 to C_4.
  • Camera C_1 has a field of view VW_1 that captures the front of the vehicle 100
  • camera C_2 has a field of view VW_2 that captures the right direction of the vehicle 100
  • camera C_3 has a field of view VW_3 that captures the rear of the vehicle 100
  • camera C_4 It has a visual field VW_4 that captures the left direction of the vehicle 100.
  • the visual fields VW_1 and VW_2 have a common visual field VW_12
  • the visual fields VW_2 and VW_3 have a common visual field VW_23
  • the visual fields VW_3 and VW_4 have a common visual field VW_34
  • the visual fields VW_4 and VW_1 have a common visual field VW_41.
  • the CPU 12p provided in the image processing circuit 12 generates the bird's-eye view image BEV_1 shown in FIG. 4A based on the object scene image P_1 output from the camera C_1, and is output from the camera C_2.
  • the bird's-eye view image BEV_2 shown in FIG. 4B is generated based on the object scene image P_2.
  • the CPU 12p also generates the bird's-eye view image BEV_3 shown in FIG. 4C based on the object scene image P_3 output from the camera C_3, and based on the object scene image P_4 output from the camera C_4, FIG.
  • the bird's-eye view image BEV_1 corresponds to an image captured by a virtual camera looking down the visual field VW_1 in the vertical direction
  • the bird's-eye view image BEV_2 corresponds to an image captured by a virtual camera looking down the visual field VW_2 in the vertical direction
  • the bird's-eye view image BEV_3 corresponds to an image captured by a virtual camera looking down the visual field VW_3 in the vertical direction
  • the bird's-eye view image BEV_4 corresponds to an image captured by a virtual camera looking down the visual field VW_4 in the vertical direction.
  • the bird's-eye image BEV_1 has a bird's-eye coordinate system X1 and Y1
  • the bird's-eye image BEV_2 has a bird's-eye coordinate system X2 and Y2
  • the bird's-eye image BEV_3 has a bird's-eye coordinate system.
  • the bird's-eye view image BEV_4 has a bird's-eye coordinate system X4 / Y4.
  • Such bird's-eye images BEV_1 to BEV_4 are held in the work area W1 of the memory 12m.
  • the CPU 12p deletes a part of the image outside the boundary line BL from each of the bird's-eye images BEV_1 to BEV_4, and rotates / removes a part of the bird's-eye images BEV_1 to BEV_4 remaining after the deletion (see FIG. 5). Combine with each other by moving process. As a result, the all-around bird's-eye view image shown in FIG. 6 is obtained in the work area W2 of the memory 12m.
  • the overlapping area OL_12 indicated by diagonal lines corresponds to the common visual field VW_12
  • the overlapping area OL_23 indicated by diagonal lines corresponds to the common visual field VW_23
  • the overlapping area OL_34 indicated by hatching corresponds to the common visual field VW_34
  • the overlapping area OL_41 indicated by hatching corresponds to the common visual field VW_41.
  • the display device 16 installed in the driver's seat extracts a part of the images D1 in which the overlapping areas OL_12 to OL_41 are located at the four corners from the all-around bird's-eye view image on the work area W2, and the vehicle image D2 imitating the upper part of the vehicle 100 Is pasted in the center of the extracted image D1.
  • the driving assistance image shown in FIG. 7 is displayed on the monitor screen.
  • a part of the overlapping area OL_12 that forms the image D1 is defined as “reproduction overlapping area OLD_12”, and a part of the overlapping area OL_23 that forms the image D1 is defined as “reproduction overlapping area OLD_23”.
  • a part of the overlapping area OL_34 that forms the image D1 is defined as “reproduction overlapping area OLD_34”
  • a part of the overlapping area OL_41 that forms the image D1 is defined as “reproduction overlapping area OLD_41”.
  • camera C_3 is disposed rearward and obliquely downward at the rear of vehicle 100. If the depression angle of the camera C_3 is “ ⁇ d”, the angle ⁇ shown in FIG. 7 corresponds to “180 ° ⁇ d”. Further, the angle ⁇ is defined in the range of 90 ° ⁇ ⁇ 180 °.
  • FIG. 9 shows the relationship between the camera coordinate system X ⁇ Y ⁇ Z, the coordinate system Xp ⁇ Yp of the imaging surface S of the camera C_3, and the world coordinate system Xw ⁇ Yw ⁇ Zw.
  • the camera coordinate system X, Y, Z is a three-dimensional coordinate system with the X, Y, and Z axes as coordinate axes.
  • the coordinate system Xp ⁇ Yp is a two-dimensional coordinate system having the Xp axis and the Yp axis as coordinate axes.
  • the world coordinate system Xw ⁇ Yw ⁇ Zw is a three-dimensional coordinate system having the Xw axis, the Yw axis, and the Zw axis as coordinate axes.
  • the optical center of the camera C3 is defined as the origin O
  • the Z axis is defined in the optical axis direction
  • the X axis is defined in the direction perpendicular to the Z axis and parallel to the road surface
  • a Y axis is defined in a direction orthogonal to the Z axis and the X axis.
  • the coordinate system Xp / Yp of the imaging surface S with the center of the imaging surface S as the origin, the Xp axis is defined in the horizontal direction of the imaging surface S, and the Yp axis is defined in the vertical direction of the imaging surface S.
  • the intersection of the vertical line passing through the origin O of the camera coordinate system XYZ and the road surface is defined as the origin Ow
  • the Yw axis is defined in the direction perpendicular to the road surface.
  • An Xw axis is defined in a direction parallel to the X axis of Z
  • a Zw axis is defined in a direction orthogonal to the Xw axis and the Yw axis.
  • the distance from the Xw axis to the X axis is “h”, and the obtuse angle formed by the Zw axis and the Z axis corresponds to the angle ⁇ described above.
  • a conversion formula between the coordinates (x, y, z) of the camera coordinate system X, Y, Z and the coordinates (xw, yw, zw) of the world coordinate system Xw, Yw, Zw is expressed by Formula 1.
  • Equation 3 is obtained based on Equation 1 and Equation 2.
  • Equation 3 shows a conversion formula between the coordinates (xp, yp) of the coordinate system Xp / Yp of the imaging surface S and the coordinates (xw, zw) of the two-dimensional road surface coordinate system Xw / Zw.
  • a bird's eye coordinate system X3 / Y3 that is a coordinate system of the bird's eye image BEV_3 shown in FIG. 4C is defined.
  • the bird's-eye coordinate system X3 / Y3 is a two-dimensional coordinate system having the X3 axis and the Y3 axis as coordinate axes.
  • the coordinates in the bird's-eye view coordinate system X3 / Y3 are expressed as (x3, y3)
  • the position of each pixel forming the bird's-eye view image BEV_3 is represented by the coordinates (x3, y3).
  • “X3” and “y3” respectively indicate an X3 axis component and a Y3 axis component in the bird's eye view coordinate system X3 ⁇ Y3.
  • the projection from the two-dimensional coordinate system Xw / Zw representing the road surface to the bird's eye coordinate system X3 / Y3 corresponds to a so-called parallel projection.
  • the conversion formula between the coordinates (xw, zw) of the two-dimensional coordinate system Xw ⁇ Zw and the coordinates (x3, y3) of the bird's-eye coordinate system X3 ⁇ Y3 is , Represented by Equation (4).
  • the height H of the virtual camera is determined in advance.
  • Equation 7 corresponds to a conversion formula for converting the coordinates (xp, yp) of the coordinate system Xp / Yp of the imaging surface S into the coordinates (x3, y3) of the bird's eye coordinate system X3 / Y3.
  • the coordinates (xp, yp) of the coordinate system Xp / Yp of the imaging surface S represent the coordinates of the object scene image P_3 captured by the camera C_3. Accordingly, the object scene image P_3 from the camera C3 is converted into the bird's-eye view image BEV_3 by using Equation 7. Actually, the object scene image P_3 is first subjected to image processing such as lens distortion correction, and then converted into a bird's-eye view image BEV_3 by Equation 7.
  • the obstacles 201 and 202 captured by the camera C_3 are obstruction images. Appear in the bird's-eye view image BEV_3 as OBJ_3_1 and OBJ_3_2. Similarly, the obstacles 201 and 202 captured by the camera C_4 appear in the bird's-eye view image BEV_4 as the obstacle images OBJ_4_1 and OBJ_4_2.
  • the postures of the obstacle images OBJ_3_1 and OBJ_4_1 are different from each other due to the difference between the viewpoint of the camera C_3 and the viewpoint of the camera C_4.
  • the postures of the obstacle images OBJ_3_2 and OBJ_4_2 are also different from each other due to the difference between the viewpoint of the camera C_3 and the viewpoint of the camera C_4.
  • the obstacle image OBJ_3_1 is reproduced so as to fall down along a straight line connecting the camera C_3 and the bottom of the obstacle 201, and the obstacle image OBJ_4_1 falls down along a straight line connecting the camera C_4 and the bottom of the obstacle 201. Is reproduced.
  • the obstacle image OBJ_3_2 is reproduced so as to fall down along a straight line connecting the camera C_3 and the bottom of the obstacle 202, and the obstacle image OBJ_4_2 falls down along a straight line connecting the camera C_4 and the bottom of the obstacle 202. Is reproduced as follows.
  • the size of the obstacle images OBJ_3_1 and OBJ_4_1 is different from the height of the camera C_3 and the height of the camera C_4, or from the camera C_3 to the obstacle 201. And the distance from the camera C_4 to the obstacle 201 are different from each other.
  • the sizes of the obstacle images OBJ_3_2 and OBJ_4_2 also differ between the height of the camera C_3 and the height of the camera C_4, the difference between the distance from the camera C_3 to the obstacle 202 and the distance from the camera C_4 to the obstacle 202, and the like. Are different from each other.
  • the CPU 12p executes the following processing.
  • the boundary line BL is set in the initial state in each of the common visual fields VW_12, VW_23, and VW_41. That is, the boundary line BL is set so as to connect the diagonals of the reproduction overlap areas OLD_12, OLD_23, and OLD_41 (see FIG. 11).
  • the obstacles 201 and 202 exist in the common visual field VW_34, and the obstacle images OBJ_3_1 and OBJ_3_2 are reproduced as the bird's-eye image BEV_3, while the obstacle images OBJ_4_1 and OBJ_4_2 are reproduced as the bird's-eye image BEV_4.
  • the boundary line BL is corrected in the following manner.
  • the size difference between the obstacle images OBJ — 3 — 1 and OBJ — 4 — 1 is calculated as “ ⁇ SZ — 1”
  • the size difference between the obstacle images OBJ — 3 — 2 and OBJ — 4 — 2 is calculated as “ ⁇ SZ — 2”.
  • the size difference ⁇ SZ_1 is obtained by subtracting the size of the obstacle image OBJ_4_1 from the size of the obstacle image OBJ_3_1.
  • the size difference ⁇ SZ_2 is obtained by subtracting the size of the obstacle image OBJ_4_2 from the size of the obstacle image OBJ_3_2.
  • the obstacle image OBJ_3_1 is set as the selected image OBJ_1_SEL.
  • the obstacle image OBJ — 4_1 is set as the selected image OBJ — 1_SEL. That is, if the size difference between the obstacle image OBJ — 3_1 and the obstacle image OBJ — 4_1 is sufficiently large, the larger obstacle image is selected.
  • the obstacle is based on the obstacle images OBJ_3_1 and OBJ_4_1.
  • a motion vector of the object 201 is detected.
  • the obstacle image OBJ_3_1 is set as the selected image OBJ_1_SEL. If the amount of the detected motion vector exceeds the threshold value THmv and the direction of the motion vector is the camera C_4 side, the obstacle image OBJ_4_1 is set as the selected image OBJ_1_SEL. That is, if the movement of the obstacle 201 is large, an obstacle image corresponding to the camera in the direction in which the obstacle 201 moves is selected.
  • the detected motion vector amount is equal to or less than the threshold value THmv, the setting of the previous selected image OBJ_K_SEL is maintained.
  • Such processing is also executed for the obstacle 202, whereby one of the obstacle images OBJ_3_2 and OBJ_4_2 is set as the selected image OBJ_2_SEL.
  • the boundary line BL is set in the common visual field VW_34 so that the selected images OBJ_1_SEL to OBJ_2_SEL thus set are reproduced.
  • the size of the obstacle image OBJ_3_1 is sufficiently larger than the size of the obstacle image OBJ_4_1. If the size of the object image OBJ — 3_2 is substantially the same as the size of the obstacle image OBJ — 4_2, the boundary line BL is set as shown in the lower part of FIG. As a result, the obstacle images OBJ_3_1 and OBJ_4_2 are reproduced on the display device 12.
  • the obstacle OBJ_3_1 is substantially the same as the size of the obstacle image OBJ_4_1 and the size of the obstacle image OBJ_3_2 is substantially the same as the size of the obstacle image OBJ_4_2, the boundary line BL is set as shown in the lower part of FIG. .
  • the obstacle images OBJ_3_1 and OBJ_4_2 are reproduced on the display device 12.
  • the size of the obstacle image OBJ_3_1 is the obstacle image. If the size of the obstacle image OBJ_3_2 is substantially the same as the size of the obstacle image OBJ_4_2, the boundary line BL is set as shown in the lower part of FIG. As a result, the obstacle images OBJ — 3_1 and OBJ — 3_2 are reproduced on the display device 12.
  • the CPU 12p executes processing according to the flowcharts shown in FIGS.
  • the control program corresponding to these flowcharts is stored in the flash memory 14 (see FIG. 1).
  • step S1 shown in FIG. 15 the scene images P_1 to P_4 are captured from the cameras C_1 to C_4.
  • step S3 bird's-eye view images BEV_1 to BEV_4 are created based on the captured object scene images P_1 to P_4.
  • the created bird's-eye view images BEV_1 to BEV_4 are secured in the work area W1.
  • step S5 an obstacle detection process is executed.
  • step S7 the all-around bird's-eye view image is created based on the bird's-eye view images BEV_1 to BEV_4 created in step S3.
  • the created all-around bird's-eye view image is secured in the work area W2.
  • a driving support image based on the all-around bird's-eye view image secured in the work area W2 is displayed.
  • step S5 follows the subroutine shown in FIGS.
  • variables M and N are set to “1” and “2”, respectively.
  • the variable M is a variable that is updated in the order of “1” ⁇ “2” ⁇ “3” ⁇ “4”
  • the variable N is “2” ⁇ “3” ⁇ “4” ⁇ “1”. It is a variable that is updated in order.
  • step S13 a difference image in the common visual field VW_MN is created based on the bird's-eye view image BEV_M based on the output of the camera C_M and the bird's-eye view image BEV_N based on the output of the camera C_N.
  • step S15 it is determined based on the difference image created in step S13 whether an obstacle exists in the common visual field VW_MN.
  • step S17 If no obstacle is detected from the common visual field VW_MN, a boundary line is initialized in step S17. On the other hand, if an obstacle is detected from the common visual field VW_MN, boundary correction processing is executed in step S19. When the process of step S17 or S19 is completed, it is determined in step S21 whether or not the variable M indicates “4”. If the variable M is less than “4”, the variables M and N are updated in step S23, and then the process returns to step S13. On the other hand, if the variable M is “4”, the process returns to the upper layer routine.
  • step S19 shown in FIG. 16 is executed according to the subroutines shown in FIGS.
  • step S31 the number of obstacles existing in the common visual field VW_MN is specified as “Kmax”.
  • step S33 the variable K is set to “1”
  • step S35 the size difference between the obstacle images OBJ_M_K and OBJ_N_K is calculated as “ ⁇ SZ_K”.
  • the size difference ⁇ SZ_K is obtained by subtracting the size of the obstacle image OBJ_N_K from the size of the obstacle image OBJ_M_K.
  • step S37 it is determined whether or not the size difference ⁇ SZ_K exceeds the reference value REF, and in step S39, it is determined whether or not the size difference ⁇ SZ_K is lower than the reference value “ ⁇ REF”. If “YES” in the step S37, the process proceeds to a step S41 to set the obstacle image OBJ_M_K as the selected image OBJ_K_SEL. If “YES” in the step S39, the process proceeds to a step S43 to set the obstacle image OBJ_N_K as the selected image OBJ_K_SEL.
  • step S45 the process proceeds to step S45, and the motion vector of the obstacle 20K is detected based on the obstacle images OBJ_M_K and OBJ_N_K.
  • step S47 it is determined whether or not the amount of the detected motion vector exceeds a threshold value THmv.
  • step S49 it is determined whether or not the direction of the detected motion vector is on the camera C_M side.
  • step S47 the selected image OBJ_K_SEL is set to the same setting as the previous time. If both step S47 and S51 are YES, it will progress to step S53 and will set the obstruction image OBJ_M_K as selection image OBJ_K_SEL. If “YES” in the step S47, if “NO” in the step S51, the process proceeds to a step S55 to set the obstacle image OBJ_N_K as the selected image OBJ_K_SEL.
  • step S57 When the setting of the selected image OBJ_K_SEL is completed, the variable K is incremented in step S57, and whether or not the incremented variable K exceeds the variable Kmax is determined in step S59. If NO in step S59, the process returns to step S35, and if YES in step S59, the process proceeds to step S61.
  • step S61 the boundary line BL is set to the common visual field VW_MN so that the selected images OBJ_1_SEL to OBJ_Kmax_SEL are reproduced.
  • the process returns to the upper hierarchy routine.
  • step S71 the variable M is set to “1”.
  • the variable M is a variable that is updated in the order of “1” ⁇ “2” ⁇ “3” ⁇ “4”.
  • step S73 an image outside the boundary line is deleted from the bird's-eye view image BEV_M, and in step S75, it is determined whether or not the variable M has reached “4”. If the variable M is less than “4”, the variable M is updated in step S77, and the process returns to step S73.
  • step S79 a part of the bird's-eye view images BEV_1 to BEV_4 remaining after the deletion process in step S73 is coupled to each other by coordinate transformation.
  • the routine returns to the upper layer routine.
  • the cameras C_3 and C_4 grasp the road surface obliquely from above so as to partially have the common visual field VW_34.
  • the CPU 12p detects a difference in size between the three-dimensional object images that appear in each of the bird's-eye images BEV_3 and BEV_4 (S35), and refers to the detected difference as a boundary.
  • the setting of the line BL is adjusted (S41, S43, S61).
  • the boundary line BL is set so that a larger three-dimensional object image is reproduced.
  • the size of the three-dimensional object image that appears in each of the bird's-eye images BEV_3 and BEV_4 varies depending on the height of the three-dimensional object from the road surface and the height difference between each of the cameras C_3 and C_4 and the three-dimensional object.
  • the boundary line BL that is referred to when the bird's-eye view images BEV_3 and BEV_4 are combined is adjusted by paying attention to the difference between the cameras C_3 and C_4 having such a three-dimensional object image size. Thereby, the visibility of a three-dimensional object can be improved.
  • an obstacle is detected from the common visual field VW_MN based on the difference image created for the common visual field VW_MN (see steps S13 to S15 in FIG. 17).
  • a stereo vision method or an optical flow method may be used, and an ultrasonic sensor, a millimeter wave sensor, or a microwave sensor may be used.
  • the coordinate transformation for generating a bird's-eye view image from a photographed image as described in the embodiment is generally called perspective projection transformation.
  • a bird's eye view image may be generated from the captured image by a known plane projective conversion.
  • planar projective transformation a homography matrix (coordinate transformation matrix) for converting the coordinate value of each pixel on the captured image into the coordinate value of each pixel on the bird's eye view image is obtained in advance at the stage of camera calibration processing. .
  • a method for obtaining a homography matrix is known. And when performing image conversion, what is necessary is just to convert a picked-up image into a bird's-eye view image based on a homography matrix. In any case, the captured image is converted into the bird's-eye view image by projecting the captured image onto the bird's-eye view image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　４つのカメラのうちカメラＣ＿３およびＣ＿４に注目したとき、カメラＣ＿３およびＣ＿４は、共通視野を部分的に有するように路面を斜め上から捉える。ＣＰＵは、カメラＣ＿３およびＣ＿４からそれぞれ出力された被写界像を取り込み、取り込まれた被写界像をそれぞれ鳥瞰画像に変換し、そして変換された２つの鳥瞰画像を共通視野に割り当てられた境界線ＢＬを参照して合成する。共通視野に立体物が存在するとき、ＣＰＵは、鳥瞰画像の各々に現れた立体物画像ＯＢＪ＿３＿１とＯＢＪ＿４＿１、ＯＢＪ＿３＿２とＯＢＪ＿４＿２の間の大きさの相違を検出し、検出された相違を参照して境界線ＢＬの設定を調整する。

Description

画像処理装置
　この発明は、画像処理装置に関し、特に、共通視野を部分的に有するように基準面を斜め方向から捉える複数のカメラの各々から出力された被写界像を鳥瞰画像に変換する、画像処理装置に関する。
　この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、４つのカメラは、隣り合う２つのカメラの視野が部分的に重複するように車両に搭載される。車両の周囲はこのようなカメラによって捉えられ、各々のカメラから出力された被写界像は鳥瞰画像に変換される。
　変換された鳥瞰画像のうち重複視野に対応する部分画像上には、境界線が割り当てられる。４つのカメラにそれぞれ対応する４つの鳥瞰画像は、このような境界線を参照したトリミング処理を経て、互いに合成される。ただし、重複視野から障害物つまり立体物が検出された場合、境界線の位置は立体物画像を回避するように変更される。これによって、立体物画像の品質が維持される。
特開２００７－１０４３７３号公報
　しかし、鳥瞰画像は路面を基準に作成されるため、鳥瞰画像における立体物の再現性は、カメラと立体物との間の高さの相違やカメラから立体物までの距離などに起因して変動する。背景技術では、このような特性を考慮して境界線の位置が制御されることはなく、立体物の視認性に限界がある。
　それゆえに、この発明の主たる目的は、立体物の視認性を向上させることができる、画像処理装置を提供することである。
　この発明に従う画像処理装置は、次のものを備える：共通視野を部分的に有するように基準面を斜め上から捉える複数のカメラからそれぞれ出力された複数の被写界像を取り込む取り込み手段；取り込み手段によって取り込まれた複数の被写界像を基準面を真上から捉えた状態を表す複数の鳥瞰画像にそれぞれ変換する変換手段；変換手段によって変換された複数の鳥瞰画像を共通視野に割り当てられた重みを参照して合成する合成手段；共通視野に立体物が存在するとき変換手段によって変換された複数の鳥瞰画像にそれぞれ現れた複数の立体物画像の間の大きさの相違を検出する第１検出手段；および第１検出手段によって検出された相違を参照して重みを調整する第１調整手段。
　好ましくは、第１調整手段はより大きな立体物画像が再現されるように重みを調整する。
　好ましくは、第１検出手段の検出処理に関連して立体物の動き量を検出する第２検出手段、第２検出手段によって検出された動き量を参照して重みを調整する第２調整手段、および第１検出手段によって検出された相違が基準を下回るとき第１調整手段に代えて第２調整手段を起動する制御手段がさらに備えられる。
　さらに好ましくは、第２調整手段は立体物の移動方向に存在するカメラの立体物画像が再現されるように重みを調整する。
　好ましくは、重みは共通視野に定義される境界線をパラメータとして含み、合成手段は、境界線よりも外方の部分画像を複数の鳥瞰画像の各々から削除する削除手段、および削除手段の削除処理の後に残った複数の部分鳥瞰画像を互いに結合する結合手段を含む。
　好ましくは、複数のカメラは移動体に設けられ、合成手段によって作成された合成鳥瞰画像を移動体の操縦者に向けて表示する表示手段がさらに備えられる。
　この発明によれば、複数の鳥瞰画像を合成するときに参照される重みは、立体物画像の大きさのカメラ間での相違に注目して調整される。これによって、立体物の視認性を向上させることができる。
　この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。 （Ａ）は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。 全周鳥瞰図画像の作成動作の一部を示す図解図である。 作成された全周鳥瞰図画像の一例を示す図解図である。 表示装置によって表示される運転支援画像の一例を示す図解図である。 車両に取り付けられたカメラの角度を示す図解図である。 カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。 車両とその周辺に存在する障害物の一例を示す図解図である。 運転支援画像の作成動作の他の一部を示す図解図である。 障害物画像を再現する動作の一例を示す図解図である。 障害物画像の再現する動作の他の一例を示す図解図である。 障害物画像の再現する動作のその他の一例を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
　図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。取り込み手段２は、共通視野を部分的に有するように基準面を斜め上から捉える複数のカメラ１，１，…からそれぞれ出力された複数の被写界像を取り込む。変換手段３は、取り込み手段２によって取り込まれた複数の被写界像を、基準面を真上から捉えた状態を表す複数の鳥瞰画像にそれぞれ変換する。合成手段４は、変換手段３によって変換された複数の鳥瞰画像を、共通視野に割り当てられた重みを参照して合成する。第１検出手段５は、共通視野に立体物が存在するとき、変換手段３によって変換された複数の鳥瞰画像にそれぞれ現れた複数の立体物画像の間の大きさの相違を検出する。第１調整手段６は、第１検出手段によって検出された相違を参照して重みを調整する。
　鳥瞰画像に現れる立体物画像の大きさは、基準面からの立体物の高さやカメラ１と立体物との間の高さの差分に応じて異なる。複数の鳥瞰画像を合成するときに参照される重みは、このような立体物画像の大きさのカメラ１間での相違に注目して調整される。これによって、立体物の視認性を向上させることができる。
　図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣ＿１～Ｃ＿４を含む。カメラＣ＿１～Ｃ＿４はそれぞれ、共通のタイミング信号に同期して被写界像Ｐ＿１～Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１～Ｐ＿４は、画像処理回路１２に与えられる。
　図３を参照して、カメラＣ＿１は、カメラＣ＿１の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前部中央に設置される。カメラＣ＿２は、カメラＣ＿２の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右側上部に設置される。カメラＣ＿３は、カメラＣ＿３の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後部中央に設置される。カメラＣ＿４は、カメラＣ＿４の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左側上部に設置される。車両１００の周辺の被写界は、このようなカメラＣ＿１～Ｃ＿４によって路面に斜め方向に交差する方向から捉えられる。
　カメラＣ＿１は車両１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。
　図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図４（Ａ）に示す鳥瞰画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図４（Ｂ）に示す鳥瞰画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図４（Ｄ）に示す鳥瞰画像ＢＥＶ＿４を生成する。
　鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
　図４（Ａ）～図４（Ｄ）によれば、鳥瞰画像ＢＥＶ＿１は鳥瞰座標系Ｘ１・Ｙ１を有し、鳥瞰画像ＢＥＶ＿２は鳥瞰座標系Ｘ２・Ｙ２を有し、鳥瞰画像ＢＥＶ＿３は鳥瞰座標系Ｘ３・Ｙ３を有し、そして鳥瞰画像ＢＥＶ＿４は鳥瞰座標系Ｘ４・Ｙ４を有する。このような鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。
　ＣＰＵ１２ｐは続いて、鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４の各々から境界線ＢＬよりも外方の一部の画像を削除し、削除の後に残った鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４の一部（図５参照）を回転／移動処理によって互いに結合する。この結果、図６に示す全周鳥瞰画像がメモリ１２ｍのワークエリアＷ２内に得られる。
　図６において、斜線で示す重複エリアＯＬ＿１２が共通視野ＶＷ＿１２に相当し、斜線で示す重複エリアＯＬ＿２３が共通視野ＶＷ＿２３に相当する。また、斜線で示す重複エリアＯＬ＿３４が共通視野ＶＷ＿３４に相当し、斜線で示す重複エリアＯＬ＿４１が共通視野ＶＷ＿４１に相当する。
　運転席に設置された表示装置１６は、重複エリアＯＬ＿１２～ＯＬ＿４１が四隅に位置する一部の画像Ｄ１をワークエリアＷ２上の全周鳥瞰画像から抽出し、車両１００の上部を模した車両画像Ｄ２を抽出された画像Ｄ１の中央に貼り付ける。この結果、図７に示す運転支援画像がモニタ画面に表示される。
　なお、重複エリアＯＬ＿１２のうち画像Ｄ１を形成する一部のエリアを“再現重複エリアＯＬＤ＿１２”と定義し、重複エリアＯＬ＿２３のうち画像Ｄ１を形成する一部のエリアを“再現重複エリアＯＬＤ＿２３”と定義する。同様に、重複エリアＯＬ＿３４うち画像Ｄ１を形成する一部のエリアを“再現重複エリアＯＬＤ＿３４”と定義し、重複エリアＯＬ＿４１のうち画像Ｄ１を形成する一部のエリアを“再現重複エリアＯＬＤ＿４１”と定義する。
　次に、鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４を代表して鳥瞰画像ＢＥＶ３の作成要領を説明する。
　図８を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図７に示す角度θは“１８０°－θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
　図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
　カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ路面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
　世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と路面との交点を原点Ｏｗとして、路面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
　カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
　カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
Figure JPOXMLDOC01-appb-M000002
　また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元路面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
Figure JPOXMLDOC01-appb-M000003
　また、図４（Ｃ）に示す鳥瞰画像ＢＥＶ＿３の座標系である鳥瞰座標系Ｘ３・Ｙ３が定義される。鳥瞰座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
　路面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
Figure JPOXMLDOC01-appb-M000004
　さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰画像ＢＥＶ＿３に変換される。
　図１０および図１１を参照して、車両１００の左後方の共通視野ＶＷ＿３４に障害物（立体物）２０１および２０２が存在する場合、カメラＣ＿３で捉えられた障害物２０１および２０２は、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿３＿２として鳥瞰画像ＢＥＶ＿３に現れる。同様に、カメラＣ＿４で捉えられた障害物２０１および２０２は、障害物画像ＯＢＪ＿４＿１およびＯＢＪ＿４＿２として鳥瞰画像ＢＥＶ＿４に現れる。
　障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿１の姿勢は、カメラＣ＿３の視点とカメラＣ＿４の視点との相違に起因して互いに相違する。同様に、障害物画像ＯＢＪ＿３＿２およびＯＢＪ＿４＿２の姿勢も、カメラＣ＿３の視点とカメラＣ＿４の視点との相違に起因して互いに相違する。
　つまり、障害物画像ＯＢＪ＿３＿１はカメラＣ＿３と障害物２０１の底部とを結ぶ直線に沿って倒れ込むように再現され、障害物画像ＯＢＪ＿４＿１はカメラＣ＿４と障害物２０１の底部とを結ぶ直線に沿って倒れ込むように再現される。同様に、障害物画像ＯＢＪ＿３＿２はカメラＣ＿３と障害物２０２の底部とを結ぶ直線に沿って倒れ込むように再現され、障害物画像ＯＢＪ＿４＿２はカメラＣ＿４と障害物２０２の底部とを結ぶ直線に沿って倒れ込むように再現される。
　また、鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４は路面を基準に作成されることから、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿１の大きさは、カメラＣ＿３の高さとカメラＣ＿４の高さとの相違や、カメラＣ＿３から障害物２０１までの距離とカメラＣ＿４から障害物２０１までの距離との相違などに起因して、互いに相違する。同様に、障害物画像ＯＢＪ＿３＿２およびＯＢＪ＿４＿２の大きさも、カメラＣ＿３の高さとカメラＣ＿４の高さとの相違や、カメラＣ＿３から障害物２０２までの距離とカメラＣ＿４から障害物２０２までの距離との相違などに起因して、互いに相違する。
　このような障害物２０１および２０２を全周鳥瞰画像上で再現するとき、ＣＰＵ１２ｐは、次のような処理を実行する。
　まず、何らかの障害物が存在するか否かが共通視野ＶＷ＿１２～ＶＷ＿４１の各々について判別される。図１０によれば、障害物は共通視野ＶＷ＿１２，ＶＷ＿２３およびＶＷ＿４１には存在しない。このため、境界線ＢＬは、共通視野ＶＷ＿１２，ＶＷ＿２３およびＶＷ＿４１の各々において初期状態で設定される。つまり、境界線ＢＬは、再現重複エリアＯＬＤ＿１２，ＯＬＤ＿２３およびＯＬＤ＿４１の各々の対角を結ぶように設定される（図１１参照）。
　これに対して、共通視野ＶＷ＿３４には障害物２０１および２０２が存在し、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿３＿２が鳥瞰画像ＢＥＶ＿３に再現される一方、障害物画像ＯＢＪ＿４＿１およびＯＢＪ＿４＿２が鳥瞰画像ＢＥＶ＿４に再現される。このため、境界線ＢＬは次の要領で修正される。
　まず、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿１のサイズ差が“ΔＳＺ＿１”として算出され、障害物画像ＯＢＪ＿３＿２およびＯＢＪ＿４＿２のサイズ差が“ΔＳＺ＿２”として算出される。サイズ差ΔＳＺ＿１は、障害物画像ＯＢＪ＿３＿１のサイズから障害物画像ＯＢＪ＿４＿１のサイズを減算することによって得られる。同様に、サイズ差ΔＳＺ＿２は、障害物画像ＯＢＪ＿３＿２のサイズから障害物画像ＯＢＪ＿４＿２のサイズを減算することによって得られる。
　サイズ差ΔＳＺ＿１が基準値ＲＥＦを上回れば、障害物画像ＯＢＪ＿３＿１が選択画像ＯＢＪ＿１＿ＳＥＬとして設定される。一方、サイズ差ΔＳＺ＿１が基準値“－ＲＥＦ”を下回れば、障害物画像ＯＢＪ＿４＿１が選択画像ＯＢＪ＿１＿ＳＥＬとして設定される。つまり、障害物画像ＯＢＪ＿３＿１および障害物画像ＯＢＪ＿４＿１の間のサイズ差が十分に大きければ、より大きい方の障害物画像が選択される。
　サイズ差ΔＳＺ＿１が基準値“－ＲＥＦ”～基準値ＲＥＦの範囲内であれば、つまり障害物画像ＯＢＪ＿３＿１および障害物画像ＯＢＪ＿４＿１の間のサイズ差が小さければ、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿１に基づいて障害物２０１の動きベクトルが検出される。
　検出された動きベクトルの量が閾値ＴＨｍｖを上回りかつ検出された動きベクトルの方向がカメラＣ＿３側であれば、障害物画像ＯＢＪ＿３＿１が選択画像ＯＢＪ＿１＿ＳＥＬとして設定される。検出された動きベクトルの量が閾値ＴＨｍｖを上回りかつ動きベクトルの方向がカメラＣ＿４側であれば、障害物画像ＯＢＪ＿４＿１が選択画像ＯＢＪ＿１＿ＳＥＬとして設定される。つまり、障害物２０１の動きが大きければ、障害物２０１が移動する方向のカメラに対応する障害物画像が選択される。
　なお、検出された動きベクトルの量が閾値ＴＨｍｖ以下であれば、前回の選択画像ＯＢＪ＿Ｋ＿ＳＥＬの設定が維持される。
　このような処理は障害物２０２についても実行され、これによって、障害物画像ＯＢＪ＿３＿２およびＯＢＪ＿４＿２のいずれか一方が選択画像ＯＢＪ＿２＿ＳＥＬとして設定される。境界線ＢＬは、こうして設定された選択画像ＯＢＪ＿１＿ＳＥＬ～ＯＢＪ＿２＿ＳＥＬが再現されるように、共通視野ＶＷ＿３４に設定される。
　したがって、図１２の上段に示すように、障害物２０１および２０２のいずれもがカメラＣ＿４に向かって移動する場合において、障害物画像ＯＢＪ＿３＿１のサイズが障害物画像ＯＢＪ＿４＿１のサイズよりも十分に大きく、障害物画像ＯＢＪ＿３＿２サイズが障害物画像ＯＢＪ＿４＿２のサイズとほぼ同じであれば、境界線ＢＬは、図１２の下段に示すように設定される。この結果、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿２が表示装置１２に再現される。
　また、図１３の上段に示すように、障害物２０１および２０２が互いに近接し、障害物２０１がカメラＣ＿３に向かって移動する一方、障害物２０２がカメラＣ＿４に向かって移動する場合において、障害物画像ＯＢＪ＿３＿１のサイズが障害物画像ＯＢＪ＿４＿１のサイズとほぼ同じで、障害物画像ＯＢＪ＿３＿２サイズも障害物画像ＯＢＪ＿４＿２のサイズとほぼ同じであれば、境界線ＢＬは図１３の下段に示すように設定される。この結果、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿４＿２が表示装置１２に再現される。
　さらに、図１４の上段に示すように、障害物２０１および２０２が互いに近接し、障害物２０１および２０２のいずれもがカメラＣ＿３に向かって移動する場合において、障害物画像ＯＢＪ＿３＿１のサイズが障害物画像ＯＢＪ＿４＿１のサイズとほぼ同じで、障害物画像ＯＢＪ＿３＿２サイズも障害物画像ＯＢＪ＿４＿２のサイズとほぼ同じであれば、境界線ＢＬは図１４の下段に示すように設定される。この結果、障害物画像ＯＢＪ＿３＿１およびＯＢＪ＿３＿２が表示装置１２に再現される。
　ＣＰＵ１２ｐは、具体的には図１５～図２０に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。
　図１５に示すステップＳ１では、カメラＣ＿１～Ｃ＿４から被写界像Ｐ＿１～Ｐ＿４を取り込む。ステップＳ３では、取り込まれた被写界像Ｐ＿１～Ｐ＿４に基づいて鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４を作成する。作成された鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４は、ワークエリアＷ１に確保される。ステップＳ５では、障害物検知処理を実行する。ステップＳ７では、ステップＳ３で作成された鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４に基づいて全周鳥瞰画像を作成する。作成された全周鳥瞰画像は、ワークエリアＷ２に確保される。表示装置１６のモニタ画面には、ワークエリアＷ２に確保された全周鳥瞰画像に基づく運転支援画像が表示される。ステップＳ７の処理が完了すると、ステップＳ１に戻る。
　ステップＳ５に示す障害物検知処理は、図１６～図１９に示すサブルーチンに従う。まずステップＳ１１で変数ＭおよびＮをそれぞれ“１”および“２”に設定する。ここで、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数であり、変数Ｎは“２”→“３”→“４”→“１”の順で更新される変数である。
　ステップＳ１３では、カメラＣ＿Ｍの出力に基づく鳥瞰画像ＢＥＶ＿ＭとカメラＣ＿Ｎの出力に基づく鳥瞰画像ＢＥＶ＿Ｎとに基づいて、共通視野ＶＷ＿ＭＮにおける差分画像を作成する。ステップＳ１５では、共通視野ＶＷ＿ＭＮに障害物が存在するか否かを、ステップＳ１３で作成された差分画像に基づいて判別する。
　共通視野ＶＷ＿ＭＮから障害物が検出されなければ、ステップＳ１７で境界線を初期設定する。一方、共通視野ＶＷ＿ＭＮから障害物が検出されれば、ステップＳ１９で境界線修正処理を実行する。ステップＳ１７またはＳ１９の処理が完了すると、変数Ｍが“４”を示すか否かをステップＳ２１で判別する。変数Ｍが“４”に満たなければ、変数ＭおよびＮをステップＳ２３で更新してからステップＳ１３に戻る。これに対して、変数Ｍが“４”であれば、上階層のルーチンに復帰する。
　図１６に示すステップＳ１９の境界線修正処理は、図１７～図１９に示すサブルーチンに従って実行される。
　まずステップＳ３１で、共通視野ＶＷ＿ＭＮに存在する障害物の数を“Ｋｍａｘ”として特定する。ステップＳ３３では変数Ｋを“１”に設定し、ステップＳ３５では障害物画像ＯＢＪ＿Ｍ＿ＫおよびＯＢＪ＿Ｎ＿Ｋのサイズ差を“ΔＳＺ＿Ｋ”として算出する。サイズ差ΔＳＺ＿Ｋは、障害物画像ＯＢＪ＿Ｍ＿Ｋのサイズから障害物画像ＯＢＪ＿Ｎ＿Ｋのサイズを減算することによって得られる。
　ステップＳ３７ではサイズ差ΔＳＺ＿Ｋが基準値ＲＥＦを上回るか否かを判別し、ステップＳ３９ではサイズ差ΔＳＺ＿Ｋが基準値“－ＲＥＦ”を下回るか否かを判別する。ステップＳ３７でＹＥＳであればステップＳ４１に進み、障害物画像ＯＢＪ＿Ｍ＿Ｋを選択画像ＯＢＪ＿Ｋ＿ＳＥＬとして設定する。ステップＳ３９でＹＥＳであればステップＳ４３に進み、障害物画像ＯＢＪ＿Ｎ＿Ｋを選択画像ＯＢＪ＿Ｋ＿ＳＥＬとして設定する。
　ステップＳ３７およびＳ３９のいずれもＮＯであればステップＳ４５に進み、障害物画像ＯＢＪ＿Ｍ＿ＫおよびＯＢＪ＿Ｎ＿Ｋに基づいて障害物２０Ｋの動きベクトルを検出する。ステップＳ４７では検出された動きベクトルの量が閾値ＴＨｍｖを上回るか否かを判別し、ステップＳ４９では検出された動きベクトルの方向がカメラＣ＿Ｍ側であるか否かを判別する。
　ステップＳ４７でＮＯであれば、選択画像ＯＢＪ＿Ｋ＿ＳＥＬの設定を前回と同じ設定とする。ステップＳ４７およびＳ５１のいずれもＹＥＳであればステップＳ５３に進み、障害物画像ＯＢＪ＿Ｍ＿Ｋを選択画像ＯＢＪ＿Ｋ＿ＳＥＬとして設定する。ステップＳ４７でＹＥＳである一方、ステップＳ５１でＮＯであれば、ステップＳ５５に進み、障害物画像ＯＢＪ＿Ｎ＿Ｋを選択画像ＯＢＪ＿Ｋ＿ＳＥＬとして設定する。
　選択画像ＯＢＪ＿Ｋ＿ＳＥＬの設定が完了すると、変数ＫをステップＳ５７でインクリメントし、インクリメントされた変数Ｋが変数Ｋｍａｘを上回るか否かをステップＳ５９で判別する。ステップＳ５９でＮＯであればステップＳ３５に戻り、ステップＳ５９でＹＥＳであればステップＳ６１に進む。ステップＳ６１では、選択画像ＯＢＪ＿１＿ＳＥＬ～ＯＢＪ＿Ｋｍａｘ＿ＳＥＬが再現されるように境界線ＢＬを共通視野ＶＷ＿ＭＮに設定する。境界線ＢＬの設定が完了すると、上階層のルーチンに復帰する。
　図１５に示すステップＳ７の全周鳥瞰作成処理は、図２０に示すサブルーチンに従う。まずステップＳ７１で変数Ｍを“１”に設定する。上述と同様、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数である。ステップＳ７３では、境界線よりも外方の画像を鳥瞰画像ＢＥＶ＿Ｍから削除し、ステップＳ７５では変数Ｍが“４”に達したか否かを判別する。変数Ｍが“４”に満たなければ、ステップＳ７７で変数Ｍを更新してからステップＳ７３に戻る。一方、変数Ｍが“４”を示していればステップＳ７９に進み、ステップＳ７３の削除処理の後に残った鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４の一部を座標変換によって互いに結合する。結合処理が完了すると、上階層のルーチンに復帰する。
　以上の説明から分かるように、カメラＣ＿１～Ｃ＿４のうちカメラＣ＿３およびＣ＿４に注目したとき、カメラＣ＿３およびＣ＿４は、共通視野ＶＷ＿３４を部分的に有するように路面を斜め上から捉える。ＣＰＵ１２ｐは、このようなカメラＣ＿３およびＣ＿４からそれぞれ出力された被写界像Ｐ＿３およびＰ＿４を取り込み(S1)、取り込まれた被写界像Ｐ＿３およびＰ＿４を鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４にそれぞれ変換し(S3)、そして変換された鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４を共通視野ＶＷ＿３４に割り当てられた境界線ＢＬ（＝重み）を参照して合成する(S7)。
　共通視野ＶＷ＿３４に立体物が存在するとき、ＣＰＵ１２ｐは、鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４の各々に現れた立体物画像の間の大きさの相違を検出し(S35)、検出された相違を参照して境界線ＢＬの設定を調整する(S41,S43,S61)。境界線ＢＬは、より大きな立体物画像が再現されるように設定される。
　鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４の各々に現れる立体物画像の大きさは、路面からの立体物の高さやカメラＣ＿３およびＣ＿４の各々と立体物との間の高さの差分に応じて異なる。鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿４を合成するときに参照される境界線ＢＬは、このような立体物画像の大きさのカメラＣ＿３およびＣ＿４の間での相違に注目して調整される。これによって、立体物の視認性を向上させることができる。
　なお、この実施例では、鳥瞰画像ＢＥＶ＿１～ＢＥＶ＿４を結合するにあたって、境界線ＢＬよりも外方の一部の画像を削除するようにしている（図５参照）。しかし、共通視野を表す２つの部分画像を加重加算によって合成し、加重加算の際に参照される重み付け量を立体物画像の大きさの相違に基づいて調整するようにしてもよい。
　また、この実施例では、共通視野ＶＷ＿ＭＮについて作成した差分画像に基づいて共通視野ＶＷ＿ＭＮから障害物を検出するようにしている（図１７のステップＳ１３～Ｓ１５参照）。しかし、障害物の検出にあたっては、ステレオ視手法またはオプティカルフロー手法を用いてもよく、さらには超音波センサ，ミリ波センサまたはマイクロ波センサを用いるようにしてもよい。
　上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
　実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
　この発明が詳細に説明され図示されたが、それは単なる図解および一例として用いたものであり、限定であると解されるべきではないことは明らかであり、この発明の精神および範囲は添付されたクレームの文言によってのみ限定される。
　１０　…操縦支援装置
　Ｃ１～Ｃ４　…カメラ
　１２　…画像処理回路
　１２ｐ　…ＣＰＵ
　１２ｍ　…メモリ
　１４　…フラシュメモリ
　１６　…表示装置
　１００　…車両
　２００　…障害物

Claims (6)

  1. 　画像処理装置であって、次のものを備える：
    　共通視野を部分的に有するように基準面を斜め上から捉える複数のカメラからそれぞれ出力された複数の被写界像を取り込む取り込み手段；
    　前記取り込み手段によって取り込まれた複数の被写界像を前記基準面を真上から捉えた状態を表す複数の鳥瞰画像にそれぞれ変換する変換手段；
    　前記変換手段によって変換された複数の鳥瞰画像を前記共通視野に割り当てられた重みを参照して合成する合成手段；
    　前記共通視野に立体物が存在するとき前記変換手段によって変換された複数の鳥瞰画像にそれぞれ現れた複数の立体物画像の間の大きさの相違を検出する第１検出手段；および
    　前記第１検出手段によって検出された相違を参照して前記重みを調整する第１調整手段。
  2. 　クレーム１に従属する画像処理装置であって、前記第１調整手段はより大きな立体物画像が再現されるように前記重みを調整する。
  3. 　クレーム１に従属する画像処理装置であって、次のものをさらに備える：
    　前記第１検出手段の検出処理に関連して前記立体物の動き量を検出する第２検出手段；
    　前記第２検出手段によって検出された動き量を参照して前記重みを調整する第２調整手段；および
    　前記第１検出手段によって検出された相違が基準を下回るとき前記第１調整手段に代えて前記第２調整手段を起動する制御手段。
  4. 　クレーム３に従属する画像処理装置であって、前記第２調整手段は前記立体物の移動方向に存在するカメラの立体物画像が再現されるように前記重みを調整する。
  5. 　クレーム１に従属する画像処理装置であって、前記重みは前記共通視野に定義される境界線をパラメータとして含み、
    　前記合成手段は、前記境界線よりも外方の部分画像を前記複数の鳥瞰画像の各々から削除する削除手段、および前記削除手段の削除処理の後に残った複数の部分鳥瞰画像を互いに結合する結合手段を含む。
  6. 　クレーム１に従属する画像処理装置であって、前記複数のカメラは移動体に設けられ、
    　前記合成手段によって作成された合成鳥瞰画像を前記移動体の操縦者に向けて表示する表示手段をさらに備える。
PCT/JP2010/053389 2009-04-17 2010-03-03 画像処理装置 WO2010119734A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-100552 2009-04-17
JP2009100552A JP2010250640A (ja) 2009-04-17 2009-04-17 画像処理装置

Publications (1)

Publication Number Publication Date
WO2010119734A1 true WO2010119734A1 (ja) 2010-10-21

Family

ID=42982402

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/053389 WO2010119734A1 (ja) 2009-04-17 2010-03-03 画像処理装置

Country Status (2)

Country Link
JP (1) JP2010250640A (ja)
WO (1) WO2010119734A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655019B2 (en) 2009-09-24 2014-02-18 Panasonic Corporation Driving support display device
WO2014069471A1 (ja) 2012-10-31 2014-05-08 クラリオン株式会社 画像処理システム及び画像処理方法
JP2014183499A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
EP2902261A1 (de) * 2014-01-29 2015-08-05 MAN Truck & Bus AG Verfahren zur bildlichen Darstellung eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Birdview-System
WO2016142079A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zum zusammensetzen von zwei bildern einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
CN105960800A (zh) * 2014-03-27 2016-09-21 歌乐株式会社 影像显示装置及影像显示系统
CN109664879A (zh) * 2017-10-12 2019-04-23 丰田自动车株式会社 车辆用显示装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5704902B2 (ja) * 2010-11-26 2015-04-22 東芝アルパイン・オートモティブテクノロジー株式会社 運転支援装置及び運転支援方法
JP5699679B2 (ja) * 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法
WO2013031161A1 (ja) * 2011-08-26 2013-03-07 パナソニック株式会社 運転支援装置
JP6969738B2 (ja) * 2017-07-10 2021-11-24 株式会社Zmp 物体検出装置及び方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002114098A (ja) * 2000-06-30 2002-04-16 Matsushita Electric Ind Co Ltd 描画装置
JP2006253872A (ja) * 2005-03-09 2006-09-21 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
JP2007027948A (ja) * 2005-07-13 2007-02-01 Nissan Motor Co Ltd 車両周辺監視装置及び車両周辺監視方法
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置
WO2007087975A2 (de) * 2006-01-24 2007-08-09 Daimler Ag Verfahren zum zusammenfügen mehrerer bildaufnahmen zu einem gesamtbild in der vogelperspektive
JP2008048317A (ja) * 2006-08-21 2008-02-28 Sanyo Electric Co Ltd 画像処理装置並びに視界支援装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002114098A (ja) * 2000-06-30 2002-04-16 Matsushita Electric Ind Co Ltd 描画装置
JP2006253872A (ja) * 2005-03-09 2006-09-21 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
JP2007027948A (ja) * 2005-07-13 2007-02-01 Nissan Motor Co Ltd 車両周辺監視装置及び車両周辺監視方法
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置
WO2007087975A2 (de) * 2006-01-24 2007-08-09 Daimler Ag Verfahren zum zusammenfügen mehrerer bildaufnahmen zu einem gesamtbild in der vogelperspektive
JP2008048317A (ja) * 2006-08-21 2008-02-28 Sanyo Electric Co Ltd 画像処理装置並びに視界支援装置及び方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655019B2 (en) 2009-09-24 2014-02-18 Panasonic Corporation Driving support display device
WO2014069471A1 (ja) 2012-10-31 2014-05-08 クラリオン株式会社 画像処理システム及び画像処理方法
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法
US9485438B2 (en) 2012-10-31 2016-11-01 Clarion Co., Ltd. Image processing system with image conversion unit that composites overhead view images and image processing method
JP2014183499A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
EP2902261A1 (de) * 2014-01-29 2015-08-05 MAN Truck & Bus AG Verfahren zur bildlichen Darstellung eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Birdview-System
CN105960800A (zh) * 2014-03-27 2016-09-21 歌乐株式会社 影像显示装置及影像显示系统
EP3125544A4 (en) * 2014-03-27 2017-09-20 Clarion Co., Ltd. Image display device and image display system
WO2016142079A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zum zusammensetzen von zwei bildern einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
CN107408295A (zh) * 2015-03-10 2017-11-28 罗伯特·博世有限公司 用于组合车辆的车辆周围环境的两个图像的方法和相应的设备
CN109664879A (zh) * 2017-10-12 2019-04-23 丰田自动车株式会社 车辆用显示装置
CN109664879B (zh) * 2017-10-12 2022-03-15 丰田自动车株式会社 车辆用显示装置

Also Published As

Publication number Publication date
JP2010250640A (ja) 2010-11-04

Similar Documents

Publication Publication Date Title
WO2010119734A1 (ja) 画像処理装置
US9098928B2 (en) Image-processing system and image-processing method
WO2010016340A1 (ja) 操縦支援装置
JP5835383B2 (ja) 情報処理方法、情報処理装置、およびプログラム
JP5444338B2 (ja) 車両周囲監視装置
JP5835384B2 (ja) 情報処理方法、情報処理装置、およびプログラム
JP2010093605A (ja) 操縦支援装置
JP2006287892A (ja) 運転支援システム
JP6812862B2 (ja) 画像処理システム、撮像装置、画像処理方法及びプログラム
JP2010141836A (ja) 障害物検知装置
WO2010070920A1 (ja) 車両周囲画像生成装置
JP2010258691A (ja) 操縦支援装置
WO2010116801A1 (ja) 画像処理装置
JP6350695B2 (ja) 装置、方法、およびプログラム
WO2010035628A1 (ja) 操縦支援装置
JP4972036B2 (ja) 画像処理装置
TWI617195B (zh) 影像擷取裝置及其影像拼接方法
JP5271186B2 (ja) 車両用画像表示装置
KR102177878B1 (ko) 영상 처리 장치 및 방법
JP2016110312A (ja) 画像処理方法、画像処理装置及びプログラム
JP6293089B2 (ja) 後方モニタ
JP6583486B2 (ja) 情報処理方法、情報処理プログラムおよび情報処理装置
JP6128185B2 (ja) 装置、方法、およびプログラム
JP2009077022A (ja) 運転支援システム及び車両
JP3928509B2 (ja) 画像合成装置および画像合成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10764320

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10764320

Country of ref document: EP

Kind code of ref document: A1