WO2017077650A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2017077650A1
WO2017077650A1 PCT/JP2015/081358 JP2015081358W WO2017077650A1 WO 2017077650 A1 WO2017077650 A1 WO 2017077650A1 JP 2015081358 W JP2015081358 W JP 2015081358W WO 2017077650 A1 WO2017077650 A1 WO 2017077650A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional object
imaging device
overhead
area
Prior art date
Application number
PCT/JP2015/081358
Other languages
English (en)
French (fr)
Inventor
古木　一朗
司 深澤
浩平 岡原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2017543843A priority Critical patent/JP6239205B2/ja
Priority to PCT/JP2015/081358 priority patent/WO2017077650A1/ja
Priority to US15/756,455 priority patent/US10417743B2/en
Priority to GB1803427.2A priority patent/GB2556797B/en
Publication of WO2017077650A1 publication Critical patent/WO2017077650A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to an image processing device, an image processing method, and an image processing program for synthesizing a plurality of overhead images obtained by viewpoint conversion.
  • a technique for generating a bird's-eye view image that converts a plurality of camera images into viewpoints and looking down from above, and generates a synthesized bird's-eye view image by synthesizing the generated plurality of bird's-eye views.
  • the bird's-eye view image generated by the viewpoint conversion all the subjects in the image are displayed as existing on the same plane.
  • the overhead image is normally generated based on the ground, an object at a position higher than the ground is stretched so as to fall down on the ground, and is displayed distorted.
  • the cameras are usually installed so that the imaging ranges of adjacent camera images partially overlap. An image of an object located in the overlapped imaging range may disappear or appear double due to camera parallax.
  • Patent Document 1 discloses a technique for preferentially displaying, as an image of an overlapping portion, an overhead image in which a three-dimensional object appears larger in two overhead images generated from two camera images partially overlapping in imaging range. Is disclosed.
  • Patent Document 1 since one of the two overhead images is displayed, the object does not disappear or appear double, but the overhead image in which the three-dimensional object appears larger is adopted. There is a problem that an image with a large distortion of a three-dimensional object may be displayed.
  • An object of the present invention is to obtain an image with a small distortion of a three-dimensional object as an image of an overlapping portion between two overhead images generated from two camera images.
  • An image processing apparatus includes: 1st apparatus information including the positional information of the 1st imaging device which images the 1st field including the common field where a solid thing is located, and the positional information of the 2nd imaging device which images the 2nd field including the common field
  • a boundary calculation unit that calculates a boundary position that serves as a reference for dividing the common area into the first imaging device side and the second imaging device side using the second device information; Based on the boundary position and the position of the three-dimensional object, an image obtained by imaging the first region by the first imaging device is a first bird's-eye view image, and the image of the three-dimensional object is distorted.
  • the three-dimensional A selection unit that selects a bird's-eye view image with a small distortion of the object image as a selection image; An image of the first area other than the common area in the first overhead image, an image of the second area other than the common area in the second overhead image, and an image of the common area included in the selected image
  • an image generation unit that generates an image of an area composed of the first area and the second area.
  • the image processing apparatus includes a boundary calculation unit that calculates a boundary position that serves as a reference for dividing the common area into the first imaging device side and the second imaging device side, and the boundary position and the position of the three-dimensional object. Based on the first and second overhead images in which the image of the three-dimensional object is distorted, a selection unit that selects an overhead image having a small distortion of the three-dimensional object image as a selection image is provided. There is an effect that an image with a small distortion of a three-dimensional object can be obtained as an overhead image.
  • FIG. 1 is a diagram showing a configuration of an image processing apparatus 100 according to Embodiment 1.
  • FIG. 3 is a diagram showing a positional relationship between a first imaging device 210 and a second imaging device 220 according to Embodiment 1.
  • 3 is a flowchart showing an image processing method 510 according to the first embodiment and an image processing S100 of an image processing program 520.
  • FIG. FIG. 3 is a flowchart showing boundary calculation processing S110 according to the first embodiment.
  • FIG. 6 is a diagram illustrating a calculation method of a boundary position xc in the imaging space 800 according to the first embodiment.
  • FIG. 3 is a flowchart showing an overhead view generation process S120 according to the first embodiment.
  • FIG. 3 is a flowchart showing a selection process S130 according to the first embodiment.
  • FIG. FIG. 3 is a flowchart showing an image generation process S140 according to the first embodiment.
  • FIG. 6 shows a method for generating a region image 340 according to the first embodiment.
  • FIG. 6 shows a method for generating a region image 340 according to the first embodiment.
  • FIG. 6 is a diagram showing a configuration of an image processing apparatus 100 according to a modification of the first embodiment.
  • FIG. 3 is a diagram illustrating an application example of the image processing apparatus 100 according to the first embodiment.
  • FIG. 4 is a diagram illustrating a configuration of an image processing apparatus 100a according to a second embodiment.
  • FIG. 9 is a flowchart showing image processing S100a of the image processing apparatus 100a according to the second embodiment.
  • FIG. 9 is a flowchart showing region image generation processing S150a according to the second embodiment. The figure which shows area
  • FIG. 9 is a diagram illustrating a configuration of an image processing apparatus 100a according to a second embodiment.
  • FIG. 9 is a flowchart showing image processing S100a of the image processing apparatus 100a according to the second embodiment.
  • FIG. 9 is a flowchart showing region image generation processing S150a according to the second embodiment. The figure which shows area
  • Embodiment 1 FIG. *** Explanation of configuration *** The configuration of the image processing apparatus 100 according to the present embodiment will be described with reference to FIG.
  • the image processing apparatus 100 is a computer.
  • the image processing apparatus 100 includes hardware such as a processor 910, a storage device 920, an input interface 930, and an output interface 940. Further, the image processing apparatus 100 includes a boundary calculation unit 110, an overhead view generation unit 120, a selection unit 130, an image generation unit 140, and a storage unit 150 as functional configurations.
  • the selection unit 130 includes a position detection unit 131 and an image selection unit 132.
  • the functions of the boundary calculation unit 110, the overhead view generation unit 120, the position detection unit 131, the image selection unit 132, and the image generation unit 140 in the image processing apparatus 100 are described as “parts” of the image processing apparatus 100. Is called the function.
  • the function of “unit” of the image processing apparatus 100 is realized by software.
  • the storage unit 150 is realized by the storage device 920.
  • the storage unit 150 stores imaging device information 160, subject information 170, a boundary position 180, and a comparative image 190.
  • the imaging device information 160 includes first device information 161 and second device information 162.
  • the subject information 170 includes height information 171.
  • the processor 910 is connected to other hardware via a signal line, and controls these other hardware.
  • the processor 910 is an integrated circuit (IC) that performs processing.
  • the processor 910 is specifically a CPU (Central Processing Unit).
  • the storage device 920 includes an auxiliary storage device 921 and a memory 922.
  • the auxiliary storage device 921 is a ROM (Read / Only / Memory), a flash memory, or an HDD (Hard / Disk / Drive).
  • the memory 922 is specifically a RAM (Random Access Memory).
  • the storage unit 150 is realized by the auxiliary storage device 921. Note that the storage unit 150 may be realized by the auxiliary storage device 921 and the memory 922.
  • the input interface 930 is a port connected to the first imaging device 210 and the second imaging device 220.
  • the input interface 930 is an image input interface that takes the first image 310 captured by the first imaging device 210 and the second image 320 captured by the second imaging device 220 into the image processing apparatus 100.
  • the first image 310 and the second image 320 captured by the input interface 930 are stored in the memory 922.
  • the input interface 930 may be a port connected to an input device such as a mouse, a keyboard, or a touch panel.
  • the input interface 930 is a USB (Universal / Serial / Bus) terminal.
  • the input interface 930 may be a port connected to a LAN (Local / Area / Network).
  • SDI Serial, Digital, Interface
  • HDMI Registered Trademark
  • VGA Video, Graphics, Array
  • DVI Digital, Video, Interface
  • Image etc. It may be a capture board that can be loaded into the apparatus 100.
  • the output interface 940 is a port to which a cable of a display device such as a display is connected.
  • the output interface 940 is, for example, a USB terminal or an HDMI (registered trademark) (High Definition, Multimedia, Interface) terminal.
  • the display is an LCD (Liquid / Crystal / Display).
  • the auxiliary storage device 921 stores a program that realizes the function of “unit”. This program is loaded into the memory 922, read into the processor 910, and executed by the processor 910.
  • the auxiliary storage device 921 also stores an OS (Operating System). At least a part of the OS is loaded into the memory 922, and the processor 910 executes a program that realizes the function of “unit” while executing the OS.
  • OS Operating System
  • the image processing apparatus 100 may include only one processor 910, or may include a plurality of processors 910.
  • a plurality of processors 910 may execute a program for realizing the function of “unit” in cooperation with each other.
  • Information, data, signal values, and variable values indicating the results of processing by the function of “unit” are stored in the auxiliary storage device 921, the memory 922, or a register or cache memory in the processor 910.
  • an arrow connecting each unit and the storage unit 150 indicates that each unit stores the processing result in the storage unit 150 or that each unit reads information from the storage unit 150.
  • arrows connecting the respective parts represent the flow of control.
  • the memory 922 indicating that information such as the first bird's-eye view image 311, the second bird's-eye view image 321, or the selection image 330 is exchanged between the units via the memory 922 and the arrows between the units are omitted.
  • the program for realizing the function of “part” may be stored in a portable recording medium such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD (Digital Versatile Disc).
  • a program that realizes the function of “unit” is also referred to as an image processing program.
  • the image processing program is a program that realizes the function described as “part”.
  • what is called an image processing program product is a storage medium and storage device on which an image processing program is recorded, and is loaded with a computer-readable program regardless of the appearance format.
  • FIG. 2 schematically shows the positional relationship between the first imaging device 210 and the second imaging device 220 in the imaging space 800.
  • the imaging space 800 is a space to be imaged by the first imaging device 210 and the second imaging device 220.
  • the first imaging device 210 and the second imaging device 220 are camera devices including an imaging element and a lens such as a CCD (Charged-Coupled Devices) or a CMOS (Complementary Metal-Oxide-Semiconductor).
  • the first imaging device 210 and the second imaging device 220 include the same type of imaging element and the same type of lens.
  • Each of the first imaging device 210 and the second imaging device 220 is specifically a fixed camera such as a surveillance camera.
  • the center of the imaging element of the first imaging device 210 is defined as an imaging element center 3a.
  • the center of the image sensor of the second imaging device 220 is defined as an image sensor center 3b.
  • the center of the image sensor is also called the lens focus.
  • an XZ plan view in which the imaging space 800 is represented by an XZ plane of a two-dimensional X axis and a Z axis and an XY plan view in which the imaging space 800 is represented by an XY plane of a two-dimensional X axis and a Y axis.
  • the X axis is on the ground surface 500 and represents the direction from the first imaging device 210 toward the second imaging device 220. That is, the imaging element center 3a of the first imaging device 210 and the imaging element center 3b of the second imaging device 220 are included in the XZ plane.
  • the Y axis is on the ground surface 500 and represents a direction toward the rear surface of FIG. 2 in the XZ plan view.
  • the Z axis represents the height direction from the ground surface 500. Further, the Z axis includes the imaging element center 3 a of the first imaging device 210. The intersection of the perpendicular line extending from the imaging element center 3 a of the first imaging device 210 to the X axis and the X axis is the origin of the XYZ space representing the imaging space 800.
  • the first imaging device 210 and the second imaging device 220 are installed in the imaging space 800 under the following installation conditions shown in FIG.
  • the installation condition of the first image pickup device 210 is that the height of the image sensor center 3a from the ground surface 500 is Ha, the depression angle that is an angle looking down from the horizontal plane including the image sensor center 3a is ⁇ a, and the lens field angle is ⁇ a.
  • the installation conditions of the second imaging device 220 are that the height of the image sensor center 3b from the ground surface 500 is Hb, the depression angle that is an angle looking down from the horizontal plane including the image sensor center 3b is ⁇ b, and the lens angle of view is ⁇ b. is there.
  • the depression angle is schematically represented.
  • the inter-device distance between the imaging element center 3a of the first imaging device 210 and the imaging element center 3b of the second imaging device 220 is Xab.
  • Xab is the X-axis component of the shortest distance between the image sensor center 3a of the first image pickup device 210 and the image sensor center 3b of the second image pickup device 220.
  • the first region Ra is an imaging range for the ground surface 500 by the first imaging device 210. That is, it is the range of the ground surface 500 imaged by the first imaging device 210.
  • the second region Rb is an imaging range with respect to the ground surface 500 by the second imaging device 220. That is, it is the range of the ground surface 500 imaged by the second imaging device 220.
  • the common region Rab is a range where the imaging regions of the first imaging device 210 and the second imaging device 220 overlap. The first imaging device 210 and the second imaging device 220 are installed so that some imaging regions overlap.
  • a three-dimensional object 600 is located in the common region Rab. Specifically, the three-dimensional object 600 is a subject having a height such as a person, a car, or a building.
  • the entire region R is a region composed of the first region Ra and the second region Rb. That is, the entire region R is the entire imaging region imaged by the first imaging device 210 and the second imaging device 220.
  • the installation conditions are set so that the imaging scale of the image of the common area Rab imaged by the first imaging device 210 is equal to the imaging scale of the image of the common area Rab imaged by the second imaging device 220. It is desirable that The imaging scale is the image size and the image resolution.
  • the virtual viewpoint P represents the viewpoint of the overhead image generated in the image processing apparatus 100.
  • the term “overhead image” means an image viewed from the virtual viewpoint P.
  • the imaging device information 160 is information relating to installation conditions of the imaging device that is set in the storage unit 150 in advance.
  • the information related to the installation conditions of the imaging device includes information such as position information related to the position of the imaging device, posture information related to the orientation of the imaging device, and resolution of the imaging device.
  • the position information includes coordinates in the imaging space 800 of the imaging device.
  • the posture information includes the yaw, roll, and pitch of the imaging device.
  • the imaging device information 160 includes first device information 161 and second device information 162.
  • the first device information 161 is information including position information, posture information, and resolution of the first imaging device 210 that images the first region Ra including the common region Rab.
  • position information, posture information, and resolution of the first imaging device 210 that satisfy the installation conditions such as the height Ha from the ground surface 500, the depression angle ⁇ a, and the lens angle of view ⁇ a are set.
  • the second device information 162 is information including position information, posture information, and resolution of the second imaging device 220 that images the second region Rb including the common region Rab.
  • the first region Ra, the second region Rb, the common region Rab, and the inter-device distance Xab are information determined in advance from the first device information 161 and the second device information 162.
  • the first region Ra, the second region Rb, the common region Rab, and the inter-device distance Xab may be calculated in advance and stored in the imaging device information 160.
  • the first region Ra, the second region Rb, the common region Rab, and the inter-device distance Xab may be calculated each time image processing is executed by the image processing apparatus 100 and stored in the memory 922.
  • the subject information 170 is information related to a subject that is a main imaging target in the imaging region.
  • the subject is a three-dimensional object.
  • the type of the three-dimensional object that is the subject is predetermined as an imaging target in the imaging region and is stored as one of the subject information 170.
  • the type of the three-dimensional object is a type predetermined as a main imaging target in the imaging region.
  • the subject information 170 includes height information 171.
  • the height information 171 is information indicating the height from the ground surface 500 determined based on the type of the three-dimensional object.
  • the height information 171 is stored in the storage unit 150.
  • the height information 171 will be further described.
  • the type of the three-dimensional object is a person.
  • the type of a three-dimensional object that is an imaging target that is, information related to a person is set.
  • the height information 171 is set with information indicating the type of the three-dimensional object, that is, the height from the ground surface determined based on the person. Specifically, information indicating the height from the ground surface determined by a preset method is set based on the average value of the person's height.
  • the imaging device is a camera for monitoring a car
  • the type of the three-dimensional object is a car.
  • information related to the car is set.
  • information representing the height from the ground surface determined based on the vehicle is set. Specifically, information representing the height from the ground surface determined by a preset method is set based on the average value of the vehicle height.
  • the height information 171 is a value slightly higher than the height from the ground surface of the three-dimensional object to be imaged, and falls within the lens field angle ⁇ a of the first imaging device 210 and within the lens field angle ⁇ b of the second imaging device 220. Value is set. Specifically, the average value of the height from the ground surface of some kind of three-dimensional object that is the subject is calculated, and the height information 171 is 1.2 times the average value. At this time, the installation condition of the imaging device needs to be set so that 1.2 times the average height of the three-dimensional object that is the subject falls within the lens field angle ⁇ a and the lens field angle ⁇ b. Note that 1.2 times is an example, and any method for setting the height information 171 may be used as long as the height information 171 is appropriately set.
  • the image processing S100 includes a boundary calculation processing S110, an overhead view generation processing S120, and a region image generation processing S150.
  • the boundary calculation unit 110 uses the first device information 161 of the first imaging device 210, the second device information 162 of the second imaging device 220, and the height information 171 in common.
  • a boundary position 180 serving as a reference for dividing the region Rab into the first imaging device 210 side and the second imaging device 220 side is calculated.
  • the boundary calculation unit 110 stores the calculated boundary position 180 in the storage unit 150.
  • the overhead view generation unit 120 captures from the memory 922 the first image 310 obtained by the first imaging device 210 capturing the first region Ra, and the second imaging device 220 captures the second region Rb.
  • the second image 320 is read out.
  • the first image 310 and the second image 320 are stored in the memory 922 by the input interface 930.
  • the overhead view generation unit 120 converts the viewpoint of each of the first image 310 and the second image 320 to generate a first overhead image 311 and a second overhead image 321.
  • the first overhead image 311 the three-dimensional object 600 in the common region Rab is distorted due to the influence of viewpoint conversion.
  • the second overhead image 321 the three-dimensional object 600 in the common region Rab is distorted due to the influence of viewpoint conversion.
  • region image generation processing S150 the image processing apparatus 100 generates a region image 340 that is an overhead image when the entire region R is viewed from the virtual viewpoint P.
  • the selection unit 130 executes the selection process S130
  • the image generation unit 140 executes the image generation process S140.
  • the area image generation process S150 includes a selection process S130 and an image generation process S140.
  • the selection process S130 the selection unit 130 selects the three-dimensional object 600 out of the first overhead image 311 and the second overhead image 321 based on the boundary position 180 and the position of the three-dimensional object 600 located in the common region Rab. An overhead image with a small image distortion is selected as the selection image 330.
  • the boundary position 180 determines which of the first overhead image 311 and the second overhead image 321 is used as the overhead image of the common region Rab when the overhead image of the entire region R is generated. Used for.
  • the image generation unit 140 includes an image of the first area Ra other than the common area Rab in the first overhead image 311 and an image of the second area Rb other than the common area Rab in the second overhead image 321.
  • an image of the entire area R including the first area Ra and the second area Rb is generated as the area image 340.
  • the image generation unit 140 outputs the region image 340 to a display device such as a display via the output interface 940.
  • FIG. 4 is a flowchart showing the boundary calculation process S110 according to the present embodiment.
  • FIG. 5 is a diagram for explaining a calculation method of the boundary position 180 in the imaging space 800 described with reference to FIG.
  • the boundary calculation process S110 will be described in detail with reference to FIGS.
  • the boundary calculation unit 110 reads the first device information 161, the second device information 162, and the height information 171 from the storage unit 150.
  • the first device information 161 includes the height Ha of the first imaging device 210.
  • the second device information 162 includes the height Hb of the second imaging device 220.
  • a value set in the height information 171 is T.
  • the boundary calculation unit 110 performs geometric calculation using the first device information 161, the second device information 162, and the height information 171 to calculate the boundary position 180. Specifically, the boundary calculation unit 110 uses the first distortion degree that represents the degree of distortion in the first overhead image 311 and the second distortion degree that represents the degree of distortion in the second overhead image 321 to use the boundary position. As 180, xc which is a position on the X axis is calculated. Hereinafter, the value calculated as the boundary position 180 may be referred to as a boundary position xc.
  • the first degree of distortion is obtained by using the first device information 161 and the height information 171.
  • the second degree of distortion is obtained using the second device information 162 and the height information 171.
  • the boundary calculation unit 110 calculates, as the boundary position xc, the coordinate on the X axis of the common region Rab that minimizes the absolute value of the difference between the first distortion degree and the second distortion degree.
  • Expression 1 below is an expression for obtaining the first distortion degree Ea.
  • Expression 2 below is an expression for obtaining the second distortion degree Eb.
  • the coordinate on the X axis be x.
  • Formula 1: Ea x ⁇ T / (Ha ⁇ T)
  • Formula 2: Eb (Xab ⁇ x) ⁇ T / (Hb ⁇ T)
  • the boundary calculation unit 110 calculates, as the boundary position xc, the coordinate x on the X axis that minimizes the absolute value of the difference between Expression 1 and Expression 2.
  • the boundary calculation unit 110 stores the calculated boundary position 180 in the storage unit 150.
  • FIG. 5 shows the positional relationship among the first imaging device 210, the second imaging device 220, and the three-dimensional object 600 when the three-dimensional object 600 is located in the common region Rab under the installation conditions of the imaging device described in FIG. It is XZ top view.
  • An intersection point between the line a and the line b set to intersect at the height T of the common region Rab is defined as an intersection point T1.
  • Line a is a straight line drawn from the imaging element center 3a onto the common area Rab
  • line b is a straight line drawn from the imaging element center 3b onto the common area Rab.
  • a boundary position xc is defined as an intersection point between the perpendicular line drawn from the intersection point T1 on the common region Rab and the ground surface 500, that is, the X axis.
  • the distance in the X-axis direction between the intersection of the line a and the ground surface 500 and the boundary position xc is the first degree of distortion Ea.
  • the distance in the X-axis direction between the intersection of the line b and the ground surface 500 and the boundary position xc is the second distortion degree Eb.
  • the both end portions in the X-axis direction of the common region Rab are defined as an end portion ra and an end portion rb.
  • Each of the first distortion degree Ea and the second distortion degree Eb represents the degree of distortion of the projected image of the three-dimensional object 600 on the ground surface 500 by the imaging device. That is, the first distortion degree Ea represents the degree of distortion in the first overhead image 311, and the second distortion degree Eb represents the degree of distortion in the second overhead image 321. Further, the first distortion degree Ea and the second distortion degree Eb are expressed by Expression 1 and Expression 2, respectively, by geometric calculation based on FIG. When the difference between the first distortion degree Ea and the second distortion degree Eb is ⁇ e, the boundary position xc is obtained by determining x so that ⁇ e is minimized.
  • the boundary position xc is a position where the magnitudes of the first distortion degree Ea and the second distortion degree Eb are reversed. That is, the boundary position xc is a position where the first distortion degree Ea and the second distortion degree Eb are equal.
  • step S ⁇ b> 121 the overhead view generation unit 120 reads the first image 310 and the second image 320 from the memory 922.
  • step S122 the bird's-eye view generation unit 120 executes lens distortion correction processing for correcting image distortion due to the influence of the lens of the imaging device for each of the first image 310 and the second image 320.
  • the bird's-eye view generation unit 120 uses the calculation parameters for correcting distortions of the lenses of the first imaging device 210 and the second imaging device 220, and uses the first image 310 and the second image 320.
  • a lens distortion correction process is executed for each of.
  • the calculation parameters are collected in advance for each of the first imaging device 210 and the second imaging device 220 and stored in the imaging device information 160 of the storage unit 150.
  • the bird's-eye view generation unit 120 reads out the calculation parameters from the storage unit 150, and executes lens distortion correction processing for each of the first image 310 and the second image 320 using the read calculation parameters.
  • step S123 the overhead view generation unit 120 converts the first image 310 and the second image 320 in which distortion due to the influence of the lens is corrected in step S122 into a first overhead image 311 and a second overhead image 321.
  • the first bird's-eye view image 311 and the second bird's-eye view image 321 are bird's-eye view images looking down on the ground surface 500 from the virtual viewpoint P.
  • the bird's-eye view generation unit 120 uses the transformation determinant including appropriate calculation parameters for generating the bird's-eye view image looking down on the ground surface 500 from the virtual viewpoint P, using the first image 310 and the second image 320.
  • the viewpoint conversion process is executed for each of the above, and a first overhead image 311 and a second overhead image 321 are generated.
  • This transformation determinant is stored in advance in the imaging device information 160 of the storage unit 150.
  • the bird's-eye view generation unit 120 reads the conversion determinant from the storage unit 150, and executes the viewpoint conversion process for each of the first image 310 and the second image 320 using the read conversion determinant.
  • the three-dimensional object 600 in the common region Rab is distorted due to the influence of the viewpoint conversion process.
  • step S131 the position detection unit 131 reads the comparison image 190 from the storage unit 150, and based on the first bird's-eye view image 311, the second bird's-eye view image 321, and the comparison image 190, the three-dimensional object 600 positioned in the common region Rab.
  • the position is calculated as a three-dimensional object position xp.
  • the position detection unit 131 is based on the comparison image 190, the overhead image of the common area Rab included in the first overhead image 311 and the overhead image of the common area Rab included in the second overhead image 321.
  • the solid object position xp is detected.
  • the comparison image 190 is a bird's-eye view of the common area Rab, which is a range where the first bird's-eye view image 311 and the second bird's-eye view image 321 overlap, as viewed from the virtual viewpoint P. That is, the comparison image 190 is a bird's-eye view image of a state in which no three-dimensional object exists in the common region Rab, that is, a state in which the three-dimensional object is deleted as viewed from the virtual viewpoint P.
  • the comparison image 190 is generated in advance and stored in the storage unit 150.
  • the position detection unit 131 includes a common overhead image 30a that is an overhead image of the common area Rab included in the first overhead image 311 and a common overhead image 30b that is an overhead image of the common area Rab included in the second overhead image 321. get.
  • FIG. 8A is a common overhead image 30 a of the first overhead image 311.
  • An image of the three-dimensional object 600 represented in the common overhead image 30a is defined as a three-dimensional object image 60a.
  • the three-dimensional object image 60 a is an image of the three-dimensional object 600 obtained by changing the viewpoint of the first image 310, and is an image in which the three-dimensional object 600 falls down on the right side, that is, in a direction away from the first imaging device 210.
  • FIG. 8B is a common overhead image 30 b of the second overhead image 321. An image of the three-dimensional object 600 represented in the common overhead image 30b is defined as a three-dimensional object image 60b.
  • the three-dimensional object image 60b is an image of the three-dimensional object 600 obtained by changing the viewpoint of the second image 320, and is an image in which the three-dimensional object 600 falls down on the left side, that is, in a direction away from the second imaging device 220.
  • FIG. 8C shows a comparison image 190 stored in the storage unit 150.
  • the comparison image 190 is a bird's-eye view image of the common area Rab without the three-dimensional object viewed from the virtual viewpoint P.
  • the position detection unit 131 calculates the difference image 31a from which the three-dimensional object image 60a is extracted by taking the difference between the common overhead image 30a and the comparison image 190.
  • FIG. 8D shows the difference image 31a.
  • the position detection unit 131 calculates the difference image 31b from which the three-dimensional object image 60b is extracted by taking the difference between the common overhead image 30b and the comparison image 190.
  • FIG. 8E shows the difference image 31b.
  • the position detection unit 131 performs blending, that is, a semi-transparent image overlay process, on the difference image 31a and the difference image 31b, and generates a composite image 33 in which the difference image 31a and the difference image 31b are combined.
  • FIG. 8D shows the difference image 31a.
  • the position detection unit 131 calculates the difference image 31b from which the three-dimensional object image 60b is extracted by taking the difference between the common overhead image 30b and the comparison image 190.
  • FIG. 8E shows the difference image 31b.
  • the position detection unit 131 detects the X coordinate of the center position of the three-dimensional object overlapping portion 60ab as the three-dimensional object position xp that is the position of the three-dimensional object 600.
  • step S ⁇ b> 132 the image selection unit 132 reads the boundary position xc from the storage unit 150.
  • step S133 the image selection unit 132 selects the first overhead image 311 and the second overhead image 321 based on the read boundary position xc and the three-dimensional object position xp of the three-dimensional object 600 located in the common region Rab. Then, an overhead image with a small distortion of the image of the three-dimensional object 600 is selected as the selection image 330.
  • the image selection unit 132 determines whether the three-dimensional object position xp is on the first imaging device 210 side or the second imaging device 220 side based on the boundary position xc.
  • the image selection unit 132 selects the first overhead image 311 as the selection image 330 when the three-dimensional object position xp is closer to the first imaging device 210 than the boundary position xc. Further, the image selection unit 132 selects the second overhead image 321 as the selection image 330 when the three-dimensional object position xp is closer to the second imaging device 220 than the boundary position xc.
  • the fact that the three-dimensional object position xp is closer to the first imaging device 210 than the boundary position xc means that the three-dimensional object position xp that is the X coordinate of the three-dimensional object 600 is closer to the first imaging device 210 than the boundary position xc. is there. That is, it means that the three-dimensional object 600 is located closer to the first imaging device 210 than the straight line on the common area Rab having the boundary position xc as the X coordinate.
  • the three-dimensional object position xp is closer to the second imaging device 220 than the boundary position xc means that the three-dimensional object position xp that is the X coordinate of the three-dimensional object 600 is closer to the second imaging device 220 than the boundary position xc. That is. That is, it means that the three-dimensional object 600 is closer to the second imaging device 220 than the straight line on the common region Rab having the boundary position xc as the X coordinate.
  • step S133 If the three-dimensional object position xp is greater than or equal to the boundary position xc in step S133, the process proceeds to step 134. That the three-dimensional object position xp is greater than or equal to the boundary position xc means that the three-dimensional object position xp is closer to the second imaging device 220 than the boundary position xc. Therefore, in step S ⁇ b> 134, the image selection unit 132 selects the second overhead image 321 as the selection image 330. If the three-dimensional object position xp is smaller than the boundary position xc in step S133, the process proceeds to step 135.
  • step S141 the image generation unit 140 selects the image of the first region Ra other than the common region Rab in the first bird's-eye view image 311, the image of the second region Rb other than the common region Rab in the second bird's-eye view image 321, and the selected image.
  • an image of the entire area R composed of the first area Ra and the second area Rb is generated as the area image 340. That is, the image generation unit 140 synthesizes the selected image 330 and an image other than the common region Rab of the overhead image that has not been selected in the selection process S130, and the region image 340 obtained by viewing the entire region R from the virtual viewpoint P. Is generated.
  • step S142 the image generation unit 140 outputs the region image 340 to a display device such as a display via the output interface 940.
  • a method for generating the region image 340 will be described with reference to FIGS. 10 and 11.
  • the image selection unit 132 selects the first overhead image 311 as the selection image 330. Therefore, the image selection unit 132 combines the first bird's-eye view image 311 and the image of the second region Rb excluding the common region Rab in the second bird's-eye view image 321 to generate a region image 340 of the entire region R.
  • the area image 340 includes an image other than the common area Rab in the first overhead image 311, an image other than the common area Rab in the second overhead image 321, and a common area included in the first overhead image 311 that is the selection image 330.
  • Rab images since the three-dimensional object position xp is closer to the second imaging device 220 than the boundary position xc, the image selection unit 132 selects the second overhead image 321 as the selection image 330. Therefore, the image selection unit 132 combines the second bird's-eye view image 321 and the image of the first region Ra excluding the common region Rab in the first bird's-eye view image 311 to generate the region image 340 of the entire region R.
  • the area image 340 includes an image other than the common area Rab in the first overhead image 311, an image other than the common area Rab in the second overhead image 321, and a common area included in the second overhead image 321 that is the selection image 330. And Rab images.
  • the image processing apparatus 100 is configured to acquire the first image 310 and the second image 320 via the input interface 930 and output the region image 340 via the output interface 940.
  • the image processing apparatus 100 may include a communication device and receive the first image 310 and the second image 320 via the communication device. Further, the image processing apparatus 100 may transmit the region image 340 via a communication device.
  • the communication device includes a receiver and a transmitter.
  • the communication device is a communication chip or a NIC (Network, Interface, Card).
  • the communication device functions as a communication unit that communicates data.
  • the receiver functions as a receiving unit that receives data
  • the transmitter functions as a transmitting unit that transmits data.
  • the function of “unit” of the image processing apparatus 100 is realized by software.
  • the function of “part” of the image processing apparatus 100 may be realized by hardware.
  • the configuration of the image processing apparatus 100 according to a modification of the present embodiment will be described with reference to FIG. As illustrated in FIG. 12, the image processing apparatus 100 includes hardware such as a processing circuit 909, an input interface 930, and an output interface 940.
  • the processing circuit 909 is a dedicated electronic circuit that realizes the function of the “unit” and the storage unit 150 described above. Specifically, the processing circuit 909 includes a single circuit, a composite circuit, a programmed processor, a processor programmed in parallel, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or FPGA (Field-Programmable / Gate / Array).
  • unit may be realized by one processing circuit 909 or may be realized by being distributed to a plurality of processing circuits 909.
  • the function of the image processing apparatus 100 may be realized by a combination of software and hardware. That is, some functions of the image processing apparatus 100 may be realized by dedicated hardware, and the remaining functions may be realized by software.
  • the processor 910, the storage device 920, and the processing circuit 909 are collectively referred to as a “processing circuit”. That is, regardless of the configuration of the image processing apparatus 100 shown in FIGS. 1 and 10, the function of “unit” and the storage unit 150 are realized by a processing circuit.
  • Part may be read as “Process”, “Procedure” or “Process”. Further, the function of “unit” may be realized by firmware.
  • the boundary calculation process S110 of FIG. 3 only needs to be executed when the first area image is generated. Since the boundary position 180 calculated by the boundary calculation process S110 is stored in the storage unit 150, when generating the second and subsequent area images, the boundary position 180 stored in the storage unit 150 is read and the overhead view generation process S120 is performed. The image generation process S140 may be executed. Further, when the storage unit 150 is realized by the auxiliary storage device 921, information read from the storage unit 150 in the process of generating the first area image is stored in the memory 922. This eliminates the need to read from the auxiliary storage device 921 in the process of generating the second and subsequent area images.
  • FIG. 13 there may be a plurality of regions in which the moving direction of the three-dimensional object that is the subject is constant in the entire region R of the imaging region. Specifically, this is a case where a subject is a car that passes through a road. In such a case, the entire region R may be divided for each region where the moving direction of the three-dimensional object is constant, and the above-described image processing S100 may be performed on each of the divided regions. Specifically, as shown in FIG.
  • the entire region R includes a region R1 that is a lane in which the three-dimensional object 600b moves in the B direction and a region R2 that is a lane in which the three-dimensional object 600a moves in the A direction.
  • the image processing apparatus stores in advance in the storage unit imaging device information defined by dividing the entire region R into regions R1 and R2. Then, the image processing apparatus executes image processing S100 in each of the region R1 and the region R2, and generates an overhead image of the region R1 and an overhead image of the region R2. Then, the image processing apparatus generates a region image of the entire region R by synthesizing the overhead image of the region R1 and the overhead image of the region R2.
  • the boundary position where the difference in the degree of distortion of the three-dimensional object is the smallest is used as a boundary, and on which side the three-dimensional object position is located with respect to the boundary position. judge. Then, the overhead image with the smaller distortion degree of the three-dimensional object is selected by performing a selection process of the overhead image to be displayed as the image of the common area based on the determination result. Therefore, according to the image processing apparatus according to the present embodiment, an unnatural image in which a three-dimensional object image is displayed twice is not obtained, and a combined overhead image with small distortion of the three-dimensional object is obtained.
  • the imaging apparatus information regarding the installation conditions of the imaging apparatus and the height information determined from the type of the subject are stored in advance in the storage unit. That is, in the image processing apparatus according to the present embodiment, optimal imaging apparatus information and height information can be set in accordance with the usage situation. Therefore, according to the image processing device according to the present embodiment, the selection image displayed as the overhead image of the common area can be selected from appropriate imaging device information and height information, so that the composition with high image quality is performed. An overhead image can be provided.
  • the position of the three-dimensional object is determined based on the comparison image and the generated overhead image. Can be detected. Therefore, according to the image processing apparatus according to the present embodiment, it is not necessary to use a device such as a sensor for detecting the position of a three-dimensional object, and the cost can be reduced.
  • Embodiment 2 differences from the first embodiment will be mainly described.
  • the image processing when one solid object is present in the common region Rab has been described.
  • the region image is generated while the image of the three-dimensional object subjected to the viewpoint conversion remains distorted.
  • n is a natural number of 1 or more
  • the images of the three-dimensional objects are compressed and deformed by compressing and deforming the images after the viewpoint conversion of each three-dimensional object.
  • An image processing apparatus 100a that displays with reduced distortion will be described.
  • the image processing apparatus 100a includes a selection unit 130a and an image generation unit 140a as functional configurations instead of the selection unit 130 and the image generation unit 140 in the first embodiment. That is, the image processing apparatus 100a includes a position detection unit 131a and an image selection unit 132a as functional configurations instead of the position detection unit 131 and the image selection unit 132.
  • the function of “part” of the image processing apparatus 100a is the function of the boundary calculation unit 110, the overhead view generation unit 120, the position detection unit 131a, the image selection unit 132a, and the image generation unit 140a. is there.
  • region image generation processing S150a is different from region image generation processing S150 of the first embodiment. That is, the selection process S130a and the image generation process S140a are different from the selection process S130 and the image generation process S140 of the first embodiment.
  • the image processing apparatus 100a compresses and deforms the distortion of each of the three-dimensional object images 601, 602,..., 60n after the viewpoint conversion of the n three-dimensional objects in the common area Rab. Correct by
  • step S151 the position detection unit 131a reads the comparison image 190 from the storage unit 150. Based on the first bird's-eye view image 311, the second bird's-eye view image 321, and the comparison image 190, the position detection unit 131 a detects the three-dimensional object position xpi (where i is n or less) of the n three-dimensional objects located in the common region Rab. Natural number) is calculated. That is, the position detection unit 131a detects the three-dimensional object positions xp1, xp2,.
  • the method for detecting each three-dimensional object position xpi in step S151 is the same as that in step S131 described in the first embodiment.
  • step S152 the image selection unit 132a reads the boundary position xc from the storage unit 150.
  • the processing in step S152 is the same as that in step S132 described in the first embodiment.
  • step S153 the image selection unit 132a selects the three-dimensional object image 60i out of the first overhead image 311 and the second overhead image 321 based on the boundary position xc and the three-dimensional object position xpi located in the common region Rab. An overhead image with small distortion is selected as the selection image 330.
  • the three-dimensional object image 60i is a three-dimensional object image to be processed.
  • the image selection unit 132a selects the first overhead image 311 as the selection image 330 when the three-dimensional object position xpi is closer to the first imaging device 210 than the boundary position xc (step S155).
  • the image selection unit 132a selects the second overhead image 321 as the selection image 330 when the three-dimensional object position xpi is closer to the second imaging device 220 than the boundary position xc (Step S154).
  • the processing from step S153 to step S155 is the same as that from step S133 to step S135 described in the first embodiment.
  • FIG. 17 is a diagram for explaining the region image generation processing S150a according to the present embodiment.
  • three three-dimensional objects are located in the common region Rab.
  • the three-dimensional object positions xp1, xp2, and xp3 of the three three-dimensional objects are detected.
  • the three-dimensional object positions xp1 and xp2 are closer to the first imaging device 210 than the boundary position xc.
  • the three-dimensional object position xp3 is closer to the second imaging device 220 than the boundary position xc.
  • the first bird's-eye view image 311 is selected as the bird's-eye view image of each three-dimensional object at the three-dimensional object position xp1, xp2.
  • the three-dimensional object images 601 and 602 be the bird's-eye view images of the three-dimensional objects at the three-dimensional object positions xp1 and xp2.
  • the second bird's-eye view image 321 is selected.
  • a three-dimensional object image 603 is an overhead image of the three-dimensional object at the three-dimensional object position xp3.
  • 35a in FIG. 17A represents a position where the coordinate position of the imaging element center 3a of the first imaging device 210 is mapped on the XY plane after the overhead image conversion.
  • 17b of FIG. 17 represents a position where the coordinate position of the imaging element center 3b of the second imaging device 220 is mapped on the XY plane after the overhead image conversion.
  • step S156 the image generation unit 140a determines an image deformation coefficient Qi that determines the degree of deformation when compressing and deforming the three-dimensional object image 60i based on the three-dimensional object position xpi.
  • the image deformation coefficient is also called a deformation rate.
  • the image generation unit 140a determines the image deformation coefficient Qi based on the length of the distance between the center of the imaging element of the imaging device and the three-dimensional object position xpi.
  • the image deformation coefficient Qi increases as the distance between the imaging element center of the imaging apparatus and the three-dimensional object position xpi increases. In the examples of FIGS.
  • the distance L2 between 35a and the three-dimensional object position xp2 is longer than the distance L1 between 35a that is the center of the image sensor and the three-dimensional object position xp1. Therefore, the image deformation coefficient Q2 of the three-dimensional object image 602 is determined to be larger than the image deformation coefficient Q1 of the three-dimensional object image 601.
  • an arithmetic expression using the three-dimensional object position xp as a variable is stored in advance in the storage unit 150, and the image generation unit 140a uses the arithmetic expression stored in the storage unit 150 and the three-dimensional object position xpi to generate an image.
  • a deformation coefficient Qi is calculated.
  • an image deformation coefficient table using the three-dimensional object position xp as a parameter is stored in the storage unit 150 in advance, and the image generation unit 140a converts the value corresponding to xpi from the image deformation coefficient table stored in the storage unit 150 into an image deformation. You may make it read as coefficient Qi.
  • step S157 the image generation unit 140a extracts the three-dimensional object image 60i from the selected image 330. Specifically, the image generation unit 140a extracts the three-dimensional object image 60i using the common region Rab portion of the selection image 330 and the comparison image 190.
  • (C) and (d) in FIG. 17 are three-dimensional object images 601, 602, and 603 extracted by the image generation unit 140a.
  • the three-dimensional object images 601 and 602 are extracted from the first overhead image 311 that is the selection image 330. Further, the three-dimensional object image 603 is extracted from the second overhead image 321 that is the selection image 330.
  • step S158 the image generation unit 140a performs compression deformation processing on the extracted three-dimensional object image 60i using the image deformation coefficient Qi.
  • the compression deformation process is a process for correcting the three-dimensional object image 60i by reducing the distortion of the three-dimensional object image 60i by performing a compression deformation using the image deformation coefficient Qi.
  • the three-dimensional object corrected images 601p and 602p in (e) of FIG. 17 represent the results of performing compression deformation processing on each of the three-dimensional object images 601 and 602 in (c) of FIG.
  • the image deformation coefficient Q2 for the three-dimensional object image 602 is determined to be larger than the image deformation coefficient Q1 for the three-dimensional object image 601.
  • the three-dimensional object corrected image 603p in (f) of FIG. 17 represents the result of performing the compression deformation process on the three-dimensional object image 603 in (d) of FIG.
  • it is desirable that the compression deformation for the three-dimensional object image is performed in a linear direction connecting the center of the imaging element and the center of the three-dimensional object image in the overhead image.
  • step S159 the image generation unit 140a determines whether or not a solid object that has not been subjected to the compression deformation process remains among the n solid objects. That is, the image generation unit 140a determines whether correction by compression deformation has been completed for all three-dimensional objects in the common region Rab. If correction has been completed for all three-dimensional objects in step S159, the process proceeds to step S160. If a three-dimensional object that has not been corrected remains in step S159, the process returns to step S153, and the next three-dimensional object image of the three-dimensional object image 60i is processed.
  • step S160 the image generation unit 140a converts each of the three-dimensional object corrected images 601p, 602p,..., 60np subjected to the compression deformation processing to the three-dimensional object positions xp1, xp2,.
  • the correction common image 36 is generated by pasting to xpn.
  • FIG. 17G shows the corrected common image 36 in a state in which the three-dimensional object corrected images 601p, 602p, and 603p are pasted on the three-dimensional object positions xp1, xp2, and xp3 of the comparison image 190, respectively.
  • step S161 the image generation unit 140a uses the entire region R using the image other than the common region Rab in the first bird's-eye view image 311, the image other than the common region Rab in the second bird's-eye view image 321, and the corrected common image 36.
  • a region image 340 is generated.
  • step S162 the image generation unit 140 outputs the region image 340 to a display device such as a display via the output interface 940.
  • the image processing apparatus for a plurality of three-dimensional objects that exist in the common area, the three-dimensional object image that is compressed and deformed based on the three-dimensional object position and the boundary position is selected and selected.
  • a three-dimensional object image can be compressed and deformed. Therefore, according to the image processing device according to the present embodiment, it is possible to further reduce the distortion of the three-dimensional object image in the common region, and to improve the image quality of the composite overhead image.
  • the image processing apparatus it is possible to individually reduce the distortion for each three-dimensional object by extracting the three-dimensional object image and compressing and deforming only the extracted three-dimensional object image. Therefore, according to the image processing apparatus according to the present embodiment, since distortion due to correction does not occur in an area that does not need to be compressed, the quality of the synthesized overhead image can be further improved.
  • Embodiment 1 and 2 of this invention were demonstrated, any one may be employ
  • the image processing apparatus may be configured with any combination or arbitrary block configuration of these functional blocks.
  • the image processing apparatus may be an image processing system including a plurality of apparatuses instead of a single apparatus.
  • Embodiments 1 and 2 have been described, a plurality of these two embodiments may be partially combined. Alternatively, one of the two embodiments may be partially implemented. In addition, these two embodiments may be implemented in any combination in whole or in part. In addition, said embodiment is an essentially preferable illustration, Comprising: It does not intend restrict
  • 3a, 3b Image sensor center 100, 100a image processing device, 110 boundary calculation unit, 120 overhead view generation unit, 130, 130a selection unit, 131, 131a position detection unit, 132, 132a image selection unit, 140, 140a image generation unit , 150 storage unit, 160 imaging device information, 161 first device information, 162 second device information, 170 subject information, 171 height information, 180 boundary position, 190 comparative image, 210 first imaging device, 220 second imaging device , 310 1st image, 320 2nd image, 311 1st bird's-eye view image, 321 2nd bird's-eye view image, 330 selection image, 340 area image, 30a, 30b common overhead view image, 31a, 31b difference image, 33 composite image, 36 correction Common image, 500 ground surface, 510 image processing method, 520 Image processing program, 600, 600a, 600b three-dimensional object, 60a, 60b, 601, 602, 603, 60i three-dimensional object image, 60ab three-dimensional object superimposed portion, 601p

Abstract

共通領域を第１撮像装置（２１０）の側と第２撮像装置（２２０）の側とに分ける基準となる境界位置（１８０）を算出する境界算出部（１１０）と、境界位置（１８０）と立体物の位置とに基づいて、第１俯瞰画像（３１１）と第２俯瞰画像（３２１）とのうち、立体物の画像の歪みが小さい俯瞰画像を選択画像（３３０）として選択する選択部（１３０）と、第１俯瞰画像（３１１）における共通領域以外の画像と、第２俯瞰画像（３２１）における共通領域以外の画像と、選択画像（３３０）に含まれる共通領域の画像とに基づいて、領域画像（３４０）を生成する画像生成部（１４０）とを備える。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本発明は、視点変換により得られる複数の俯瞰画像を合成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
　従来、複数のカメラ画像を各々視点変換して上から見下ろすような俯瞰画像を生成し、生成した複数の俯瞰画像を合成して合成俯瞰画像を生成する技術がある。視点変換により生成される俯瞰画像では、画像中の全ての被写体が同一平面上に存在するものとして表示される。また、通常、俯瞰画像は地面を基準に生成されるため、地面よりも高い位置にある物体は地面に倒れ込むように伸びた状態となり、歪んで表示される。また、合成俯瞰画像を生成する際には、通常、隣り合うカメラ画像の撮像範囲が一部重なるようにカメラが設置される。重なった撮像範囲に位置する物体の画像は、カメラ視差の影響により、消失したり２重に見えたりする場合がある。
　特許文献１には、撮像範囲が一部重なる２つのカメラ画像から生成された２つの俯瞰画像において、立体物がより大きく現れている方の俯瞰画像を重なり部の画像として優先的に表示する技術が開示されている。
特許第５０５３０４３号公報
　特許文献１の技術では、２つの俯瞰画像のうち一方を表示するので物体が消失したり２重に見えたりすることはないが、立体物がより大きく現れている方の俯瞰画像を採用するため、立体物の歪みが大きい画像が表示されてしまう虞があるという課題がある。
　この発明は、２つのカメラ画像から生成された２つの俯瞰画像間の重なり部の画像として、立体物の歪みが小さい画像を得ることを目的とする。
　本発明に係る画像処理装置は、
　立体物が位置する共通領域を含む第１領域を撮像する第１撮像装置の位置情報を含む第１装置情報と、前記共通領域を含む第２領域を撮像する第２撮像装置の位置情報を含む第２装置情報とを用いて、前記共通領域を前記第１撮像装置の側と前記第２撮像装置の側とに分ける基準となる境界位置を算出する境界算出部と、
　前記境界位置と前記立体物の位置とに基づいて、前記第１撮像装置が前記第１領域を撮像した画像が視点変換された第１俯瞰画像であって前記立体物の画像が歪んでいる第１俯瞰画像と、前記第２撮像装置が前記第２領域を撮像した画像が視点変換された第２俯瞰画像であって前記立体物の画像が歪んでいる第２俯瞰画像とのうち、前記立体物の画像の歪みが小さい俯瞰画像を選択画像として選択する選択部と、
　前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像と、前記選択画像に含まれる前記共通領域の画像とを用いて、前記第１領域と前記第２領域とからなる領域の画像を生成する画像生成部とを備える。
　本発明に係る画像処理装置は、共通領域を第１撮像装置の側と第２撮像装置の側とに分ける基準となる境界位置を算出する境界算出部と、境界位置と立体物の位置とに基づいて、立体物の画像が歪んでいる第１俯瞰画像と第２俯瞰画像とのうち、立体物の画像の歪みが小さい俯瞰画像を選択画像として選択する選択部とを備えるので、共通領域の俯瞰画像として立体物の歪みが小さい画像を得ることができるという効果を奏する。
実施の形態１に係る画像処理装置１００の構成を示す図。 実施の形態１に係る第１撮像装置２１０と第２撮像装置２２０との位置関係を示す図。 実施の形態１に係る画像処理方法５１０及び画像処理プログラム５２０の画像処理Ｓ１００を示すフロー図。 実施の形態１に係る境界算出処理Ｓ１１０を示すフロー図。 実施の形態１に係る撮像空間８００における境界位置ｘｃの算出方法を示す図。 実施の形態１に係る俯瞰生成処理Ｓ１２０を示すフロー図。 実施の形態１に係る選択処理Ｓ１３０を示すフロー図。 実施の形態１に係る立体物６００の立体物位置ｘｐの検出方法を示す図。 実施の形態１に係る画像生成処理Ｓ１４０を示すフロー図。 実施の形態１に係る領域画像３４０の生成方法を示す図。 実施の形態１に係る領域画像３４０の生成方法を示す図。 実施の形態１の変形例に係る画像処理装置１００の構成を示す図。 実施の形態１に係る画像処理装置１００の応用例を示す図。 実施の形態２に係る画像処理装置１００ａの構成を示す図。 実施の形態２に係る画像処理装置１００ａの画像処理Ｓ１００ａを示すフロー図。 実施の形態２に係る領域画像生成処理Ｓ１５０ａを示すフロー図。 実施の形態２に係る領域画像生成処理Ｓ１５０ａを示す図。
　実施の形態１．
＊＊＊構成の説明＊＊＊
　図１を用いて、本実施の形態に係る画像処理装置１００の構成について説明する。
　本実施の形態において、画像処理装置１００は、コンピュータである。画像処理装置１００は、プロセッサ９１０、記憶装置９２０、入力インタフェース９３０、出力インタフェース９４０といったハードウェアを備える。
　また、画像処理装置１００は、機能構成として、境界算出部１１０と、俯瞰生成部１２０と、選択部１３０と、画像生成部１４０と、記憶部１５０とを備える。選択部１３０は、位置検出部１３１と、画像選択部１３２とを備える。以下の説明では、画像処理装置１００における境界算出部１１０と、俯瞰生成部１２０と、位置検出部１３１と、画像選択部１３２と、画像生成部１４０との機能を、画像処理装置１００の「部」の機能という。画像処理装置１００の「部」の機能は、ソフトウェアで実現される。
　また、記憶部１５０は、記憶装置９２０で実現される。記憶部１５０には、撮像装置情報１６０と、被写体情報１７０と、境界位置１８０と、比較画像１９０とが記憶される。撮像装置情報１６０は、第１装置情報１６１と第２装置情報１６２とを含む。また、被写体情報１７０は、高さ情報１７１を含む。
　プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　プロセッサ９１０は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ・Ｃｉｒｃｕｉｔ）である。プロセッサ９１０は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）である。
　記憶装置９２０は、補助記憶装置９２１及びメモリ９２２を含む。補助記憶装置９２１は、具体的には、ＲＯＭ（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）、フラッシュメモリ、又は、ＨＤＤ（Ｈａｒｄ・Ｄｉｓｋ・Ｄｒｉｖｅ）である。メモリ９２２は、具体的には、ＲＡＭ（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）である。記憶部１５０は、補助記憶装置９２１により実現される。なお、記憶部１５０が補助記憶装置９２１とメモリ９２２とにより実現されていてもよい。
　入力インタフェース９３０は、第１撮像装置２１０と第２撮像装置２２０とに接続されるポートである。入力インタフェース９３０は、第１撮像装置２１０により撮像された第１画像３１０と、第２撮像装置２２０により撮像された第２画像３２０とを画像処理装置１００に取り込む画像入力インタフェースである。入力インタフェース９３０により取り込まれた第１画像３１０及び第２画像３２０はメモリ９２２に記憶される。また、入力インタフェース９３０は、マウス、キーボード、タッチパネルといった入力装置と接続されるポートであってもよい。入力インタフェース９３０は、具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ・Ｓｅｒｉａｌ・Ｂｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（Ｌｏｃａｌ・Ａｒｅａ・Ｎｅｔｗｏｒｋ）と接続されるポートであってもよい。ＳＤＩ（Ｓｅｒｉａｌ・Ｄｉｇｉｔａｌ・Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ・Ｄｅｆｉｎｉｔｉｏｎ・Ｍｕｌｔｉｍｅｄｉａ・Ｉｎｔｅｒｆａｃｅ）、ＶＧＡ（Ｖｉｄｅｏ・Ｇｒａｐｈｉｃｓ・Ａｒｒａｙ）、ＤＶＩ（Ｄｉｇｉｔａｌ・Ｖｉｄｅｏ・Ｉｎｔｅｒｆａｃｅ）、コンポーネント等の映像信号を画像処理装置１００に取り込むことのできる、キャプチャボードであってもよい。
　出力インタフェース９４０は、ディスプレイといった表示機器のケーブルが接続されるポートである。出力インタフェース９４０は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）（Ｈｉｇｈ・Ｄｅｆｉｎｉｔｉｏｎ・Ｍｕｌｔｉｍｅｄｉａ・Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ・Ｃｒｙｓｔａｌ・Ｄｉｓｐｌａｙ）である。
　補助記憶装置９２１には、「部」の機能を実現するプログラムが記憶されている。このプログラムは、メモリ９２２にロードされ、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。補助記憶装置９２１には、ＯＳ（Ｏｐｅｒａｔｉｎｇ・Ｓｙｓｔｅｍ）も記憶されている。ＯＳの少なくとも一部がメモリ９２２にロードされ、プロセッサ９１０はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
　画像処理装置１００は、１つのプロセッサ９１０のみを備えていてもよいし、複数のプロセッサ９１０を備えていてもよい。複数のプロセッサ９１０が「部」の機能を実現するプログラムを連携して実行してもよい。
　「部」の機能による処理の結果を示す情報、データ、信号値、及び、変数値は、補助記憶装置９２１、メモリ９２２、又は、プロセッサ９１０内のレジスタ又はキャッシュメモリに記憶される。なお、図１において、各部と記憶部１５０とを結ぶ矢印は、各部が処理の結果を記憶部１５０に記憶すること、あるいは、各部が記憶部１５０から情報を読み出すことを表している。また、各部を結ぶ矢印は、制御の流れを表している。また、第１俯瞰画像３１１、第２俯瞰画像３２１あるいは選択画像３３０といった情報が各部間でメモリ９２２を介して授受されることを表すメモリ９２２と各部間の矢印については省略する。
　「部」の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）といった可搬記録媒体に記憶されてもよい。
　なお、「部」の機能を実現するプログラムを画像処理プログラムともいう。画像処理プログラムは、「部」として説明している機能を実現するプログラムである。また、画像処理プログラムプロダクトと称されるものは、画像処理プログラムが記録された記憶媒体及び記憶装置であり、見た目の形式に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。
＊＊＊動作の説明＊＊＊
　本実施の形態に係る画像処理装置１００の動作について説明する。
　まず、図２を用いて、第１撮像装置２１０と第２撮像装置２２０との位置関係について説明する。以下の説明では、第１撮像装置２１０と第２撮像装置２２０との両方あるいは一方を単に撮像装置と称して説明する場合がある。
　図２は、撮像空間８００における第１撮像装置２１０と第２撮像装置２２０との位置関係を模式的に示している。撮像空間８００は、第１撮像装置２１０と第２撮像装置２２０との撮像対象となる空間である。
　第１撮像装置２１０と第２撮像装置２２０とは、ＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ・Ｄｅｖｉｃｅｓ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ・Ｍｅｔａｌ－ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）といった撮像素子とレンズとを備えるカメラ機器である。第１撮像装置２１０と第２撮像装置２２０とは、互いに同一種類の撮像素子及び同一種類のレンズとを備える。
　第１撮像装置２１０と第２撮像装置２２０との各々は、具体的には、監視カメラのような固定カメラである。
　第１撮像装置２１０の撮像素子の中心を撮像素子中心３ａとする。第２撮像装置２２０の撮像素子の中心を撮像素子中心３ｂとする。撮像素子中心はレンズ焦点ともいう。
　図２では、撮像空間８００を２次元のＸ軸とＺ軸とのＸＺ平面で表したＸＺ平面図と、撮像空間８００を２次元のＸ軸とＹ軸とのＸＹ平面で表したＸＹ平面図とを示している。
　Ｘ軸は、地表５００上であり、かつ、第１撮像装置２１０から第２撮像装置２２０に向かう方向を表す。つまり、第１撮像装置２１０の撮像素子中心３ａと第２撮像装置２２０の撮像素子中心３ｂとはＸＺ平面に含まれる。
　Ｙ軸は、地表５００上にあり、ＸＺ平面図において図２の後面に向かう方向を表す。
　Ｚ軸は、地表５００からの高さ方向を表す。また、Ｚ軸は、第１撮像装置２１０の撮像素子中心３ａを含む。第１撮像装置２１０の撮像素子中心３ａからＸ軸に下した垂線とＸ軸との交点が、撮像空間８００を表すＸＹＺ空間の原点となる。
　第１撮像装置２１０と第２撮像装置２２０とは、撮像空間８００において、図２に示す以下の設置条件で設置されている。
　第１撮像装置２１０の設置条件は、撮像素子中心３ａの地表５００からの高さはＨａ、撮像素子中心３ａを含む水平面から下方を見下ろす角である俯角はθａ、レンズ画角はψａである。また、第２撮像装置２２０の設置条件は、撮像素子中心３ｂの地表５００からの高さがＨｂ、撮像素子中心３ｂを含む水平面から下方を見下ろす角である俯角がθｂ、レンズ画角がψｂである。なお、図２では、俯角については模式的に表している。
　また、第１撮像装置２１０の撮像素子中心３ａと第２撮像装置２２０の撮像素子中心３ｂとの装置間距離はＸａｂである。なお、Ｘａｂは、第１撮像装置２１０の撮像素子中心３ａと第２撮像装置２２０の撮像素子中心３ｂとの最短距離のＸ軸成分である。
　第１領域Ｒａは、第１撮像装置２１０による地表５００に対する撮像範囲である。つまり、第１撮像装置２１０により撮像される地表５００の範囲である。第２領域Ｒｂは、第２撮像装置２２０による地表５００に対する撮像範囲である。つまり、第２撮像装置２２０により撮像される地表５００の範囲である。共通領域Ｒａｂは、第１撮像装置２１０と第２撮像装置２２０との撮像領域が重なる範囲である。第１撮像装置２１０と第２撮像装置２２０とは、一部の撮像領域が重なるように設置されている。
　共通領域Ｒａｂには立体物６００が位置する。立体物６００は、具体的には、人、車、あるいは建築物といった高さのある被写体である。
　全体領域Ｒは、第１領域Ｒａと第２領域Ｒｂとからなる領域である。すなわち、全体領域Ｒは、第１撮像装置２１０と第２撮像装置２２０とにより撮像される撮像領域の全てである。なお、第１撮像装置２１０により撮像される共通領域Ｒａｂの画像の撮像スケールと、第２撮像装置２２０により撮像される共通領域Ｒａｂの画像の撮像スケールとが同等となるように、設置条件が設定されることが望ましい。撮像スケールとは、画像のサイズ及び画像の解像度である。
　また、仮想視点Ｐは、画像処理装置１００において生成される俯瞰画像の視点を表す。本実施の形態において俯瞰画像と称する場合は、仮想視点Ｐから見た画像を意味するものとする。
　次に、記憶部１５０に記憶されている撮像装置情報１６０と被写体情報１７０とについて説明する。
　撮像装置情報１６０は、予め記憶部１５０に設定される撮像装置の設置条件に関する情報である。撮像装置の設置条件に関する情報には、撮像装置の位置に関する位置情報、撮像装置の姿勢に関する姿勢情報、撮像装置の解像度といった情報が含まれる。位置情報は、撮像装置の撮像空間８００における座標を含む。姿勢情報は、撮像装置のヨー、ロール、ピッチを含む。
　撮像装置情報１６０は、第１装置情報１６１と第２装置情報１６２とを含む。
　第１装置情報１６１は、共通領域Ｒａｂを含む第１領域Ｒａを撮像する第１撮像装置２１０の位置情報、姿勢情報及び解像度を含む情報である。第１装置情報１６１には、地表５００からの高さＨａ、俯角θａ及びレンズ画角ψａといった設置条件を満たす第１撮像装置２１０の位置情報、姿勢情報及び解像度が設定されている。
　第２装置情報１６２は、共通領域Ｒａｂを含む第２領域Ｒｂを撮像する第２撮像装置２２０の位置情報、姿勢情報及び解像度を含む情報である。第２装置情報１６２には、地表５００からの高さＨｂ、俯角θｂ及びレンズ画角ψｂといった設置条件を満たす第２撮像装置２２０の位置情報、姿勢情報及び解像度が設定されている。
　なお、第１領域Ｒａ、第２領域Ｒｂ、共通領域Ｒａｂ及び装置間距離Ｘａｂは、第１装置情報１６１と第２装置情報１６２とから予め定まる情報である。第１領域Ｒａ、第２領域Ｒｂ、共通領域Ｒａｂ及び装置間距離Ｘａｂは、予め計算されて撮像装置情報１６０に記憶されていてもよい。あるいは、第１領域Ｒａ、第２領域Ｒｂ、共通領域Ｒａｂ及び装置間距離Ｘａｂは、画像処理装置１００が実行する画像処理において都度計算され、メモリ９２２に記憶するとしてもよい。
　被写体情報１７０は、撮像領域における主な撮像対象である被写体に関する情報である。被写体は立体物である。被写体である立体物の種類は、撮像領域の撮像対象として予め定められおり、被写体情報１７０の１つとして記憶されている。立体物の種類とは、撮像領域における主な撮像対象として予め定められた種類である。
　被写体情報１７０は、高さ情報１７１を含む。高さ情報１７１は、立体物の種類に基づいて定められた地表５００からの高さを表す情報である。高さ情報１７１は、記憶部１５０に記憶されている。
　高さ情報１７１についてさらに説明する。
　具体例として、撮像装置が人を監視するためのカメラである場合、立体物の種類は人である。被写体情報１７０には、撮像対象である立体物の種類、すなわち人に関する情報が設定されている。また、高さ情報１７１には、立体物の種類、すなわち人に基づいて定められた地表からの高さを表す情報が設定される。具体的には、人の身長の平均値に基づいて、予め設定された方式により定められた地表からの高さを表す情報が設定される。
　また、別の具体例として、撮像装置が車を監視するためのカメラである場合、立体物の種類は車である。被写体情報１７０には、車に関する情報が設定されている。また、高さ情報１７１には、車に基づいて定められた地表からの高さを表す情報が設定される。具体的には、車の高さの平均値に基づいて、予め設定された方式により定められた地表からの高さを表す情報が設定される。
　高さ情報１７１には、撮像対象である立体物の地表からの高さより若干高い値であり、第１撮像装置２１０のレンズ画角ψａ内かつ第２撮像装置２２０のレンズ画角ψｂ内に納まる値が設定される。具体的には、被写体である何らかの種類の立体物の地表からの高さの平均値を算出し、平均値の１．２倍を高さ情報１７１とする。このとき、被写体である立体物の高さの平均値の１．２倍がレンズ画角ψａ内かつレンズ画角ψｂ内に納まるように、撮像装置の設置条件が設定されている必要がある。なお、１．２倍は、一例であり、適切に高さ情報１７１が設定される方法であれば、高さ情報１７１の設定方法は問わない。
　次に、図３を用いて、本実施の形態に係る画像処理方法５１０及び画像処理プログラム５２０の画像処理Ｓ１００の概要について説明する。
　画像処理Ｓ１００は、境界算出処理Ｓ１１０と、俯瞰生成処理Ｓ１２０と、領域画像生成処理Ｓ１５０とを有する。
　まず、境界算出処理Ｓ１１０において、境界算出部１１０は、第１撮像装置２１０の第１装置情報１６１と、第２撮像装置２２０の第２装置情報１６２と、高さ情報１７１とを用いて、共通領域Ｒａｂを第１撮像装置２１０の側と第２撮像装置２２０の側とに分ける基準となる境界位置１８０を算出する。境界算出部１１０は、算出した境界位置１８０を記憶部１５０に記憶する。
　次に、俯瞰生成処理Ｓ１２０において、俯瞰生成部１２０は、メモリ９２２から、第１撮像装置２１０が第１領域Ｒａを撮像した第１画像３１０と、第２撮像装置２２０が第２領域Ｒｂを撮像した第２画像３２０とを読み出す。第１画像３１０と第２画像３２０とは、入力インタフェース９３０により、メモリ９２２に記憶されている。俯瞰生成部１２０は、第１画像３１０と第２画像３２０との各々を視点変換し、第１俯瞰画像３１１と第２俯瞰画像３２１とを生成する。第１俯瞰画像３１１は、視点変換の影響により、共通領域Ｒａｂの立体物６００は歪んでいる。また、第２俯瞰画像３２１では、視点変換の影響により、共通領域Ｒａｂの立体物６００は歪んでいる。
　次に、領域画像生成処理Ｓ１５０において、画像処理装置１００は、全体領域Ｒを仮想視点Ｐから見た俯瞰画像である領域画像３４０を生成する。領域画像生成処理Ｓ１５０では、選択部１３０により選択処理Ｓ１３０が実行され、画像生成部１４０により画像生成処理Ｓ１４０が実行される。
　領域画像生成処理Ｓ１５０は、選択処理Ｓ１３０と、画像生成処理Ｓ１４０とからなる。
　選択処理Ｓ１３０において、選択部１３０は、境界位置１８０と、共通領域Ｒａｂに位置する立体物６００の位置とに基づいて、第１俯瞰画像３１１と第２俯瞰画像３２１とのうち、立体物６００の画像の歪みが小さい俯瞰画像を選択画像３３０として選択する。すなわち、境界位置１８０は、全体領域Ｒの俯瞰画像を生成する際に、共通領域Ｒａｂの俯瞰画像として第１俯瞰画像３１１と第２俯瞰画像３２１とのどちらの俯瞰画像を採用するかを判定するために用いられる。
　画像生成処理Ｓ１４０において、画像生成部１４０は、第１俯瞰画像３１１における共通領域Ｒａｂ以外の第１領域Ｒａの画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の第２領域Ｒｂの画像と、選択画像３３０に含まれる共通領域Ｒａｂの画像とを用いて、第１領域Ｒａと第２領域Ｒｂとからなる全体領域Ｒの画像を領域画像３４０として生成する。画像生成部１４０は、出力インタフェース９４０を介して、領域画像３４０をディスプレイなどの表示機器へ出力する。
＜境界算出処理Ｓ１１０の説明＞
　図４は、本実施の形態に係る境界算出処理Ｓ１１０を示すフロー図である。図５は、図２で説明した撮像空間８００における境界位置１８０の算出方法について説明するための図である。
　図４及び図５を用いて、境界算出処理Ｓ１１０について詳しく説明する。
　ステップＳ１１１において、境界算出部１１０は、記憶部１５０から、第１装置情報１６１と第２装置情報１６２と高さ情報１７１とを読み出す。第１装置情報１６１には第１撮像装置２１０の高さＨａが含まれる。第２装置情報１６２には第２撮像装置２２０の高さＨｂが含まれる。また、高さ情報１７１に設定されている値がＴである。
　ステップＳ１１２において、境界算出部１１０は、第１装置情報１６１と第２装置情報１６２と高さ情報１７１とを用いて幾何的計算を実行し、境界位置１８０を算出する。具体的には、境界算出部１１０は、第１俯瞰画像３１１における歪みの度合いを表す第１歪み度と、第２俯瞰画像３２１における歪みの度合いを表す第２歪み度とを用いて、境界位置１８０としてＸ軸上の位置であるｘｃを算出する。
以下において、境界位置１８０として算出される値を境界位置ｘｃと表記する場合がある。
　第１歪み度は、第１装置情報１６１と高さ情報１７１とを用いて求められる。第２歪み度は、第２装置情報１６２と高さ情報１７１とを用いて求められる。境界算出部１１０は、第１歪み度と第２歪み度との差分の絶対値が最小となる共通領域ＲａｂのＸ軸上の座標を境界位置ｘｃとして算出する。
　以下の式１は第１歪み度Ｅａを求める式である。以下の式２は第２歪み度Ｅｂを求める式である。Ｘ軸上の座標をｘとする。
　式１：Ｅａ＝ｘ・Ｔ／（Ｈａ－Ｔ）
　式２：Ｅｂ＝（Ｘａｂ－ｘ）・Ｔ／（Ｈｂ－Ｔ）
　境界算出部１１０は、式１と式２との差分の絶対値が最小となるＸ軸上の座標ｘを境界位置ｘｃとして算出する。境界算出部１１０は、算出した境界位置１８０を記憶部１５０に記憶する。
　ここで、図５を用いて、境界位置１８０の算出方法についてさらに説明する。
　図５は、図２で説明した撮像装置の設置条件において、共通領域Ｒａｂに立体物６００が位置する場合の、第１撮像装置２１０と第２撮像装置２２０と立体物６００との位置関係を示すＸＺ平面図である。
　共通領域Ｒａｂの高さＴにおいて交わるように設定されたラインａとラインｂとの交点を交点Ｔ１とする。ラインａは、撮像素子中心３ａから共通領域Ｒａｂ上に下された直線であり、ラインｂは撮像素子中心３ｂから共通領域Ｒａｂ上に下された直線である。交点Ｔ１から共通領域Ｒａｂ上に下された垂線と地表５００、すなわちＸ軸との交点を境界位置ｘｃとする。
　ラインａと地表５００との交点と境界位置ｘｃとの間のＸ軸方向の距離が第１歪み度Ｅａである。
　ラインｂと地表５００との交点と、境界位置ｘｃとの間のＸ軸方向の距離が第２歪み度Ｅｂである。
　共通領域ＲａｂのＸ軸方向の両端部を端部ｒａ、端部ｒｂとする。直線３ａ－ｒａとＺ＝Ｔとの交点から地表５００に対して下ろした垂線との交点をｘ２、直線３ｂ－ｒｂとＺ＝Ｔとの交点から地表５００に対して下ろした垂線との交点をｘ１とすると、境界位置ｘｃは、ｘ１とｘ２との間に存在する。
　第１歪み度Ｅａと第２歪み度Ｅｂとの各々は、撮像装置による立体物６００の地表５００への投影像の歪み程度を表す。すなわち、第１歪み度Ｅａは第１俯瞰画像３１１における歪みの度合いを表し、第２歪み度Ｅｂは第２俯瞰画像３２１における歪みの度合いを表す。また、図５に基づく幾何的計算により、第１歪み度Ｅａと第２歪み度Ｅｂとは、それぞれ式１と式２とで表される。第１歪み度Ｅａと第２歪み度Ｅｂとの差分を△ｅとすると、境界位置ｘｃは△ｅが最小となるようにｘを決定することにより求められる。すなわち、境界位置ｘｃは第１歪み度Ｅａと第２歪み度Ｅｂとの大きさが逆転する位置である。つまり、境界位置ｘｃは第１歪み度Ｅａと第２歪み度Ｅｂとが等しくなる位置である。
＜俯瞰生成処理Ｓ１２０の説明＞
　図６を用いて、本実施の形態に係る俯瞰生成処理Ｓ１２０について詳しく説明する。
　ステップＳ１２１において、俯瞰生成部１２０は、メモリ９２２から第１画像３１０と第２画像３２０とを読み出す。
　ステップＳ１２２において、俯瞰生成部１２０は、第１画像３１０と第２画像３２０との各々について、撮像装置のレンズの影響による画像歪みを補正するレンズ歪み補正処理を実行する。具体的には、俯瞰生成部１２０は、第１撮像装置２１０と第２撮像装置２２０との各々のレンズが持つ歪みを補正するための計算パラメータを用いて、第１画像３１０と第２画像３２０との各々についてレンズ歪み補正処理を実行する。この計算パラメータは第１撮像装置２１０と第２撮像装置２２０との各々について予め採取され、記憶部１５０の撮像装置情報１６０に記憶されている。俯瞰生成部１２０は、記憶部１５０から計算パラメータを読み出し、読み出した計算パラメータを用いて第１画像３１０と第２画像３２０との各々についてレンズ歪み補正処理を実行する。
　ステップＳ１２３において、俯瞰生成部１２０は、ステップＳ１２２においてレンズの影響による歪みが補正がされた第１画像３１０と第２画像３２０とを、第１俯瞰画像３１１と第２俯瞰画像３２１とに視点変換する。第１俯瞰画像３１１と第２俯瞰画像３２１とは、仮想視点Ｐから地表５００を見下ろした俯瞰画像である。具体的には、俯瞰生成部１２０は、仮想視点Ｐから地表５００を見下ろした俯瞰画像を生成するための適切な演算パラメータを備えた変換行列式を用いて、第１画像３１０と第２画像３２０との各々について視点変換処理を実行し、第１俯瞰画像３１１と第２俯瞰画像３２１とを生成する。この変換行列式は予め記憶部１５０の撮像装置情報１６０に記憶される。俯瞰生成部１２０は、記憶部１５０から変換行列式を読み出し、読み出した変換行列式を用いて第１画像３１０と第２画像３２０との各々について視点変換処理を実行する。
　なお、第１俯瞰画像３１１と第２俯瞰画像３２１との各々は、視点変換処理の影響により、共通領域Ｒａｂの立体物６００が歪んでいる。
＜選択処理Ｓ１３０の説明＞
　図７を用いて、本実施の形態に係る選択処理Ｓ１３０について詳しく説明する。
　ステップＳ１３１において、位置検出部１３１は、記憶部１５０から比較画像１９０を読み出し、第１俯瞰画像３１１と第２俯瞰画像３２１と比較画像１９０とに基づいて、共通領域Ｒａｂに位置する立体物６００の位置を立体物位置ｘｐとして算出する。具体的には、位置検出部１３１は、比較画像１９０と、第１俯瞰画像３１１に含まれる共通領域Ｒａｂの俯瞰画像と、第２俯瞰画像３２１に含まれる共通領域Ｒａｂの俯瞰画像とに基づいて、立体物位置ｘｐを検出する。
　比較画像１９０とは、第１俯瞰画像３１１と第２俯瞰画像３２１とが重なっている範囲である共通領域Ｒａｂにおいて、立体物が無い状態を仮想視点Ｐから見た俯瞰画像である。すなわち、比較画像１９０は、共通領域Ｒａｂにおいて立体物が存在しない状態、すなわち立体物が削除された状態を仮想視点Ｐから見た俯瞰画像である。比較画像１９０は、予め生成され、記憶部１５０に記憶される。
　図８を用いて、立体物位置ｘｐの検出方法について説明する。
　位置検出部１３１は、第１俯瞰画像３１１に含まれる共通領域Ｒａｂの俯瞰画像である共通俯瞰画像３０ａと、第２俯瞰画像３２１に含まれる共通領域Ｒａｂの俯瞰画像である共通俯瞰画像３０ｂとを取得する。
　図８の（ａ）は、第１俯瞰画像３１１の共通俯瞰画像３０ａである。共通俯瞰画像３０ａに表される立体物６００の画像を立体物画像６０ａとする。立体物画像６０ａは、第１画像３１０が視点変換された立体物６００の画像であり、立体物６００が右側、すなわち第１撮像装置２１０から離れる方向に倒れこむような画像となる。
　図８の（ｂ）は、第２俯瞰画像３２１の共通俯瞰画像３０ｂである。共通俯瞰画像３０ｂに表される立体物６００の画像を立体物画像６０ｂとする。立体物画像６０ｂは、第２画像３２０が視点変換された立体物６００の画像であり、立体物６００が左側、すなわち第２撮像装置２２０から離れる方向に倒れこむような画像となる。
　図８の（ｃ）は、記憶部１５０に記憶されている比較画像１９０である。比較画像１９０は、立体物が無い状態の共通領域Ｒａｂを仮想視点Ｐから見た俯瞰画像である。
　位置検出部１３１は、共通俯瞰画像３０ａと比較画像１９０との差分をとり、立体物画像６０ａが抽出された差分画像３１ａを算出する。図８の（ｄ）は差分画像３１ａを示す。また、位置検出部１３１は、共通俯瞰画像３０ｂと比較画像１９０との差分をとり、立体物画像６０ｂが抽出された差分画像３１ｂを算出する。図８の（ｅ）は差分画像３１ｂを示す。
　位置検出部１３１は、差分画像３１ａと差分画像３１ｂとに対し、ブレンディング、すなわち半透明画像の重ね合わせ処理を実行し、差分画像３１ａと差分画像３１ｂとが合成された合成画像３３を生成する。図８の（ｆ）は、立体物画像６０ａと立体物画像６０ｂとが重畳された合成画像３３を示している。合成画像３３において、立体物画像６０ａと立体物画像６０ｂとが重畳する部分の立体物重畳部分６０ａｂは、立体物６００が地表５００に接する領域を示している。位置検出部１３１は、立体物重畳部分６０ａｂの中心位置のＸ座標を立体物６００の位置である立体物位置ｘｐとして検出する。
　次に、ステップＳ１３２において、画像選択部１３２は、記憶部１５０から境界位置ｘｃを読み出す。
　ステップＳ１３３において、画像選択部１３２は、読み出した境界位置ｘｃと、共通領域Ｒａｂに位置する立体物６００の立体物位置ｘｐとに基づいて、第１俯瞰画像３１１と第２俯瞰画像３２１とのうち、立体物６００の画像の歪みが小さい俯瞰画像を選択画像３３０として選択する。
　具体的には、画像選択部１３２は、境界位置ｘｃに基づいて、立体物位置ｘｐが第１撮像装置２１０の側にあるか第２撮像装置２２０の側にあるかを判定する。そして、画像選択部１３２は、立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にある場合に第１俯瞰画像３１１を選択画像３３０として選択する。また、画像選択部１３２は、立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にある場合に第２俯瞰画像３２１を選択画像３３０として選択する。
　立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にあるということは、立体物６００のＸ座標である立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にあることである。すなわち、立体物６００が境界位置ｘｃをＸ座標とする共通領域Ｒａｂ上の直線より第１撮像装置２１０の側に位置することを意味する。
　また、立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にあるということは、立体物６００のＸ座標である立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にあることである。すなわち、立体物６００が境界位置ｘｃをＸ座標とする共通領域Ｒａｂ上の直線より第２撮像装置２２０の側にあることを意味する。
　ステップＳ１３３において、立体物位置ｘｐが境界位置ｘｃ以上の場合、ステップ１３４に進む。立体物位置ｘｐが境界位置ｘｃ以上であるということは、立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にあることを意味する。よって、ステップＳ１３４において、画像選択部１３２は、第２俯瞰画像３２１を選択画像３３０として選択する。
　ステップＳ１３３において、立体物位置ｘｐが境界位置ｘｃより小さい場合、ステップ１３５に進む。立体物位置ｘｐが境界位置ｘｃより小さいということは、立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にあることを意味する。よって、ステップＳ１３５において、画像選択部１３２は、第１俯瞰画像３１１を選択画像３３０として選択する。
＜画像生成処理Ｓ１４０について＞
　図９を用いて、本実施の形態に係る画像生成処理Ｓ１４０について詳しく説明する。
　ステップＳ１４１において、画像生成部１４０は、第１俯瞰画像３１１における共通領域Ｒａｂ以外の第１領域Ｒａの画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の第２領域Ｒｂの画像と、選択画像３３０に含まれる共通領域Ｒａｂの画像とを用いて、第１領域Ｒａと第２領域Ｒｂとからなる全体領域Ｒの画像を領域画像３４０として生成する。すなわち、画像生成部１４０は、選択画像３３０と、選択処理Ｓ１３０において選択されなかった方の俯瞰画像の共通領域Ｒａｂ以外の画像とを合成し、全体領域Ｒを仮想視点Ｐから見た領域画像３４０を生成する。
　ステップＳ１４２において、画像生成部１４０は、出力インタフェース９４０を介して、領域画像３４０をディスプレイなどの表示機器へ出力する。
　図１０及び図１１を用いて、領域画像３４０の生成方法について説明する。
　図１０では、立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にあるため、画像選択部１３２は第１俯瞰画像３１１を選択画像３３０として選択する。よって、画像選択部１３２は、第１俯瞰画像３１１と、第２俯瞰画像３２１において共通領域Ｒａｂを除いた第２領域Ｒｂの画像とを合成し、全体領域Ｒの領域画像３４０を生成する。すなわち、領域画像３４０は、第１俯瞰画像３１１における共通領域Ｒａｂ以外の画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の画像と、選択画像３３０である第１俯瞰画像３１１に含まれる共通領域Ｒａｂの画像とにより生成されている。
　図１１では、立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にあるため、画像選択部１３２は、第２俯瞰画像３２１を選択画像３３０として選択する。よって、画像選択部１３２は、第２俯瞰画像３２１と、第１俯瞰画像３１１において共通領域Ｒａｂを除いた第１領域Ｒａの画像とを合成し、全体領域Ｒの領域画像３４０を生成する。すなわち、領域画像３４０は、第１俯瞰画像３１１における共通領域Ｒａｂ以外の画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の画像と、選択画像３３０である第２俯瞰画像３２１に含まれる共通領域Ｒａｂの画像とにより生成されている。
　以上で、本実施の形態に係る画像処理装置１００の動作についての説明を終わる。
＊＊＊他の構成＊＊＊
　本実施の形態では、画像処理装置１００は、入力インタフェース９３０を介して第１画像３１０及び第２画像３２０を取得し、出力インタフェース９４０を介して領域画像３４０を出力する構成であった。しかし、画像処理装置１００が通信装置を備え、通信装置を介して第１画像３１０及び第２画像３２０を受信してもよい。また、画像処理装置１００は、通信装置を介して領域画像３４０を送信してもよい。この場合、通信装置はレシーバとトランスミッタとを備える。具体的には、通信装置は通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ・Ｉｎｔｅｒｆａｃｅ・Ｃａｒｄ）である。通信装置はデータを通信する通信部として機能する。レシーバはデータを受信する受信部として機能し、トランスミッタはデータを送信する送信部として機能する。
　また、本実施の形態では、画像処理装置１００の「部」の機能がソフトウェアで実現されるが、変形例として、画像処理装置１００の「部」の機能がハードウェアで実現されてもよい。
　図１２を用いて、本実施の形態の変形例に係る画像処理装置１００の構成について説明する。
　図１２に示すように、画像処理装置１００は、処理回路９０９、入力インタフェース９３０、出力インタフェース９４０といったハードウェアを備える。
　処理回路９０９は、前述した「部」の機能及び記憶部１５０を実現する専用の電子回路である。処理回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ・Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ・Ｓｐｅｃｉｆｉｃ・Ｉｎｔｅｇｒａｔｅｄ・Ｃｉｒｃｕｉｔ）、又は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ・Ｇａｔｅ・Ａｒｒａｙ）である。
　「部」の機能は、１つの処理回路９０９で実現されてもよいし、複数の処理回路９０９に分散して実現されてもよい。
　別の変形例として、画像処理装置１００の機能がソフトウェアとハードウェアとの組合せで実現されてもよい。即ち、画像処理装置１００の一部の機能が専用のハードウェアで実現され、残りの機能がソフトウェアで実現されてもよい。
　プロセッサ９１０、記憶装置９２０、及び、処理回路９０９を、総称して「プロセッシングサーキットリ」という。つまり、画像処理装置１００の構成が図１及び図１０のいずれに示した構成であっても、「部」の機能及び記憶部１５０は、プロセッシングサーキットリにより実現される。
　「部」を「工程」又は「手順」又は「処理」に読み替えてもよい。また、「部」の機能をファームウェアで実現してもよい。
　また、本実施の形態に係る画像処理装置１００において複数の領域画像を次々に生成する場合、図３の境界算出処理Ｓ１１０は１枚目の領域画像を生成する場合のみ実行すればよい。境界算出処理Ｓ１１０により算出された境界位置１８０は記憶部１５０に記憶されるので、２枚目以降の領域画像を生成する場合は記憶部１５０に記憶された境界位置１８０を読み出して俯瞰生成処理Ｓ１２０から画像生成処理Ｓ１４０を実行すればよい。
　また、記憶部１５０が補助記憶装置９２１で実現されている場合は、１枚目の領域画像を生成する処理の際に記憶部１５０から読み出された情報をメモリ９２２に記憶しておく。これにより、２枚目以降の領域画像を生成する処理では補助記憶装置９２１から読み出す必要はなくなる。
　次に、図１３を用いて、本実施の形態に係る画像処理装置１００の応用例について説明する。図１３に示すように、撮像領域の全体領域Ｒに、被写体である立体物の移動方向が一定の領域が複数存在する場合がある。具体的には、道路を対面通行する自動車を被写体とした場合である。
　このような場合には、立体物の移動方向が一定の領域ごとに全体領域Ｒを分割して、分割したそれぞれの領域で上述した画像処理Ｓ１００を実行すればよい。具体的には、図１３に示すように、全体領域Ｒには、立体物６００ｂがＢ方向に移動する車線である領域Ｒ１と、立体物６００ａがＡ方向に移動する車線である領域Ｒ２とが存在する。画像処理装置は、全体領域Ｒが領域Ｒ１と領域Ｒ２とに分割されて定義された撮像装置情報を予め記憶部に記憶しておく。そして、画像処理装置は、領域Ｒ１と領域Ｒ２との各々の領域において画像処理Ｓ１００を実行し、領域Ｒ１の俯瞰画像と領域Ｒ２の俯瞰画像とを生成する。そして、画像処理装置は、領域Ｒ１の俯瞰画像と領域Ｒ２の俯瞰画像とを合成して全体領域Ｒの領域画像を生成する。
＊＊＊本実施の形態の効果の説明＊＊＊
　以上のように、本実施の形態に係る画像処理装置では、立体物の歪み度の差分が最も小さくなる境界位置を境界として、立体物位置が境界位置に対していずれの側に位置するのかを判定する。そして、この判定結果に基づいて共通領域の画像として表示する俯瞰画像の選択処理を行うことにより、立体物の歪み度が小さい方の俯瞰画像が選択される。よって、本実施の形態に係る画像処理装置によれば、立体物画像が２重に表示されるといった不自然な画像になることはなく、立体物の歪みが小さい合成俯瞰画像が得られる。
　また、本実施の形態に係る画像処理装置では、撮像装置の設置条件に関する撮像装置情報と被写体の種類から定まる高さ情報とを予め記憶部に記憶しておく。すなわち、本実施の形態に係る画像処理装置では、使用状況に合わせて最適な撮像装置情報と高さ情報とを設定することができる。よって、本実施の形態に係る画像処理装置によれば、共通領域の俯瞰画像として表示される選択画像を適切な撮像装置情報と高さ情報とから選択することができるので、画像品質の高い合成俯瞰画像を提供することができる。
　また、本実施の形態に係る画像処理装置では、共通領域に被写体が存在しない状態の比較画像を予め記憶部に用意しているので、この比較画像と生成された俯瞰画像とにより立体物位置を検出することができる。よって、本実施の形態に係る画像処理装置によれば、立体物の位置を検出するためのセンサといった機器を使用する必要がなく、コストの低減を図ることができる。
　実施の形態２．
　本実施の形態では、主に、実施の形態１と異なる点について説明する。
　実施の形態１では、共通領域Ｒａｂ内に１つの立体物がある場合の画像処理について説明した。また、実施の形態１では、視点変換された立体物の画像が歪んだままで領域画像が生成されていた。本実施の形態では、共通領域Ｒａｂ内にｎ個（ｎは１以上の自然数）の立体物がある場合に、各々の立体物の視点変換後の画像を圧縮変形させることにより立体物の画像の歪みを低減して表示する画像処理装置１００ａについて説明する。
＊＊＊構成の説明＊＊＊
　図１４を用いて、本実施の形態に係る画像処理装置１００ａの構成について説明する。
　なお、本実施の形態において、実施の形態１で説明した構成と同様の構成については同一の符号を付し、その説明を省略する。
　画像処理装置１００ａでは、実施の形態１における選択部１３０と画像生成部１４０とに代わり、選択部１３０ａと画像生成部１４０ａとを機能構成として備える。すなわち、画像処理装置１００ａでは、位置検出部１３１と画像選択部１３２とに代わり、位置検出部１３１ａと画像選択部１３２ａとを機能構成として備える。本実施の形態では、画像処理装置１００ａの「部」の機能は、境界算出部１１０と、俯瞰生成部１２０と、位置検出部１３１ａと、画像選択部１３２ａと、画像生成部１４０ａとの機能である。
＊＊＊動作の説明＊＊＊
　図１５を用いて、本実施の形態に係る画像処理装置１００ａの画像処理Ｓ１００ａについて説明する。本実施の形態では、領域画像生成処理Ｓ１５０ａが実施の形態１の領域画像生成処理Ｓ１５０とは異なる。すなわち、選択処理Ｓ１３０ａ及び画像生成処理Ｓ１４０ａが、実施の形態１の選択処理Ｓ１３０及び画像生成処理Ｓ１４０とは異なる。
　領域画像生成処理Ｓ１５０ａでは、画像処理装置１００ａは、共通領域Ｒａｂ内のｎ個の立体物の視点変換後の立体物画像６０１，６０２，・・・，６０ｎについて、それぞれの画像の歪みを圧縮変形により補正する。
　図１６を用いて、本実施の形態に係る領域画像生成処理Ｓ１５０ａについて詳しく説明する。
　ステップＳ１５１において、位置検出部１３１ａは、記憶部１５０から比較画像１９０を読み出す。位置検出部１３１ａは、第１俯瞰画像３１１と第２俯瞰画像３２１と比較画像１９０とに基づいて、共通領域Ｒａｂに位置するｎ個の立体物の各々の立体物位置ｘｐｉ（ｉはｎ以下の自然数）を算出する。すなわち、位置検出部１３１ａは、立体物位置ｘｐ１，ｘｐ２，・・・，ｘｐｎを検出する。ステップＳ１５１の各立体物位置ｘｐｉの検出方法は実施の形態１で説明したステップＳ１３１と同様である。
　ステップＳ１５２において、画像選択部１３２ａは、記憶部１５０から境界位置ｘｃを読み出す。ステップＳ１５２の処理は実施の形態１で説明したステップＳ１３２と同様である。
　ステップＳ１５３において、画像選択部１３２ａは、境界位置ｘｃと、共通領域Ｒａｂに位置する立体物位置ｘｐｉとに基づいて、第１俯瞰画像３１１と第２俯瞰画像３２１とのうち、立体物画像６０ｉの歪みが小さい俯瞰画像を選択画像３３０として選択する。立体物画像６０ｉは処理対象の立体物画像である。画像選択部１３２ａは、立体物位置ｘｐｉが境界位置ｘｃより第１撮像装置２１０の側にある場合に第１俯瞰画像３１１を選択画像３３０として選択する（ステップＳ１５５）。また、画像選択部１３２ａは、立体物位置ｘｐｉが境界位置ｘｃより第２撮像装置２２０の側にある場合に第２俯瞰画像３２１を選択画像３３０として選択する（ステップＳ１５４）。ステップＳ１５３からステップＳ１５５の処理は実施の形態１で説明したステップＳ１３３からステップＳ１３５と同様である。
　図１７は、本実施の形態に係る領域画像生成処理Ｓ１５０ａを説明するための図である。
　具体例として、共通領域Ｒａｂに３つの立体物が位置するものとする。また、３つの立体物の各々の立体物位置ｘｐ１，ｘｐ２，ｘｐ３が検出されたものとする。図１７の（ａ）に示すように、立体物位置ｘｐ１，ｘｐ２は境界位置ｘｃより第１撮像装置２１０の側にある。また、図１７の（ｂ）に示すように、立体物位置ｘｐ３は境界位置ｘｃより第２撮像装置２２０の側にある。
　よって、立体物位置ｘｐ１，ｘｐ２にある各々の立体物の俯瞰画像としては、第１俯瞰画像３１１が選択される。立体物位置ｘｐ１，ｘｐ２にある各々の立体物の俯瞰画像を、立体物画像６０１，６０２とする。立体物位置ｘｐ３にある立体物の俯瞰画像としては、第２俯瞰画像３２１が選択される。立体物位置ｘｐ３にある立体物の俯瞰画像を、立体物画像６０３とする。
　また、図１７の（ａ）の３５ａは、第１撮像装置２１０の撮像素子中心３ａの座標位置を俯瞰画像変換後のＸＹ平面上にマッピングさせた位置を表す。図１７の（ｂ）の３５ｂは、第２撮像装置２２０の撮像素子中心３ｂの座標位置を俯瞰画像変換後のＸＹ平面上にマッピングさせた位置を表す。
　ステップＳ１５６において、画像生成部１４０ａは、立体物位置ｘｐｉに基づいて、立体物画像６０ｉを圧縮変形させる際の変形度合いを決める画像変形係数Ｑｉを決定する。画像変形係数は変形率ともいう。画像生成部１４０ａは、画像変形係数Ｑｉを、撮像装置の撮像素子中心と立体物位置ｘｐｉ間の距離の長さに基づいて決定する。撮像装置の撮像素子中心と立体物位置ｘｐｉとの間の距離が長いほど、画像変形係数Ｑｉは大きくなる。
　図１７の（ａ）（ｂ）の例では、撮像素子中心である３５ａと立体物位置ｘｐ１との距離Ｌ１よりも、３５ａと立体物位置ｘｐ２との距離Ｌ２の方が長い。よって、立体物画像６０２の画像変形係数Ｑ２は、立体物画像６０１の画像変形係数Ｑ１よりも大きな値に決定される。具体的には、立体物位置ｘｐを変数とする演算式が予め記憶部１５０に記憶されており、画像生成部１４０ａは記憶部１５０に記憶された演算式と立体物位置ｘｐｉとを用いて画像変形係数Ｑｉを算出する。または、立体物位置ｘｐをパラメータとした画像変形係数テーブルが予め記憶部１５０に記憶されており、画像生成部１４０ａは記憶部１５０に記憶された画像変形係数テーブルからｘｐｉに対応する値を画像変形係数Ｑｉとして読み込むようにしてもよい。
　ステップＳ１５７において、画像生成部１４０ａは、選択画像３３０から立体物画像６０ｉを抽出する。具体的には、画像生成部１４０ａは、選択画像３３０の共通領域Ｒａｂ部分と比較画像１９０とを用いて、立体物画像６０ｉを抽出する。図１７の（ｃ）（ｄ）は、画像生成部１４０ａにより抽出された立体物画像６０１，６０２，６０３である。立体物画像６０１，６０２は選択画像３３０である第１俯瞰画像３１１から抽出される。また、立体物画像６０３は選択画像３３０である第２俯瞰画像３２１から抽出される。
　ステップＳ１５８において、画像生成部１４０ａは、抽出された立体物画像６０ｉに対し、画像変形係数Ｑｉを用いて圧縮変形処理を行う。圧縮変形処理とは、立体物画像６０ｉに対し、画像変形係数Ｑｉを用いて圧縮変形を施すことにより立体物画像６０ｉの歪みを低減する補正を行う処理である。図１７の（ｅ）の立体物補正画像６０１ｐ，６０２ｐは、図１７の（ｃ）の立体物画像６０１，６０２の各々に対して圧縮変形処理を行った結果を表している。上述したように、立体物画像６０１に対する画像変形係数Ｑ１より、立体物画像６０２に対する画像変形係数Ｑ２の方が大きく決定される。
　また、図１７の（ｆ）の立体物補正画像６０３ｐは、図１７の（ｄ）の立体物画像６０３に対して圧縮変形処理を行った結果を表している。
　なお、立体物画像に対する圧縮変形は、撮像素子中心と俯瞰画像における立体物画像の中心とを結ぶ直線方向に行われることが望ましい。
　ステップＳ１５９において、画像生成部１４０ａは、ｎ個の立体物のうち圧縮変形処理をしていない立体物が残っているかどうかを判定する。すなわち、画像生成部１４０ａは、共通領域Ｒａｂの全ての立体物について圧縮変形による補正が完了したか否かを判定する。
　ステップＳ１５９において全ての立体物について補正が完了した場合、ステップＳ１６０進む。
　ステップＳ１５９において補正が完了していない立体物が残っている場合、ステップＳ１５３に戻り、立体物画像６０ｉの次の立体物画像について処理を行う。
　ステップＳ１６０において、画像生成部１４０ａは、圧縮変形処理を行った立体物補正画像６０１ｐ，６０２ｐ，・・・，６０ｎｐの各々を、比較画像１９０上の各立体物位置ｘｐ１，ｘｐ２，・・・，ｘｐｎに貼り付け、補正共通画像３６を生成する。図１７の（ｇ）は、比較画像１９０の立体物位置ｘｐ１，ｘｐ２，ｘｐ３に、立体物補正画像６０１ｐ，６０２ｐ，６０３ｐをそれぞれ張り付けた状態の補正共通画像３６を示している。
　ステップＳ１６１において、画像生成部１４０ａは、第１俯瞰画像３１１における共通領域Ｒａｂ以外の画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の画像と、補正共通画像３６とを用いて、全体領域Ｒの領域画像３４０を生成する。
　ステップＳ１６２において、画像生成部１４０は、出力インタフェース９４０を介して、領域画像３４０をディスプレイなどの表示機器へ出力する。
　以上で、本実施の形態に係る領域画像生成処理Ｓ１５０ａについての説明を終わる。
＊＊＊本実施の形態に係る効果の説明＊＊＊
　以上のように、本実施の形態に係る画像処理装置によれば、共通領域に複数存在する立体物について、立体物位置と境界位置とに基づいて圧縮変形する立体物画像を選択し、選択した立体物画像を圧縮変形することができる。よって、本実施の形態に係る画像処理装置によれば、共通領域における立体物画像の歪みをさらに小さくすることができ、合成俯瞰画像の画像品質を向上させることができる。
　また、本実施の形態に係る画像処理装置によれば、立体物画像を抽出し、抽出した立体物画像のみを圧縮変形させることにより、立体物ごとに個別に歪みを小さくできる。よって、本実施の形態に係る画像処理装置によれば、圧縮させる必要のない領域に補正による歪みが生じないため、合成俯瞰画像の品質をより向上させることができる。
　以上、本発明の実施の形態１及び２について説明したが、これらの実施の形態の説明において「部」として説明するもののうち、いずれか１つのみを採用してもよいし、いくつかの任意の組合せを採用してもよい。つまり、画像処理装置の機能ブロックは、上記の実施の形態で説明した機能を実現することができれば、任意である。これらの機能ブロックを、どのような組合せ、あるいは任意のブロック構成で画像処理装置を構成しても構わない。また、画像処理装置は、１つの装置でなく、複数の装置から構成された画像処理システムでもよい。
　また、実施の形態１及び２について説明したが、これらの２つの実施の形態のうち、複数を部分的に組合せて実施しても構わない。あるいは、これらの２つの実施の形態のうち、１つの実施の形態を部分的に実施しても構わない。その他、これらの２つの実施の形態を、全体としてあるいは部分的に、どのように組合せて実施しても構わない。
　なお、上記の実施の形態は、本質的に好ましい例示であって、本発明、その適用物や用途の範囲を制限することを意図するものではなく、必要に応じて種々の変更が可能である。
　３ａ，３ｂ　撮像素子中心、１００，１００ａ　画像処理装置、１１０　境界算出部、１２０　俯瞰生成部、１３０，１３０ａ　選択部、１３１，１３１ａ　位置検出部、１３２，１３２ａ　画像選択部、１４０，１４０ａ　画像生成部、１５０　記憶部、１６０　撮像装置情報、１６１　第１装置情報、１６２　第２装置情報、１７０　被写体情報、１７１　高さ情報、１８０　境界位置、１９０　比較画像、２１０　第１撮像装置、２２０　第２撮像装置、３１０　第１画像、３２０　第２画像、３１１　第１俯瞰画像、３２１　第２俯瞰画像、３３０　選択画像、３４０　領域画像、３０ａ，３０ｂ　共通俯瞰画像、３１ａ，３１ｂ　差分画像、３３　合成画像、３６　補正共通画像、５００　地表、５１０　画像処理方法、５２０　画像処理プログラム、６００，６００ａ，６００ｂ　立体物、６０ａ，６０ｂ，６０１，６０２，６０３，６０ｉ　立体物画像、６０ａｂ　立体物重畳部分、６０１ｐ，６０２ｐ，６０３ｐ，６０ｉｐ　立体物補正画像、８００　撮像空間、９０９　処理回路、９１０　プロセッサ、９２０　記憶装置、９２１　補助記憶装置、９２２　メモリ、９３０　入力インタフェース、９４０　出力インタフェース、Ｅａ　第１歪み度、Ｅｂ　第２歪み度、Ｒ　全体領域、Ｒ１，Ｒ２　領域、Ｒａ　第１領域、Ｒｂ　第２領域、Ｒａｂ　共通領域、Ｐ　仮想視点、ｘｃ　境界位置、ｘｐ，ｘｐｉ，ｘｐ１，ｘｐ２，ｘｐ３　立体物位置、Ｑ，Ｑｉ，Ｑ１，Ｑ２，Ｑ３　画像変形係数、Ｓ１００　画像処理、Ｓ１１０　境界算出処理、Ｓ１２０　俯瞰生成処理、Ｓ１３０　選択処理、Ｓ１４０　画像生成処理、Ｓ１５０，Ｓ１５０ａ　領域画像生成処理、Ｔ１　交点。

Claims (9)

  1. 　立体物が位置する共通領域を含む第１領域を撮像する第１撮像装置の位置情報を含む第１装置情報と、前記共通領域を含む第２領域を撮像する第２撮像装置の位置情報を含む第２装置情報とを用いて、前記共通領域を前記第１撮像装置の側と前記第２撮像装置の側とに分ける基準となる境界位置を算出する境界算出部と、
    　前記境界位置と前記立体物の位置とに基づいて、前記第１撮像装置が前記第１領域を撮像した画像が視点変換された第１俯瞰画像であって前記立体物の画像が歪んでいる第１俯瞰画像と、前記第２撮像装置が前記第２領域を撮像した画像が視点変換された第２俯瞰画像であって前記立体物の画像が歪んでいる第２俯瞰画像とのうち、前記立体物の画像の歪みが小さい俯瞰画像を選択画像として選択する選択部と、
    　前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像と、前記選択画像に含まれる前記共通領域の画像とに基づいて、前記第１領域と前記第２領域とからなる領域の領域画像を生成する画像生成部と
    を備える画像処理装置。
  2. 　前記選択部は、
    　前記立体物の位置が前記境界位置より前記第１撮像装置の側にある場合に前記第１俯瞰画像を前記選択画像として選択し、前記立体物が前記境界位置より前記第２撮像装置の側にある場合に前記第２俯瞰画像を前記選択画像として選択する請求項１に記載の画像処理装置。
  3. 　前記境界算出部は、
    　前記第１俯瞰画像における歪みの度合いを表す第１歪み度であって前記第１装置情報と前記立体物の種類に基づいて定められた地表からの高さを表す高さ情報とを用いて求められる第１歪み度と、前記第２俯瞰画像における歪みの度合いを表す第２歪み度であって前記第２装置情報と前記高さ情報とを用いて求められる第２歪み度とを用いて、前記境界位置を算出する請求項１または２に記載の画像処理装置。
  4. 　前記境界算出部は、
    　前記第１歪み度と前記第２歪み度との差分の絶対値が最小となる前記共通領域の位置を前記境界位置として算出する請求項３に記載の画像処理装置。
  5. 　前記選択部は、
    　前記共通領域において立体物が存在しない比較画像と前記第１俯瞰画像に含まれる前記共通領域の画像と前記第２俯瞰画像に含まれる前記共通領域の画像とに基づいて、前記立体物の位置を検出する請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記画像生成部は、
    　前記選択画像に含まれる前記共通領域の画像の前記立体物の画像の歪みを補正し、歪みが補正された前記立体物の画像と前記比較画像とを合成し、合成して得られる合成画像と、前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像とを用いて、前記領域画像を生成する請求項５に記載の画像処理装置。
  7. 　前記画像生成部は、
    　前記選択部により検出された前記立体物の位置に基づいて画像変形係数を決定し、前記画像変形係数を用いて前記立体物の画像の歪みを補正する請求項６に記載の画像処理装置。
  8. 　境界算出部が、立体物が位置する共通領域を含む第１領域を撮像する第１撮像装置の位置情報を含む第１装置情報と、前記共通領域を含む第２領域を撮像する第２撮像装置の位置情報を含む第２装置情報とを用いて、前記共通領域を前記第１撮像装置の側と前記第２撮像装置の側とに分ける基準となる境界位置を算出し、
    　選択部が、前記境界位置と前記立体物の位置とに基づいて、前記第１撮像装置が前記第１領域を撮像した画像が視点変換された第１俯瞰画像であって前記立体物の画像が歪んでいる第１俯瞰画像と、前記第２撮像装置が前記第２領域を撮像した画像が視点変換された第２俯瞰画像であって前記立体物の画像が歪んでいる第２俯瞰画像とのうち、前記立体物の画像の歪みが小さい俯瞰画像を選択画像として選択し、
    　画像生成部が、前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像と、前記選択画像に含まれる前記共通領域の画像とに基づいて、前記第１領域と前記第２領域とからなる領域の領域画像を生成する画像処理方法。
  9. 　立体物が位置する共通領域を含む第１領域を撮像する第１撮像装置の位置情報を含む第１装置情報と、前記共通領域を含む第２領域を撮像する第２撮像装置の位置情報を含む第２装置情報とを用いて、前記共通領域を前記第１撮像装置の側と前記第２撮像装置の側とに分ける基準となる境界位置を算出する境界算出処理と、
    　前記境界位置と前記立体物の位置とに基づいて、前記第１撮像装置が前記第１領域を撮像した画像が視点変換された第１俯瞰画像であって前記立体物の画像が歪んでいる第１俯瞰画像と、前記第２撮像装置が前記第２領域を撮像した画像が視点変換された第２俯瞰画像であって前記立体物の画像が歪んでいる第２俯瞰画像とのうち、前記立体物の画像の歪みが小さい俯瞰画像を選択画像として選択する選択処理と、
    　前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像と、前記選択画像に含まれる前記共通領域の画像とに基づいて、前記第１領域と前記第２領域とからなる領域の領域画像を生成する画像生成処理とをコンピュータに実行させる画像処理プログラム。
PCT/JP2015/081358 2015-11-06 2015-11-06 画像処理装置、画像処理方法及び画像処理プログラム WO2017077650A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017543843A JP6239205B2 (ja) 2015-11-06 2015-11-06 画像処理装置、画像処理方法及び画像処理プログラム
PCT/JP2015/081358 WO2017077650A1 (ja) 2015-11-06 2015-11-06 画像処理装置、画像処理方法及び画像処理プログラム
US15/756,455 US10417743B2 (en) 2015-11-06 2015-11-06 Image processing device, image processing method and computer readable medium
GB1803427.2A GB2556797B (en) 2015-11-06 2015-11-06 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/081358 WO2017077650A1 (ja) 2015-11-06 2015-11-06 画像処理装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2017077650A1 true WO2017077650A1 (ja) 2017-05-11

Family

ID=58661799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081358 WO2017077650A1 (ja) 2015-11-06 2015-11-06 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US10417743B2 (ja)
JP (1) JP6239205B2 (ja)
GB (1) GB2556797B (ja)
WO (1) WO2017077650A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10957047B2 (en) * 2017-02-15 2021-03-23 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
GB2586712B (en) 2018-03-28 2021-12-22 Mitsubishi Electric Corp Image processing device, image processing method, and image processing program
US11115623B2 (en) * 2018-05-07 2021-09-07 Maxim Integrated Products, Inc. Systems and methods for asymmetric image splitter with line mark memory
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333565A (ja) * 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk 監視装置
JP2008048317A (ja) * 2006-08-21 2008-02-28 Sanyo Electric Co Ltd 画像処理装置並びに視界支援装置及び方法
WO2010070920A1 (ja) * 2008-12-19 2010-06-24 パナソニック株式会社 車両周囲画像生成装置
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4830380B2 (ja) 2005-07-13 2011-12-07 日産自動車株式会社 車両周辺監視装置及び車両周辺監視方法
JP4674900B2 (ja) 2005-10-14 2011-04-20 アルパイン株式会社 車載画像表示装置
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4248570B2 (ja) 2006-08-21 2009-04-02 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
US7728879B2 (en) 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP5053043B2 (ja) 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP4214291B1 (ja) 2008-03-26 2009-01-28 株式会社ザイナス 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ
JP5067632B2 (ja) 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
JP2010147523A (ja) 2008-12-16 2010-07-01 Panasonic Corp 車両周囲の俯瞰画像生成装置
JP5091882B2 (ja) 2009-01-21 2012-12-05 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
EP2539197B1 (en) * 2010-02-26 2020-12-16 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5699679B2 (ja) 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP5906696B2 (ja) 2011-11-30 2016-04-20 アイシン精機株式会社 車両周辺撮影装置および車両周辺画像の処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333565A (ja) * 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk 監視装置
JP2008048317A (ja) * 2006-08-21 2008-02-28 Sanyo Electric Co Ltd 画像処理装置並びに視界支援装置及び方法
WO2010070920A1 (ja) * 2008-12-19 2010-06-24 パナソニック株式会社 車両周囲画像生成装置
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置

Also Published As

Publication number Publication date
JP6239205B2 (ja) 2017-11-29
GB2556797A (en) 2018-06-06
GB2556797B (en) 2018-10-24
JPWO2017077650A1 (ja) 2017-12-07
US10417743B2 (en) 2019-09-17
US20180253823A1 (en) 2018-09-06
GB201803427D0 (en) 2018-04-18

Similar Documents

Publication Publication Date Title
JP6239205B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5954668B2 (ja) 画像処理装置、撮像装置および画像処理方法
US9013559B2 (en) System, method and program for capturing images from a virtual viewpoint
KR102253553B1 (ko) 사발형 이미징 시스템에서의 물체 가시화
KR101697512B1 (ko) 영상 정합 장치 및 방법
US11589023B2 (en) Image processing apparatus, image processing method, and storage medium
JP5694300B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6882868B2 (ja) 画像処理装置、画像処理方法、システム
US20100103264A1 (en) Vehicle-surroundings displaying method and system
CN102714695A (zh) 图像处理装置、图像处理方法及程序
US11488354B2 (en) Information processing apparatus and information processing method
JP7159384B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10535193B2 (en) Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium
US20180367709A1 (en) Image processing apparatus, object shape estimation method, and storage medium
US20170142384A1 (en) Image processing apparatus, image processing method, image projection system, and storage medium
JP2019504414A (ja) 車両の周囲の正面の光景を表示する方法及びデバイス並びにそれぞれの車両
JP2006302195A (ja) 画像処理方法及び画像処理装置
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JPWO2020012556A1 (ja) 撮像装置、画像補正方法および画像補正プログラム
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6762779B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20230325969A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15907836

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543843

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15756455

Country of ref document: US

ENP Entry into the national phase

Ref document number: 201803427

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20151106

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15907836

Country of ref document: EP

Kind code of ref document: A1