WO2021117390A1 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、及び画像処理プログラム Download PDF

Info

Publication number
WO2021117390A1
WO2021117390A1 PCT/JP2020/041656 JP2020041656W WO2021117390A1 WO 2021117390 A1 WO2021117390 A1 WO 2021117390A1 JP 2020041656 W JP2020041656 W JP 2020041656W WO 2021117390 A1 WO2021117390 A1 WO 2021117390A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
unit
data
plane
Prior art date
Application number
PCT/JP2020/041656
Other languages
English (en)
French (fr)
Inventor
正志 藏之下
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202080083365.9A priority Critical patent/CN114761995A/zh
Priority to JP2021563793A priority patent/JP7254209B2/ja
Priority to EP20897849.4A priority patent/EP4075093A4/en
Publication of WO2021117390A1 publication Critical patent/WO2021117390A1/ja
Priority to US17/663,805 priority patent/US20220276387A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • the present invention relates to an image processing method, an image processing device, and an image processing program.
  • Patent Document 1 two-dimensional image data of an object is acquired by a moving body equipped with a camera, and a three-dimensional point cloud is generated using SfM (Structure from Motion) to generate a three-dimensional model.
  • SfM Structure from Motion
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an image processing method, an image processing device, and an image processing program capable of reducing image data.
  • the image processing method is from a calibrated image data acquisition device and a three-dimensional data acquisition device, for each angle of view of the image data acquisition device, with respect to a plurality of image data and a plurality of image data.
  • the image data can be reduced.
  • the image data and the three-dimensional data are acquired at the same time. According to the second aspect, the acquisition of image data and three-dimensional data is facilitated.
  • the three-dimensional data acquisition device includes any one of a stereo camera, a laser scanner, and a time-of-flight camera.
  • a third aspect identifies a preferred three-dimensional data acquisition device.
  • a plurality of image data are two-dimensional color image data.
  • a fourth aspect identifies a preferred type of image data.
  • the step of estimating the plane includes segmenting a plurality of three-dimensional data and then estimating the plane.
  • a fifth aspect identifies a preferred plane estimation method.
  • the step of selecting the image data includes selecting the image data based on the duplication rate of the image data for forming the plane.
  • the sixth aspect facilitates the selection of image data.
  • the image processing device is composed of a calibrated image data acquisition device and a three-dimensional data acquisition device, for each angle of view of the image data acquisition device, with respect to a plurality of image data and a plurality of image data
  • a unit image data acquisition unit that acquires a plurality of unit image data associated with the three-dimensional data, a plane estimation unit that estimates a plane based on a plurality of three-dimensional data included in the plurality of unit image data, and an estimated plane. It is necessary to construct a plane among the image group data acquisition unit that acquires the image group data in which a plurality of image data included in the plurality of unit image data belonging to the group is grouped and the plurality of image data included in the image group data. Includes an image data selection unit for selecting various image data. According to the seventh aspect, the image data can be reduced.
  • the image processing program according to the eighth aspect causes a computer to execute the above image processing method.
  • the image processing method can be executed by a computer.
  • image data can be reduced and an increase in processing time can be avoided.
  • FIG. 1 is a diagram conceptually showing an image processing system.
  • FIG. 2 is a block diagram showing a function realized by a mobile microcomputer.
  • FIG. 3 is a conceptual diagram showing imaging of an object by an image data acquisition device and a three-dimensional data acquisition device.
  • FIG. 4 is a conceptual diagram for explaining the correspondence between the image data and the three-dimensional data.
  • FIG. 5 is a block diagram showing a function realized by the processing apparatus microcomputer.
  • FIG. 6 is a flowchart illustrating an image processing method using an image processing apparatus.
  • FIG. 7 is a diagram conceptually showing a state in which an object is imaged by an image pickup device mounted on a moving body.
  • FIG. 8 is a diagram conceptually showing the acquired plurality of unit image data.
  • FIG. 1 is a diagram conceptually showing an image processing system.
  • FIG. 2 is a block diagram showing a function realized by a mobile microcomputer.
  • FIG. 3 is a conceptual diagram showing imaging of an object by an image data acquisition device and
  • FIG. 9 is a conceptual diagram in which three-dimensional data is plotted on XYZ coordinates.
  • FIG. 10 is a diagram showing the estimation of a plane from a plurality of three-dimensional data.
  • FIG. 11 is a diagram conceptually showing the acquisition of image group data.
  • FIG. 12 is an explanatory diagram for grouping image data and acquiring image group data.
  • FIG. 13 is a diagram illustrating the creation of a three-dimensional point cloud.
  • FIG. 14 is a diagram illustrating the creation of a three-dimensional point cloud.
  • FIG. 15 shows a state in which a three-dimensional point cloud is displayed on the image processing device.
  • FIG. 16 is a diagram illustrating the creation of another three-dimensional point cloud.
  • FIG. 17 is a diagram illustrating the creation of another three-dimensional point cloud.
  • FIG. 1 is a diagram conceptually showing an image processing system 1 composed of an image processing device 100 and a moving body 300.
  • the mobile body 300 is, for example, an unmanned aerial vehicle (UAV). Further, the moving body 300 may be a self-propelled robot.
  • the moving body 300 is equipped with an image pickup device 200.
  • the image pickup apparatus 200 includes an image data acquisition apparatus 202 and a three-dimensional data acquisition apparatus 204 (see FIG. 2), as will be described later.
  • the mobile body 300 flies in the atmosphere based on the operation by the controller 250.
  • the moving body 300 acquires a plurality of unit image data of the object by the mounted image pickup device 200.
  • the unit image data is data in which image data and three-dimensional data are associated with each other.
  • Objects include structures such as bridges, dams, tunnels and buildings.
  • the image processing device 100 includes a CPU (Central Processing Unit), a ROM (read-only memory), a RAM (Random Access Memory), and the like, and is composed of a computer.
  • the image processing device 100 includes, for example, an operation unit 110 and a display unit 120.
  • the computer constituting the image processing device 100 functions as the image processing device 100 by the CPU executing the image processing program stored in the ROM.
  • FIG. 2 is a block diagram showing the configuration of the moving body 300.
  • the mobile body 300 includes a propeller drive motor 310, a motor driver 312, a sensor unit 316, a machine body side wireless communication unit 318, and a mobile microcomputer (microcomputer: microcomputer) 330.
  • the mobile microcomputer 330 includes a control unit 332, a movement control unit 334, a camera control unit 338, and a machine-side wireless communication control unit 336.
  • the control unit 332 manages the entire functions of the movement control unit 334, the airframe side wireless communication control unit 336, and the camera control unit 338.
  • the mobile microcomputer 330 can function as a control unit 332, a mobile control unit 334, a camera control unit 338, and a machine-side wireless communication control unit 336 by executing a program.
  • the movement control unit 334 controls the flight (movement) of the moving body 300 by controlling the driving of the propeller drive motor 310 via the motor driver 312.
  • the movement control unit 334 controls the drive of each propeller drive motor 310 based on the control signal transmitted from the controller 250 and the flight state information of the moving body 300 output from the sensor unit 316, and controls the driving of the moving body 300. Control flight.
  • the sensor unit 316 detects the flight state of the moving body 300.
  • the sensor unit 316 is configured to include various sensors such as an IMU (inertial measurement unit) and a GNSS (Global Navigation Satellite System).
  • the IMU is configured by combining, for example, a gyro sensor, a geomagnetic sensor, an acceleration sensor, a speed sensor, and the like on a plurality of axes.
  • the sensor unit 316 outputs information on the flight state of the moving body 300 detected by various sensors to the moving body microcomputer 330.
  • the airframe side wireless communication unit 318 wirelessly communicates with the controller 250 under the control of the mobile microcomputer 330, and transmits and receives various signals to and from each other. For example, when the controller 250 is operated, a control signal based on the operation is transmitted from the controller 250 to the mobile body 300. The aircraft side wireless communication unit 318 receives the control signal transmitted from the controller 250 and outputs it to the mobile body 300.
  • the mobile microcomputer 330 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and realizes various functions by executing a predetermined program. ..
  • the program is stored in ROM.
  • the camera control unit 338 controls the image pickup device 200 based on the control signal transmitted from the controller 250.
  • the imaging device 200 can start imaging in response to an imaging start instruction from the controller 250.
  • the image pickup apparatus 200 ends the image pickup.
  • the airframe side wireless communication control unit 336 controls communication with the controller 250 via the airframe side wireless communication unit 318.
  • the flight plan of the moving body 300 and the imaging conditions of the imaging device 200 can be determined in advance by control software or the like.
  • the flight plan includes, for example, the flight path, speed, and altitude of the mobile 300.
  • the imaging conditions include having the imaging apparatus 200 image at equal time intervals, imaging at equidistant intervals, and the like. Conditions such as equidistant intervals and equidistant intervals are appropriately selected.
  • the control unit 332 controls the movement control unit 334 based on the flight plan.
  • the movement control unit 334 controls the drive of the propeller drive motor 310 via the motor driver 312 according to the signal from the control unit 332.
  • the control unit 332 controls the camera control unit 338 based on the imaging conditions.
  • the camera control unit 338 controls the image pickup device 200.
  • FIG. 3 is a conceptual diagram when an imaging device including an image data acquisition device and a three-dimensional data acquisition device images an object.
  • the image pickup device 200 includes an image data acquisition device 202 and a three-dimensional data acquisition device 204.
  • the object includes structures A and B having a planar shape and structures C having no planar shape.
  • the image data acquisition device 202 acquires two-dimensional image data of an object.
  • the image data acquisition device 202 includes an image sensor such as CMOS (Complementary Metal Oxide Semiconductor) (not shown).
  • CMOS Complementary Metal Oxide Semiconductor
  • the image pickup device has a plurality of pixels composed of photoelectric exchange elements two-dimensionally arranged in the x direction (horizontal direction) and the y direction (vertical direction), and on the upper surface of the plurality of pixels, for example, R.
  • a color filter (not shown) in which (red), G (green), and B (blue) filters are two-dimensionally Bayer-arranged is arranged.
  • the image data acquisition device 202 can acquire two-dimensional color image data.
  • the image data acquisition device 202 acquires image data for each angle of view for each image capture.
  • the imaging range is determined by the angle of view of the image data acquisition device 202.
  • the image data acquisition device 202 acquires a plurality of image data for the object.
  • the angle of view represents the imaging range when the image data acquisition device 202 captures the image.
  • the three-dimensional data acquisition device 204 acquires three-dimensional data of the object.
  • the three-dimensional data acquisition device 204 is, for example, a stereo camera.
  • a stereo camera is a camera that simultaneously captures image data from a plurality of cameras arranged at different positions and acquires three-dimensional data up to an object by using the parallax in the image data.
  • the three-dimensional data acquisition device 204 is a stereo camera, one of the plurality of cameras can be used as the image data acquisition device 202.
  • An image data acquisition device 202 can be provided separately from the three-dimensional data acquisition device 204.
  • Three-dimensional data acquisition device 204 is a stereo camera has been described.
  • Three-dimensional data can be obtained using a laser scanner or a Time-of-Flight (ToF) camera.
  • TOF Time-of-Flight
  • the laser scanner emits a laser pulse to the object and measures the distance by the time until the laser pulse reflected on the surface of the object returns. Then, three-dimensional data of the reflection point of the laser pulse is acquired from the measured distance and the angle information of the emission direction of the laser pulse. That is, the three-dimensional data includes the three-dimensional coordinates.
  • the laser scanner is not limited to the time-of-flight method, but can acquire three-dimensional data by the phase difference method and the trigonometry method.
  • a time-of-flight camera is a camera that acquires three-dimensional data by measuring the flight time of light.
  • FIG. 4 is a conceptual diagram for explaining the correspondence between the image data and the three-dimensional data.
  • the image data ID includes data of a plurality of pixels P arranged in two dimensions.
  • the image data ID is data in the angle of view range.
  • Pixel P has a value for each of R, G, and B.
  • the pixel P of the coordinates (Px, Py) in the image data ID and the point Q having the positional relationship of the object corresponding to the pixel P are shown.
  • the point Q has three-dimensional data (x, y, z) which is position information. Since the image data acquisition device 202 and the three-dimensional data acquisition device 204 are calibrated, the pixel P and the point Q are associated with each other.
  • the unit image data UID in which the pixels of the image data ID and the three-dimensional data are associated with each other is acquired.
  • Each data PQ of the unit image data UID has three-dimensional data (x, y, z) of the point Q and information of the value (R, G, B) of the pixel P.
  • the imaging device 200 mounted on the moving body 300 acquires a plurality of unit image data UIDs for the object. It is preferable that the image data and the three-dimensional data included in the unit image data UID are acquired at the same time. It becomes easy to associate image data with 3D data.
  • FIG. 5 is a block diagram showing the configuration of the image processing device 100.
  • the image processing device 100 includes an operation unit 110, a display unit 120, and a processing device microcomputer 130.
  • the processing apparatus microcomputer 130 includes a unit image data acquisition unit 132, a plane estimation unit 134, an image group data acquisition unit 136, an image data selection unit 138, and a control unit 140.
  • the control unit 140 manages the entire functions of the unit image data acquisition unit 132, the plane estimation unit 134, the image group data acquisition unit 136, and the image data selection unit 138.
  • the processing device microcomputer 130 functions as a unit image data acquisition unit 132, a plane estimation unit 134, an image group data acquisition unit 136, an image data selection unit 138, and a control unit 140 by executing an image processing program. Can be made to.
  • the unit image data acquisition unit 132 acquires a plurality of (large amount) unit image data UIDs acquired by the image pickup device 200 via the device input / output unit (not shown).
  • the plurality of unit image data UIDs are imaged by overlapping and side-wrapping the objects based on the flight plan and the imaging conditions.
  • the plane estimation unit 134 estimates a plane based on a plurality of three-dimensional data included in the plurality of unit image data UIDs. Estimating a plane involves segmenting multiple 3D data and then estimating the plane.
  • Segmentation extracts multiple independent 3D data as a block of 3D data and estimates the plane. For example, arbitrary three-dimensional data is selected from a plurality of three-dimensional data, and nearby three-dimensional data is detected from the arbitrary three-dimensional data. Segments are formed by detecting three-dimensional data one after another, and one plane is estimated. The plane is divided as segments. As many segments as the number of planes contained in the object are formed.
  • the three-dimensional data and the unit image data UID are associated with each other. That is, the unit image data UID to which the three-dimensional data belongs and the three-dimensional data included in the unit image data UID can be mutually extracted.
  • the image group data acquisition unit 136 acquires image group data in which a plurality of image data IDs included in a plurality of unit image data UIDs belonging to the estimated plane are grouped.
  • the unit image data UID to which the 3D data belongs is extracted from the 3D data estimated to belong to one plane.
  • a plurality of image data IDs included in the extracted unit image data UID are grouped.
  • the image group data acquisition unit 136 acquires the grouped image data IDs as image group data constituting one plane.
  • the image data selection unit 138 selects as many image data IDs as necessary to form a plane from a plurality of image data IDs included in the image group data.
  • the image pickup apparatus 200 mounted on the moving body 300 acquires a large amount of image data IDs on the premise that a three-dimensional point cloud is created by using SfM or the like. However, a large amount of image data ID causes an increase in processing time.
  • the surface shape of the object is estimated to be a plane
  • the number of image data IDs required to form the plane is selected without using a large amount of image data IDs belonging to the image group data.
  • the image data ID is reduced. Therefore, by reducing the image data ID, for example, the processing time when creating a three-dimensional point cloud can be reduced.
  • FIG. 6 is a flowchart illustrating an image processing method using an image processing device.
  • the image processing method includes a unit image data acquisition step (step S1), a plane estimation step (step S2), an image group data acquisition step (step S3), and an image data selection step (step S4).
  • (Unit image data acquisition step) In the unit image data acquisition step, a plurality of calibrated image data acquisition devices and three-dimensional data acquisition devices are used to associate image data and three-dimensional data with respect to an object for each angle of view of the image data acquisition device. Acquire the unit image data of (step S1).
  • the moving body 300 equipped with the image pickup device 200 flies around the object based on the flight plan.
  • the image data acquisition device 202 (not shown) and the three-dimensional data acquisition device 204 (not shown) provided in the image pickup apparatus 200 image an object based on the imaging conditions and acquire a plurality of unit image data UIDs.
  • FIG. 8 shows an example showing a part of a large amount of unit image data UID acquired by the image data acquisition device 202 and the three-dimensional data acquisition device 204.
  • the image pickup apparatus 200 images the surface of the structure A and the surface of the structure B of the object.
  • the plurality of unit image data UIDs include unit image data UIDs when the surface of the structure A and the surface of the structure B of the object are imaged.
  • the unit image data UID is acquired for each angle of view of the image data acquisition device 202.
  • a plane is estimated based on a plurality of three-dimensional data included in the plurality of unit image data UIDs (step S2).
  • the three-dimensional data has (x, y, z) information.
  • the three-dimensional data included in the plurality of unit image data UIDs is plotted in the XYZ coordinate system, it is represented as shown in FIG. 9, for example.
  • the point cloud PC of FIG. 9 if the three-dimensional data are on the same plane, the z-coordinate value falls within a certain range, and the three-dimensional data can be recognized as a block.
  • the plane can be estimated by segmenting a plurality of three-dimensional data centering on arbitrary three-dimensional data included in the point cloud PC. Plane estimation is not limited to segmentation.
  • the surface of the structure A is estimated as the plane PL from the plurality of three-dimensional data, that is, the point cloud PC.
  • Image group data acquisition step In the image group data acquisition step, a plurality of image data IDs included in the plurality of unit image data UIDs belonging to the estimated plane PL are grouped and image group data is acquired (step S3). Grouping is realized by assigning attribute data (for example, PL) indicating that the image data ID belongs to the plane PL to a plurality of image data IDs and associating the image data ID with the plane PL. As shown in FIG. 11, a plurality of image data IDs belonging to the plane PL are grouped and acquired as image group data.
  • attribute data for example, PL
  • the image group data also includes the unit image data UID.
  • Image data selection step In the image data selection step, the image data ID necessary for forming the plane PL is selected from the plurality of image data IDs included in the image group data (step S4). As shown in FIG. 11, the plane PL contains a large amount of image data IDs. On the other hand, since the surface shape of the structure A of the object is estimated to be a plane PL, as shown in FIG. 12, it is necessary to form the plane PL from a plurality of image data IDs. You can select a number of image data IDs. By comparing FIG. 11 and FIG. 12, it can be conceptually understood that the image data ID can be reduced. By reducing the image data ID used, the processing time when processing using the image data ID can be reduced.
  • the step of selecting the image data includes selecting the image data based on the duplication rate of the image data ID for forming the plane PL.
  • the overlap rate is the overlap rate and / or the side wrap rate.
  • Selecting based on the duplication rate means, for example, lowering the overlap rate of the image data ID when selecting the image data ID from the overlap rate when the image data ID is acquired.
  • the overlap rate when a plurality of image data IDs are acquired is 90%, and in the image selection step, for example, the overlap rate of the plurality of image data IDs is selected to be 30%. If this is the case.
  • These numbers are examples and are not limited to these numbers. Not only the overlap rate but also the side lap rate can be lowered.
  • the composite image data CID corresponding to the plane of the structure A can be created.
  • the composite image data CID can be created by using block matching among pattern matching. In block matching, a block having a predetermined size is set in one image data ID, and the block is scanned by another image data ID to calculate a correlation value. Then, assuming that the place where the correlation value is the highest is the place where the block overlaps, the adjacent image data IDs are concatenated and combined. Since the plane PL is estimated, the image data IDs can be concatenated and combined with high accuracy to obtain the combined image data CID.
  • the shooting position, posture, and coordinates of the object are estimated from the image group IG by SfM. Further, the density is increased by MVS (Multi-view Stereo) processing, and a three-dimensional point cloud is created.
  • the image group IG does not include a portion corresponding to the plane PL. Therefore, by arranging the composite image data CID using the point cloud information obtained by SfM and the point cloud information adjacent to the plane PL, as shown in FIG. 15, three-dimensional points with respect to the object. You can create a group. In the embodiment, a three-dimensional point cloud is created by using SfM for the image group IG and the composite image data CID.
  • the feature points included in the area where the image data IDs of the image group IG overlap are extracted, and the correspondence relationship of the feature points between the image data IDs is specified.
  • SIFT Scale-invariant feature transform
  • SURF Speed-Upped Robust Feature
  • AKAZE AKAZE
  • the number of corresponding points (number of sets) in which the feature amounts match is preferably several tens or more, and therefore the overlap rate between the image data IDs in the image group IG and / or the side wrap rate is preferably large.
  • step S1 the unit image data acquisition step (step S1), the plane estimation step (step S2), the image group data acquisition step (step S3), and the image data selection step (step S4) shown in FIG.
  • the image processing method including the above is executed by the image processing apparatus 100.
  • the creation of a three-dimensional point cloud different from that of the first embodiment will be described.
  • FIG. 16 shows two unit image data UID-1 and unit image data UID-2 arbitrarily selected from the image group data in each camera coordinate system.
  • the camera coordinate system is the coordinate system of the image pickup apparatus 200, and the center of the lens is the origin.
  • the origin of each camera coordinate system is different.
  • the points at the coordinates of (x, y, z) have the values of (R, G, B).
  • Feature points are extracted from each of the unit image data UID-1 and the unit image data UID-2 as indicated by arrows. The relationship between the feature points of the unit image data UID-1 and the feature points of the unit image data UID-2 is obtained.
  • the image data UID-2 is placed in the space of the camera coordinate system of the image data UID-1 as shown in FIG. Can be projected.
  • the point cloud can be collected as a model of the space of one camera coordinate system.
  • the unit image data UID is reduced, the burden of processing using the image data ID is small. Since the plane PL is estimated in the image group data, the relationship between the feature points between the unit image data UIDs can be easily obtained.
  • the panoramic image when the time to process the image captured with the overlap rate of 90% is set to "1", the panoramic image can be combined with the overlap rate of 30% by using the plane estimation.
  • the hardware that realizes the image processing device according to the present invention can be configured by various processors.
  • Various processors include CPUs (Central Processing Units) and FPGAs (Field Programmable Gate Arrays), which are general-purpose processors that execute programs and function as various processing units, and whose circuit configurations can be changed after manufacturing. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit).
  • One processing unit constituting the image display device may be composed of one of the above-mentioned various processors, or may be composed of two or more processors of the same type or different types.
  • one processing unit may be composed of a plurality of FPGAs or a combination of a CPU and an FPGA.
  • a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • Appendix 1 An image processing device equipped with a processor The processor A plurality of unit image data including a plurality of image data and three-dimensional data associated with an object for each angle of view of the image data acquisition device from the image data acquisition device and the three-dimensional data acquisition device. To get and A plane is estimated based on the plurality of the three-dimensional data included in the plurality of unit image data, and the plane is estimated. Image group data in which a plurality of the image data included in the plurality of unit image data belonging to the estimated plane are grouped is acquired. Among the plurality of image data included in the image group data, the image data necessary for forming the plane is selected. Image processing device.
  • Image processing system 100 Image processing device 110: Operation unit 120: Display unit 130: Processing device microcomputer 132: Unit image data acquisition unit 134: Plane estimation unit 136: Image group data acquisition unit 138: Image data selection unit 140: Control unit 200: Imaging device 202: Image data acquisition device 204: Three-dimensional data acquisition device 250: Controller 300: Mobile unit 310: Propeller drive motor 312: Motor driver 316: Sensor unit 318: Aircraft side wireless communication unit 330: Mobile unit Microcomputer 332: Control unit 334: Movement control unit 336: Aircraft side wireless communication control unit 338: Camera control units A, B, C: Structure CID: Synthetic image data ID, ID-1, ID-2: Image data IG: Image group PC: Point group PL: Plane PQ: Data UID, UID-1, UID-2: Unit image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

画像データを削減できる画像処理方法、画像処理装置、及び画像処理プログラムを提供する。画像処理方法は、校正された画像データ取得装置と三次元データ取得装置とから、画像データ取得装置の画角毎に、対象物に対して、画像データと三次元データとを関連付けた複数の単位画像データを取得するステップと、複数の単位画像データに含まれる複数の三次元データに基づいて平面を推定するステップと、推定された平面に属する複数の単位画像データに含まれる複数の画像データをグルーピングした画像群データを取得するステップと、画像群データに含まれる複数の画像データのうち、平面を構成するために必要な画像データを選択するステップと、を含むので、画像データを削減できる。

Description

画像処理方法、画像処理装置、及び画像処理プログラム
　本発明は画像処理方法、画像処理装置、及び画像処理プログラムに関する。
　近年では、ドローンに代表される移動体にカメラを搭載し、構造物の撮像画像を取得し、その取得した撮像画像から三次元モデルを生成する技術が提案されている。
　例えば、特許文献１では、カメラを搭載した移動体により、対象物の二次元画像データが取得され、ＳｆＭ（Structure from Motion）を使用して三次元点群を生成し、三次元モデルを生成する技術が提案されている。
特開２０１５－１１４９５４号公報
　ＳｆＭでは、撮像範囲を互いに重ね合せて、大量の二次元画像データを取得し、自己位置と対象物の座標を推定することにより対象物の三次元点群を生成する。そのため、大量の二次元画像データを処理する必要があり、処理時間が増大する場合がある。
　本発明はこのような事情に鑑みてなされたもので、画像データを削減できる画像処理方法、画像処理装置、及び画像処理プログラムを提供することを目的とする。
　第１の態様に係る画像処理方法は、校正された画像データ取得装置と三次元データ取得装置とから、画像データ取得装置の画角毎に、対象物に対して、複数の画像データと複数の三次元データとを関連付けた複数の単位画像データを取得するステップと、複数の単位画像データに含まれる複数の三次元データに基づいて平面を推定するステップと、推定された平面に属する複数の単位画像データに含まれる複数の画像データをグルーピングした画像群データを取得するステップと、画像群データに含まれる複数の画像データのうち、平面を構成するために必要な画像データを選択するステップと、を含む。第１の態様によれば、画像データを削減できる。
　第２の態様に係る画像処理方法において、画像データと三次元データとは同時に取得される。第２の態様によれば、画像データと三次元データの取得を容易にする。
　第３の態様に係る画像処理方法において、三次元データ取得装置は、ステレオカメラ、レーザースキャナー、及びタイムオブフライト式カメラのいずれかを含む。第３の態様は、好ましい三次元データ取得装置を特定する。
　第４の態様に係る画像処理方法において、複数の画像データが二次元カラー画像データである。第４の態様は、好ましい画像データの種類を特定する。
　第５の態様に係る画像処理方法において、平面を推定するステップは、複数の三次元データをセグメンテーションしてから平面を推定することを含む。第５の態様は、好ましい平面の推定方法を特定する。
　第６の態様に係る画像処理方法において、画像データを選択するステップは、平面を構成するための画像データの重複率を基準に選択することを含む。第６の態様は、画像データの選択を容易にする。
　第７の態様に係る画像処理装置は、校正された画像データ取得装置と三次元データ取得装置とから、画像データ取得装置の画角毎に、対象物に対して、複数の画像データと複数の三次元データと関連付けた複数の単位画像データを取得する単位画像データ取得部と、複数の単位画像データに含まれる複数の三次元データに基づいて平面を推定する平面推定部と、推定された平面に属する複数の単位画像データに含まれる複数の画像データをグルーピングした画像群データを取得する画像群データ取得部と、画像群データに含まれる複数の画像データのうち、平面を構成するために必要な画像データを選択する画像データ選択部と、を含む。第７の態様によれば、画像データを削減できる。
　第８の態様に係る画像処理プログラムは、上記画像処理方法をコンピュータに実行させる。第８の態様によれば、コンピュータにより画像処理方法を実行できる。
　本発明によれば、画像データを削減でき、処理時間の増大を回避することができる。
図１は、画像処理システムを概念的に示す図である。 図２は、移動体マイコンが実現する機能を示すブロック図である。 図３は、画像データ取得装置と三次元データ取得装置による対象物の撮像を示す概念図である。 図４は、画像データと三次元データとの対応関係を説明する概念図である。 図５は、処理装置マイコンが実現する機能を示すブロック図である。 図６は、画像処理装置を使用した画像処理方法を説明するフローチャートである。 図７は、移動体に搭載された撮像装置により対象物を撮像する様子を概念的に示した図である。 図８は、取得された複数の単位画像データを概念的に示す図である。 図９は、三次元データをＸＹＺ座標にプロットした概念図である。 図１０は、複数の三次元データからの平面の推定を示す図である。 図１１は、画像群データの取得を概念的に示す図である。 図１２は、画像データをグルーピングし画像群データを取得する説明図である。 図１３は、三次元点群の作成を説明する図である。 図１４は、三次元点群の作成を説明する図である。 図１５は、画像処理装置に三次元点群を表示させた状態を示すである。 図１６は、別の三次元点群の作成を説明する図である。 図１７は、別の三次元点群の作成を説明する図である。
　以下、添付図面に従って本発明に係る画像処理方法、画像処理装置、及び画像処理プログラムの好ましい実施の形態について説明する。
　＜第１実施形態＞
　図１は、画像処理装置１００と移動体３００とから構成される画像処理システム１を概念的に示す図である。移動体３００は、例えば、無人航空機（UAV：Unmanned Aerial Vehicle）である。また移動体３００は自走型ロボットであってもよい。移動体３００は、撮像装置２００を搭載する。撮像装置２００は、後述するように、画像データ取得装置２０２と三次元データ取得装置２０４（図２参照）とを備える。移動体３００は、コントローラ２５０による操作に基づき大気中を飛行する。移動体３００は、搭載された撮像装置２００により対象物の複数の単位画像データを取得する。単位画像データは画像データと三次元データとを関連付けたデータである。対象物は、例えば、橋梁、ダム、トンネル、建物などの構造物を含む。
　画像処理装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（read‐only memory）、及びＲＡＭ（Random Access Memory）等を備えコンピュータにより構成される。画像処理装置１００は、例えば、操作部１１０、及び表示部１２０を備える。画像処理装置１００を構成するコンピュータは、ＣＰＵがＲＯＭに格納された画像処理プログラムを実行することにより、画像処理装置１００として機能する。
　図２は、移動体３００の構成を示すブロック図である。移動体３００は、プロペラ駆動モータ３１０と、モータドライバ３１２と、センサ部３１６と、機体側無線通信部３１８と、移動体マイコン（マイコン：マイクロコンピュータ）３３０と、を備える。
　移動体マイコン３３０は、制御部３３２と、移動制御部３３４と、カメラ制御部３３８と、機体側無線通信制御部３３６と、を備える。制御部３３２は、移動制御部３３４、機体側無線通信制御部３３６、及びカメラ制御部３３８の各機能の全体を管理する。移動体マイコン３３０は、プログラムを実行することにより、制御部３３２と、移動制御部３３４と、カメラ制御部３３８と、機体側無線通信制御部３３６として、機能させることができる。
　移動制御部３３４は、モータドライバ３１２を介してプロペラ駆動モータ３１０の駆動を制御することにより、移動体３００の飛行（移動）を制御する。移動制御部３３４は、コントローラ２５０から送信される制御信号、及びセンサ部３１６から出力される移動体３００の飛行状態の情報に基づいて、各プロペラ駆動モータ３１０の駆動を制御し、移動体３００の飛行を制御する。
　センサ部３１６は、移動体３００の飛行状態を検出する。センサ部３１６は、ＩＭＵ（inertial measurement unit）、ＧＮＳＳ（Global Navigation Satellite System）等の各種センサ類を備えて構成される。ＩＭＵは、例えば、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ等を複数軸で組み合わせて構成される。センサ部３１６は、各種センサで検出された移動体３００の飛行状態の情報を移動体マイコン３３０に出力する。
　機体側無線通信部３１８は、移動体マイコン３３０による制御の下、コントローラ２５０と無線で通信し、互いに各種信号を送受信する。例えば、コントローラ２５０が操作された場合、その操作に基づく制御信号がコントローラ２５０から移動体３００に向けて送信される。機体側無線通信部３１８は、コントローラ２５０から送信された制御信号を受信し、移動体３００に出力する。
　移動体マイコン３３０は、図示しないが、ＣＰＵ（Central Processing Unit／中央処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。
　カメラ制御部３３８は、コントローラ２５０から送信される制御信号に基づいて、撮像装置２００を制御する。例えば、コントローラ２５０からの撮像開始指示に応じて、撮像装置２００は撮像を開始できる。コントローラ２５０からの撮像終了指示に応じて、撮像装置２００は撮像を終了させる。
　機体側無線通信制御部３３６は、機体側無線通信部３１８を介して、コントローラ２５０との間の通信を制御する。
　移動体３００の飛行計画、撮像装置２００の撮像条件は、制御ソフトウェア等で事前に決定できる。飛行計画は、例えば、移動体３００の飛行経路、速度、及び高度を含む。撮像条件は、撮像装置２００を等時間間隔で撮像させること、及び等距離間隔で撮像させること等を含む。等時間間隔、等距離間隔等の条件が適宜選択される。制御部３３２は、飛行計画に基づいて、移動制御部３３４を制御する。移動制御部３３４は、制御部３３２からの信号に従い、モータドライバ３１２を介してプロペラ駆動モータ３１０の駆動を制御する。制御部３３２は、撮像条件に基づいて、カメラ制御部３３８を制御する。カメラ制御部３３８は、撮像装置２００を制御する。飛行計画と撮像条件を組み合わせることにより、飛行経路上の撮像範囲のオーバーラップ率、及び飛行経路間の撮像範囲のサイドラップ率等が決定される。
　図３は、画像データ取得装置と三次元データ取得装置とを備える撮像装置が対象物を撮像する際の概念図である。撮像装置２００は、画像データ取得装置２０２と三次元データ取得装置２０４とを備える。対象物は、平面形状を有する構造物Ａ及びＢと、平面を有さない構造物Ｃとを含む。画像データ取得装置２０２は、対象物の二次元画像データを取得する。画像データ取得装置２０２は、図示しないＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含む。撮像素子は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電交換素子で構成された複数の画素を有し、複数の画素の上面には、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）のフィルタが二次元的にベイヤー配列されたカラーフィルタ（図示せず）が配置される。実施形態では、画像データ取得装置２０２は、二次元カラー画像データを取得できる。画像データ取得装置２０２は、一回の撮像毎に、画角毎の画像データを取得する。撮像範囲は画像データ取得装置２０２の画角により決定される。画像データ取得装置２０２は、対象物に対して複数の画像データを取得する。画角は、画像データ取得装置２０２で撮像した際の撮像範囲を表す。
　三次元データ取得装置２０４は、対象物の三次元データを取得する。三次元データ取得装置２０４は、例えば、ステレオカメラである。ステレオカメラは、異なる位置に配置された複数のカメラから同時に画像データを撮像し、画像データにおける視差を用いて、対象物までの三次元データを取得するカメラである。三次元データ取得装置２０４がステレオカメラである場合、複数のカメラの一台を画像データ取得装置２０２として利用できる。三次元データ取得装置２０４とは別に、画像データ取得装置２０２を設けることができる。
　なお、三次元データ取得装置２０４がステレオカメラである場合を説明した。三次元データは、レーザースキャナー、又はタイムオブフライト（Time-of-Flight：ＴｏＦ）式カメラを使用して取得できる。
　レーザースキャナーはレーザーパルスを対象物に出射し、対象物の表面で反射されたレーザーパルスが戻ってくるまでの時間により距離を計測する。そして、計測した距離とレーザーパルスの出射方向の角度情報とによりレーザーパルスの反射点の三次元データが取得される。すなわち、三次元データは三次元座標を含む。レーザースキャナーは、タイムオブフライト方式によるものに限らず、位相差方式、三角法方式により三次元データが取得できる。
　タイムオブフライト式カメラは、光の飛行時間を測ることで三次元データを取得するカメラである。
　図４は、画像データと三次元データとの対応関係を説明する概念図である。画像データＩＤは二次元に配列された複数の画素Ｐのデータを含む。画像データＩＤは画角範囲のデータである。画素ＰはＲ、Ｇ、Ｂのそれぞれについて値を持つ。図４では、画像データＩＤにおける座標（Ｐｘ、Ｐｙ）の画素Ｐと、画素Ｐに対応する対象物の位置関係を有する点Ｑとが示されている。点Ｑは、位置情報である三次元データ（ｘ、ｙ、ｚ）を有する。画像データ取得装置２０２と三次元データ取得装置２０４とは校正されているので、画素Ｐと点Ｑとは関連付けられている。画像データＩＤの画素と三次元データとが関連付けられた単位画像データＵＩＤが取得される。単位画像データＵＩＤの各データＰＱは、点Ｑの三次元データ（ｘ、ｙ、ｚ）と、画素Ｐの（Ｒ、Ｇ、Ｂ）の値の情報を有する。飛行計画及び撮像条件にしたがって、移動体３００に搭載された撮像装置２００は、対象物に対し複数の単位画像データＵＩＤを取得する。単位画像データＵＩＤに含まれる画像データと三次元データとは同時に取得されることが好ましい。画像データと三次元データとの関連付けが容易になる。
　図５は、画像処理装置１００の構成を示すブロック図である。画像処理装置１００は操作部１１０と、表示部１２０と、処理装置マイコン１３０と、を備える。処理装置マイコン１３０は、単位画像データ取得部１３２と、平面推定部１３４と、画像群データ取得部１３６と、画像データ選択部１３８と、制御部１４０と、を備える。制御部１４０は、単位画像データ取得部１３２と、平面推定部１３４と、画像群データ取得部１３６と、画像データ選択部１３８の各機能の全体を管理する。処理装置マイコン１３０は、画像処理プログラムを実行することにより、単位画像データ取得部１３２と、平面推定部１３４と、画像群データ取得部１３６と、画像データ選択部１３８と、制御部１４０として、機能させることができる。
　単位画像データ取得部１３２は、装置入出力部（不図示）を介して、撮像装置２００により取得された複数（大量）の単位画像データＵＩＤを取得する。複数の単位画像データＵＩＤは、飛行計画、及び撮像条件に基づいて、対象物をオーバーラップ及びサイドラップさせて撮像されている。
　平面推定部１３４は、複数の単位画像データＵＩＤに含まれる複数の三次元データに基づいて平面を推定する。平面の推定は、複数の三次元データをセグメンテーションしてから平面を推定することを含む。
　セグメンテーションは、複数の独立する三次元データに対して、三次元データのかたまりとして抽出し、平面を推定する。例えば、複数の三次元データの中から任意の三次元データを選択し、任意の三次元データから近傍にある三次元データを検出する。次々に三次元データを検出することによりセグメントが形成され、１つの平面が推定される。平面がセグメントとして区分けされる。対象物に含まれる平面の数だけセグメントが形成される。
　なお、三次元データと単位画像データＵＩＤとは関連付けされている。すなわち、三次元データが属する単位画像データＵＩＤ、及び単位画像データＵＩＤに含まれる三次元データが相互に抽出可能である。
　画像群データ取得部１３６は、推定された平面に属する複数の単位画像データＵＩＤに含まれる複数の画像データＩＤをグルーピングした画像群データを取得する。
　１つの平面に属すると推定された三次元データから、三次元データが属する単位画像データＵＩＤが抽出される。抽出された単位画像データＵＩＤに含まれる複数の画像データＩＤがグルーピングされる。画像群データ取得部１３６は、グルーピングされた画像データＩＤを、１つの平面を構成する画像群データとして取得する。
　画像データ選択部１３８は、画像群データに含まれる複数の画像データＩＤのうち、平面を構成するために必要な数の画像データＩＤを選択する。移動体３００に搭載された撮像装置２００は、ＳｆＭ等を利用して三次元点群を作成することを前提に大量の画像データＩＤを取得する。しかしながら、大量の画像データＩＤは処理時間の増大を招く。
　一方、対象物の表面形状が平面であると推定されると、画像群データに属する大量の画像データＩＤを使用しないで、平面を構成するために必要な数の画像データＩＤを選択する。その結果、画像データＩＤが削減される。したがって、画像データＩＤを削減することにより、例えば、三次元点群を作成する際の処理時間を低減できる。
　図６は、画像処理装置を使用した画像処理方法を説明するフローチャートである。画像処理方法は、単位画像データ取得ステップ（ステップＳ１）、平面推定ステップ（ステップＳ２）、画像群データ取得ステップ（ステップＳ３）と、画像データ選択ステップ（ステップＳ４）と、を備える。
　（単位画像データ取得ステップ）
　単位画像データ取得ステップでは、校正された画像データ取得装置と三次元データ取得装置とから、画像データ取得装置の画角毎に、対象物に対して、画像データと三次元データとを関連付けた複数の単位画像データを取得する（ステップＳ１）。
　図７に示されるように、撮像装置２００を搭載した移動体３００が、対象物の周囲を飛行計画に基づいて飛行する。撮像装置２００に備えられる画像データ取得装置２０２（不図示）と三次元データ取得装置２０４（不図示）とは、撮像条件に基づいて対象物を撮像し、複数の単位画像データＵＩＤを取得する。図８は画像データ取得装置２０２と三次元データ取得装置２０４とにより取得された大量の単位画像データＵＩＤの一部を示す一例を示す。図８に示されるように、撮像装置２００は、対象物の構造物Ａの表面と構造物Ｂの表面とを撮像する。複数の単位画像データＵＩＤには、対象物の構造物Ａの表面と構造物Ｂの表面とを撮像した際の単位画像データＵＩＤが含まれる。単位画像データＵＩＤは画像データ取得装置２０２の画角毎に取得される。
　（平面推定ステップ）
　平面推定ステップでは、複数の単位画像データＵＩＤに含まれる複数の三次元データに基づいて平面を推定する（ステップＳ２）。三次元データは（ｘ、ｙ、ｚ）の情報を有している。複数の単位画像データＵＩＤに含まれる三次元データを、ＸＹＺ座標系にプロットすると、例えば、図９に示すように表される。図９の点群ＰＣに示されるように、三次元データが同一の平面にあれば、ｚ座標の値が、ある範囲内に収まり、三次元データをかたまりとして認識できる。例えば、点群ＰＣに含まれる任意の三次元データを中心に、複数の三次元データをセグメンテーションすることにより平面が推定できる。平面の推定は、セグメンテーションに限定されない。次に、図１０に示されるように、複数の三次元データ、すなわち点群ＰＣから構造物Ａの表面が平面ＰＬとして推定される。
　（画像群データ取得ステップ）
　画像群データ取得ステップでは、推定された平面ＰＬに属する複数の単位画像データＵＩＤに含まれる複数の画像データＩＤをグルーピングし、画像群データを取得する（ステップＳ３）。グルーピングは、複数の画像データＩＤに、平面ＰＬに属することを示す属性データ（例えば、ＰＬ）を付与し、画像データＩＤと平面ＰＬとを関連付けすることにより実現される。図１１に示されるように、平面ＰＬに属する複数の画像データＩＤがグルーピングされ、画像群データとして取得される。
　なお、画像データＩＤと、画像データＩＤに含まれる三次元データとは関連付けされているので、画像群データは単位画像データＵＩＤをも含む。
　（画像データ選択ステップ）
　画像データ選択ステップでは、画像群データに含まれる複数の画像データＩＤのうち、平面ＰＬを構成するために必要な画像データＩＤを選択する（ステップＳ４）。図１１に示されるように、平面ＰＬには大量の画像データＩＤが含まれている。一方で、対象物の構造物Ａの表面形状が平面ＰＬであると推定されているので、図１２に示されるように、複数の画像データＩＤの中から、平面ＰＬを構成するために必要な数の画像データＩＤを選択できる。図１１と図１２とを比較することにより、画像データＩＤが削減できること概念的に理解できる。使用する画像データＩＤを削減することにより、画像データＩＤを使用して処理する際の処理時間が削減できる。
　なお、画像データを選択るステップは、平面ＰＬを構成するための画像データＩＤの重複率を基準に選択することを含む。例えば、重複率はオーバーラップ率、及び／又はサイドラップ率である。
　重複率を基準に選択するとは、例えば、画像データＩＤを選択する際の画像データＩＤのオーバーラップ率を、画像データＩＤを取得した際のオーバーラップ率より下げることである。具体的には、複数の画像データＩＤを取得した際のオーバーラップ率が９０％で、画像選択ステップで、例えば、複数の画像データＩＤのオーバーラップ率が３０％となるように選択するような場合である。これらの数値は一例である、この数値に限定されない。オーバーラップ率だけなでなくサイドラップ率を下げることもできる。
　（三次元点群の作成）
　次に、削減された画像データＩＤを利用して三次元点群を作成する手順を説明する。以下の実施形態では、図１３に示されるように、構造物Ａの一部について平面ＰＬが推定されていることを前提とする。平面ＰＬを構成するのに必要な画像データＩＤが選択されている。また、構造物Ａの平面以外は、移動体３００の撮像装置２００により、ＳｆＭに必要な複数の画像データＩＤを含む画像群ＩＧが取得されている。
　次に、図１４に示されるように、平面ＰＬを構成するのに必要な画像データＩＤを合成することにより、構造物Ａの平面に対応する合成画像データＣＩＤが作成できる。合成画像データＣＩＤは、パターンマッチングのうちのブロックマッチングを使用して作成できる。ブロックマッチングでは、一の画像データＩＤにおいて所定の大きさのブロックを設定し、そのブロックを他の画像データＩＤにおいて走査させて相関値を算出する。そして、相関値が最も高い箇所がそのブロックと重なる場所であるとして、隣接する画像データＩＤを連結合成する。平面ＰＬが推定されているので、精度よく画像データＩＤを連結合成し、合成画像データＣＩＤにできる。
　最後に、画像群ＩＧからＳｆＭにより、撮影位置、姿勢及び対象物の座標が推定される。さらにＭＶＳ（Multi-view Stereo）処理により高密度化され、三次元点群が作成される。画像群ＩＧには平面ＰＬに相当する部分は含まれていない。そこで、ＳｆＭで得られた点群情報であって、平面ＰＬに隣接する点群情報を用いて、合成画像データＣＩＤを配置することで、図１５に示されるように、対象物に対する三次元点群を作成できる。実施形態では、画像群ＩＧと合成画像データＣＩＤとをＳｆＭにより三次元点群が作成される。
　なおＳｆＭに際し、画像群ＩＧの画像データＩＤがオーバーラップする領域に含まれる特徴点を抽出し、画像データＩＤ間における特徴点の対応関係を特定する。
　画像データＩＤ間の拡大縮小（撮像距離の違い）、回転等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、及びAKAZE (Accelerated KAZE)特徴量が知られている。特徴量が一致する対応点の数（セット数）は、数１０組以上あることが好ましく、したがって画像群ＩＧにおける画像データＩＤ間のオーバーラップ率、及び／又はサイドラップ率は大きいことが好ましい。
　＜第２実施形態＞
　次に第２実施形態を説明する。第２実施形態においても、図６に示される、単位画像データ取得ステップ（ステップＳ１）、平面推定ステップ（ステップＳ２）、画像群データ取得ステップ（ステップＳ３）と、画像データ選択ステップ（ステップＳ４）と、を備える画像処理方法が画像処理装置１００により実行される。第１実施形態と異なる三次元点群の作成を説明する。
　（三次元点群の作成）
　図１６は、画像群データから任意に選択された、２つの単位画像データＵＩＤ－１と単位画像データＵＩＤ－２とを各カメラ座標系に示す。カメラ座標系は、撮像装置２００の座標系であり、レンズの中心が原点となる。
　単位画像データＵＩＤ－１と単位画像データＵＩＤ－２とは、撮像位置が異なるので、各カメラ座標系の原点は異なる。単位画像データＵＩＤ－１と単位画像データＵＩＤ－２では、それぞれの（ｘ、ｙ、ｚ）の座標の点は、（Ｒ、Ｇ、Ｂ）の値を持つ。単位画像データＵＩＤ－１と単位画像データＵＩＤ－２との各々から、矢印で示されるように特徴点を抽出する。単位画像データＵＩＤ－１の特徴点と単位画像データＵＩＤ－２の特徴点との間における関係性を求める。
　画像データＵＩＤ－１と画像データＵＩＤ－２と特徴点の間に関係性が認められると、図１７に示されるように、画像データＵＩＤ－２を画像データＵＩＤ－１のカメラ座標系の空間に射影できる。
　上述の処理を平面ＰＬの推定された画像群データに属する単位画像データＵＩＤに対して行うことにより、１つのカメラ座標系の空間のモデルとして点群を集めることができる。
　最終的にはＳｆＭで得られた点群情報であって、平面ＰＬに隣接する点群情報と、上記処理で集められた点群とを用いることによって、第１実施形態と同様に、図１５に示される対象物に対する三次元点群を作成できる。
　画像群データでは、単位画像データＵＩＤが削減されているので画像データＩＤを使用する処理の負担が小さい。画像群データでは、平面ＰＬが推定されているので、単位画像データＵＩＤ間での特徴点の関係性を容易に求めることができる。
　本実施形態では、９０％のオーバーラップ率で撮像した画像を処理する時間を「１」とした場合、平面推定を利用すると３０％のオーバーラップ率でパノラマ画像合成できます。同じ領域を撮影する際、横方向で、９０％のオーバーラップ率対３０％のオーバーラップ率で必要な画像枚数比は、約７：１となります。１０％ずつ撮像領域が増えると７０％ずつ撮影領域が増えるからです。縦×横を考えると、４９：１となります。もし、処理時間が枚数に対して線形に増えると仮定すると、本実施形態での処理時間は１／４９＝０．０２と、従来に比較して大きく削減できます。
　本発明に係る画像処理装置を実現するハードウェアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。画像表示装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　以上、本発明について説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよい。
　上記記載から、以下の付記項１に記載の画像処理装置を把握することができる。
　［付記項１］
　プロセッサを備えた画像処理装置であって、
　前記プロセッサは、
　画像データ取得装置と三次元データ取得装置とから、前記画像データ取得装置の画角毎に、対象物に対して、関連付けたられた複数の画像データと三次元データとを含む複数の単位画像データを取得し、
　前記複数の単位画像データに含まれる複数の前記三次元データに基づいて平面を推定し、
　推定された前記平面に属する複数の前記単位画像データに含まれる複数の前記画像データをグルーピングした画像群データを取得し、
　前記画像群データに含まれる複数の画像データのうち、前記平面を構成するために必要な画像データを選択する、
　画像処理装置。
１：画像処理システム
１００：画像処理装置
１１０：操作部
１２０：表示部
１３０：処理装置マイコン
１３２：単位画像データ取得部
１３４：平面推定部
１３６：画像群データ取得部
１３８：画像データ選択部
１４０：制御部
２００：撮像装置
２０２：画像データ取得装置
２０４：三次元データ取得装置
２５０：コントローラ
３００：移動体
３１０：プロペラ駆動モータ
３１２：モータドライバ
３１６：センサ部
３１８：機体側無線通信部
３３０：移動体マイコン
３３２：制御部
３３４：移動制御部
３３６：機体側無線通信制御部
３３８：カメラ制御部
Ａ、Ｂ、Ｃ：構造物
ＣＩＤ：合成画像データ
ＩＤ、ＩＤ－１、ＩＤ－２：画像データ
ＩＧ：画像群
ＰＣ：点群
ＰＬ：平面
ＰＱ：データ
ＵＩＤ、ＵＩＤ－１、ＵＩＤ－２：単位画像データ

Claims (8)

  1. 　画像データ取得装置と三次元データ取得装置とから、前記画像データ取得装置の画角毎に、対象物に対して、関連付けたられた複数の画像データと複数の三次元データとを含む複数の単位画像データを取得するステップと、
    　前記複数の単位画像データに含まれる複数の前記三次元データに基づいて平面を推定するステップと、
    　推定された前記平面に属する複数の前記単位画像データに含まれる複数の前記画像データをグルーピングした画像群データを取得するステップと、
    　前記画像群データに含まれる複数の画像データのうち、前記平面を構成するために必要な画像データを選択するステップと、
    　を含む画像処理方法。
  2. 　前記画像データと前記三次元データとは同時に取得される、請求項１に記載の画像処理方法。
  3. 　前記三次元データ取得装置は、ステレオカメラ、レーザースキャナー、及びタイムオブフライト式カメラのいずれかを含む、請求項１又は２に記載の画像処理方法。
  4. 　前記複数の画像データが二次元カラー画像データである、請求項１から３のいずれか一項に記載の画像処理方法。
  5. 　前記平面を推定するステップは、複数の前記三次元データをセグメンテーションしてから前記平面を推定することを含む請求項１から４のいずれか一項に記載の画像処理方法。
  6. 　前記画像データを選択するステップは、前記平面を構成するための画像データの重複率を基準に選択することを含む、請求項１から５のいずれか一項に記載の画像処理方法。
  7. 　画像データ取得装置と三次元データ取得装置とから、前記画像データ取得装置の画角毎に、対象物に対して、関連付けたられた複数の画像データと複数の三次元データとを含む複数の単位画像データを取得する単位画像データ取得部と、
    　前記複数の単位画像データに含まれる複数の前記三次元データに基づいて平面を推定する平面推定部と、
    　推定された前記平面に属する複数の前記単位画像データに含まれる複数の前記画像データをグルーピングした画像群データを取得する画像群データ取得部と、
    　前記画像群データに含まれる複数の画像データのうち、前記平面を構成するために必要な画像データを選択する画像データ選択部と、
    　を含む画像処理装置。
  8. 　請求項１から６のいずれか一項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
PCT/JP2020/041656 2019-12-09 2020-11-09 画像処理方法、画像処理装置、及び画像処理プログラム WO2021117390A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080083365.9A CN114761995A (zh) 2019-12-09 2020-11-09 图像处理方法、图像处理装置以及图像处理程序
JP2021563793A JP7254209B2 (ja) 2019-12-09 2020-11-09 画像処理方法、画像処理装置、及び画像処理プログラム
EP20897849.4A EP4075093A4 (en) 2019-12-09 2020-11-09 IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM
US17/663,805 US20220276387A1 (en) 2019-12-09 2022-05-17 Image processing method, image processing apparatus, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-221838 2019-12-09
JP2019221838 2019-12-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/663,805 Continuation US20220276387A1 (en) 2019-12-09 2022-05-17 Image processing method, image processing apparatus, and image processing program

Publications (1)

Publication Number Publication Date
WO2021117390A1 true WO2021117390A1 (ja) 2021-06-17

Family

ID=76329753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041656 WO2021117390A1 (ja) 2019-12-09 2020-11-09 画像処理方法、画像処理装置、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20220276387A1 (ja)
EP (1) EP4075093A4 (ja)
JP (1) JP7254209B2 (ja)
CN (1) CN114761995A (ja)
WO (1) WO2021117390A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113758438B (zh) * 2021-07-08 2023-07-25 重庆市勘测院 特殊建筑物倾斜航空摄影及三维重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256252A (ja) * 2009-04-27 2010-11-11 Topcon Corp 三次元計測用画像撮影装置及びその方法
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
JP2015114954A (ja) 2013-12-13 2015-06-22 株式会社ジオ技術研究所 撮影画像解析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256252A (ja) * 2009-04-27 2010-11-11 Topcon Corp 三次元計測用画像撮影装置及びその方法
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
JP2015114954A (ja) 2013-12-13 2015-06-22 株式会社ジオ技術研究所 撮影画像解析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4075093A4

Also Published As

Publication number Publication date
JPWO2021117390A1 (ja) 2021-06-17
EP4075093A4 (en) 2023-05-31
CN114761995A (zh) 2022-07-15
US20220276387A1 (en) 2022-09-01
JP7254209B2 (ja) 2023-04-07
EP4075093A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
US11100671B2 (en) Image generation apparatus, image generation system, image generation method, and image generation program
CN103033169B (zh) 图像获取设备和图像获取系统
CN108474658B (zh) 地面形态检测方法及系统、无人机降落方法和无人机
WO2016070318A1 (en) Camera calibration
US9071819B2 (en) System and method for providing temporal-spatial registration of images
CN106233219A (zh) 移动平台操作系统及方法
CN108140066B (zh) 图面制作装置及图面制作方法
JP2019008676A (ja) 制御装置、飛行体、および制御プログラム
WO2019230604A1 (ja) 検査システム
Park et al. Automated collaboration framework of UAV and UGV for 3D visualization of construction sites
JP2023100642A (ja) 検査システム
WO2021117390A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2009175012A (ja) 計測装置および計測方法
US20220279155A1 (en) Mobile object, control device, and imaging method
KR20230082497A (ko) 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치
JP6296444B2 (ja) 点群画像による図化方法、及び点群画像による図化装置
JP2020016663A (ja) 検査システム
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法
JP7437930B2 (ja) 移動体及び撮像システム
JP2024072827A (ja) 制御装置、撮像システム及び撮像方法
WO2021117558A1 (ja) 画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システム
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
JP7317684B2 (ja) 移動体、情報処理装置、及び撮像システム
WO2023089984A1 (ja) 移動体、移動体撮影システム及び移動体撮影方法
WO2023089983A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20897849

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563793

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020897849

Country of ref document: EP

Effective date: 20220711