WO2019003796A1 - 画像合成方法、画像合成装置、及び記録媒体 - Google Patents

画像合成方法、画像合成装置、及び記録媒体 Download PDF

Info

Publication number
WO2019003796A1
WO2019003796A1 PCT/JP2018/021001 JP2018021001W WO2019003796A1 WO 2019003796 A1 WO2019003796 A1 WO 2019003796A1 JP 2018021001 W JP2018021001 W JP 2018021001W WO 2019003796 A1 WO2019003796 A1 WO 2019003796A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
arrangement
combining
corresponding points
Prior art date
Application number
PCT/JP2018/021001
Other languages
English (en)
French (fr)
Inventor
與那覇　誠
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP18825419.7A priority Critical patent/EP3648050B1/en
Priority to CN201880043072.0A priority patent/CN110809779B/zh
Priority to JP2019526734A priority patent/JP6823719B2/ja
Publication of WO2019003796A1 publication Critical patent/WO2019003796A1/ja
Priority to US16/710,567 priority patent/US11423511B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • photographing an image of a subject When photographing an image of a subject, it may be divided into a plurality of images and not captured in one image depending on conditions such as the type and size of the subject. In this case, the plurality of captured images are subjected to image processing Combined into a single image.
  • the composition of the image is performed by detecting corresponding points by block matching as described in, for example, Patent Document 1 below. Further, with regard to image combination by matching, Patent Document 2 below describes that a plurality of images to be combined are roughly overlapped in advance by hand (the initial arrangement is determined by hand).
  • Patent Documents 1 and 2 do not consider the handling at the time of synthesis failure. Further, in the case where the designation of the corresponding points is all performed manually as in the overlaying operation of Patent Document 2, it becomes a complicated operation requiring more time as the number of images increases.
  • the present invention has been made in view of the above circumstances, and an image combining method, an image combining apparatus, and recording which can quickly and easily perform designation of corresponding points and synthesis of images based on the designated corresponding points. It aims to provide a medium.
  • an image combining method is based on the step of inputting a plurality of images acquired by dividing and photographing an object, and based on corresponding points of the plurality of images. And combining the plurality of images into a group of images that can be combined if all of the plurality of images can not be combined into one image; The step of determining the image arrangement based on the corresponding points between the images, the step of displaying a plurality of images for each image group by the determined image arrangement, and one of the displayed image groups And the step of designating corresponding points with respect to the other image group of the image group, and the step of combining one image group and the other image group based on the designated corresponding points.
  • the plurality of images are divided into image groups that can be combined, so that corresponding points are specified for all the images. It is not necessary to do this, and corresponding points may be designated for one image group and another image group (that is, between image groups which can not be automatically synthesized).
  • corresponding points since a plurality of images can be displayed on the display device for each image group that can be combined, it is possible to know which image group should be specified as the corresponding point.
  • designation of corresponding points and composition of images based on the designated corresponding points can be performed quickly and easily. Such designation of corresponding points can be performed based on the user's operation.
  • the synthesizable images may be displayed distinguishably for each image group. For example, it can be displayed by changing the color for each image group, enclosing it with a frame, spacing it from other image groups, or the like.
  • the images constituting the image group may or may not be combined.
  • a plurality of images to be combined may be acquired and input by the imaging device, or the acquired and recorded images may be input via the network or via the medium.
  • a reference image to be a reference of projective transformation among a plurality of images is set, and a plurality of images other than the reference image is set.
  • the projective transformation matrix with respect to the reference image of the image is calculated based on the corresponding points between the images, and the image arrangement is determined based on the calculated projective transformation matrix.
  • an image other than the reference image is moved, rotated or the like by the projective transformation matrix with respect to the reference image to determine the image arrangement.
  • the reference image is based on the position with respect to the subject (for example, an image of a corner portion), the shooting order (for example, the first captured image), the feature of the image (exposure condition, sharpness, a specific member is shown), etc. Can be set.
  • standard image faces the imaging
  • the step of determining the image arrangement determines an image arrangement in which the images do not overlap.
  • the third aspect defines one aspect of the image arrangement.
  • the images can be arranged apart from one another without changing the orientation of each image to the orientation determined by the projective transformation matrix.
  • the image combining method in the first or second aspect, in the step of determining the image arrangement, an image arrangement in which overlapping regions overlap with each other is determined.
  • the fourth aspect defines another aspect of the image arrangement, and it is possible to easily grasp the state of combining the images without combining the images.
  • the image combining method has the step of combining an image for each image group in any one of the first to fourth aspects, and in the step of displaying a plurality of images, for each image group A plurality of images are displayed by the synthesized image.
  • one of the plurality of overlapping images is selected in the overlapping region of the plurality of images. Synthesize an image. According to the sixth aspect, it is possible to suppress blurring due to image shift in a region where a plurality of images overlap and obtain a clear image.
  • the image combining method includes, in any one of the first to sixth aspects, changing the relative arrangement of the image groups based on a user's instruction input, and displaying a plurality of images.
  • the relative position is changed and displayed based on the user's instruction input as in the seventh aspect, so that designation of corresponding points and composition of images based on the specified corresponding points can be performed quickly and easily. be able to.
  • the image combining method in any one of the first to seventh aspects, in the step of inputting the plurality of images, the plurality of images acquired by dividing and photographing the building as the subject are input Do.
  • a building building
  • the shooting range is often wide, and a plurality of images obtained by divided shooting are combined and used (analyzed, etc.).
  • Such an image combining method is effective. Examples of such structures include bridges, buildings, roads, etc., but are not limited to these examples.
  • the structure may be a concrete structure.
  • an image combining device including: an image input unit configured to input a plurality of images acquired by dividing and photographing an object; and a plurality of images based on corresponding points of the images.
  • An image combining apparatus including an image combining unit for combining, when a plurality of images can not be combined into one image, the plurality of images are divided into image groups which can be combined, and the corresponding points of the images are divided into image groups.
  • An image arrangement determination unit which determines an image arrangement based on the display control unit which causes the display device to display a plurality of images for each image group by the determined image arrangement, and one image group of the displayed image groups And a corresponding point designation unit that specifies corresponding points for another image group in the image group, and the image combining unit combines the one image group and the other image group based on the designated corresponding points.
  • designation of corresponding points and composition of images based on the designated corresponding points can be performed quickly and easily.
  • the image arrangement determining unit sets a reference image to be a reference of projective transformation among the plurality of images, and the image other than the reference image among the plurality of images A projective transformation matrix for the reference image is calculated based on the corresponding points of the images, and the image arrangement is determined based on the calculated projective transformation matrix.
  • an image other than the reference image is moved, rotated, etc. by the projective transformation matrix with respect to the reference image, and the image arrangement is determined.
  • the image synthesizing portion synthesizes an image for each image group, and the display control portion displays a plurality of images by the image synthesized for each image group.
  • the image placement determining unit changes the relative placement of the image groups based on a user's instruction input, and the display control unit Display multiple images in the changed relative position.
  • designation of corresponding points and synthesis of an image based on the designated corresponding points can be performed quickly and easily.
  • a recording medium recording a computer readable code of a program that causes a computer to execute the image combining method according to any one of the first to eighth aspects.
  • Recording medium as in the first aspect, designation of corresponding points, and composition of an image based on the designated corresponding points can be performed quickly and easily.
  • the recording medium according to the thirteenth aspect can be a non-temporary recording medium such as various magneto-optical recording media, semiconductor recording media and the like.
  • FIG. 1 is an external view of the bridge viewed from the lower surface side.
  • FIG. 2 is a block diagram showing the configuration of the image processing system.
  • FIG. 3 is a diagram showing a functional configuration of the processing unit.
  • FIG. 4 is a diagram showing information stored in the storage unit.
  • FIG. 5 is a diagram showing a flowchart of image processing according to the first embodiment.
  • FIG. 6 is a diagram showing an example of a photographing procedure of a floor slab.
  • FIG. 7 is a diagram showing an example of the photographing procedure of the case.
  • FIG. 8 is a diagram showing the imaging range of each image.
  • FIG. 9 is a view showing each photographed image.
  • FIG. 10 is a diagram showing how a photographed image or the like is divided into folders for each member and stored.
  • FIG. 10 is a diagram showing how a photographed image or the like is divided into folders for each member and stored.
  • FIG. 11 is another view showing how a photographed image or the like is divided into folders for each member and stored.
  • FIG. 12 is a flowchart showing the process of determining the image arrangement.
  • FIG. 13 is a diagram showing how a reference image is set.
  • FIG. 14 is a diagram showing an example of the image arrangement for each image group.
  • FIG. 15 is another view showing an example of the image arrangement for each image group.
  • FIG. 16 is another view showing how the relative arrangement of each image group is changed.
  • FIG. 17 is a view showing how to set corresponding points in an image group.
  • FIG. 18 is a view showing a synthesized image.
  • FIG. 19 is a diagram showing composition of images in an area where the images overlap.
  • FIG. 20 is a diagram showing an example of an image synthesized in consideration of duplication.
  • FIG. 21 is a diagram showing the state of the face-to-face correction after combination.
  • FIG. 22 is a diagram showing an example of a damage mapping image.
  • FIG. 1 is a perspective view showing a state of a bridge 1 which is one of the structures as viewed from below.
  • the bridge 1 shown in FIG. 1 has a three-dimensional structure according to the main girder 2, the transverse girder 3, the anti-tilting structure 4, the transverse structure 5 and the floor plate 6, and these members are bolts, rivets and welds And so on.
  • a floor plate 6 for driving a vehicle or the like is placed above the main girder 2 and the like.
  • the floor slab 6 is generally made of reinforced concrete.
  • the main girder 2 is a member which is passed between an abutment or a bridge to support a load of a vehicle or the like on the floor plate 6 and has a plane (vertical direction) orthogonal to the plane (horizontal plane) of the floor plate 6.
  • the lateral girder 3 is a member that connects the main girder 2 in order to support the load with the plurality of main girder 2.
  • the anti-tilt structure 4 and the siding structure 5 are members which mutually connect the main girder 2 in order to resist the wind and the lateral load of an earthquake, respectively.
  • the target building is not limited to the bridge, and may be a tunnel, a building, a road, or the like.
  • FIG. 2 is a block diagram showing a schematic configuration of the image processing system 10.
  • the image processing system 10 includes a digital camera 100 (imaging device) and a system main body 200 (image combining device).
  • the image processing system 10 is a system which performs composition etc. of a plurality of images acquired by dividing and photographing a subject (details will be described later), and can be applied to digital cameras, smartphones, tablet terminals, personal computers and the like.
  • the digital camera 100 may be incorporated in a separate housing from the system main body 200 or may be integrated. Further, the digital camera 100 may be incorporated as a part of the system main body 200, and the digital camera 100 and the system main body 200 may constitute an image synthesizing apparatus according to the present invention.
  • the digital camera 100 acquires an image by an imaging optical system 110 including an imaging lens and an imaging element (not shown).
  • the imaging device include a CCD (Charge Coupled Device) type imaging device and a CMOS (Complementary Metal-Oxide Semiconductor) type imaging device.
  • a color filter of red (R), green (G) or blue (B) is provided on the light receiving surface of the imaging element, and a color image of the subject can be obtained based on the signal of each color.
  • the digital camera 100 performs wireless communication with the system main body 200 via the wireless communication unit 130 and the antenna 132, and the photographed image is input to the processing unit 210, and processing to be described later is performed.
  • the system body 200 includes a processing unit 210, a storage unit 220, a display unit 230, and an operation unit 240, which are connected to each other to transmit and receive necessary information. Further, the system body 200 performs wireless communication with the digital camera 100 via the antenna 212, and acquires a photographed image photographed by the digital camera 100.
  • FIG. 3 is a diagram showing the configuration of the processing unit 210.
  • the processing unit 210 includes an image input unit 210A, an image combining unit 210B, an image arrangement determination unit 210C, a corresponding point designation unit 210D, a damage measurement unit 210E, a damage mapping unit 210F, a display control unit 210G, and a wireless communication unit 210H.
  • the image combining based on the captured image acquired by the digital camera 100 is performed.
  • the image input unit 210A inputs captured images of the bridge 1 (a plurality of images obtained by dividing and capturing the bridge 1) from the digital camera 100 (or a recording medium, a network or the like).
  • the image combining unit 210B detects corresponding points of the images, and combines the photographed images based on the corresponding points of the images.
  • the image arrangement determination unit 210C divides the plurality of images into an image group that can be combined, and the images are grouped based on the corresponding points of the images. Determine the placement.
  • the corresponding point specification unit 210D specifies corresponding points for one image group among the displayed image groups and another image group among the image groups based on the user's instruction input.
  • the damage measurement unit 210E extracts and measures damage (cracks, peeling, corrosion, and the like) in the composite image.
  • the damage mapping unit 210F maps information indicating damage to the composite image.
  • the display control unit 210G controls display of a captured image, a composite image, and the like on the display unit 230 (monitor 232; display device).
  • the wireless communication unit 210 H transmits and receives images and information to and from the digital camera 100 via the antenna 212.
  • the ROM 210I (ROM: Read Only Memory, non-transitory recording medium) is a computer readable program of various programs for operating the image processing system 10, such as an image combining program for executing the image combining method according to the present invention. The code is recorded.
  • the functions of the units of the processing unit 210 described above can be realized using various processors.
  • the various processors include, for example, a central processing unit (CPU) that is a general-purpose processor that executes software (programs) to realize various functions.
  • the various processors described above also include a programmable logic device (PLD) which is a processor whose circuit configuration can be changed after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • PLD programmable logic device
  • FPGA Field Programmable Gate Array
  • dedicated electric circuits and the like which are processors having a circuit configuration specially designed to execute specific processing such as application specific integrated circuits (ASICs) are also included in the various processors described above.
  • ASICs application specific integrated circuits
  • each unit may be realized by one processor or may be realized by combining a plurality of processors.
  • multiple functions may be realized by one processor.
  • a plurality of functions are configured by one processor
  • one processor or more is configured by a combination of one or more CPUs and software, as represented by computers such as clients and servers; Is realized as a plurality of functions.
  • SoC system on chip
  • IC integrated circuit
  • various functions are configured using one or more of the various processors described above as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electrical circuit (circuitry) combining circuit elements such as semiconductor elements.
  • ROM 210I figure Stored in a non-transitory recording medium such as 3
  • the processor refers to the software.
  • the code may be recorded not in the ROM 210I but in a non-temporary recording medium such as various magneto-optical recording devices and semiconductor memories.
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the storage unit 220 includes non-transitory recording media such as CDs (Compact Disks), DVDs (Digital Versatile Disks), hard disks (Hard Disks), various semiconductor memories, and their control units, and the image and information shown in FIG. It is stored in association with it.
  • the photographed image 220A is a plurality of images obtained by dividing and photographing the bridge 1 (part of the floor slab 6) which is a subject with the digital camera 100 and inputting it by the image input unit 210A. Note that not the image input by the digital camera 100 and the image input unit 210A but an image acquired via a network or a recording medium may be stored.
  • the composite information 220B is information for combining a captured image, such as corresponding points and a projective transformation matrix.
  • the composite image 220C is an image (including a partially composited image group) obtained by combining the captured image.
  • Damage information 220D is information of damage extracted from the composite image.
  • the damage mapping image 220E is an image in which information indicating damage is mapped to a composite image.
  • the display unit 230 includes a monitor 232 (display device), and can display an input image, an image and information stored in the storage unit 220, a result of processing by the processing unit 210, and the like.
  • the operation unit 240 includes a keyboard 242 and a mouse 244 as an input device and / or a pointing device, and the user performs operations necessary for executing the image synthesizing method according to the present invention through the screen of the device and the monitor 232. Can be done (described later).
  • This operation includes creation of folders and sub-folders described later, operations such as image folder division (see FIGS. 10 and 11), designation of corresponding points, movement of displayed image group, and input of damage information.
  • FIG. 5 is a flowchart showing the procedure of image processing (including each processing of the image combining method according to the present invention).
  • a plurality of photographed images in which different parts of the bridge 1 (building) are divided and photographed by the digital camera 100 are acquired (step S100; image acquiring step).
  • the system body 200 receives the plurality of photographed images via the digital camera 100 (the imaging optical system 110, the wireless communication unit 130, the antenna 132, and the antenna 212) and the processing unit 210 (the wireless communication unit 210H and the image input unit 210A). get.
  • FIG. 6 is a view showing an example of the photographing procedure of the floor plate 6.
  • imaging is performed in units of area A including the space GO defined by the main girder 2 (member extending in the x direction) and the transverse girder 3 (member extending in the y direction). It shows that shooting is repeated while sequentially moving in the direction (in the direction of the arrow). If an image of the entire imaging range can be acquired, imaging may be performed in another procedure.
  • FIG. 6 is a view showing an example of the photographing procedure of the floor plate 6.
  • the extending direction of the bridge 1 (floor slab 6) is x
  • the direction orthogonal to x within the floor slab 6 is y
  • the direction (vertical downward direction) orthogonal to the floor slab 6 is z ( Coordinates of the right-handed system are constituted by x, y, z).
  • FIG. 7 is a diagram showing an example of an imaging procedure in one case GO.
  • shooting is performed starting from the area A1 of the + x side end of the gap GO to the area Ai of the ⁇ x direction end, returning to the + x side end again and starting from the area Aj
  • a total of n (n is an integer of 2 or more) images are taken up to the area An at the end of the -x direction.
  • Photography may be performed in a pattern different from this (for example, in the order of the areas A1 to Ai to An to Aj).
  • the shooting position may be moved every time one image is shot, and images facing constantly may be shot, or a plurality of images may be shot while changing the shooting direction at one shooting position ( In this case, an image captured from an oblique direction is included). Also, in photographing, by setting the photographing position and the photographing direction appropriately, adjacent images can cause sufficient (for example, about 30%) duplication, and detection and setting of corresponding points can be easily and accurately performed. preferable.
  • FIG. 8 shows an example of a photographed image, and shows a state in which ten images from images i1 to i10 are photographed while securing duplication.
  • FIG. 9 is a diagram individually showing the images i1 to i10.
  • the frame F of the case GO a rectangle defined by the main girder 2 and the cross girder 3
  • the damage to the other members and the floor plate is not illustrated (the illustration is omitted)
  • FIG. 10 is a view showing how an image is stored.
  • a main folder can be created for the entire imaging range, and subfolders can be created in the main folder.
  • Subfolders can be created, for example, for each member number or for each space GO defined by the main digit 2 and the transverse digit 3.
  • FIG. 10 shows that the sub folders SF1 to SF5 are created in the main folder MF, the number of main folders and sub folders is not particularly limited.
  • subfolders for example, a plurality of subfolders corresponding to different creation dates and times may be created in the subfolders.
  • the main folder and the sub-folders can be created on the digital camera 100 side, and the photographed image stored in these folders can be input to the system main body 200 side together with the folder (step S102 in FIG. 5).
  • the images sequentially input (step S102) from the digital camera 100 to the system body 200 may be divided into folders according to the operation of the operation unit 240 (keyboard 242, mouse 244).
  • the image may be input under the control of the processing unit 210 (image input unit 210A).
  • the main folder and the sub-folders may be created in the system body 200 (storage unit 220) and the image may be stored.
  • Such creation of folders and subfolders, and foldering of images are performed by the user using a file management tool (which may be the same as that provided by a general personal computer) provided in the system main unit 200 (the operation unit 240). Can be realized more easily.
  • FIG. 11 is a diagram showing images and information stored in the sub-folder SF1.
  • the subfolder SF1 includes, in addition to captured images (for example, the images i1 to i10 described above), an image group (for example, image groups G1 and G2 described later) corresponding to these captured images and a composite image (for example an image G3 described later Processing results such as G3a), damage information (see FIG. 23), and a damage mapping image (see FIG. 22) are stored. That is, the photographed image and the processing result corresponding to the photographed image are stored in the same folder.
  • a file enclosed by a dotted line indicates a photographed image
  • a file enclosed by an alternate long and short dash line indicates a processing result.
  • the processing unit 210 calculates combining information (combination information 220B) (step S104).
  • combining information it is possible to calculate, for example, a corresponding point of photographed images, a projective transformation matrix calculated based on the corresponding point, and the like.
  • the processing unit 210 determines whether all captured images can be combined into one based on the combining information calculated in step S104 (step S106). Whether or not it can be synthesized is the number of corresponding points, whether or not the reliability of the corresponding points is sufficient (whether or not the corresponding points are characteristic points), whether the projection transformation matrix can be calculated by the corresponding points, etc. It can be judged based on At this time, the combination of corresponding points may be changed by a RANSAC (RANdom SAmple Consensus) algorithm or the like to repeat the calculation of the projective transformation matrix and its evaluation value.
  • RANSAC Random SAmple Consensus
  • steps S108 to S118 are omitted, and the process proceeds to step S120 to extract damage on the combined image. If it is not possible to combine all the images into one image, the processes of steps S108 to S118 are performed (see the description below).
  • step S106 If it is determined in step S106 that "all captured images can not be combined into one image", the image combining unit 210B divides the captured images into image groups that can be combined (step S108), and the image arrangement determination unit 210C The image arrangement is determined based on the corresponding points of the images for each group (step S110).
  • FIG. 12 is a flowchart showing details of the process of determining the image arrangement in step S110 of FIG.
  • the image arrangement determination unit 210C sets a reference image as a reference for projective transformation out of the plurality of photographed images (step S110A).
  • the reference image can be set (selected) according to the characteristics of the image such as the degree of confrontation and the definition, but an image in a specific imaging order (for example, an image captured first) may be used as the reference image.
  • the image i1 can be set as the reference image for the images i1 and i2.
  • the image arrangement determination unit 210C calculates a projective transformation matrix with respect to the reference image of an image other than the reference image based on the corresponding points of the images (step S110B).
  • the image i2 image other than the reference image
  • the projective transformation matrix for the image i1 (reference image) of the image i2 is calculated
  • the projective transformation matrix for the image i2 of the image i3 is calculated using the image i2 as a reference image, as shown in part (b) of FIG.
  • the projection transformation matrix is calculated for all the images of the image group (until YES in step S110C).
  • the image arrangement determination unit 210C performs movement, rotation, enlargement or reduction, deformation, etc. on each image based on the calculated projective transformation matrix, and arranges each image of the image group.
  • step S110D The following description will be made on the assumption that the images i1 to i4 and the images i6 to i9 constitute an image group G1 which can be synthesized, and the images i5 and i10 constitute an image group G2 which can be synthesized.
  • each image is moved, rotated, or deformed by the projective transformation matrix, but the illustrated example conceptually shows the arrangement of the image, etc., and the image is moved, rotated, or deformed. It does not accurately represent etc.
  • the image arrangement determined in step S110D may be an image arrangement in which overlapping regions overlap with each other (see FIG. 14) or an image arrangement in which the images do not overlap (see FIG. 15).
  • the images are arranged separately in the x and y directions, and the orientation of the image is not changed to the orientation determined by the projective transformation matrix (the image is not rotated). It can be arranged.
  • the processing unit 210 displays a group of images that can be combined on the monitor 232 (display device) for each image group.
  • the image groups G1 and G2 are displayed by the image arrangement as shown in FIG. 14 or FIG.
  • the processing unit 210 (the image arrangement determination unit 210C, the display control unit 210G) encloses each of the image groups G1 and G2 with a frame, displays in different colors for each image group, displays the image group number, etc. Processing may be performed to easily identify the image group. Further, the image groups G1 and G2 may be combined for each image group, and images combined for each image group may be displayed.
  • the arrangement between the image groups may be inappropriate.
  • an image group G2 to be arranged in the lower part (-x direction) of the image group G1 may be arranged in the lateral direction of the image group G1.
  • the processing unit 210 determines whether or not the arrangement of the image group is to be changed (step S114). When changing it (YES in step S114), the process returns to step S112 and the display control unit 210G The image groups G1 and G2 are displayed again in the changed arrangement.
  • the determination in step S114 can be performed based on a user's instruction input (for example, movement of the image group G2 via the keyboard 242 and / or the mouse 244, that is, change operation of relative position).
  • a user's instruction input for example, movement of the image group G2 via the keyboard 242 and / or the mouse 244, that is, change operation of relative position.
  • the image arrangement determination unit 210C and the display control unit 210G move the image group G2 to the lower part of the image group G1 based on the user's operation (for example, dragging with the mouse 244).
  • the direction can be shown and displayed as shown in FIG.
  • the processing unit 210 designates corresponding points for one image group and another image group among the displayed image groups.
  • Step S116 For example, when the image groups G1 and G2 are arranged and displayed as shown in FIG. 14, as shown in FIG. 17, the point P1a is specified according to the click (user operation) of the mouse 244 in the image group G1. A point P1b which is a corresponding point of the point P1a in the group G2 is designated. At this time, as shown in FIG.
  • the corresponding point designation unit 210D and the display control unit 210G associate and indicate the designated points P1a and P1b by connecting straight lines or the like, so that the designated points correspond. It can be easily grasped.
  • corresponding points are designated for the points P2a and P2b, the points P3a and P3b, the points P4a and P4b, the points P5a and P5b, and the points P6a and P6b.
  • FIG. 17 shows an example in which six corresponding points are designated for each of the image groups G1 and G2, the number of corresponding points to be designated is not particularly limited. Also in the case where the image groups G1 and G2 are arranged and displayed as shown in FIG. 15, the corresponding points can be similarly designated by the images i4 and i5 and the images i9 and i10.
  • the processing unit 210 displays a warning message on monitor 232 And prompt the user to specify the corresponding point again.
  • the processing unit 210 (image combining unit 210B, image arrangement determining unit 210C) combines the image group based on the designated corresponding points (step S118).
  • the image combining unit 210B and the image arrangement determination unit 210C select a projective transformation matrix (or an image group G2) of the image group G2 based on the image group G1 based on the corresponding points P1a to P6b.
  • the projective transformation matrix of the image group G1 as a reference is calculated.
  • the image (image i5, i10) constituting the image group G2 is moved, rotated, deformed or the like according to the calculated projective transformation matrix to determine the arrangement of the images, and the images are synthesized in the determined arrangement. If the projective transformation matrix can not be calculated at the specified corresponding points, a warning message is displayed if the calculation accuracy is poor, etc., and the projective transformation matrix is recalculated by designating the corresponding points again based on the user's operation. Good.
  • FIG. 18 shows the image G3 after synthesis (the outline is shown by a solid line) and the frame F described above.
  • the dotted lines in the figure are lines indicating the respective images before composition.
  • the groups of images that can be combined are displayed for each of the groups of images. It can be easily grasped.
  • the processing unit 210 (image combining section 210B) generates the images i1 and i2. Select one of them. For example, as shown in part (b) of FIG. 19, the image i1 is selected for the area OL and synthesized (the gray shaded portion indicates the area where the image i2 is selected).
  • the selection of such an image may be performed by the processing unit 210 (image combining unit 210B) based on features such as the brightness of the image, the sharpness of the subject, or the like, or according to the user's operation via the operation unit 240. May be selected.
  • FIG. 20 An image G3a obtained by combining all the images (images i1 to i10) in the same manner as in FIG. 19 is shown in FIG. 20 (dotted lines in the figure indicate boundaries of the respective images before combining).
  • the illustration of the frame F is omitted to clearly show the area of each image.
  • the image processing system 10 calculates the projective transformation matrix of another image with respect to the reference image as described above to determine the image arrangement, if the reference image does not face the imaging direction, it is essential to The area that should be rectangular may not be rectangular.
  • the frame F of the case may be trapezoidal in the image after combination.
  • the processing unit 210 (the image combining unit 210B, the image arrangement determination unit 210C) forms a rectangle based on the user's operation via the keyboard 242 and / or the mouse 244 (for example, points at four corners of the frame F) C1, C2, C3, and C4) are specified, and as shown in the part (b) of FIG. 21, a rectangle is formed at these four points by projective transformation.
  • the processing unit 210 the image combining unit 210B, the image arrangement determination unit 210C
  • the processing unit 210 forms a rectangle based on the user's operation via the keyboard 242 and / or the mouse 244 (for example, points at four corners of the frame F) C1, C2, C3,
  • the processing unit 210 (the damage measurement unit 210E) performs damage extraction and measurement on the composite image (step S120).
  • Classification of damage may include peeling, water leakage, cracking, rust, etc., but the type of damage to be extracted specifically is set according to the type of building (subject), characteristics, purpose of inspection, etc. You may In addition, items to be measured include position, size, direction, range, shape, etc. For measurement items also according to the classification of damage, and also according to conditions such as type of building, characteristics, purpose of inspection, etc. May be set.
  • This method is a crack detection method including the steps of creating a wavelet image and determining a crack area based on the wavelet image.
  • wavelet coefficients corresponding to two contrasts to be compared are calculated, and wavelet coefficients when the two concentrations are changed are calculated to create a wavelet coefficient table, Wavelet transform is performed on an input image obtained by photographing a concrete surface to be cracked.
  • the wavelet coefficient of the pixel of interest is compared with the threshold value using the wavelet coefficient corresponding to the average density of the neighboring pixels in the local region and the density of the pixel of interest as a threshold in the wavelet coefficient table. Determine the cracked area and the non-cracked area.
  • the processing method of the coating film inspection system of the steel bridge described in, for example, JP-A-2010-538258 can be used.
  • rust and peeling are detected using color information from an image file of a photographed steel bridge coating film, image processing, water shed, and a parzen window.
  • the processing unit 210 maps the measurement result of damage on the composite image (step S122).
  • the mapping can be performed, for example, by displaying characters, figures, symbols, and the like associated with the measurement result on the composite image.
  • the displayed characters, figures, symbols and the like can be selected by an operation through the operation unit 240 (keyboard 242 and / or mouse 244), and the processing unit 210 (display control unit 210G) measures the monitor 232 according to the selection. Display the result.
  • the characters, figures, symbols, etc. may be simplified or emphasized actual damage, or may be displayed in different modes according to the type, size, etc. of the damage.
  • FIG. 22 is a view showing an image G4 obtained by mapping the measurement result to the image G3a, and is a circular figure M1 showing the position and size of corrosion, and a linear figure M2 showing the number, position and length of cracks. M4 is displayed.
  • the image to which the measurement result is mapped as shown in FIG. 22 is stored in the storage unit 220 (damage mapping image 220E in FIG. 4) and displayed on the monitor 232 under the control of the display control unit 210G.
  • Such mapping of measurement results may be performed on drawing data (for example, CAD data, CAD: Computer-Aided Design) including diagram information indicating the size information of the bridge 1.
  • drawing data for example, CAD data, CAD: Computer-Aided Design
  • diagram information indicating the size information of the bridge 1.
  • the image processing system 10 can input damage information on the mapped measurement result.
  • the input of the damage information is performed by the processing unit 210 (the damage measurement unit 210E, the damage mapping unit 210F) based on an instruction of the user via the display unit 230 and the operation unit 240 (the keyboard 242 and / or the mouse 244).
  • FIG. 22 illustrates a state in which information on damage (name of member, type of damage, thickness and length, image number) is input to the lead lines for the figures M1 and M4.
  • the input damage information is stored in the storage unit 220, for example, in a format as shown in FIG. 23 (damage information 220D in FIG.
  • the content and format of the information input as damage information follow the “bridge periodic inspection procedure (June 2014)” prepared by the Ministry of Land, Infrastructure, Transport and Tourism.
  • designation of corresponding points and synthesis of images based on the designated corresponding points can be performed quickly and easily, and based on a synthesized image. Damage extraction and measurement can be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる画像合成方法、画像合成装置、及び記録媒体を提供することを目的とする。本発明の一の態様に係る画像合成方法では、複数の画像の全てを１つの画像に合成できない場合に、複数の画像を合成が可能な画像群に分けるので、全ての画像に対して対応点を指定する必要がなく、一の画像群と他の画像群とについて（すなわち、自動合成が可能でない画像群どうしで）対応点を指定すればよい。また、複数の画像が合成可能な画像群ごとに表示装置に表示されるので、いずれの画像群について対応点を指定すればよいか把握することができる。このように、上述した態様の画像合成方法によれば、対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる。

Description

画像合成方法、画像合成装置、及び記録媒体
　本発明は画像合成方法、画像合成装置、及び記録媒体に関し、特に被写体を分割撮影して取得した複数の画像を合成する技術に関する。
　被写体の画像を撮影する場合、被写体の種類、大きさ等の条件によっては１つの画像に収まらず複数の画像に分割して撮影される場合があり、この場合撮影された複数の画像は画像処理で一枚の画像に合成される。画像の合成は、例えば下記特許文献１に記載されているように、ブロックマッチングで対応点を検出することにより行われる。また、マッチングによる画像の合成に関し、下記特許文献２には、合成すべき複数の画像をあらかじめ人手で大まかに重ね合わせておく（人手で初期配置を決める）ことが記載されている。
特開２０１７－８５２９７号公報 特開平１０－１０８００３号公報
　画像を合成する場合、画像のオーバーラップが少ない、画像がボケている等の理由により画像の合成（画像処理装置等による自動的な合成）に失敗する可能性があるが、この場合ユーザが対応点を指定することで合成を行える場合がある。しかしながら、特許文献１，２では合成失敗時の対応については考慮されていない。また、対応点の指定を特許文献２の重ね合わせ作業のように全て人手で行う場合、画像の数が多くなるほど時間を要する複雑な作業になる。
　このように、従来の技術は対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行えるものではなかった。
　本発明はこのような事情に鑑みてなされたもので、対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる画像合成方法、画像合成装置、及び記録媒体を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る画像合成方法は、被写体を分割撮影して取得した複数の画像を入力するステップと、複数の画像を画像どうしの対応点に基づいて合成するステップと、を有する画像合成方法であって、複数の画像の全てを１つの画像に合成できない場合に、複数の画像を合成が可能な画像群に分けるステップと、画像群ごとに、画像どうしの対応点に基づいて画像配置を決定するステップと、決定した画像配置により、複数の画像を画像群ごとに表示装置に表示させるステップと、表示された画像群のうちの一の画像群と画像群のうちの他の画像群とについて対応点を指定するステップと、一の画像群と他の画像群とを指定された対応点に基づいて合成するステップと、を行う。
　第１の態様に係る画像合成方法では、複数の画像の全てを１つの画像に合成できない場合に、複数の画像を合成が可能な画像群に分けるので、全ての画像に対して対応点を指定する必要がなく、一の画像群と他の画像群とについて（すなわち、自動合成が可能でない画像群どうしで）対応点を指定すればよい。また、複数の画像が合成可能な画像群ごとに表示装置に表示されるので、いずれの画像群について対応点を指定すればよいか把握することができる。このように、第１の態様によれば対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる。このような対応点の指定は、ユーザの操作に基づいて行うことができる。
　第１の態様において、「画像群」に含まれる画像の数は問わず、画像が１つの場合も「画像群」に含まれるものとする。また第１の態様において、合成可能な画像群を画像群ごとに識別可能に表示してもよい。例えば、画像群ごとに色を変える、枠で囲む、他の画像群と間隔を空ける、等により表示することができる。なお、入力した複数の画像を表示する際に画像群を構成する画像を合成してもよいし、しなくてもよい。
　なお第１の態様において、合成の対象となる複数の画像は撮像装置で取得して入力してもよいし、取得され記録されている画像をネットワーク経由あるいは、媒体経由で入力してもよい。
　第２の態様に係る画像合成方法は第１の態様において、画像配置を決定するステップでは、複数の画像のうち射影変換の基準となる基準画像を設定し、複数の画像のうち基準画像以外の画像の基準画像に対する射影変換行列を画像どうしの対応点に基づいて算出し、算出した射影変換行列に基づいて画像配置を決定する。第２の態様によれば、基準画像以外の画像が、基準画像に対する射影変換行列により移動、回転等されて画像配置が決定される。基準画像は、被写体に対する位置（例えばコーナー部分の画像）、撮影順（例えば、一番最初に撮影した画像）、画像の特徴（露出条件、鮮明度、特定の部材が写っている）等に基づいて設定することができる。なお、基準画像の撮影面は撮影方向に正対していることが好ましいが、これに限定されるものではない。基準画像の撮影面が正対していない場合は、合成後に正対補正することができる。
　第３の態様に係る画像合成方法は第１または第２の態様において、画像配置を決定するステップでは、画像どうしが重ならない画像配置を決定する。第３の態様は画像配置の一態様を規定するものであり、例えば各画像の向きを射影変換行列で求めた向きと変えずに、画像どうしを離間させて配置することができる。
　第４の態様に係る画像合成方法は第１または第２の態様において、画像配置を決定するステップでは、画像どうしで重複する領域が重なる画像配置を決定する。第４の態様は画像配置の他の態様を規定するものであり、画像を合成した様子を、画像を合成することなく容易に把握することができる。
　第５の態様に係る画像合成方法は第１から第４の態様のいずれか１つにおいて、画像群ごとに画像を合成するステップを有し、複数の画像を表示するステップでは、画像群ごとに合成した画像により複数の画像を表示させる。
　第６の態様に係る画像合成方法は第５の態様において、画像群ごとに画像を合成するステップでは、複数の画像が重複する領域においては重複する複数の画像のうちの１つを選択して画像を合成する。第６の態様によれば、複数の画像が重複する領域において画像のずれによるボケを抑制し、鮮明な画像を得ることができる。
　第７の態様に係る画像合成方法は第１から第６の態様のいずれか１つにおいて、画像群どうしの相対配置をユーザの指示入力に基づいて変更するステップを有し、複数の画像を表示するステップでは変更した相対配置で複数の画像を表示する。表示の際の相対配置が不適切な場合（例えば、上下に配置すべき画像群が左右に配置されている場合）、画像群の関係が把握しづらく対応点の指定に時間を要する可能性がある。これに対し第７の態様のようにユーザの指示入力に基づいて相対配置を変更して表示することで、対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる。
　第８の態様に係る画像合成方法は第１から第７の態様のいずれか１つにおいて、複数の画像を入力するステップでは、被写体としての建造物を分割撮影して取得した複数の画像を入力する。建造物（建築物）が被写体である場合、撮影範囲が広いことが多く、分割撮影して取得した複数の画像を合成して利用（分析等）することが行われるため、第８の態様に係る画像合成方法が有効である。このような建造物の例としては橋梁、ビル、道路等を挙げることができるが、これらの例に限定されるものではない。また、建造物はコンクリート建造物でもよい。
　上述した目的を達成するため、第９の態様に係る画像合成装置は、被写体を分割撮影して取得した複数の画像を入力する画像入力部と、複数の画像を画像どうしの対応点に基づいて合成する画像合成部を備える画像合成装置であって、複数の画像を１つの画像に合成できない場合に、複数の画像を合成が可能な画像群に分け、画像群ごとに画像どうしの対応点に基づいて画像配置を決定する画像配置決定部と、決定した画像配置により、複数の画像を画像群ごとに表示装置に表示させる表示制御部と、表示された画像群のうちの一の画像群と画像群のうちの他の画像群とについて対応点を指定する対応点指定部と、を備え、画像合成部は、一の画像群と他の画像群とを指定された対応点に基づいて合成する。第９の態様によれば、第１の態様と同様に対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる。
　第１０の態様に係る画像合成装置は第９の態様において、画像配置決定部は、複数の画像のうち射影変換の基準となる基準画像を設定し、複数の画像のうち基準画像以外の画像の基準画像に対する射影変換行列を画像どうしの対応点に基づいて算出し、算出した射影変換行列に基づいて画像配置を決定する。第１０の態様によれば、第２の態様と同様に基準画像以外の画像が、基準画像に対する射影変換行列により移動、回転等されて画像配置が決定される。
　第１１の態様に係る画像合成装置は第９または第１０の態様において、画像合成部は画像群ごとに画像を合成し、表示制御部は画像群ごとに合成した画像により複数の画像を表示させる。
　第１２の態様に係る画像合成装置は第９から第１１の態様のいずれか１つにおいて、画像配置決定部は画像群どうしの相対配置をユーザの指示入力に基づいて変更し、表示制御部は変更した相対配置で複数の画像を表示させる。第１２の態様によれば、第７の態様と同様に対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる。
　上述した目的を達成するため、第１３の態様に係る記録媒体は、第１から第８の態様のいずれか１つに係る画像合成方法をコンピュータに実行させるプログラムのコンピュータ読み取り可能なコードが記録された記録媒体である。第１３の態様によれば、第１の態様と同様に対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる。なお、第１３の態様に係る記録媒体は各種光磁気記録媒体、半導体記録媒体等の非一時的記録媒体とすることができる。
　以上説明したように、本発明の画像合成方法、画像合成装置、及び記録媒体によれば、対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる。
図１は、下面側から見た橋梁の外観図である。 図２は、画像処理システムの構成を示すブロック図である。 図３は、処理部の機能構成を示す図である。 図４は、記憶部に記憶される情報を示す図である。 図５は、第１の実施形態に係る画像処理のフローチャートを示す図である。 図６は、床版の撮影手順の例を示す図である。 図７は、格間の撮影手順の例を示す図である。 図８は、各画像の撮影範囲を示す図である。 図９は、各撮影画像を示す図である。 図１０は、撮影画像等を部材ごとにフォルダ分けして格納する様子を示す図である。 図１１は、撮影画像等を部材ごとにフォルダ分けして格納する様子を示す他の図である。 図１２は、画像配置決定の処理を示すフローチャートである。 図１３は、基準画像設定の様子を示す図である。 図１４は、画像群ごとの画像配置の例を示す図である。 図１５は、画像群ごとの画像配置の例を示す他の図である。 図１６は、画像群ごとの相対配置の変更の様子を示す他の図である。 図１７は、画像群に対応点を設定する様子を示す図である。 図１８は、合成した画像を示す図である。 図１９は、画像が重複する領域での画像の合成を示す図である。 図２０は、重複を考慮して合成した画像の例を示す図である。 図２１は、合成後の正対補正の様子を示す図である。 図２２は、損傷マッピング画像の例を示す図である。 図２３は、損傷情報の例を示す図である。
　以下、添付図面を参照しつつ、本発明に係る画像合成方法、画像合成装置、及び記録媒体の実施形態について、詳細に説明する。
　＜橋梁の構造＞
　図１は、建造物の一つである橋梁１を下から見た状態を示す斜視図である。図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５と、床版６と、による立体的構造を有し、これらの部材がボルト、リベット、溶接等により連結されて構成されている。主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。主桁２は橋台または橋脚の間に渡されて床版６上の車輌等の荷重を支える部材であり、また床版６の面（水平面）と直交する面（鉛直方向の面）を有する。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。なお、本実施形態では橋梁１を対象（被写体）とする場合について説明するが、対象とする建造物は橋梁に限らずトンネル、ビル等、道路等でもよい。
　＜画像の取得＞
　橋梁１の画像を撮影して合成画像を生成する場合、検査員はデジタルカメラ１００（図２参照）を用いて橋梁１を下方から撮影し、検査範囲について複数の撮影画像（橋梁１の異なる部分がそれぞれ撮影された複数の画像）を分割して取得する。撮影は、橋梁１の延伸方向及びその直交方向に適宜移動しながら行う。なお橋梁１の周辺状況により検査員の移動が困難な場合は、橋梁１に沿って移動可能な移動体にデジタルカメラ１００を設けて撮影を行ってもよい。このような移動体には、デジタルカメラ１００の昇降機構、回転機構（パン及び／またはチルトを行う機構）を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体（ドローン等）を挙げることができるが、これらに限定されるものではない。
　＜画像処理システムの構成＞
　図２は、画像処理システム１０の概略構成を示すブロック図である。画像処理システム１０は、デジタルカメラ１００（撮像装置）及びシステム本体２００（画像合成装置）を備える。画像処理システム１０は被写体を分割撮影して取得した複数の画像の合成等を行うシステムであり（詳細は後述する）、デジタルカメラ、スマートフォン、タブレット端末、パーソナルコンピュータ等に適用することができる。なお、デジタルカメラ１００はシステム本体２００と別々の筐体に組み込んでもよいし、一体化してもよい。また、デジタルカメラ１００をシステム本体２００の一部として組み込み、デジタルカメラ１００とシステム本体２００とで本発明に係る画像合成装置を構成してもよい。
　＜デジタルカメラの構成＞
　デジタルカメラ１００は、図示せぬ撮影レンズ及び撮像素子を備える撮像光学系１１０により画像を取得する。撮像素子の例としてはＣＣＤ（Charge Coupled Device）型の撮像素子及びＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子を挙げることができる。撮像素子の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。デジタルカメラ１００は、無線通信部１３０及びアンテナ１３２を介してシステム本体２００との無線通信を行い、撮影された画像が処理部２１０に入力されて後述する処理が行われる。
　＜システム本体の構成＞
　システム本体２００は処理部２１０、記憶部２２０、表示部２３０、及び操作部２４０を備え、互いに接続されて必要な情報が送受信される。また、システム本体２００はアンテナ２１２を介してデジタルカメラ１００との間で無線通信を行い、デジタルカメラ１００で撮影された撮影画像を取得する。
　＜処理部の構成＞
　図３は処理部２１０の構成を示す図である。処理部２１０は、画像入力部２１０Ａ、画像合成部２１０Ｂ、画像配置決定部２１０Ｃ、対応点指定部２１０Ｄ、損傷計測部２１０Ｅ、損傷マッピング部２１０Ｆ、表示制御部２１０Ｇ、及び無線通信部２１０Ｈを備え、デジタルカメラ１００で取得した撮影画像に基づく画像の合成等を行う。画像入力部２１０Ａは、デジタルカメラ１００（または記録媒体、ネットワーク等）から橋梁１の撮影画像（橋梁１を分割撮影した複数の画像）を入力する。画像合成部２１０Ｂは、画像どうしの対応点を検出し、また画像どうしの対応点に基づいて撮影画像を合成する。画像配置決定部２１０Ｃは、撮影画像（複数の画像）を１つの画像に合成できない場合に、複数の画像を合成が可能な画像群に分け、画像群ごとに画像どうしの対応点に基づいて画像配置を決定する。対応点指定部２１０Ｄは、ユーザの指示入力に基づいて、表示された画像群のうちの一の画像群と画像群のうちの他の画像群とについて対応点を指定する。損傷計測部２１０Ｅは、合成画像における損傷（ひび割れ、剥離、腐食等）を抽出及び計測する。損傷マッピング部２１０Ｆは、損傷を示す情報を合成画像にマッピングする。表示制御部２１０Ｇは、撮影画像、合成画像等の表示部２３０（モニタ２３２；表示装置）への表示制御を行う。無線通信部２１０Ｈは、アンテナ２１２を介してデジタルカメラ１００との間で画像、情報を送受信する。ＲＯＭ２１０Ｉ（ROM：Read Only Memory、非一時的記録媒体）には、本発明に係る画像合成方法を実行するための画像合成プログラム等、画像処理システム１０が動作するための各種プログラムのコンピュータ読み取り可能なコードが記録される。
　上述した処理部２１０の各部の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェア（本発明に係る画像合成方法を実行するためのプログラムを含む）のプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ２１０Ｉ（図３を参照）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ＲＯＭ２１０Ｉではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータが参照される。なお、図３ではＲＡＭ，ＥＥＰＲＯＭ等のデバイスの図示は省略する。
　＜記憶部の構成＞
　記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図４に示す画像及び情報が互いに関連づけて記憶される。撮影画像２２０Ａは、被写体である橋梁１（床版６の部分）をデジタルカメラ１００で分割撮影し画像入力部２１０Ａで入力した複数の画像である。なお、デジタルカメラ１００及び画像入力部２１０Ａにより入力した画像でなく、ネットワーク、記録媒体経由で取得した画像を記憶してもよい。合成情報２２０Ｂは、対応点、射影変換行列等、撮影画像を合成するための情報である。合成画像２２０Ｃは、撮影画像を合成した画像（部分的に合成した画像群を含む）である。損傷情報２２０Ｄは、合成画像から抽出した損傷の情報である。損傷マッピング画像２２０Ｅは、損傷を示す情報を合成画像にマッピングした画像である。これらの画像及び情報は、フォルダまたはサブフォルダに格納することができる（図１０，１１参照）。
　＜表示部及び操作部の構成＞
　表示部２３０はモニタ２３２（表示装置）を備えており、入力した画像、記憶部２２０に記憶された画像及び情報、処理部２１０による処理の結果等を表示することができる。操作部２４０は入力デバイス及び／またはポインティングデバイスとしてのキーボード２４２及びマウス２４４を含んでおり、ユーザはこれらのデバイス及びモニタ２３２の画面を介して、本発明に係る画像合成方法の実行に必要な操作を行うことができる（後述）。この操作には、後述するフォルダ及びサブフォルダの作成、画像のフォルダ分け等の操作（図１０，１１参照）、対応点の指定、表示された画像群の移動、損傷情報の入力等が含まれる。
　＜画像処理の手順＞
　画像処理システム１０による画像処理について説明する。図５は画像処理（本発明に係る画像合成方法の各処理を含む）の手順を示すフローチャートである。
　＜撮影＞
　まず、デジタルカメラ１００により橋梁１（建造物）の異なる部分が分割して撮影された複数の撮影画像を取得する（ステップＳ１００；画像取得工程）。システム本体２００は、デジタルカメラ１００（撮像光学系１１０、無線通信部１３０、アンテナ１３２、アンテナ２１２）及び処理部２１０（無線通信部２１０Ｈ、画像入力部２１０Ａ）を介して、それら複数の撮影画像を取得する。
　本実施形態では、床版６を撮影する場合について説明する。図６は床版６の撮影手順の例を示す図である。図６では、主桁２（ｘ方向に伸びる部材）及び横桁３（ｙ方向に伸びる部材）で規定される格間ＧＯを含む領域Ａを単位として撮影を行い、撮影領域をｙ方向及びｘ方向に（矢印の方向に）順次移動させながら撮影を繰り返す様子を示している。撮影範囲全体の画像が取得できれば、撮影は他の手順で行ってもよい。なお、図６では橋梁１（床版６）の延伸方向をｘ、床版６の面内でｘと直交する方向をｙ、床版６と直交する方向（垂直下方向）をｚとし、（ｘ，ｙ，ｚ）で右手系の座標を構成している。
　図７は１つの格間ＧＯでの撮影手順の例を示す図である。図７の例では、格間ＧＯの＋ｘ側端部の領域Ａ１から開始して－ｘ方向端部の領域Ａｉに至るまで移動しながら撮影し、再度＋ｘ側端部に戻って領域Ａｊから初めて－ｘ方向端部の領域Ａｎに至るまで、合計ｎ枚（ｎは２以上の整数）の画像を撮影する。これと異なるパターン（例えば領域Ａ１～Ａｉ～Ａｎ～Ａｊの順）で撮影してもよい。撮影の際は、１画像を撮影するごとに撮影位置を移動し常に正対した画像を撮影してもよいし、１つの撮影位置で撮影方向を変えながら複数の画像を撮影してもよい（この場合、斜め方向から撮影された画像が含まれることになる）。また撮影においては、撮影位置及び撮影方向を適切に設定することにより隣接する画像で十分な（例えば、３０％程度）重複を生じさせ、対応点の検出及び設定を容易かつ高精度にすることが好ましい。
　図８は撮影画像の例であり、画像ｉ１～ｉ１０まで１０枚の画像を、重複を確保しつつ撮影した様子を示している。また、図９は画像ｉ１～ｉ１０を個別に示す図である。なお図８，９では、格間ＧＯの枠Ｆ（主桁２及び横桁３で規定される矩形）を図示しており、その他の部材及び床板に生じた損傷は図示を省略している（特段の記載がない限り、以降の図でも同様である）。
　＜画像及び情報の格納＞
　図１０は画像の格納の様子を示す図である。画像処理システム１０では、撮影範囲全体に対してメインフォルダを作成し、このメインフォルダの中にサブフォルダを作成することができる。サブフォルダは、例えば部材番号ごとに、あるいは主桁２及び横桁３で規定される格間ＧＯごとに作成することができる。図１０ではメインフォルダＭＦの中にサブフォルダＳＦ１～ＳＦ５を作成した様子を示しているが、メインフォルダ及びサブフォルダの個数は特に限定されない。また、サブフォルダの中にさらにサブフォルダ（例えば、異なる作成日時に対応した複数のサブフォルダ）を作成してもよい。
　撮影画像の格納においては、デジタルカメラ１００の側でメインフォルダ及びサブフォルダを作成してこれらフォルダ内に保存した撮影画像をフォルダごとシステム本体２００側に入力（図５のステップＳ１０２）することができる。あるいは、デジタルカメラ１００からシステム本体２００に順次入力（ステップＳ１０２）した画像を操作部２４０（キーボード２４２、マウス２４４）の操作に応じてフォルダ分けしてもよい。画像の入力は、処理部２１０（画像入力部２１０Ａ）の制御により行ってもよい。いずれの方法でも、最終的にシステム本体２００（記憶部２２０）にメインフォルダ及びサブフォルダが作成され画像が格納されていればよい。このようなフォルダ及びサブフォルダの作成、及び画像のフォルダ分けは、システム本体２００（操作部２４０）が備えるファイル管理ツール（一般的なパーソナルコンピュータが備えるものと同様で良い）を用いて、ユーザの操作により容易に実現することができる。
　図１１は、サブフォルダＳＦ１内に格納された画像及び情報を示す図である。サブフォルダＳＦ１には、撮影画像（例えば、上述した画像ｉ１～ｉ１０）に加えてこれら撮影画像に対応する画像群（例えば、後述する画像群Ｇ１，Ｇ２）及び合成画像（例えば、後述する画像Ｇ３，Ｇ３ａ）、損傷情報（図２３参照）、及び損傷マッピング画像（図２２参照）等の処理結果が格納される。すなわち、同一のフォルダ内に撮影画像及び撮影画像に対応した処理結果が格納される。図１１中、点線で囲まれたファイルは撮影画像を示し、一点鎖線で囲まれたファイルは処理結果を示す。
　＜合成情報の算出＞
　ステップＳ１００，Ｓ１０２で画像の撮影及び入力が行われたら、処理部２１０（画像合成部２１０Ｂ）は合成情報（合成情報２２０Ｂ）を算出する（ステップＳ１０４）。合成情報としては、例えば撮影画像どうしの対応点、対応点に基づいて算出した射影変換行列等を算出することができる。
　＜合成可否の判断＞
　処理部２１０（画像合成部２１０Ｂ）は、ステップＳ１０４で算出した合成情報に基づいて、全ての撮影画像を１つに合成することができるか否かを判断する（ステップＳ１０６）。合成できるか否かは、対応点の数、対応点の信頼性が十分であるか否か（対応点が特徴的な点であるか否か）、対応点により射影変換行列が算出できるか等に基づいて判断することができる。この際、ＲＡＮＳＡＣ（RANdom SAmple Consensus）アルゴリズム等により対応点の組合せを変えて射影変換行列とその評価値の算出を繰り返して判断してもよい。全ての画像を１つの画像に合成できる場合はステップＳ１０８～Ｓ１１８の処理を省略し、ステップＳ１２０に進んで合成画像に対し損傷の抽出を行う。全ての画像を１つの画像に合成できない場合は、ステップＳ１０８～Ｓ１１８の処理を行う（以下の説明を参照）。
　＜画像の分類＞
　ステップＳ１０６で「全ての撮影画像を１つの画像に合成できない」と判断された場合、画像合成部２１０Ｂは撮影画像を合成が可能な画像群に分け（ステップＳ１０８）、画像配置決定部２１０Ｃは画像群ごとに、画像どうしの対応点に基づいて画像配置を決定する（ステップＳ１１０）。
　＜画像配置の決定＞
　図１２は、図５のステップＳ１１０における画像配置決定の処理の詳細を示すフローチャートである。画像配置決定部２１０Ｃは、複数の撮影画像のうちから射影変換の基準となる基準画像を設定する（ステップＳ１１０Ａ）。基準画像は正対度、鮮明度等の画像の特徴により設定（選択）できるが、特定の撮影順の画像（例えば、最初に撮影した画像）を基準画像としてもよい。図８，９の例では、図１３の（ａ）部分に示すように、画像ｉ１，ｉ２に対し画像ｉ１を基準画像として設定することができる。
　基準画像が設定されたら、画像配置決定部２１０Ｃは、基準画像以外の画像の基準画像に対する射影変換行列を、画像どうしの対応点に基づいて算出する（ステップＳ１１０Ｂ）。図８，９の例では、図１３の（ａ）部分に示すように、画像ｉ２（基準画像以外の画像）を画像ｉ１（基準画像）と同一平面に射影し、対応点を一致させるための射影変換行列を算出する。画像ｉ２の画像ｉ１（基準画像）に対する射影変換行列が算出されたら、図１３の（ｂ）部分に示すように、画像ｉ２を基準画像とし、画像ｉ３の画像ｉ２に対する射影変換行列を算出する。このように、基準画像を替えながら、画像群の全画像について（ステップＳ１１０ＣでＹＥＳになるまで）射影変換行列を算出する。全画像について射影変換行列を算出したら、画像配置決定部２１０Ｃは、算出した射影変換行列に基づいて各画像に対し移動、回転、拡大または縮小、及び変形等を行い、画像群の各画像の配置を決定する（ステップＳ１１０Ｄ）。以下では、画像ｉ１～ｉ４及び画像ｉ６～ｉ９が合成可能な画像群Ｇ１を構成し、画像ｉ５及び画像ｉ１０が合成可能な画像群Ｇ２を構成するものとして説明する。なお、上述した画像配置の決定においては各画像を射影変換行列により移動、回転、変形等するが、図示する例は画像の配置等を概念的に示すものであり、画像の移動、回転、変形等を正確に表すものではない。
　ステップＳ１１０Ｄで決定する画像配置は、画像どうしで重複する領域が重なる画像配置（図１４参照）でもよいし、画像どうしが重ならない画像配置（図１５参照）でもよい。画像どうしが重ならない画像配置の場合、図１５に示すように画像をｘ方向及びｙ方向に離間させて配置し、画像の向きは射影変換行列により求めた向きと変えない（画像を回転させない）配置とすることができる。
　＜画像表示＞
　ステップＳ１１０（ステップＳ１１０Ａ～Ｓ１１０Ｄ）で画像配置が決定すると、処理部２１０（画像配置決定部２１０Ｃ，表示制御部２１０Ｇ）は合成可能な画像群を、画像群ごとにモニタ２３２（表示装置）に表示させる（ステップＳ１１２）。上述の例では、画像群Ｇ１，Ｇ２を図１４または図１５のような画像配置により表示させる。この際、処理部２１０（画像配置決定部２１０Ｃ，表示制御部２１０Ｇ）が画像群Ｇ１，Ｇ２に対しそれぞれ枠で囲む、画像群ごとに異なる色で表示する、画像群の番号を表示する等の処理を施して、画像群を容易に識別できるようにしてもよい。また、画像群Ｇ１、Ｇ２を画像群ごとに合成し、画像群ごとに合成した画像を表示してもよい。
　ステップＳ１１２での表示の際、画像群の間での配置が不適切な場合がある。例えば、図１６に示すように、画像群Ｇ１の下部（－ｘ方向）に配置されるべき画像群Ｇ２が画像群Ｇ１の横方向に配置される場合がある。そこで処理部２１０（画像配置決定部２１０Ｃ）は画像群の配置を変更するか否か判断し（ステップＳ１１４）、変更する場合（ステップＳ１１４でＹＥＳ）はステップＳ１１２に戻って、表示制御部２１０Ｇが変更後の配置で画像群Ｇ１，Ｇ２を再度表示する。ステップＳ１１４の判断は、ユーザの指示入力（例えば、キーボード２４２及び／またはマウス２４４を介した画像群Ｇ２の移動、すなわち相対配置の変更操作）に基づいて行うことができる。図１６の例の場合、ユーザの操作（例えば、マウス２４４でドラッグ）に基づいて画像配置決定部２１０Ｃ及び表示制御部２１０Ｇが画像群Ｇ２を画像群Ｇ１の下部に移動（図１６において矢印で移動方向を図示）し、図１４のように表示することができる。
　画像群どうしの相対配置が不適切な状態で表示すると対応点の指定に時間が掛かる場合があるが、画像処理システム１０では、このような配置の変更を行うことで対応点の指定を迅速かつ容易に行うことができる。
　＜対応点の指定＞
　ステップＳ１１４までの処理により画像群の配置が決定すると、処理部２１０（対応点指定部２１０Ｄ）は、表示された画像群のうちの一の画像群と他の画像群とについて対応点を指定する（ステップＳ１１６）。例えば画像群Ｇ１，Ｇ２が図１４のように配置及び表示されている場合、図１７に示すように、画像群Ｇ１におけるマウス２４４のクリック等（ユーザ操作）に応じて点Ｐ１ａを指定し、画像群Ｇ２において点Ｐ１ａの対応点である点Ｐ１ｂを指定する。この際、図１７に示すように対応点指定部２１０Ｄ及び表示制御部２１０Ｇが指定された点Ｐ１ａ，Ｐ１ｂを直線でつなぐ等により関連付け及び識別表示することで、指定された点が対応することを容易に把握することができる。以下、同様に点Ｐ２ａと点Ｐ２ｂ、点Ｐ３ａと点Ｐ３ｂ、点Ｐ４ａと点Ｐ４ｂ、点Ｐ５ａと点Ｐ５ｂ、点Ｐ６ａと点Ｐ６ｂについても対応点を指定する。なお、図１７では画像群Ｇ１，Ｇ２について対応点を６点ずつ指定する例を示しているが、指定する対応点の数は特に限定されない。画像群Ｇ１，Ｇ２が図１５のように配置及び表示されている場合も、同様に画像ｉ４，ｉ５と画像ｉ９，ｉ１０とで対応点を指定することができる。
　上述のように指定した対応点で画像群を精度良く合成できない場合、あるいは合成できない場合は、処理部２１０（画像合成部２１０Ｂ、対応点指定部２１０Ｄ、表示制御部２１０Ｇ）が警告メッセージをモニタ２３２に表示して、再度対応点を指定するようユーザを促してもよい。
　＜画像の合成＞
　ステップＳ１１６で対応点が指定されたら、処理部２１０（画像合成部２１０Ｂ，画像配置決定部２１０Ｃ）は指定された対応点に基づいて画像群を合成する（ステップＳ１１８）。図１７の例では、画像合成部２１０Ｂ，画像配置決定部２１０Ｃは、対応点である点Ｐ１ａ～Ｐ６ｂに基づいて、画像群Ｇ１を基準とした画像群Ｇ２の射影変換行列（または画像群Ｇ２を基準とした画像群Ｇ１の射影変換行列）を算出する。さらに、算出した射影変換行列により画像群Ｇ２を構成する画像（画像ｉ５，ｉ１０）を移動、回転、変形等して画像の配置を決定し、決定した配置で画像を合成する。なお、指定された対応点では射影変換行列が算出できない場合、算出精度が悪い場合等に警告メッセージを表示し、ユーザの操作に基づき再度対応点を指定して射影変換行列を算出し直してもよい。
　画像群Ｇ１，Ｇ２を１つの画像に合成した様子を図１８に示す。図１８では合成後の画像Ｇ３（輪郭を実線で示す）と上述した枠Ｆを示している。なお、図中の点線は合成前の各画像を示す線である。このように、本実施形態に係る画像処理システム１０では、合成可能な画像群（画像群Ｇ１，Ｇ２）が画像群ごとに表示されるので、どの画像群について（自動的に）合成できなかったか容易に把握することができる。また、合成できなかった画像群（画像群Ｇ１と画像群Ｇ２）について対応点を指定すれば良いので、全ての画像について対応点を指定する必要がなく、対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができる。
　＜重複領域における画像の選択＞
　図１８の例では、合成した画像Ｇ３において複数の元画像が重複する領域が存在する。このような領域に損傷等の計測対象が存在すると、合成時の位置ずれにより損傷がボケる、幅が太くなる、等の現象が発生して検出及び／または計測の精度が低下する可能性がある。そこで、画像処理システム１０では、画像の合成の際に、画像が重複する領域では１つの画像を選択して合成することができる。このような画像の合成の例を図１９、２０に示す。図１９の（ａ）部分は画像ｉ１と画像ｉ２とが領域ＯＬにおいて重複している様子を示しており、このような領域ＯＬにおいては、処理部２１０（画像合成部２１０Ｂ）は画像ｉ１，ｉ２のうち１つを選択する。例えば、図１９の（ｂ）部分のように領域ＯＬについては画像ｉ１を選択して合成する（グレーの網掛けをした部分は、画像ｉ２が選択された領域を示す）。このような画像の選択は処理部２１０（画像合成部２１０Ｂ）が例えば画像の明るさ、被写体の鮮明さ等の特徴に基づいて行っても良いし、操作部２４０を介したユーザの操作に応じて選択してもよい。
　図１９と同様にして全ての画像（画像ｉ１～ｉ１０）を合成した画像Ｇ３ａを図２０に示す（図中の点線は、合成前の各画像の境界を示す）。図２０では、各画像の領域を明示するため枠Ｆの図示を省略している。このように、画像が重複する領域では１つの画像を選択して合成することで、計測対象（損傷等）のぼけを低減し検出及び計測を良好に行うことができる。
　＜画像合成後の正対補正＞
　画像処理システム１０では、上述のように基準画像に対する他の画像の射影変換行列を算出して画像配置を決定するが、基準画像が撮影方向に対し正対していない場合、合成後の画像において本来矩形であるべき領域が矩形にならない場合がある。例えば、図２１の（ａ）部分に示すように、合成後の画像において格間の枠Ｆが台形状になる場合がある。この場合、処理部２１０（画像合成部２１０Ｂ、画像配置決定部２１０Ｃ）はキーボード２４２及び／またはマウス２４４を介したユーザの操作に基づいて矩形を形成する点（例えば、枠Ｆの４隅の点Ｃ１，Ｃ２，Ｃ３，Ｃ４）を指定し、図２１の（ｂ）部分に示すように、射影変換によりこれら４点に矩形を形成させる。これにより、画像合成後においても被写体が正対した画像（正対画像）を得ることができる。
　＜損傷の抽出及び計測＞
　ステップＳ１１８までの処理で合成画像が得られると、処理部２１０（損傷計測部２１０Ｅ）は合成画像に対し損傷の抽出及び計測を行う（ステップＳ１２０）。損傷の分類としては剥離、漏水、ひび割れ、錆などを挙げることができるが、具体的に抽出する損傷の種類は建造物（被写体）の種類、特徴、検査の目的等の条件に応じて設定してよい。また、計測する項目としては位置、大きさ、方向、範囲、形状等があるが、計測項目についても損傷の分類に応じて、また建造物の種類、特徴、検査の目的等の条件に応じて設定してよい。
　損傷の抽出及び計測は分類に応じて種々の手法により行うことができるが、ひび割れについては、例えば特許４００６００７号公報に記載されたひび割れ検出方法を用いることができる。この方法は、ウェーブレット画像を作成する工程と、ウェーブレット画像に基づいてひび割れ領域を判定する工程と、を有するひび割れ検出方法である。ウェーブレット画像を作成する工程では、対比される２つの濃度に対応したウェーブレット係数を算定するとともに、その２つの濃度をそれぞれ変化させた場合のそれぞれのウェーブレット係数を算定してウェーブレット係数テーブルを作成し、ひび割れ検出対象であるコンクリート表面を撮影した入力画像をウェーブレット変換する。ひび割れ領域を判定する工程では、ウェーブレット係数テーブル内において、局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数を閾値として、注目画素のウェーブレット係数と閾値とを比較することによりひび割れ領域とひび割れでない領域とを判定する。
　また、錆及び剥離を検出する方法としては、例えば特表２０１０－５３８２５８号公報に記載された鋼橋の塗膜検査システムの処理方法を用いることができる。この処理方法では、撮影された鋼橋塗膜の画像ファイルからの色情報、映像処理、ウォーターシェッド、パルツェン窓を用いて錆と剥離を検出している。
　＜計測結果のマッピング＞
　処理部２１０（損傷マッピング部２１０Ｆ）は、損傷の計測結果を合成画像にマッピングする（ステップＳ１２２）。マッピングは、例えば計測結果と関連づけられた文字、図形、記号等を合成画像に表示することにより行うことができる。表示した文字、図形、記号等は操作部２４０（キーボード２４２及び／またはマウス２４４）を介した操作により選択することができ、選択に応じて処理部２１０（表示制御部２１０Ｇ）がモニタ２３２に計測結果を表示させる。文字、図形、記号等は実際の損傷を簡略化あるいは強調したものでもよいし、損傷の種別、大きさ等に応じて異なる態様で表示してもよい。図２２は画像Ｇ３ａに対し計測結果をマッピングした画像Ｇ４を示す図であり、腐食の位置及び大きさを示す円形の図形Ｍ１、及びひび割れの数、位置、長さを示す線状の図形Ｍ２～Ｍ４を表示している。図２２のように計測結果がマッピングされた画像は記憶部２２０に記憶され（図４の損傷マッピング画像２２０Ｅ）、表示制御部２１０Ｇの制御によりモニタ２３２に表示される。
　このような計測結果のマッピングは、橋梁１のサイズ情報を示す線図情報を含む図面データ（例えばＣＡＤデータ、ＣＡＤ：Computer-Aided Design）に対して行ってもよい。この際、ＣＡＤデータを規定する座標系が図２２等に示す座標系と異なる場合は、座標系の関係に応じた座標変換（移動、回転、ミラーリング等）を行う。このような変換は、処理部２１０（損傷マッピング部２１０Ｆ）により行うことができる。
　＜損傷情報の入力＞
　画像処理システム１０では、マッピングした計測結果について損傷情報を入力することができる。損傷情報の入力は、表示部２３０及び操作部２４０（キーボード２４２及び／またはマウス２４４）を介したユーザの指示に基づき、処理部２１０（損傷計測部２１０Ｅ、損傷マッピング部２１０Ｆ）が行う。図２２では、図形Ｍ１，Ｍ４に対する引き出し線部分に損傷の情報（部材名、損傷の種別、太さ及び長さ、画像番号）を入力した様子を示している。入力した損傷情報は、例えば図２３のような形式で記憶部２２０に記憶され（図４の損傷情報２２０Ｄ）、表示部２３０及び操作部２４０を介したユーザの指示に基づき、表示制御部２１０Ｇの制御によりモニタ２３２に表示される。なお、損傷情報として入力する情報の内容及び形式は、国土交通省作成の「橋梁定期点検要領（平成２６年６月）」に従うことが好ましい。
　以上説明したように、本実施形態に係る画像処理システム１０では、対応点の指定、及び指定された対応点に基づく画像の合成を迅速かつ容易に行うことができ、また合成された画像に基づく損傷の抽出及び計測を行うことができる。
　以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１　　　　橋梁
２　　　　主桁
３　　　　横桁
４　　　　対傾構
５　　　　横構
６　　　　床版
１０　　　画像処理システム
１００　　デジタルカメラ
１１０　　撮像光学系
１３０　　無線通信部
１３２　　アンテナ
２００　　システム本体
２１０　　処理部
２１０Ａ　画像入力部
２１０Ｂ　画像合成部
２１０Ｃ　画像配置決定部
２１０Ｄ　対応点指定部
２１０Ｅ　損傷計測部
２１０Ｆ　損傷マッピング部
２１０Ｇ　表示制御部
２１０Ｈ　無線通信部
２１０Ｉ　ＲＯＭ
２１２　　アンテナ
２２０　　記憶部
２２０Ａ　撮影画像
２２０Ｂ　合成情報
２２０Ｃ　合成画像
２２０Ｄ　損傷情報
２２０Ｅ　損傷マッピング画像
２３０　　表示部
２３２　　モニタ
２４０　　操作部
２４２　　キーボード
２４４　　マウス
Ａ　　　　領域
Ａ１　　　領域
Ａｉ　　　領域
Ａｊ　　　領域
Ａｎ　　　領域
Ｆ　　　　枠
Ｇ１　　　画像群
Ｇ２　　　画像群
Ｇ３　　　画像
Ｇ３ａ　　画像
Ｇ４　　　画像
ＧＯ　　　格間
Ｍ１　　　図形
Ｍ２　　　図形
Ｍ３　　　図形
Ｍ４　　　図形
ＭＦ　　　メインフォルダ
ＯＬ　　　領域
Ｓ１００～Ｓ１２２　画像合成方法の各ステップ
ＳＦ１　　サブフォルダ
ＳＦ２　　サブフォルダ
ＳＦ３　　サブフォルダ
ＳＦ４　　サブフォルダ
ＳＦ５　　サブフォルダ
ｉ１　　　画像
ｉ２　　　画像
ｉ３　　　画像
ｉ４　　　画像
ｉ５　　　画像
ｉ６　　　画像
ｉ７　　　画像
ｉ８　　　画像
ｉ９　　　画像
ｉ１０　　画像

Claims (13)

  1. 　被写体を分割撮影して取得した複数の画像を入力するステップと、
    　前記複数の画像を画像どうしの対応点に基づいて合成するステップと、
    　を有する画像合成方法であって、
    　前記複数の画像の全てを１つの画像に合成できない場合に、
    　前記複数の画像を合成が可能な画像群に分けるステップと、
    　前記画像群ごとに、画像どうしの対応点に基づいて画像配置を決定するステップと、
    　前記決定した画像配置により、前記複数の画像を前記画像群ごとに表示装置に表示させるステップと、
    　前記表示された前記画像群のうちの一の画像群と前記画像群のうちの他の画像群とについて対応点を指定するステップと、
    　前記一の画像群と前記他の画像群とを前記指定された対応点に基づいて合成するステップと、
    　を行う画像合成方法。
  2. 　前記画像配置を決定するステップでは、前記複数の画像のうち射影変換の基準となる基準画像を設定し、前記複数の画像のうち前記基準画像以外の画像の前記基準画像に対する射影変換行列を前記画像どうしの対応点に基づいて算出し、前記算出した射影変換行列に基づいて前記画像配置を決定する請求項１に記載の画像合成方法。
  3. 　前記画像配置を決定するステップでは、画像どうしが重ならない画像配置を決定する請求項１または２に記載の画像合成方法。
  4. 　前記画像配置を決定するステップでは、画像どうしで重複する領域が重なる画像配置を決定する請求項１または２に記載の画像合成方法。
  5. 　前記画像群ごとに画像を合成するステップを有し、
    　前記複数の画像を表示するステップでは、前記画像群ごとに合成した画像により前記複数の画像を表示させる請求項１から４のいずれか１項に記載の画像合成方法。
  6. 　前記画像群ごとに画像を合成するステップでは、複数の画像が重複する領域においては前記重複する複数の画像のうちの１つを選択して画像を合成する請求項５に記載の画像合成方法。
  7. 　前記画像群どうしの相対配置をユーザの指示入力に基づいて変更するステップを有し、
    　前記複数の画像を表示するステップでは前記変更した相対配置で前記複数の画像を表示する請求項１から６のいずれか１項に記載の画像合成方法。
  8. 　前記複数の画像を入力するステップでは、前記被写体としての建造物を分割撮影して取得した複数の画像を入力する請求項１から７のいずれか１項に記載の画像合成方法。
  9. 　被写体を分割撮影して取得した複数の画像を入力する画像入力部と、
    　前記複数の画像を画像どうしの対応点に基づいて合成する画像合成部を備える画像合成装置であって、
    　前記複数の画像を１つの画像に合成できない場合に、前記複数の画像を合成が可能な画像群に分け、前記画像群ごとに画像どうしの対応点に基づいて画像配置を決定する画像配置決定部と、
    　前記決定した画像配置により、前記複数の画像を前記画像群ごとに表示装置に表示させる表示制御部と、
    　前記表示された前記画像群のうちの一の画像群と前記画像群のうちの他の画像群とについて対応点を指定する対応点指定部と、
    　を備え、
    　前記画像合成部は、前記一の画像群と前記他の画像群とを前記指定された対応点に基づいて合成する画像合成装置。
  10. 　前記画像配置決定部は、前記複数の画像のうち射影変換の基準となる基準画像を設定し、前記複数の画像のうち前記基準画像以外の画像の前記基準画像に対する射影変換行列を前記画像どうしの対応点に基づいて算出し、前記算出した射影変換行列に基づいて前記画像配置を決定する請求項９に記載の画像合成装置。
  11. 　前記画像合成部は前記画像群ごとに画像を合成し、
    　前記表示制御部は前記画像群ごとに合成した画像により前記複数の画像を表示させる請求項９または１０に記載の画像合成装置。
  12. 　前記画像配置決定部は前記画像群どうしの相対配置をユーザの指示入力に基づいて変更し、
    　前記表示制御部は前記変更した相対配置で前記複数の画像を表示させる請求項９から１１のいずれか１項に記載の画像合成装置。
  13. 　請求項１から８のいずれか１項に記載の画像合成方法をコンピュータに実行させるプログラムのコンピュータ読み取り可能なコードが記録された記録媒体。
PCT/JP2018/021001 2017-06-28 2018-05-31 画像合成方法、画像合成装置、及び記録媒体 WO2019003796A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18825419.7A EP3648050B1 (en) 2017-06-28 2018-05-31 Image compositing method, image compositing device, and recording medium
CN201880043072.0A CN110809779B (zh) 2017-06-28 2018-05-31 图像合成方法、图像合成装置及记录介质
JP2019526734A JP6823719B2 (ja) 2017-06-28 2018-05-31 画像合成方法、画像合成装置、及び記録媒体
US16/710,567 US11423511B2 (en) 2017-06-28 2019-12-11 Image composition method, image composition device, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-126205 2017-06-28
JP2017126205 2017-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/710,567 Continuation US11423511B2 (en) 2017-06-28 2019-12-11 Image composition method, image composition device, and recording medium

Publications (1)

Publication Number Publication Date
WO2019003796A1 true WO2019003796A1 (ja) 2019-01-03

Family

ID=64741377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021001 WO2019003796A1 (ja) 2017-06-28 2018-05-31 画像合成方法、画像合成装置、及び記録媒体

Country Status (5)

Country Link
US (1) US11423511B2 (ja)
EP (1) EP3648050B1 (ja)
JP (1) JP6823719B2 (ja)
CN (1) CN110809779B (ja)
WO (1) WO2019003796A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764498B2 (en) * 2017-03-22 2020-09-01 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, and storage medium
EP3660786A4 (en) * 2017-07-25 2020-08-05 FUJIFILM Corporation METHOD FOR GENERATING A DAMAGE DIAGRAM, DEVICE FOR GENERATING A DAMAGE DIAGRAM, SYSTEM FOR GENERATING A DAMAGE DIAGRAM AND RECORDING MEDIUM
CN113159008B (zh) * 2021-06-25 2021-09-17 湖南星汉数智科技有限公司 客票行程单构建方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993431A (ja) * 1995-09-26 1997-04-04 Canon Inc パノラマ画像合成装置
JPH0997326A (ja) * 1995-09-29 1997-04-08 Canon Inc 画像合成装置および方法
JPH10108003A (ja) 1996-09-30 1998-04-24 Sharp Corp 画像合成装置および画像合成方法
JP2000090232A (ja) * 1998-09-08 2000-03-31 Olympus Optical Co Ltd パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
JP2006099497A (ja) * 2004-09-30 2006-04-13 Seiko Epson Corp パノラマ画像の合成
JP4006007B2 (ja) 2004-11-10 2007-11-14 大成建設株式会社 ひび割れ検出方法
JP2010538258A (ja) 2007-09-03 2010-12-09 コリア エクスプレスウェイ コーポレイション 映像処理方法を用いた鋼橋の塗膜検査システム及びその処理方法
JP2017085297A (ja) 2015-10-26 2017-05-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US6714689B1 (en) 1995-09-29 2004-03-30 Canon Kabushiki Kaisha Image synthesizing method
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
JP5281424B2 (ja) * 2008-03-18 2013-09-04 株式会社ゼンリン 路面標示地図生成方法
JP2012242821A (ja) * 2011-05-16 2012-12-10 Sony Mobile Communications Inc 表示画像生成方法
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US9491366B2 (en) * 2013-02-01 2016-11-08 Htc Corporation Electronic device and image composition method thereof
JP6397284B2 (ja) * 2014-09-16 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993431A (ja) * 1995-09-26 1997-04-04 Canon Inc パノラマ画像合成装置
JPH0997326A (ja) * 1995-09-29 1997-04-08 Canon Inc 画像合成装置および方法
JPH10108003A (ja) 1996-09-30 1998-04-24 Sharp Corp 画像合成装置および画像合成方法
JP2000090232A (ja) * 1998-09-08 2000-03-31 Olympus Optical Co Ltd パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
JP2006099497A (ja) * 2004-09-30 2006-04-13 Seiko Epson Corp パノラマ画像の合成
JP4006007B2 (ja) 2004-11-10 2007-11-14 大成建設株式会社 ひび割れ検出方法
JP2010538258A (ja) 2007-09-03 2010-12-09 コリア エクスプレスウェイ コーポレイション 映像処理方法を用いた鋼橋の塗膜検査システム及びその処理方法
JP2017085297A (ja) 2015-10-26 2017-05-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3648050A4

Also Published As

Publication number Publication date
JPWO2019003796A1 (ja) 2020-04-09
EP3648050A1 (en) 2020-05-06
CN110809779B (zh) 2023-07-28
CN110809779A (zh) 2020-02-18
US11423511B2 (en) 2022-08-23
US20200118247A1 (en) 2020-04-16
EP3648050A4 (en) 2020-05-06
JP6823719B2 (ja) 2021-02-03
EP3648050B1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
JP6807459B2 (ja) 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
JP6780093B2 (ja) 画像処理装置及び画像処理方法
EP2913796B1 (en) Method of generating panorama views on a mobile mapping system
Sapirstein Accurate measurement with photogrammetry at large sites
US20180247442A1 (en) Mosaic oblique images and methods of making and using same
JP5097765B2 (ja) 計測方法および計測プログラムならびに計測装置
US20080279447A1 (en) Computational Solution Of A Building Of Three Dimensional Virtual Models From Aerial Photographs
JP6937391B2 (ja) 補修長の決定方法及び補修長の決定装置
JP6823719B2 (ja) 画像合成方法、画像合成装置、及び記録媒体
JP4170469B2 (ja) 検査点位置取得方法および装置
JP2009271895A (ja) 独立偏位修正画像セットおよび方法
CN109945840B (zh) 三维影像摄取方法及系统
JPH08219783A (ja) 掘削地山等の変位計測管理システム
AU2016101778A4 (en) A device and a method for creating an image
JP2023007662A (ja) 損傷図作成方法
JP7493793B2 (ja) 画像標定方法、画像標定装置、画像標定システム及び画像標定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18825419

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526734

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018825419

Country of ref document: EP

Effective date: 20200128