WO2019130827A1 - 画像処理装置およびその制御方法 - Google Patents

画像処理装置およびその制御方法 Download PDF

Info

Publication number
WO2019130827A1
WO2019130827A1 PCT/JP2018/041090 JP2018041090W WO2019130827A1 WO 2019130827 A1 WO2019130827 A1 WO 2019130827A1 JP 2018041090 W JP2018041090 W JP 2018041090W WO 2019130827 A1 WO2019130827 A1 WO 2019130827A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing apparatus
area
image processing
partial area
Prior art date
Application number
PCT/JP2018/041090
Other languages
English (en)
French (fr)
Inventor
康平 岩渕
穴吹　まほろ
伸明 ▲桑▼原
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018192136A external-priority patent/JP7058585B2/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN201880084133.8A priority Critical patent/CN111527517B/zh
Priority to EP18893774.2A priority patent/EP3734540A4/en
Publication of WO2019130827A1 publication Critical patent/WO2019130827A1/ja
Priority to US16/897,601 priority patent/US11416978B2/en
Priority to US17/849,978 priority patent/US11830177B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Definitions

  • the present invention relates to a technology for combining photographed images.
  • Patent Document 1 discloses a technique for capturing a concrete wall in a tunnel with a camera and detecting a crack based on the obtained captured image.
  • the present invention has been made in view of such problems, and provides a technique for generating an image that enables more suitable deformation detection in a situation where an obstacle exists between an inspection object and a camera. Do.
  • the image processing apparatus has the following configuration. That is, the image processing apparatus A first image obtained by shooting a scene including an object from a first viewpoint position; and a second image obtained by shooting a scene including the object from a second viewpoint position different from the first viewpoint position Acquisition means to acquire, Association means for associating a coordinate position corresponding to the position of the feature of the object on the first image with a coordinate position corresponding to the position of the feature on the object on the second image; A determination unit configured to determine a partial region in the second image corresponding to a given region in the first image based on the association by the association unit; Generation means for replacing the image of the given area in the first image with the image of the partial area determined by the determination means to generate a composite image; Display control means for superposing and displaying deformation data representing a deformation generated in the object on the composite image generated by the generation device; Have.
  • FIG. 8 is a view exemplarily showing a GUI for accepting designation of a replacement area from a user.
  • FIG. 8 is a view exemplarily showing a GUI for receiving a correction to a composite image from a user.
  • It is a schematic diagram showing an example of the environment which photographs a floor slab.
  • FIG. 7 is a view exemplarily showing a screen after deformation detection is performed on a composite image. It is a flowchart explaining operation
  • FIG. 8 is a diagram stepwise representing processing for correcting positional deviation between the main image and the cutout image.
  • FIG. 8 is a diagram stepwise representing processing for correcting positional deviation between the main image and the cutout image.
  • FIG. 8 is a diagram stepwise representing processing for correcting positional deviation between the main image and the cutout image.
  • FIG. 8 is a diagram stepwise representing processing for correcting positional deviation between the main image and the cutout image.
  • It is a figure showing an example of the method of blending the boundary part of a main image and a cutout image.
  • It is a figure showing an example of the method of blending the boundary part of a main image and a cutout image.
  • It is a figure showing an example of the method of blending the boundary part of a main image and a cutout image.
  • It is a figure showing an example of the method of blending the boundary part of a main image and a cutout image.
  • It is a figure showing an example of the method of blending
  • FIG. 1 is a view exemplarily showing how the floor slab 100 looks when observed from below the bridge.
  • the floor slab is a structure for transmitting the weight of a vehicle or the like passing on the bridge to the bridge girder and the bridge pier.
  • a concrete-made floor slab 100 is supported by a grid-like steel bridge girder 110, and a diagonal member 120 is disposed on the side of the steel girder 110 not in contact with the floor slab 100. Therefore, when observed from the lower direction, the diagonal members 120 cross the front side of the floor slab 100.
  • the camera shoots an area of a floor slab surrounded by a steel bridge girder.
  • shooting is performed with a camera from a viewpoint position directly below the floor plan area vertically surrounded by the grids. Further, it is assumed that in each photographed image, an image of an adjacent floor plan area is taken together with a central floor plan area.
  • shooting is performed from different viewpoint positions by moving the camera.
  • FIG. 10 is a schematic view showing an example of an environment for photographing a floor slab.
  • the deformation 1001 is a deformation such as a crack appearing on the surface of the floor slab 100, and is an object to be stored in the photographed image.
  • a space 1002 indicated by a gray rectangle is a space area in which the oblique material 120 blocks the field of view when the camera 1003a installed at the viewpoint position directly below the deformation 1001 is photographed directly upward. That is, the deformation 1001 does not appear in the image captured by the camera 1003a.
  • the camera 1003a is used by being fixed to, for example, a tripod or a pan head, and is fixed to a height of about one mail from the ground. In the example shown in FIG.
  • the camera 1003a is located 10 meters below the floor plate 100. As shown in FIG. 10, when the floor slab 100 and the diagonal member 120 are in a positional relationship of about 2 m apart, in order to photograph the deformation 1001, the viewpoint position of photographing is moved approximately 2.5 m in the horizontal direction It is enough.
  • the camera 1003 b represents a state where the camera 1003 a is installed at a position moved approximately 2.5 m in the horizontal direction.
  • the camera 1003b takes a picture at an angle (from an oblique direction) with respect to the floor slab, so that a deformation 1001 appears in the taken image.
  • shooting is performed from different viewpoint positions by moving the camera, shooting may be performed using a plurality of cameras.
  • Ranges 130a and 130b in FIG. 1 illustratively show the shooting range of a scene when shooting from a viewpoint position immediately below the floorboard areas 100a and 100b vertically. As understood from FIG. 1, the floor area 100a and 100b will be included in both of the ranges 130a and 130b.
  • FIG. 2 is a view exemplarily showing an image of the same floor slab area 100a taken from different viewpoint positions.
  • the image 200 a exemplarily shows an image of the floor area 100 a taken from a viewpoint position directly below the floor area 100 a.
  • the crack 210a is shown in the image 200a.
  • the image 200 b exemplarily shows an image of the floor area 100 a taken from a viewpoint position directly below the floor area 100 b.
  • the crack 210b is shown in the image 200b.
  • the crack 210a and the crack 210b are described as the crack 210 because they actually indicate the same crack.
  • the image 200a corresponds to the image of the floor area 100a taken from the front
  • the image 200b corresponds to the image of the floor area 100a taken from the diagonal left direction. Therefore, the positional relationship between the diagonal member 120 and the crack 210 is different between the image 200 a and the image 200 b.
  • the image of the longitudinal steel bridge girder 110 is different between the image 200a and the image 200b.
  • the appearance of the crack 210 is different. Therefore, in the first embodiment, by combining the image 200a and the image 200b, an image of the floor area 100a with a small number of shielded areas is generated. As a result, it is possible to make an image such as a crack 210 that can be detected more suitably.
  • FIG. 3 is a block diagram showing the functional configuration of the image processing apparatus 300.
  • FIG. 4 is a block diagram showing the hardware configuration of the image processing apparatus 300.
  • FIG. Here, an example in which the image processing apparatus 300 is configured by a general personal computer (PC) is shown.
  • PC personal computer
  • each functional unit of the image processing apparatus 300 illustrated in FIG. 3 is realized by the CPU executing a software program.
  • some or all of the functional units of the image processing apparatus 300 illustrated in FIG. 3 may be configured to be processed by hardware such as an application specific integrated circuit (ASIC) or an FPGA.
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the CPU 320 centrally controls the image processing apparatus 300.
  • the CPU 320 implements the functional units shown in FIG. 3 by executing control programs stored in, for example, the ROM 322 and a hard disk drive (HDD) 326.
  • control programs stored in, for example, the ROM 322 and a hard disk drive (HDD) 326.
  • the HDD 326 stores, for example, an application program used by the image processing apparatus 300 or various control programs.
  • the HDD 326 also stores images captured by the above-described camera (for example, images captured by the ranges 130 a and 130 b) and design drawings described later. Furthermore, the HDD 326 also stores various information related to an application program or various control programs.
  • the RAM 321 is also used to temporarily store various information.
  • the keyboard 325 and the mouse 324 are functional units that receive an instruction input from the user.
  • the display 323 is a functional unit that visually provides various information to the user.
  • the image data storage unit 301 is configured of, for example, an HDD 326, a solid state drive (SSD), or a combination thereof.
  • an HDD 326 a solid state drive
  • SSD solid state drive
  • the captured image captured by the camera from a plurality of viewpoint positions is stored.
  • design drawings that are orthographic projections as viewed from below the bridge, which are created based on the design drawings of the target bridge, etc. are stored.
  • An image data management unit 302 manages image data stored in the above-described HDD 326. For example, it is managed which viewpoint position a plurality of photographed images are photographed respectively. Also, it manages association information between images derived by the alignment unit 303 described later.
  • the alignment unit 303 is a functional unit that determines the correspondence of position coordinates between two (or more) images. For example, two images are displayed on the display 323 as a graphical user interface (GUI), and the user accepts specification of corresponding coordinates in the two images via the keyboard 325 and / or the mouse 324. Then, coordinate conversion parameters for correlating the coordinates between the images are derived.
  • GUI graphical user interface
  • coordinate conversion parameters for correlating the coordinates between the images are derived.
  • a known homography matrix is derived as a coordinate conversion parameter
  • another coordinate conversion parameter may be calculated.
  • the floor area can be approximated by a two-dimensional plane. Also, it is assumed that the portion in contact with the floor slab of the steel girder surrounding the floor slab area is substantially coplanar with the floor slab area.
  • the replacement area designation unit 304 is a functional unit that accepts an area where a floor slab is not shown due to shielding with respect to an image serving as a base (hereinafter referred to as a main image) of the two images to be combined. That is, an area to be replaced with another image (hereinafter referred to as a sub image) of the two images to be combined is designated.
  • the main image is displayed on the display 323 as a GUI, and the user designates the image area of the oblique material included in the main image through the keyboard 325 and / or the mouse 324 in an arbitrary shape such as polygon, circle or ellipse. Accept as an area.
  • the replacement area may be specified not only by one area but also as a combination of two or more areas. In that case, the logical sum (OR) or the logical product (AND) for the combination is further specified.
  • the image 200a (range 130a) obtained by shooting the floor area 100a from the front as the main image
  • the image 200b obtained by shooting the floor area 100a from the diagonal left direction ( The range 130b) is used as a sub-image.
  • any image may be used as the main image as long as it is an image in which the floor area to be processed is shown.
  • FIG. 8 is a view exemplarily showing a GUI for accepting designation of a replacement area from a user. These GUIs are displayed by the replacement area designation unit 304 performing display control of a display unit such as the display 323.
  • the GUI 801 is a GUI that displays the main image (image 200a) and the sub image (image 200b) side by side. When a replacement area is designated for the main image via the mouse cursor 810, an area corresponding to the replacement area is displayed in a linked manner in the sub image.
  • the GUI 802 is a GUI that displays the main image and the sub image in a superimposed manner.
  • a state is shown in which the transparency of the sub-image is superimposed in the state of “80%”. Note that the specification of the degree of transparency of the sub image may be performed.
  • the sub-image to be displayed may be switchable. Also, a plurality of sub-images subjected to the semi-transparent processing may be superimposed and displayed.
  • the GUI 801 and the GUI 802 are provided with buttons and the like for receiving an operation from the user. For example, a button for selecting a main image, a pull-down list for selecting a sub image, a button for starting replacement area specification on the main image, and a button for clipping an area corresponding to the replacement area on the sub image are arranged. It is done.
  • the image cutout unit 305 is a functional unit that cuts out the image of the area in the sub-image corresponding to the replacement area specified by the replacement area specification unit 304.
  • the coordinates of the replacement area designated by the replacement area designation unit 304 are converted into the coordinates in the sub image using the coordinate conversion parameters derived by the alignment unit 303, and correspond to the coordinates obtained by the conversion. Cut out the image of the target area from the sub image.
  • the image combining unit 306 is a functional unit that overwrites the cutout image cut out by the image cutout unit 305 in the replacement area specified by the replacement area specification unit 304 and generates a composite image. For example, an image in which a cutout image cut out from the sub image is superimposed on the main image is generated.
  • the cut-out image may be displayed as a GUI as an editable object image, and editing (deformation such as enlargement / reduction) of the cut-out image may be received from the user via the keyboard 325 and / or the mouse 324.
  • FIG. 9 is a view exemplarily showing a GUI for receiving a correction to the composite image from the user.
  • the cutout image is superimposed on the main image as an editable object image.
  • the user can perform deformation operations such as enlargement / reduction or movement of the cutout image via the mouse cursor 901.
  • the deformation detection unit 307 is a functional unit that performs deformation detection processing on the combined image generated by the image combining unit 306.
  • the deformation detection process is a process of detecting a deformation (such as a crack) in an image and recording the detected deformation.
  • a deformation such as a crack
  • the composite image is displayed on the GUI, the position of the crack is received from the user by a trace operation using a mouse or the like, and position data representing a trace portion or a traced trace is recorded as crack data (variation data).
  • a crack is automatically detected by image analysis processing using an algorithm such as machine learning, and the detected location is recorded as crack data.
  • the crack data is available as independent graphic data.
  • a user interface capable of switching ON / OFF the superimposed display of crack data on the composite image.
  • the crack detection data is stored, and the composite image obtained by photographing the same floor slab of the same bridge after a predetermined period of time is superimposed and displayed on the composite image to allow the user to check whether the crack is elongated or not.
  • the task of visual confirmation becomes easy. At this time, the superimposition of the crack detection data may be turned on / off.
  • the deformation detection process can be performed more easily. That is, it is not necessary to perform a complicated operation of performing deformation detection processing on each of a plurality of images at different shooting positions, and discriminating between a portion that overlaps the result for the plurality of images and a portion that does not.
  • FIG. 11 is a view showing an example of a screen in which the deformation detected by the deformation detection unit 307 is superimposed and displayed on the composite image.
  • a composite image regarding a portion different from the window 900 is displayed.
  • a thick line 1101 is a part of the crack data on the floor slab 100 detected by the deformation detection unit 307 (corresponding to one crack).
  • the crack data is preferably highlighted by a thick line, a broken line, or a colored line so as to facilitate identification and comparison with the crack 1102 in the composite image.
  • FIG. 5 is a flow chart for explaining the operation of the image processing apparatus according to the first embodiment.
  • the photographed image of the range 130a is used as the main image and the photographed image of the range 130b is used as the sub image. More specifically, an example will be described in which a composite image is generated in which the image area of the oblique material in the image 200a is replaced with the partial image of the floor slab captured at the corresponding position in the image 200b.
  • the alignment unit 303 acquires, from the image data storage unit 301, the main image to be combined and one or more sub images. For example, a photographed image obtained by photographing the floor area 100a to be processed from the front (directly below) is read out from the image data storage unit 301 as a main image. Then, the image data management unit 302 is inquired of a photographed image obtained by photographing the floor area adjacent to the left and right of the floor area 100 a from the front, and the corresponding photographed image is read out from the image data storage unit 301 as a sub image. Here, a photographed image obtained by photographing the floor area 100b adjacent on the left side from the front is read as a sub image.
  • the alignment unit 303 reads the design drawing from the image data storage unit 301.
  • the design drawing is an orthographic projection as viewed from below the bridge, and is, for example, an image as shown in FIG.
  • step S503 the alignment unit 303 receives from the user the correspondence of coordinates between the main image and the design drawing, and derives a homography matrix that is a coordinate conversion parameter between the images. Further, the correspondence relationship of the coordinates between the sub-image and the design drawing is received from the user, and a homography matrix which is a coordinate conversion parameter between the images is derived. As a result, it becomes possible to convert (orthogonal transformation) the main image or the sub-image (the central projection image captured by the camera) into an orthographic projection image. In addition, as a result, the relationship of coordinates between the main image and the sub image is associated.
  • the user associates the four vertices of the four corners that are feature points of the floor area 100a in the image 200a with the four vertices of the four corners that are feature points of the floor area 100a in the design drawing. Further, the four vertices of the floor area 100a in the image 200b are associated with the four vertices of the four corners of the floor area 100a in the design drawing. However, it is expected that the top left two corners in the image 200b are shielded by the steel bridge girder. Therefore, it is good to specify two vertices with this in mind. For example, instead of the four corners of the floor slab area 100a, the corner of the bridge girder assumed to be substantially coplanar may be designated.
  • the position on the image of the two hidden vertices present on the back side of the bridge girder is identified by drawing an auxiliary line based on the remaining two apexes visible or the corner of the bridge girder, etc. It may be specified. Also, if there is a feature point other than the vertex, it may be specified. However, it is desirable that the feature points be present in substantially the same plane as the floor slab.
  • the replacement area specification unit 304 accepts specification of a replacement area from the user for the main image.
  • the replacement area is an area where the floor slab is not shown due to the shielding.
  • the area of the oblique material in the image 200a is designated. Note that it is also possible to designate a region wider than the region of the diagonal material, assuming that image editing is required after composition.
  • specification of an image feature (such as texture) of the replacement area may be received. In this case, the replacement area designation unit 304 selects an area in the main image similar to the designated image feature, and designates it as a replacement area.
  • the image cutout unit 305 cuts out the image of the area in the sub-image corresponding to the replacement area (given area) designated in S504.
  • the coordinates in the main image of the replacement area are converted into the coordinates in the sub-image using the coordinate conversion parameters derived by the alignment unit 303, and the image of the cutout area corresponding to the coordinates obtained by the conversion Crop from sub image.
  • a region wider than the cutout region derived from the replacement region may be cut out on the assumption that the image editing is required after combining. However, if it is determined that a non-floor section is shown in the spread area due to an image feature or the like, the area may be excluded from the clipping target.
  • step S506 the image combining unit 306 overwrites (replaces) the cut-out image cut out in step S505 in the replacement area designated in step S504 in the main image to generate a combined image.
  • the cutout image is converted into the coordinate position in the main image based on the homography matrix derived in S503, and then combined.
  • the generated composite image is held in the image data storage unit 301.
  • FIG. 12 is a flowchart for explaining the operation of applying the deformation detection process to a composite image obtained by combining the cutout image with the main image.
  • the deformation detection unit 307 acquires, from the image data storage unit 301, a composite image to be subjected to deformation detection.
  • the deformation detection unit 307 applies the deformation detection process to the composite image acquired in S1201.
  • the deformation detection unit 307 automatically detects a crack from the image using machine learning, and records the detected portion as crack data.
  • FIG. 6 is a diagram for explaining generation of a composite image by superimposing a cutout image on a main image.
  • a floor plan image of the entire area of the target floor plan area is included.
  • one composite image that captures a wider range of the target floor area is generated by composition processing using one or more images captured from different viewpoints, and is subjected to the deformation detection processing.
  • the cut-out image may be displayed as an editable object image so as to be able to correct the positional deviation between the main image and the cut-out image, and a deformation operation such as enlargement or reduction may be received from the user.
  • a photographed image photographed from two different viewpoint positions is synthesized. This process makes it possible to generate an image suitable for the deformation detection process even in a situation where an obstacle (diagonal material) is present between the inspection object (floor plate) and the camera.
  • the sub-image may be used together with a captured image (image 200b) obtained by capturing the floor area adjacent on the left side from the front, and a captured image obtained by capturing the floor area adjacent on the right side from the front.
  • Modification 1 In the first modification, an embodiment will be described in which association between a plurality of photographed images from a plurality of viewpoint positions is directly performed.
  • the apparatus configuration is substantially the same as that of the first embodiment, and thus the description thereof is omitted.
  • FIG. 7 is a flowchart for explaining the operation of the image processing apparatus according to the first modification.
  • the case of using the captured image of the range 130a as the main image and the captured image of the range 130b as the sub image will be described as an example.
  • step S ⁇ b> 701 the alignment unit 303 reads out from the image data storage unit 301 the main image to be combined and one or more sub images.
  • step S702 the alignment unit 303 receives from the user the correspondence of coordinates between the main image and the sub image, and derives a homography matrix that is a coordinate conversion parameter between the images.
  • the user associates the four vertices at the four corners of the floor area 100a in the image 200a with the four vertices at the four corners of the floor area 100a in the image 200b.
  • the top left two corners in the image 200b are shielded by the steel bridge girder. Therefore, it is good to specify two vertices with this in mind.
  • the first modification it is possible to combine captured images captured from two different viewpoint positions without using a design drawing.
  • This process makes it possible to generate an image suitable for the deformation detection process even in a situation where an obstacle (diagonal material) is present between the inspection object (floor plate) and the camera.
  • Modification 2 In the first embodiment, when a positional deviation from the main image occurs in the image cut out from the sub image, the user can perform enlargement / reduction / movement editing with the GUI as shown in FIG. . However, the deviation between the main image and the cut-out image can not always be compensated only by editing by scaling and movement.
  • the second modification when the cutout image is superimposed and displayed on the main image (and when they are combined) according to the first embodiment or the first modification, the deformation of the boundary or the positional deviation of the texture is generated. The process of correcting will be described.
  • FIG. 13 is a block diagram showing the functional configuration of the image processing apparatus 300. As shown in FIG. The description of the same functional configuration as that of the first embodiment will be omitted.
  • the cut-out image correction unit 1301 is a functional unit that applies image processing to the cut-out image in order to correct deformation, texture, and color tone deviation at the boundary between the main image and the cut-out image.
  • FIG. 14 is a flowchart for explaining an example of the operation of the image processing apparatus in the second modification.
  • This process is executed as pre-processing of the image combining process of FIG. 5 (S506) or FIG. 7 (S705).
  • the process is executed as a process of optimizing a composite image to be processed.
  • the case of using the captured image of the range 130a as the main image and the captured image of the range 130b as the sub image will be described as an example.
  • FIG. 15A is a diagram illustrating how a cutout image is superimposed on a main image.
  • a crack 1503 is detected in each of the main image 1501 and the cutout image 1502.
  • the cutout image correction unit 1301 acquires the end point of the crack placed on the boundary of the area specified by the replacement area specification unit 304.
  • FIG. 15B is a diagram showing the end point of the crack on the boundary between the main image 1501 and the cutout image 1502 is identified. Here, eight identified end points are indicated by circles.
  • the cut-out image correction unit 1301 creates a pair of end points of the crack of the main image acquired in S1402 and end points of the crack of the cut-out image that fall within a predetermined range.
  • FIG. 15C is a view showing a state in which the end point of the crack on the main image 1401 and the end point of the crack on the cutout image 1402 are paired. Here, two paired end points are each surrounded by a circle 1504 indicated by a dotted line, and a state in which four pairs are set is shown.
  • the cutout image correction unit 1301 determines whether there are four or more pairs of the crack end point of the main image and the crack end point of the cutout image. If the number of pairs is less than four, the process advances to step S1405. If the number of pairs is four or more, the process advances to step S1406.
  • the cutout image correction unit 1301 receives from the user the correspondence relationship between the coordinates on the cutout image and the main image, and creates a pair from the two input coordinates. This is a process of replenishing pairs in order to enable geometric transformation to be described later based on four or more pairs in total.
  • a pair of coordinates (S 503 or S 702) to be associated may be used to align the main image and the sub image determined by the alignment unit 303.
  • a pair of coordinates may be used in which the user reselects an arbitrary position of the main image and the cutout image and associates them.
  • coordinates designated on the cutout image it is desirable to designate coordinates on an area where it is desired to suppress the influence of conversion in geometric conversion of the cutout image performed in S1406 described later. Further, even in the case where four or more pairs can be generated in S1403, the input of the user's pair may be accepted for the purpose of designating an area for which the influence of conversion is to be suppressed.
  • the number of pairs is "four or more" in S1403 on the assumption of geometric transformation by homography matrix. However, in the case of using another geometric transformation, the number may be any number that is necessary for the geometric transformation, and may not be “four or more”.
  • the cutout image correction unit 1301 derives a homography matrix using a pair of coordinates on the main image and coordinates on the cutout image. Then, geometric transformation by the derived homography matrix is applied to the cutout image.
  • FIG. 15D is a diagram showing a state in which the cutout image to which the geometric transformation has been applied is superimposed and displayed on the main image in S1406.
  • the cutout image geometrically transformed as described above is, for example, overwritten on the composite image and can be used in the deformation detection process. Further, for example, it is possible to provide a user interface capable of superimposing and displaying the geometrically transformed cutout image on the composite image, or turning on / off the superimposed display. For example, the cut-out image superimposed on the composite image (or the main image) may be displayed as an editable object image, and the positional deviation may be further corrected by accepting a deformation operation such as enlargement / reduction from the user.
  • FIGS. 16A to 16D are diagrams showing a method of blending the boundary between the main image and the cutout image.
  • FIGS. 16A to 16D show schematic views of the positional relationship between the main image and the cutout image as viewed from the side and from the top, respectively.
  • FIG. 16A is a diagram showing a state in which the cutout image 1603 is superimposed on the diagonal material area 1602 (that is, replacement area) shown in the main image 1601.
  • the image 1611 exemplarily shows the occurrence of color misregistration at the boundary.
  • FIG. 16B is a diagram showing a state in which the transparency of the central portion is 0% and the transparency is changed to 100% toward the border which is the outer side, with respect to the cutout image.
  • the transparency is 100% at the edge of the cutout image. Therefore, when the width of the cutout image 1603 and the width of the oblique material area 1602 are substantially the same, the oblique material area 1602 shown in the main image 1601 is seen through.
  • the image 1612 exemplarily shows the diagonal material area 1602 seen through. Therefore, when cutting out the cutout image 1603 from the sub image, it is preferable to cut out the region larger than the range of the oblique material region 1602.
  • FIG. 16C is a diagram showing a state in which the cutout image 1603 is cut out including the peripheral area 1604 when cutting out the image area corresponding to the replacement area in the sub image. That is, it shows a state in which an extended partial area wider than the replacement area is cut out.
  • An image 1613 exemplarily shows the occurrence of color misregistration at the boundary between the peripheral region 1604 and the main image in this case.
  • FIG. 16D is a diagram showing a state in which the transparency of the portion corresponding to the oblique material region 1602 (that is, the replacement region) is 0% and the peripheral region 1604 is changed in the cutout image (expanded portion region) cut out on a large scale. It is.
  • an example is shown in which the transparency of the peripheral region 1604 is continuously changed from 0% to 100% from the side in contact with the cutout image 1603 to the outer side (side toward the border with the main image). Further, an image 1614 exemplarily shows a state in which the color misregistration at the boundary becomes inconspicuous by this processing.
  • the second modification the occurrence of such false detection can be reduced.
  • the correction method was demonstrated about the position shift and the shift
  • any one of the hue, saturation, and lightness of the partial region in the other image is adjusted based on any or all of the hue, saturation, and lightness of any of the main image and the sub-image, It can be reflected on the composite image. This can improve the accuracy of the subsequent deformation detection process.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
  • a circuit eg, an ASIC

Abstract

より好適な変状検知を可能とする画像を生成する。画像処理装置は、第１の視点位置から対象物を含むシーンを撮影した第１の画像と、第１の視点位置と異なる第２の視点位置から対象物を含むシーンを撮影した第２の画像と、を取得し、第１の画像上における対象物の特徴の位置に相当する座標位置と第２の画像上における対象物の特徴の位置に相当する座標位置と、を対応付ける。画像処理装置は、当該対応付けに基づいて、第１の画像における所与の領域に対応する第２の画像における部分領域を決定し、第１の画像における所与の領域の画像を決定された部分領域の画像を用いて置換し合成画像を生成し、前記対象物に生じた変状を表す変状データを合成画像に重畳して表示させる。

Description

画像処理装置およびその制御方法
　本発明は、撮影画像を合成する技術に関するものである。
　従来、橋梁、ダム、及びトンネル等のコンクリート壁面の点検では、調査技術者がコンクリート壁面に接近し、ひび割れなどの変状を目視で確認している。ただし、このような近接目視と呼ばれる点検作業は作業コストが高いという問題点がある。特許文献１では、トンネル内のコンクリート壁をカメラで撮影し、得られた撮影画像に基づいてひび割れを検知する技術を開示している。
特開２００２－３１０９２０号公報
　しかしながら、上述の従来技術においては、コンクリート壁面などの点検対象物と撮影を行うカメラとの間に障害物が存在する場合、当該障害物により遮蔽される部分の画像を得ることができないという問題がある。そのため、当該部分のコンクリート壁面におけるひび割れなどの変状を見逃してしまうおそれがある。
　本発明はこのような問題を鑑みてなされたものであり、点検対象物とカメラとの間に障害物が存在する状況において、より好適な変状検知を可能とする画像を生成する技術を提供する。
　上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
　第１の視点位置から対象物を含むシーンを撮影した第１の画像と、前記第１の視点位置と異なる第２の視点位置から前記対象物を含むシーンを撮影した第２の画像と、を取得する取得手段と、
　前記第１の画像上における前記対象物の特徴の位置に相当する座標位置と前記第２の画像上における前記対象物の特徴の位置に相当する座標位置と、を対応付ける対応付け手段と、
　前記対応付け手段による対応付けに基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する決定手段と、
　前記第１の画像における前記所与の領域の画像を前記決定手段により決定された部分領域の画像を用いて置換し合成画像を生成する生成手段と、
　前記対象物に生じた変状を表す変状データを前記生成手段によって生成された前記合成画像に重畳して表示させる表示制御手段と、
を有する。
　本発明によれば、より好適な変状検知を可能とする画像を生成する技術を提供することができる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
橋梁下方から観察した際の床版の見え方を例示的に示す図である。 異なる視点位置から撮影した同一の床版領域の画像を例示的に示す図である。 画像処理装置の機能構成の一例を示すブロック図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 画像処理装置の動作を説明するフローチャートである。 合成画像の生成を説明する図である。 画像処理装置の動作を説明するフローチャートである。 差替領域の指定をユーザから受付けるＧＵＩを例示的に示す図である。 合成画像に対する修正をユーザから受付けるＧＵＩを例示的に示す図である。 床版を撮影する環境の一例を表す模式図である。 合成画像に対して変状検知を行った後の画面を例示的に示す図である。 合成画像に対して変状検知を行う際の画像処理装置の動作を説明するフローチャートである。 画像処理装置の機能構成の一例を示すブロック図である。 画像処理装置の動作を説明するフローチャートである。 メイン画像と切抜画像の位置ずれを補正する処理を段階的に表す図である。 メイン画像と切抜画像の位置ずれを補正する処理を段階的に表す図である。 メイン画像と切抜画像の位置ずれを補正する処理を段階的に表す図である。 メイン画像と切抜画像の位置ずれを補正する処理を段階的に表す図である。 メイン画像と切抜画像の境界部をブレンドする方法の一例を表す図である。 メイン画像と切抜画像の境界部をブレンドする方法の一例を表す図である。 メイン画像と切抜画像の境界部をブレンドする方法の一例を表す図である。 メイン画像と切抜画像の境界部をブレンドする方法の一例を表す図である。
　以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
　（第１実施形態）
　本発明に係る画像処理装置の第１実施形態として、互いに異なる２つの視点位置から橋梁の床版を撮影して得られる２つの画像を合成する画像処理装置を例に挙げて以下に説明する。
　＜橋梁の床版の撮影＞
　図１は、橋梁下方から観察した際の床版１００の見え方を例示的に示す図である。なお、床版（しょうばん）とは、橋の上を通る車両等の重みを橋桁や橋脚に伝えるための構造物である。ここでは、コンクリート製の床版１００を格子状の鋼鉄の橋桁１１０が支える構造となっており、鋼鉄の橋桁１１０の、床版１００と接しない側には斜材１２０が配されている。そのため、下方向から観察した場合、床版１００の手前を斜材１２０が横切ることになる。
　カメラは、鋼鉄の橋桁による格子に囲まれた床版領域を対象物として撮影を行う。特に、以下では説明を簡単にするために、各格子に囲まれた床版領域の鉛直真下の視点位置からカメラで撮影を行うことを想定する。また、各撮影画像には、中心となる床版領域と共に隣接する床版領域の画像が合わせて撮影されているものとする。なお、ここでは、カメラを移動することにより異なる視点位置から撮影を行うことを想定する。
　図１０は、床版を撮影する環境の一例を表す模式図である。変状１００１は、床版１００の表面に現れるひび割れなどの変状であり、撮影画像に収めるべき対象である。また、グレーの矩形で示す空間１００２は、変状１００１の鉛直真下の視点位置に設置されたカメラ１００３ａが真上に向けて撮影した場合に、斜材１２０により視界が遮られる空間領域である。つまり、変状１００１は、カメラ１００３ａが撮影する画像には写らない。カメラ１００３ａは、例えば三脚や雲台に固定して利用され、地面から１メール前後の高さに固定される。図１０に示す例では、カメラ１００３ａは、床版１００の１０メートル下に位置する。図１０に示されるように、床版１００と斜材１２０とが２ｍほど離れた位置関係にある場合、変状１００１を撮影するためには、撮影の視点位置を水平方向に約２．５ｍ移動すれば十分である。カメラ１００３ｂは、カメラ１００３ａを水平方向に約２．５ｍ移動させた位置に設置した状態を表している。カメラ１００３ｂは、床版に対して角度をつけて（斜め方向から）撮影を行うことにより、撮影した画像には変状１００１が写ることになる。なお、ここでは、カメラを移動することにより異なる視点位置から撮影を行うことを想定したが、複数のカメラを用いて撮影を行ってもよい。
　図１の範囲１３０ａ及び１３０ｂは、それぞれ、床版領域１００ａ及び１００ｂの鉛直真下の視点位置から撮影した場合のシーンの撮影範囲を例示的に示している。図１から理解されるように、床版領域１００ａ及び１００ｂは、範囲１３０ａ及び１３０ｂの双方に含まれることになる。
　図２は、異なる視点位置から撮影した同一の床版領域１００ａの画像を例示的に示す図である。画像２００ａは、床版領域１００ａの鉛直真下の視点位置から撮影した場合の床版領域１００ａの画像を例示的に示している。画像２００ａには、ひび割れ２１０ａが写っている。一方、画像２００ｂは、床版領域１００ｂの鉛直真下の視点位置から撮影した場合の床版領域１００ａの画像を例示的に示している。画像２００ｂには、ひび割れ２１０ｂが写っている。以下で説明するように、ひび割れ２１０ａ及びひび割れ２１０ｂは、実際には同じひび割れを示すものであるためひび割れ２１０と記述する。
　図１及び図２から理解されるように、画像２００ａは、床版領域１００ａを正面から撮影したものに相当し、画像２００ｂは、床版領域１００ａを斜め左方向から撮影したものに相当する。そのため、斜材１２０とひび割れ２１０との位置関係が画像２００ａと画像２００ｂとでは異なったものとなっている。また、縦方向の鋼鉄の橋桁１１０の写り方が画像２００ａと画像２００ｂとでは異なったものとなっている。
　すなわち、画像２００ａと画像２００ｂとでは、視差により、斜材によって遮蔽される床版の領域が異なるため、ひび割れ２１０の写り方が異なるものとなっている。そこで、第１実施形態では、画像２００ａと画像２００ｂを合成することにより、遮蔽領域の少ない床版領域１００ａの画像を生成する。これにより、ひび割れ２１０のような変状をより好適に検知可能な画像とすることが出来る。
　＜画像処理装置の構成＞
　図３は、画像処理装置３００の機能構成を示すブロック図である。図４は、画像処理装置３００のハードウェア構成を示すブロック図である。ここでは、画像処理装置３００が一般的なパーソナルコンピュータ（ＰＣ）で構成される例を示している。
　以下の説明においては、図３に示す画像処理装置３００の各機能部をＣＰＵがソフトウェアプログラムを実行することによって実現する形態について説明する。ただし、図３に示す画像処理装置３００の各機能部の一部又は全部を、特定用途向け集積回路（ＡＳＩＣ）やＦＰＧＡなどのハードウェアにより処理するよう構成してもよい。ここで、ＦＰＧＡは、field programmable gate arrayの略である。
　ＣＰＵ３２０は、画像処理装置３００を統括的に制御する。ＣＰＵ３２０は、例えばＲＯＭ３２２やハードディスクドライブ（ＨＤＤ）３２６に格納された制御プログラムを実行することにより図３に示される各機能部を実現する。
　ＨＤＤ３２６は、例えば、画像処理装置３００で利用されるアプリケーションプログラムあるいは各種の制御プログラムを記憶する。また、ＨＤＤ３２６には、上述のカメラによる撮影画像（例えば、範囲１３０ａ及び１３０ｂにより示される撮影画像）及び後述の設計図面が格納されている。さらに、ＨＤＤ３２６には、アプリケーションプログラムあるいは各種の制御プログラムに関連する各種情報も記憶される。なお、一時的に各種情報を記憶するためにＲＡＭ３２１も利用される。キーボード３２５及びマウス３２４は、ユーザからの指示入力を受付ける機能部である。また、ディスプレイ３２３は、ユーザに対して視覚的に各種情報を提供する機能部である。
　画像データ記憶部３０１は、例えばＨＤＤ３２６や、ＳＳＤ（solid state drive）、またはそれらの組み合わせなどで構成される。上述したように、複数の視点位置からカメラにより撮影された撮影画像を記憶している。また、対象の橋梁の設計図等に基づいて作成された、橋梁の下方からみた正射投影図である設計図面を記憶している。
　なお、以下の説明では、撮影画像として、範囲１３０ａ及び１３０ｂにより示されるような撮影画像を想定するが、それぞれの撮影画像は、複数の撮影画像（１ショット撮影画像）をスティッチ合成したものでもよい。すなわち、精密なひび割れ検知を行うため、床版を高解像度（例えば、撮影画像の１画素が床版における０．５ｍｍに対応）で撮影を行う必要がある。このとき、例えば２４００万画素（横６０００画素×縦４０００画素）のカメラで撮影を行う場合、１ショット画像は、横３ｍ×縦２ｍの範囲となり、上述の撮影画像の条件（＝隣接する床版画像を含む）を満たすことが出来ない。そのため、複数の１ショット画像をスティッチ合成などにより合成し、上述の撮影画像の条件を満たす画像として生成しておくとよい。
　画像データ管理部３０２は、上述のＨＤＤ３２６に格納された画像データを管理する。例えば、複数の撮影画像がそれぞれどの視点位置により撮影されたものであるかを管理している。また、後述の位置合わせ部３０３により導出された画像間の対応付け情報を管理する。
　位置合わせ部３０３は、２つ（あるいはそれ以上）の画像間の位置座標の対応付けを決定する機能部である。例えば、２つの画像をディスプレイ３２３にグラフィカル・ユーザ・インタフェース（ＧＵＩ）として表示し、ユーザから、当該２つの画像において対応する座標の指定をキーボード３２５及び／又はマウス３２４を介して受付ける。そして、画像間の座標を相互に対応付けるための座標変換パラメータを導出する。ここでは、座標変換パラメータとして公知のホモグラフィー行列を導出することを想定するが、他の座標変換パラメータを算出するよう構成してもよい。なお、ここでは、床版領域は２次元平面で近似できるものとする。また、床版領域を取り囲む鋼鉄の桁の床版と接している部分は床版領域と略同一平面上にあると仮定する。
　なお、一般にホモグラフィー行列を導出するには、４つのペア座標の指定が必要となる。ただし、さらに多くのペア座標を指定して導出してもよい。その場合には、例えば各ペア座標の座標値を座標変換した結果の誤差の合計を算出し、その値が最小になるようにパラメータを最適化するなどの処理をおこなう。実際には座標ペアは多いほど精度が向上する傾向がある。
　差替領域指定部３０４は、合成を行う２つの画像のうちベースとなる画像（以下ではメイン画像と呼ぶ）に対して、遮蔽により床版が写っていない領域を受付ける機能部である。すなわち、合成を行う２つの画像のうちのもう一方の画像（以下ではサブ画像と呼ぶ）で差替える領域を指定する。例えば、メイン画像をディスプレイ３２３にＧＵＩとして表示し、ユーザから、メイン画像に含まれる斜材の画像領域の指定をキーボード３２５及び／又はマウス３２４を介して多角形や円、楕円等の任意形状の領域として受付ける。なお、差替領域を１つの領域で指定するだけでなく２以上の領域の組み合わせとして指定してもよい。その場合は、当該組み合わせに対する論理和（ＯＲ）や論理積（ＡＮＤ）を更に指定する。
　なお、ひび割れ等の検知処理においては、床版に正対する位置から撮影した画像であることが望ましい。そのため、以下の説明では、床版領域１００ａを正面から撮影して得られた画像２００ａ（範囲１３０ａ）をメイン画像として用い、床版領域１００ａを斜め左方向から撮影して得られた画像２００ｂ（範囲１３０ｂ）をサブ画像として用いている。ただし、画像処理としては、処理対象となる床版領域が写っている画像であれば何れの画像をメイン画像としてもよい。
　図８は、差替領域の指定をユーザから受付けるＧＵＩを例示的に示す図である。これらのＧＵＩは、差替領域指定部３０４が、ディスプレイ３２３のような表示部の表示制御を行うことにより表示される。ＧＵＩ８０１は、メイン画像（画像２００ａ）とサブ画像（画像２００ｂ）とを並べて表示するＧＵＩである。メイン画像に対してマウスカーソル８１０を介して差替領域を指定すると、サブ画像において、差替領域に対応する領域が連動して表示されるよう構成されている。
　一方、ＧＵＩ８０２は、メイン画像とサブ画像とを重畳表示して表示するＧＵＩである。ここではサブ画像の透明度が”８０％”の状態で重畳されている状態を示している。なお、サブ画像の透明度指定を行えるよう構成してもよい。なお、複数のサブ画像が存在している場合には、表示するサブ画像を切り替え可能なよう構成してもよい。また、半透明処理がなされた複数のサブ画像を重畳して表示してもよい。
　このようなＧＵＩとして構成することにより、メイン画像に対して指定した差替領域がサブ画像においてどのような領域に対応するかを直感的に知ることが可能となる。なお、ＧＵＩ８０１およびＧＵＩ８０２には、ユーザからの操作を受け付けるためのボタン等が配されている。例えば、メイン画像を選択するボタン、サブ画像を選択するプルダウンリスト、メイン画像上での差替領域指定を開始するボタン、サブ画像上の差替領域に対応する領域の切り抜きを実行するボタンが配されている。
　画像切抜部３０５は、差替領域指定部３０４により指定された差替領域に対応するサブ画像における領域の画像を切り抜く機能部である。例えば、差替領域指定部３０４により指定された差替領域の座標を、位置合わせ部３０３により導出された座標変換パラメータを利用してサブ画像における座標に変換し、変換により得られた座標に相当する領域の画像をサブ画像から切り抜く。
　画像合成部３０６は、差替領域指定部３０４により指定された差替領域に対して、画像切抜部３０５により切り抜かれた切抜画像を上書きし、合成画像を生成する機能部である。例えば、メイン画像に対してサブ画像から切り抜かれた切抜画像を重畳表示した画像を生成する。
　なお、様々な要因により、メイン画像と切抜画像との間に位置ずれが発生し得る。そのため、切抜画像を編集可能なオブジェクト画像としてＧＵＩ表示し、ユーザから切抜画像の編集（拡縮などの変形）をキーボード３２５及び／又はマウス３２４を介して受付けるよう構成してもよい。
　図９は、合成画像に対する修正をユーザから受付けるＧＵＩを例示的に示す図である。ウィンドウ９００では、メイン画像に対して切抜画像が編集可能なオブジェクト画像として重畳表示されている。ユーザは、マウスカーソル９０１を介して、切抜画像の拡縮・移動などの変形操作を行うことが可能である。
　変状検知部３０７は、画像合成部３０６により生成された合成画像に対して、変状検知処理を行う機能部である。ここで、変状検知処理とは、画像における変状（ひび割れなど）を検知し、検知した変状を記録する処理である。例えば、合成画像をＧＵＩに表示し、マウス等を用いたトレース操作によりひび割れの位置をユーザから受付け、トレース箇所またはトレースされた軌跡を表す位置データをひび割れデータ（変状データ）として記録する。あるいは、機械学習等のアルゴリズムを用いた画像解析処理により自動的にひび割れを検知し、その検知箇所をひび割れデータとして記録する。なお、取り扱いを容易にするため、ひび割れデータは、ひび割れの軌跡を示すベクタデータとして記録するとよい。
　本実施形態では、ひび割れデータは、独立したグラフィックデータとして利用可能である。例えば、合成画像上のひび割れデータの重畳表示をＯＮ／ＯＦＦ切り替え可能なユーザインタフェースを提供することができる。このように重畳表示を切り替えながら合成画像を確認することにより、ユーザは、変状検知処理の正誤の確認や補足の作業をより容易に行うことができる。また、ひび割れ検知データを保存しておき、所定の期間が過ぎた後で同じ橋梁の同じ床版を撮影して得られる合成画像に対して重畳表示を行うことにより、ひび割れの伸長の有無をユーザが目視確認する作業が容易となる。このとき、ひび割れ検知データの重畳のＯＮ／ＯＦＦ可能に構成してもよい。特に、本実施形態によれば、遮蔽物により隠れた領域を補完した合成画像を変状検知処理の対象とすることができるため、変状検知処理をより簡易に行うことが可能となる。すなわち、撮影位置が異なる複数の画像それぞれに対して変状検知処理を行い、当該複数の画像に対する結果に対して重複する部分とそうではない部分を区別するといった煩雑な作業が不要となる。
　図１１は、変状検知部３０７により検知された変状を、合成画像上に重畳表示した画面の一例を示す図である。ウィンドウ１１００には、ウィンドウ９００とは異なる部分に関する合成画像が表示されている。太線１１０１は、変状検知部３０７により検知された床版１００上のひび割れデータの一部である（１本分のひび割れに対応する）。このようにひび割れデータは、太線や、破線、色のついた線により、合成画像に写るひび割れ１１０２との識別及び比較が容易であるように強調表示されるのが好ましい。
　＜画像処理装置の動作＞
　図５は、第１実施形態における画像処理装置の動作を説明するフローチャートである。なお、以下の説明では、メイン画像として範囲１３０ａの撮影画像、サブ画像として範囲１３０ｂの撮影画像を用いる場合を例に説明を行う。より具体的には、画像２００ａにおける斜材の画像領域を、画像２００ｂにおける対応する位置に写る床版の部分画像で差替えた合成画像を生成する例について説明する。
　Ｓ５０１では、位置合わせ部３０３は、合成の対象となるメイン画像と１以上のサブ画像とを画像データ記憶部３０１から取得する。例えば、処理対象の床版領域１００ａを正面（真下）から撮影した撮影画像を画像データ記憶部３０１からメイン画像として読み出す。そして、画像データ管理部３０２に対して、床版領域１００ａの左右に隣接する床版領域を正面から撮影した撮影画像を問い合わせ、対応する撮影画像を画像データ記憶部３０１からサブ画像として読み出す。ここでは、左側に隣接する床版領域１００ｂを正面から撮影した撮影画像をサブ画像として読み出す。
　Ｓ５０２では、位置合わせ部３０３は、設計図面を画像データ記憶部３０１から読み出す。上述したように、設計図面は、橋梁の下方からみた正射投影図であり、例えば、図１に示されるような画像である。
　Ｓ５０３では、位置合わせ部３０３は、メイン画像と設計図面との間の座標の対応関係をユーザから受付け、当該画像間の座標変換パラメータであるホモグラフィー行列を導出する。また、サブ画像と設計図面との間の座標の対応関係をユーザから受付け、当該画像間の座標変換パラメータであるホモグラフィー行列を導出する。これにより、メイン画像やサブ画像（カメラで撮影された中心投影画像）を正射投影画像に変換（正射変換）することが可能となる。また、結果として、メイン画像とサブ画像との間の座標の関係が対応付けられることになる。
　ここでは、ユーザは、画像２００ａにおける床版領域１００ａの特徴点である四隅の４頂点と、設計図面上における床版領域１００ａの特徴点である四隅の４頂点とを対応付ける。また、画像２００ｂにおける床版領域１００ａの４頂点と、設計図面上における床版領域１００ａの四隅の４頂点とを対応付ける。ただし、画像２００ｂにおける左側の２頂点は鋼鉄の橋桁により遮蔽されていることが予想される。そのため、このことを念頭に入れた２頂点を指定するとよい。例えば、床版領域１００ａの四隅ではなく、略同一平面上にあると仮定する橋桁の角を指定しても良い。また例えば、橋桁の裏側に存在するその隠れた２頂点の画像上の位置を、見えている残り２頂点や橋桁の角等を頼りに補助線を引くなどして特定し、その特定した点を指定しても良い。また、頂点以外の特徴点があればそれを指定してもよい。ただし、床版と略同一平面に存在する特徴点であることが望ましい。
　Ｓ５０４では、差替領域指定部３０４は、メイン画像に対して、差替領域の指定をユーザから受付ける。上述したように、差替領域とは、メイン画像において、遮蔽により床版が写っていない領域である。ここでは、画像２００ａにおける斜材の領域を指定する。なお、合成後に画像編集が必要になる場合も想定し、斜材の領域より広い領域を指定してもよい。また、差替領域を直接指定する代わりに、差替領域の画像特徴（テクスチャなど）の指定を受付けてもよい。この場合、差替領域指定部３０４は、指定された画像特徴に類似するメイン画像内の領域を選択し、差替領域として指定する。
　Ｓ５０５では、画像切抜部３０５は、Ｓ５０４により指定された差替領域（所与の領域）に対応するサブ画像における領域の画像を切り抜く。ここでは、差替領域のメイン画像における座標を、位置合わせ部３０３により導出された座標変換パラメータを利用してサブ画像における座標に変換し、変換により得られた座標に相当する切抜領域の画像をサブ画像から切り抜く。なお、合成後に画像編集が必要になる場合も想定し、差替領域から導出された切抜領域より広い領域を切り抜いてもよい。ただし、画像特徴等により、広げた領域に床版でない部分が写っていると判断される場合には、その領域を切り抜き対象から除外するよう構成するとよい。
　Ｓ５０６では、画像合成部３０６は、メイン画像において、Ｓ５０４により指定された差替領域に対して、Ｓ５０５により切り抜かれた切抜画像を上書き（置換）し、合成画像を生成する。なお、切抜画像をメイン画像に合成するにあたっては、Ｓ５０３で導出したホモグラフィー行列に基づいて当該切抜画像をメイン画像における座標位置に変換した上で合成する。生成された合成画像は、画像データ記憶部３０１に保持される。
　図１２は、メイン画像に切抜画像を合成することにより得られた合成画像に対して、変状検知処理を適用する動作を説明するフローチャートである。Ｓ１２０１では、変状検知部３０７は、変状検知の対象となる合成画像を画像データ記憶部３０１から取得する。Ｓ１２０２では、変状検知部３０７は、Ｓ１２０１で取得した合成画像に対して変状検知処理を適用する。本実施形態では、変状検知部３０７は、機械学習を用いて画像上から自動的にひび割れを検知し、その検知箇所をひび割れデータとして記録する。
　図６は、メイン画像に切抜画像を重畳することによる合成画像の生成を説明する図である。図に示されるように、生成された合成画像６００においては、注目床版領域の全域の床版画像が含まれることになる。もちろん、メイン画像にもサブ画像にも映っていない部分領域が存在する場合にはこの限りではない。そのような場合、さらに異なる視点から撮影された１以上の画像を利用した合成処理により、注目床版領域のより広い範囲を写す１つの合成画像を生成し、変状検知処理の対象とすることができる。なお、上述したように、メイン画像と切抜画像との位置ずれを修正可能とすべく、切抜画像を編集可能なオブジェクト画像として表示し、ユーザから拡縮などの変形操作を受付けてもよい。
　以上説明したとおり第１実施形態によれば、異なる２つの視点位置から撮影した撮影画像を合成する。この処理により、点検対象物（床版）とカメラとの間に障害物（斜材）が存在する状況においても、変状検知処理に好適な画像を生成することが可能となる。
　なお、上述の説明においては、１つのメイン画像に対して１つのサブ画像を利用する形態について説明したが、２以上のサブ画像を利用してもよい。例えば、左側に隣接する床版領域を正面から撮影した撮影画像（画像２００ｂ）に併せて、右側に隣接する床版領域を正面から撮影した撮影画像を併せてサブ画像を利用してもよい。
　（変形例１）
　変形例１では、複数の視点位置からの複数の撮影画像間の対応付けを直接行う形態について説明する。なお、装置構成については第１実施形態とほぼ同様であるため説明は省略する。
　＜画像処理装置の動作＞
　図７は、変形例１における画像処理装置の動作を説明するフローチャートである。なお、以下の説明では、第１実施形態と同様に、メイン画像として範囲１３０ａの撮影画像、サブ画像として範囲１３０ｂの撮影画像を用いる場合を例に説明を行う。
　Ｓ７０１では、位置合わせ部３０３は、合成の対象となるメイン画像と１以上のサブ画像とを画像データ記憶部３０１から読み出す。Ｓ７０２では、位置合わせ部３０３は、メイン画像とサブ画像との間の座標の対応関係をユーザから受付け、当該画像間の座標変換パラメータであるホモグラフィー行列を導出する。
　ここでは、ユーザは、画像２００ａにおける床版領域１００ａの四隅の４頂点と、画像２００ｂにおける床版領域１００ａの四隅の４頂点とを対応付ける。ただし、画像２００ｂにおける左側の２頂点は鋼鉄の橋桁により遮蔽されていることが予想される。そのため、このことを念頭に入れた２頂点を指定するとよい。また、頂点以外の特徴点があればそれを指定してもよい。ただし、床版と略同一平面に存在する特徴点であることが望ましい。
　Ｓ７０３～Ｓ７０５については、第１実施形態におけるＳ５０４～Ｓ５０６と同様であるため説明は省略する。
　以上説明したとおり変形例１によれば、設計図面を使用することなく、異なる２つの視点位置から撮影した撮影画像を合成することが可能となる。この処理により、点検対象物（床版）とカメラとの間に障害物（斜材）が存在する状況においても、変状検知処理に好適な画像を生成することが可能となる。
　（変形例２）
　第１実施形態では、サブ画像から切り抜いた画像にメイン画像との位置ずれが生じた場合は、図９に示したようなＧＵＩにより、ユーザが拡縮・移動の編集を行うことが可能であった。ただし、メイン画像と切抜き画像に生じるずれは、拡縮・移動による編集だけで補い切れるとは限らない。変形例２では、第１実施形態または変形例１により、メイン画像に対して切抜画像を重畳表示した場合（およびそれらを合成した場合）に、境界部分に発生する変状やテクスチャの位置ずれを補正する処理について説明する。
　図１３は、画像処理装置３００の機能構成を示すブロック図である。機能構成については、第１の実施形態と同様である部分については説明を省略する。切抜画像補正部１３０１は、メイン画像と切抜画像の境界部における変状やテクスチャ、色合いのずれを補正すべく、切抜画像に対して画像処理を適用する機能部である。
　図１４は、変形例２における画像処理装置の動作の例を説明するフローチャートである。この処理は、図５（Ｓ５０６）または図７（Ｓ７０５）の画像合成処理の事前処理として実行される。あるいは、図１２（Ｓ１２０２）の変状検知処理において、処理対象の合成画像を最適化する処理として実行される。なお、以下の説明では、第１実施形態と同様に、メイン画像として範囲１３０ａの撮影画像、サブ画像として範囲１３０ｂの撮影画像を用いる場合を例に説明を行う。
　Ｓ１４０１では、変状検知部３０７は、メイン画像および切抜画像に対して、ひび割れの検知処理を実行する。図１５Ａは、メイン画像に切抜画像が重畳されている様子を表す図である。メイン画像１５０１、切抜画像１５０２のそれぞれでひび割れ１５０３が検知されている。Ｓ１４０２では、切抜画像補正部１３０１は、差替領域指定部３０４で指定した領域の境界に載るひび割れの端点を取得する。図１５Ｂは、メイン画像１５０１と切抜画像１５０２の境界上のひび割れの端点が特定された様子を表す図である。ここでは、特定された８つの端点を丸印で示している。Ｓ１４０３では、切抜画像補正部１３０１は、Ｓ１４０２で取得したメイン画像のひび割れの端点と切抜画像のひび割れの端点について、所定の範囲に収まる端点同士でペアを作る。図１５Ｃは、メイン画像１４０１上のひび割れの端点と切抜画像１４０２上のひび割れの端点をペアにした様子を表す図である。ここでは、ペアにした２つの端点をそれぞれ点線で示す円１５０４で囲み、４つのペアが設定された状態を示している。Ｓ１４０４では、切抜画像補正部１３０１は、メイン画像のひび割れの端点と切抜画像のひび割れの端点からなるペアの数が４つ以上存在するかを判定する。ペアの数が４つ未満の場合、Ｓ１４０５に進む。ペアの数が４つ以上の場合、Ｓ１４０６に進む。
　Ｓ１４０５では、切抜画像補正部１３０１は、切抜画像上とメイン画像との間の座標の対応関係をユーザから受付け、入力された２つの座標からペアを作る。これは、合計４つ以上のペアに基づいて、後述する幾何変換を実行可能とするためにペアを補充する処理である。例えば、位置合わせ部３０３にて決定されるメイン画像およびサブ画像を位置合わせするために対応付ける座標のペア（Ｓ５０３またはＳ７０２）を用いればよい。もしくは、ユーザがメイン画像および切抜画像の任意の位置を改めて選んで対応付けた座標のペアを用いても良い。なお、切抜画像上で指定される座標は、後述するＳ１４０６で行われる切抜画像の幾何変換において、変換の影響を抑えたい領域上の座標を指定するのが望ましい。また、Ｓ１４０３において、４つ以上のペアを生成できている場合においても、変換の影響を抑えたい領域を指定する目的で、ユーザのペアの入力を受け付けてもよい。なお、ここでは、ホモグラフィー行列による幾何変換を想定しＳ１４０３においてペアの数が「４つ以上」であることを判定している。ただし、他の幾何変換を用いる場合、当該幾何変換に必要な個数であればよく、「４つ以上」でなくてもよい。
　Ｓ１４０６では、切抜画像補正部１３０１は、メイン画像上の座標と切抜画像上の座標のペアを用いて、ホモグラフィー行列を導出する。そして、導出したホモグラフィー行列による幾何変換を切抜画像に適用する。図１５Ｄは、Ｓ１４０６において、幾何変換を適用した切抜画像をメイン画像に重畳表示した様子を表す図である。以上のようにして幾何変換された切抜画像は、例えば、合成画像に上書きされ、変状検知処理において利用することができる。また例えば、幾何変換された切抜画像を合成画像に重畳表示する、あるいは重畳表示をＯＮ／ＯＦＦすることが可能なユーザインタフェースを提供することができる。例えば、合成画像（またはメイン画像）に重畳されている切抜画像を編集可能なオブジェクト画像として表示し、ユーザから拡縮などの変形操作を受付けることで、位置ずれをさらに修正可能としてもよい。
　なお、メイン画像と切抜画像の境界部では、変状やテクスチャの位置ずれのみならず、色合いのずれ（色ずれ）が発生する場合もある。以下では、境界部の色ずれを補正する２つの方法を述べる。１つは、メイン画像の色ヒストグラムの分布に対して、切抜画像の色ヒストグラムの分布をマッチさせるヒストグラムマッチングによる方法である。もう１つは、切抜画像の境界部付近に対して、中心から外側へ向けて連続的に変化させた透明度を設定し、メイン画像にブレンドする方法である。
　図１６Ａ～図１６Ｄは、メイン画像と切抜画像の境界部をブレンドする方法を表す図である。図１６Ａ～図１６Ｄには、それぞれ、メイン画像と切抜画像の位置関係を横から見た場合と上から見た場合の模式図が示されている。図１６Ａは、メイン画像１６０１に写る斜材領域１６０２（つまり差替領域）上に切抜画像１６０３を重畳している様子を表す図である。また、画像１６１１は、境界部における色ずれの発生を例示的に示している。
　図１６Ｂは、切抜画像に対して、中心部分の透明度を０％とし、外側である境界部へ向かうにつれて透明度を１００％に変化させた状態を表す図である。なお、この場合、切抜画像のふちにおいて透明度が１００％になる。そのため、切抜画像１６０３の幅と斜材領域１６０２の幅とが同程度である場合、メイン画像１６０１に写る斜材領域１６０２が透けて見えてしまうことになる。画像１６１２は、斜材領域１６０２が透けて見えている状態を例示的に示している。そのため、サブ画像から切抜画像１６０３を切り抜く際に、斜材領域１６０２の範囲よりも大きめに領域を切り抜くとよい。このような切抜画像１６０３に対して０％から１００％に変化させた透明度を設定することにより、斜材を透けさせることなくブレンドすることができる。
　図１６Ｃは、サブ画像における、差替領域に対応する画像領域を切り抜く際に、周辺領域１６０４を含めて切抜画像１６０３を切り抜いた様子を表す図である。つまり、差替領域よりも広い拡張部分領域を切り抜いた様子を表している。また、画像１６１３は、この場合の周辺領域１６０４とメイン画像との境界部における色ずれの発生を例示的に示している。図１６Ｄは、大きめに切り抜かれた切抜画像（拡張部分領域）において、斜材領域１６０２（つまり差替領域）に対応する部分の透明度を０％とし、周辺領域１６０４の変化させた状態を表す図である。ここでは、周辺領域１６０４の透明度を、切抜画像１６０３に接する側から外側（メイン画像との境界へ向かう側）につれて０％から１００％に連続的に変化させた例を示している。また、画像１６１４は、この処理により境界部における色ずれが目立たなくなった状態を例示的に示している。
　メイン画像に切抜画像の境界部に変状やテクスチャの位置や色合い等にずれが発生した場合、変状検知処理において、ひび割れの本数を誤ったり、境界線をひび割れとみなしてしまうような誤検知が生じる可能性がある。変形例２によれば、そのような誤検知の発生を低減することができる。なお、変形例２では、位置ずれ及び色合いのずれについて補正方法を説明したが、画像処理はこれに限らない。同様に、メイン画像とサブ画像のいずれかの色相・彩度・明度のいずれかもしくは全てを基準にして、もう片方の画像における部分領域の色相・彩度・明度のいずれかを調節して、合成画像に反映することができる。これにより、後続して実行される変状検知処理の精度を向上させることができる。
　（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１７年１２月２５日提出の日本国特許出願特願２０１７－２４８００５及び２０１８年１０月１０日提出の日本国特許出願特願２０１８－１９２１３６を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (20)

  1. 　第１の視点位置から対象物を含むシーンを撮影した第１の画像と、前記第１の視点位置と異なる第２の視点位置から前記対象物を含むシーンを撮影した第２の画像と、を取得する取得手段と、
    　前記第１の画像上における前記対象物の特徴の位置に相当する座標位置と前記第２の画像上における前記対象物の特徴の位置に相当する座標位置と、を対応付ける対応付け手段と、
    　前記対応付け手段による対応付けに基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する決定手段と、
    　前記第１の画像における前記所与の領域の画像を前記決定手段により決定された部分領域の画像を用いて置換し合成画像を生成する生成手段と、
    　前記対象物に生じた変状を表す変状データを前記生成手段によって生成された前記合成画像に重畳して表示させる表示制御手段と、
    を有することを特徴とする画像処理装置。
  2. 　前記合成画像の解析に基づいて前記対象物に生じた変状を検知する検知手段を更に有し、
    　前記表示制御手段は、前記検知手段によって検知された変状を表す前記変状データを前記合成画像に重畳して表示させる
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記取得手段は、前記対象物の設計図面を更に取得し、
    　前記対応付け手段は、前記第１の画像上における前記対象物の特徴の位置に相当する座標位置と前記設計図面上における前記対象物の特徴の位置に相当する座標位置とを対応付け、前記第２の画像上における前記対象物の特徴の位置に相当する座標位置と前記設計図面上における前記対象物の特徴の位置に相当する座標位置とを対応付ける
    ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記第１の画像に対して前記所与の領域を指定する指定手段を更に有する
    ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
  5. 　前記第１の画像に対して任意形状の領域の指定をユーザから受付ける受付手段を更に有し、
    　前記指定手段は、前記任意形状の領域を前記所与の領域として指定する
    ことを特徴とする請求項４に記載の画像処理装置。
  6. 　前記受付手段は、複数の任意形状の領域を受付け可能に構成されており、
    　前記指定手段は、前記複数の任意形状の領域の論理和又は論理積により得られる領域を前記所与の領域として指定する
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 　画像特徴の指定をユーザから受付ける受付手段を更に有し、
    　前記指定手段は、前記第１の画像において前記画像特徴と類似した領域を前記所与の領域として指定する
    ことを特徴とする請求項４に記載の画像処理装置。
  8. 　前記第１の画像と前記第２の画像とを並べて表示部に表示する表示制御手段を有し、
    　前記表示制御手段は、前記所与の領域に連動して、前記第２の画像に対して前記決定手段により決定された前記部分領域を表示するよう制御する
    ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
  9. 　半透明処理した前記第２の画像を前記第１の画像に重畳して表示部に表示する表示制御手段を有し、
    　前記表示制御手段は、前記対応付け手段による対応付けに基づいて前記半透明処理した前記第２の画像を前記第１の画像に重畳して表示するよう制御する
    ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
  10. 　前記半透明処理における透明度を指定する透明度指定手段を更に有する
    ことを特徴とする請求項９に記載の画像処理装置。
  11. 　前記合成画像における前記部分領域と前記第１の画像との間に生じるずれを補正するための画像処理を実行する補正手段を更に有する
    ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
  12. 　前記補正手段は、前記所与の領域の境界から特定された座標と前記部分領域の境界から特定された座標との対応関係に基づいて前記部分領域の画像に対する変形を行うことにより、前記部分領域と前記第１の画像との間に生じる位置ずれを補正する
    ことを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記対象物に生じた変状とは、構造物に生じたひび割れであり、
    　前記補正手段は、前記第１の画像から検知されたひび割れの前記所与の領域の境界上の端点と、前記第２の画像から検知されたひび割れの前記部分領域の境界上の端点と、を特定し、特定された端点のうち所定の範囲に収まる端点同士の対応付けに基づいて、前記部分領域を変形する
    ことを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記補正手段は、前記第１の画像の色相・彩度・明度のいずれかもしくは全てを基準にして、前記部分領域の色相・彩度・明度のいずれかもしくは全てを調節することにより、前記部分領域と前記第１の画像との間に生じる色ずれを補正する
    ことを特徴とする請求項１１に記載の画像処理装置。
  15. 　前記補正手段は、前記部分領域の色相・彩度・明度のいずれかもしくは全てを基準にして、前記第１の画像の色相・彩度・明度のいずれかもしくは全てを調節することにより、前記部分領域と前記第１の画像との間に生じる色ずれを補正する
    ことを特徴とする請求項１１に記載の画像処理装置。
  16. 　前記生成手段は、透明度が設定された前記部分領域の画像を前記第１の画像の前記所与の領域に重畳することにより前記合成画像を生成し、
    　前記補正手段は、前記部分領域において、中心から外側にかけて連続的に高くなる透明度を設定することにより、前記部分領域と前記第１の画像との間に生じる色ずれを補正する
    ことを特徴とする請求項１１に記載の画像処理装置。
  17. 　前記生成手段は、前記決定手段により決定された部分領域より広い拡張部分領域の画像を前記第１の画像の前記所与の領域に重畳することにより前記合成画像を生成し、
    　前記補正手段は、前記拡張部分領域のうち前記部分領域に対して拡張された領域において、前記部分領域に接する側から前記拡張部分領域の外側にかけて連続的に高くなる透明度を設定することにより、前記部分領域と前記第１の画像との間に生じる色ずれを補正する
    ことを特徴とする請求項１６に記載の画像処理装置。
  18. 　前記対応付け手段による対応付けに基づいて、前記第１の画像に含まれる前記対象物における座標位置と前記第２の画像に含まれる前記対象物における座標位置とを相互に変換する座標変換パラメータを導出する導出手段を更に有し、
    　前記決定手段は、前記座標変換パラメータに基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する
    ことを特徴とする請求項１乃至１７の何れか１項に記載の画像処理装置。
  19. 　画像処理装置における制御方法であって、
    　第１の視点位置から対象物を含むシーンを撮影した第１の画像と、前記第１の視点位置と異なる第２の視点位置から前記対象物を含むシーンを撮影した第２の画像と、を取得する取得工程と、
    　前記第１の画像上における前記対象物の特徴の位置に相当する座標位置と前記第２の画像上における前記対象物の特徴の位置に相当する座標位置と、を対応付ける対応付け工程と、
    　前記対応付け工程による対応付けに基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する決定工程と、
    　前記第１の画像における前記所与の領域の画像を前記決定工程により決定された部分領域の画像を用いて置換し合成画像を生成する生成工程と、
    　前記対象物に生じた変状を表す変状データを前記合成画像に重畳して表示させる表示制御工程と、
    を含むことを特徴とする画像処理装置の制御方法。
  20. 　コンピュータを、請求項１乃至１８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
PCT/JP2018/041090 2017-12-25 2018-11-06 画像処理装置およびその制御方法 WO2019130827A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880084133.8A CN111527517B (zh) 2017-12-25 2018-11-06 图像处理装置及其控制方法
EP18893774.2A EP3734540A4 (en) 2017-12-25 2018-11-06 IMAGE PROCESSING EQUIPMENT AND ITS CONTROL PROCESS
US16/897,601 US11416978B2 (en) 2017-12-25 2020-06-10 Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
US17/849,978 US11830177B2 (en) 2017-12-25 2022-06-27 Image processing apparatus, control method and non-transitory computer-readable recording medium therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-248005 2017-12-25
JP2017248005 2017-12-25
JP2018192136A JP7058585B2 (ja) 2017-12-25 2018-10-10 画像処理装置およびその制御方法
JP2018-192136 2018-10-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/897,601 Continuation US11416978B2 (en) 2017-12-25 2020-06-10 Image processing apparatus, control method and non-transitory computer-readable recording medium therefor

Publications (1)

Publication Number Publication Date
WO2019130827A1 true WO2019130827A1 (ja) 2019-07-04

Family

ID=67067082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041090 WO2019130827A1 (ja) 2017-12-25 2018-11-06 画像処理装置およびその制御方法

Country Status (3)

Country Link
US (1) US11830177B2 (ja)
JP (1) JP7357717B2 (ja)
WO (1) WO2019130827A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381009A (zh) * 2020-11-18 2021-02-19 安徽国钜工程机械科技有限公司 一种线阵相机采集隧道图像和图像拼接方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349887A (ja) * 2000-06-07 2001-12-21 Univ Tokyo コンクリート構造物の劣化診断支援システム
JP2002310920A (ja) 2001-04-19 2002-10-23 Keisoku Kensa Kk コンクリート壁のひび割れ検出方法およびその装置
JP2011032641A (ja) * 2009-07-29 2011-02-17 Tokyo Univ Of Science 橋梁の検査方法及び橋梁検査装置
JP2016079615A (ja) * 2014-10-14 2016-05-16 富士フイルム株式会社 橋梁検査ロボットシステム
WO2017126367A1 (ja) * 2016-01-22 2017-07-27 富士フイルム株式会社 ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
JP2018192136A (ja) 2017-05-19 2018-12-06 株式会社平和 遊技機

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2953131B2 (ja) * 1991-09-09 1999-09-27 日本電信電話株式会社 街並追跡マップ作成方式
JP3869876B2 (ja) * 1995-12-19 2007-01-17 キヤノン株式会社 画像計測方法及び画像計測装置
EP0908847B1 (en) * 1997-10-06 2006-01-25 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
JP3063719B2 (ja) * 1997-12-24 2000-07-12 東洋紡績株式会社 織布検反装置
JP4685286B2 (ja) * 2001-08-03 2011-05-18 三菱電機株式会社 情報更新処理装置
JP3805231B2 (ja) 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
JP4072330B2 (ja) 2001-10-31 2008-04-09 キヤノン株式会社 表示装置および情報処理方法
US7110021B2 (en) * 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
JP4114720B2 (ja) * 2002-10-25 2008-07-09 株式会社ソニー・コンピュータエンタテインメント 画像生成方法および画像生成装置
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
WO2006033377A1 (ja) * 2004-09-24 2006-03-30 Hitachi Medical Corporation 医用画像表示装置及び方法並びにプログラム
US8482743B2 (en) * 2004-11-01 2013-07-09 Cognitens Ltd. Method and system for optical edge measurement
US8396329B2 (en) * 2004-12-23 2013-03-12 General Electric Company System and method for object measurement
US7929738B2 (en) * 2005-10-11 2011-04-19 Olympus Corporation Microscope apparatus and microscope system
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US8200039B2 (en) * 2007-04-05 2012-06-12 Adobe Systems Incorporated Laying out multiple images
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
US8384789B2 (en) * 2008-07-23 2013-02-26 Pixart Imaging Inc. Sensor array module with wide angle, and image calibration method, operation method and application for the same
JP5451010B2 (ja) * 2008-08-29 2014-03-26 キヤノン株式会社 Ｘ線検出装置、情報処理方法および記録媒体
JP4747219B2 (ja) 2009-04-08 2011-08-17 キヤノン株式会社 画像処理装置、画像処理方法
JP5230013B2 (ja) * 2009-07-13 2013-07-10 シャープ株式会社 撮像装置
JP5256153B2 (ja) * 2009-09-16 2013-08-07 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
JP5397190B2 (ja) 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
EP2395765B1 (en) * 2010-06-14 2016-08-24 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
US9182487B2 (en) * 2011-06-22 2015-11-10 The Boeing Company Advanced remote nondestructive inspection system and process
US20130278727A1 (en) * 2010-11-24 2013-10-24 Stergen High-Tech Ltd. Method and system for creating three-dimensional viewable video from a single video stream
US8964025B2 (en) 2011-04-12 2015-02-24 International Business Machines Corporation Visual obstruction removal with image capture
JP5808146B2 (ja) * 2011-05-16 2015-11-10 株式会社東芝 画像処理システム、装置及び方法
JP6045139B2 (ja) 2011-12-01 2016-12-14 キヤノン株式会社 映像生成装置、映像生成方法及びプログラム
JP5818091B2 (ja) * 2011-12-27 2015-11-18 ソニー株式会社 画像処理装置、画像処理システム、画像処理方法、および、プログラム
DE102012218382B4 (de) * 2012-10-09 2015-04-23 Leica Microsystems Cms Gmbh Verfahren zum Festlegen eines Lasermikrodissektionsbereichs und zugehöriges Lasermikrodissektionssystem
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
US9036943B1 (en) * 2013-03-14 2015-05-19 Amazon Technologies, Inc. Cloud-based image improvement
JP6103526B2 (ja) * 2013-03-15 2017-03-29 オリンパス株式会社 撮影機器，画像表示機器，及び画像表示機器の表示制御方法
US9460510B2 (en) * 2013-03-29 2016-10-04 Siemens Medical Solutions Usa, Inc. Synchronized navigation of medical images
EP3540683A1 (en) * 2013-12-03 2019-09-18 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US9639968B2 (en) 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
CN106456128B (zh) * 2014-06-12 2020-10-23 皇家飞利浦有限公司 医学图像处理设备和方法
KR102149276B1 (ko) * 2014-10-23 2020-08-28 한화테크윈 주식회사 영상 정합 방법
KR102225617B1 (ko) * 2014-11-03 2021-03-12 한화테크윈 주식회사 영상 정합 알고리즘을 설정하는 방법
JP6450589B2 (ja) * 2014-12-26 2019-01-09 株式会社モルフォ 画像生成装置、電子機器、画像生成方法及びプログラム
US10475234B2 (en) * 2015-07-15 2019-11-12 George Mason University Multi-stage method of generating 3D civil site surveys
US10748010B2 (en) * 2015-09-01 2020-08-18 Nec Corporation Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
JP6218787B2 (ja) * 2015-09-29 2017-10-25 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
US9906721B2 (en) 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
US10074214B2 (en) * 2015-12-31 2018-09-11 Autodesk, Inc. Systems and methods for generating 3D scenes with time element for display
JP6560366B2 (ja) * 2016-01-06 2019-08-14 富士フイルム株式会社 構造物の部材特定装置及び方法
JP6835536B2 (ja) * 2016-03-09 2021-02-24 株式会社リコー 画像処理方法、表示装置および点検システム
BR112019005855A2 (pt) * 2016-09-29 2019-06-11 Koninklijke Philips Nv aparelho de processamento de imagens, sistema de processamento de imagens, e método para fornecer uma imagem
US20180095450A1 (en) * 2016-09-30 2018-04-05 Velo3D, Inc. Three-dimensional objects and their formation
EP3327669B1 (en) * 2016-11-26 2022-01-05 Thinkware Corporation Image processing apparatus, image processing method, computer program and computer readable recording medium
EP3563337A1 (en) * 2016-12-28 2019-11-06 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
JP6712330B2 (ja) * 2017-02-06 2020-06-17 富士フイルム株式会社 撮影制御装置、撮影制御方法及びプログラム
JP6831003B2 (ja) * 2017-03-16 2021-02-17 富士フイルム株式会社 画像合成装置、画像合成方法及びプログラム
JP6958147B2 (ja) * 2017-09-07 2021-11-02 トヨタ自動車株式会社 画像表示装置
US10489951B2 (en) * 2017-09-29 2019-11-26 Qualcomm Incorporated Display of a live scene and auxiliary object
FR3073290B1 (fr) * 2017-11-09 2020-02-14 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif et procede d'inspection tridimensionnelle d'un objet par rayons x
KR102014261B1 (ko) * 2017-12-12 2019-08-26 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349887A (ja) * 2000-06-07 2001-12-21 Univ Tokyo コンクリート構造物の劣化診断支援システム
JP2002310920A (ja) 2001-04-19 2002-10-23 Keisoku Kensa Kk コンクリート壁のひび割れ検出方法およびその装置
JP2011032641A (ja) * 2009-07-29 2011-02-17 Tokyo Univ Of Science 橋梁の検査方法及び橋梁検査装置
JP2016079615A (ja) * 2014-10-14 2016-05-16 富士フイルム株式会社 橋梁検査ロボットシステム
WO2017126367A1 (ja) * 2016-01-22 2017-07-27 富士フイルム株式会社 ひび割れ情報編集装置、ひび割れ情報編集方法およびひび割れ情報編集プログラム
JP2018192136A (ja) 2017-05-19 2018-12-06 株式会社平和 遊技機

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381009A (zh) * 2020-11-18 2021-02-19 安徽国钜工程机械科技有限公司 一种线阵相机采集隧道图像和图像拼接方法

Also Published As

Publication number Publication date
JP2022089879A (ja) 2022-06-16
JP7357717B2 (ja) 2023-10-06
US20220327687A1 (en) 2022-10-13
US11830177B2 (en) 2023-11-28

Similar Documents

Publication Publication Date Title
US10755671B2 (en) Device, method, and program for controlling displaying of survey image
CN102484724A (zh) 投影图像区域检测装置
JP7387434B2 (ja) 画像生成方法および画像生成装置
US10893259B2 (en) Apparatus and method for generating a tiled three-dimensional image representation of a scene
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
US20230062973A1 (en) Image processing apparatus, image processing method, and storage medium
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP7357717B2 (ja) 画像処理装置およびその制御方法
JP6425511B2 (ja) 地物異動判別方法及び地物異動判別装置並びに地物異動判別プログラム
JP2003209769A (ja) 画像生成装置および方法
US20210118216A1 (en) Method of displaying a wide-format augmented reality object
JP6262610B2 (ja) 情報登録装置及び情報継続登録装置並びに方法及びプログラム
JP5642561B2 (ja) 家屋異動判読支援装置、家屋異動判読支援方法及び家屋異動判読支援プログラム
JP3924576B2 (ja) 写真測量による３次元計測方法及び装置
JP3204175U (ja) 画像照合装置
Hanusch A new texture mapping algorithm for photorealistic reconstruction of 3D objects
JP2012134731A (ja) 投影システム、および投影システムにおける投影面の検出方法
JP2020187557A (ja) 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム
JP2009069114A (ja) ステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラム
JP2020113247A (ja) 画像処理装置およびその制御方法、情報処理システム
US11580656B1 (en) Systems and methods for detecting and correcting data density during point cloud generation
US10176615B2 (en) Image processing device, image processing method, and image processing program
JP6843319B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP4696669B2 (ja) 画像調整方法及び画像調整装置
CN117717367A (zh) 用于站立位计算机断层扫描的辅助摆位系统及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18893774

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018893774

Country of ref document: EP

Effective date: 20200727