WO2011033569A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2011033569A1
WO2011033569A1 PCT/JP2009/004701 JP2009004701W WO2011033569A1 WO 2011033569 A1 WO2011033569 A1 WO 2011033569A1 JP 2009004701 W JP2009004701 W JP 2009004701W WO 2011033569 A1 WO2011033569 A1 WO 2011033569A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
image data
moving
distance
Prior art date
Application number
PCT/JP2009/004701
Other languages
English (en)
French (fr)
Inventor
青木康洋
水谷政美
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2011531643A priority Critical patent/JP5429291B2/ja
Priority to PCT/JP2009/004701 priority patent/WO2011033569A1/ja
Publication of WO2011033569A1 publication Critical patent/WO2011033569A1/ja
Priority to US13/422,711 priority patent/US20120236153A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for processing image data obtained by imaging an object to be imaged.
  • the unfolded image of the tunnel is used to confirm the deformed part of the tunnel wall. If there is a shift in the joining of each frame or the size of the imaged part of each frame is different, the deformed part to be detected is not displayed on the developed image, or one deformed part is displayed on the developed image. Are displayed in multiple places.
  • An object of the present invention is to provide an image processing apparatus that generates a single image from a plurality of still image data obtained by capturing an object to be imaged a plurality of times while moving.
  • an image processing apparatus that processes image data obtained by capturing an object to be imaged a plurality of times while moving by a moving means
  • a camera that is provided in the moving means and captures the object to be imaged a plurality of times while moving by the moving means
  • a movement amount acquisition unit that is provided in the movement unit and acquires a movement amount of the camera from a predetermined position to an imaging position
  • a distance acquisition unit that is provided in the moving unit and acquires a distance between the imaging unit of the imaging target and the camera at the time of imaging
  • a first processing unit configured to perform correction for displacing a plurality of frames of image data captured by the camera in a moving direction of the moving unit based on a moving amount of the camera from the predetermined position to the imaging position; Correction for enlarging / reducing the size of the frame of the image data captured by the camera according to the distance acquired by the distance acquisition unit with reference to the frame size of the predetermined image data and a predetermined distance corresponding to the image data
  • a second processing unit configured
  • the image processing apparatus of the present invention can generate a single image from a plurality of still image data obtained by capturing an object to be imaged a plurality of times while moving.
  • FIG. 1 is a diagram illustrating an image processing apparatus according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating a state in which a plurality of image frames are continuously acquired by moving the camera along the wall surface while scanning the wall surface in a direction perpendicular to the moving direction.
  • FIG. 3 is a diagram illustrating a flow of normalization processing of the image processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating a coordinate system of an input image acquired by the imaging unit of the first embodiment.
  • FIG. 5 is a diagram illustrating a moving direction expansion / contraction process associated with a distance normalization process of an acquired image.
  • FIG. 6 is a diagram illustrating a movement process in the movement direction accompanying a movement amount normalization process for an image that has been subjected to the enlargement / reduction process in the movement direction.
  • FIG. 7 is a diagram illustrating an image frame that has been subjected to enlargement / reduction processing and movement processing in the movement direction.
  • FIG. 8 is a cross-sectional view illustrating a state in which shooting is performed by scanning a wall surface in the vertical direction.
  • FIG. 9 is a cross-sectional view for explaining the enlargement / reduction in the scanning direction accompanying the distance normalization process.
  • FIG. 10 is a diagram illustrating an image after the normalization process.
  • FIG. 11 is a graph showing the relationship between the vertical position y of each acquired image and the vertical position y ′ of each image after normalization.
  • FIG. 12 is a flowchart of the normalization process of the acquired image.
  • FIG. 13 is a flowchart from still image capturing to development image output.
  • FIG. 14 is a developed image generated by imaging the wall surface shown in FIG. 2 using the image processing apparatus of the first embodiment.
  • FIG. 15 is a diagram illustrating an image processing apparatus according to a modification of the first embodiment.
  • FIG. 16 is a schematic diagram illustrating an example in which the combination processing unit performs a combination process of image frames adjacent in the moving direction.
  • FIG. 17 is a flowchart illustrating an example in which the combination processing unit performs a combination process of image frames adjacent in the movement direction.
  • FIG. 16 is a schematic diagram illustrating an example in which the combination processing unit performs a combination process of image frames adjacent in the moving direction.
  • FIG. 18 is a configuration diagram of an image processing apparatus according to the second embodiment.
  • FIG. 19 is a diagram for explaining means for detecting a centle boundary.
  • FIG. 20 is a diagram for explaining means for detecting the centle boundary.
  • FIG. 21 is a diagram for explaining means for detecting the centle boundary.
  • 22A shows a forward development image 51 of the forward development image
  • FIG. 22B shows a return development image 55 of the return development image
  • FIG. 22C shows a return development image 55 obtained by performing enlargement / reduction processing on the return development image.
  • FIG. 23A is the same forward developed image 51 as FIG. 22A
  • FIG. 23B is a backward developed image 55 that has been subjected to the same enlargement / reduction processing as FIG. 22C.
  • FIG. 23A is the same forward developed image 51 as FIG. 22A
  • FIG. 23B is a backward developed image 55 that has been subjected to the same enlargement / reduction processing as FIG. 22C.
  • FIG. 23C is a reciprocating developed image obtained by combining the forward development image 51 and the return development image 55 subjected to the enlargement / reduction processing.
  • FIG. 24 is a flowchart of the first forward development image creation process.
  • FIG. 25A shows the forward developed image 51
  • FIG. 25B shows the backward developed image 55
  • FIG. 25C shows the backward developed image 55 obtained by performing the enlargement / reduction processing on the backward developed image.
  • FIG. 26 is a flowchart of the second outward development image creation process.
  • FIG. 27 is a schematic diagram illustrating an example of the image processing apparatus according to the first embodiment realized using a general computer.
  • FIG. 1 is a diagram illustrating an image processing apparatus according to the first embodiment.
  • the image processing apparatus according to the present embodiment includes a camera 11, a movement amount acquisition unit 12, and a distance acquisition unit 13. Further, the image processing apparatus according to the present embodiment includes a normalization processing unit 14 and a combination processing unit 15.
  • the camera 11 is a means for acquiring image data by capturing the object to be imaged a plurality of times (repeatedly) while moving.
  • the type of the camera 11 is not particularly limited.
  • any of a line sensor camera in which visual sensors are arranged in a one-dimensional direction and an area sensor camera in which visual sensors are arranged in a two-dimensional direction may be used.
  • Data obtained by imaging by the line sensor camera is one-dimensional image data
  • data obtained by imaging by the area sensor camera is two-dimensional image data.
  • an infrared camera can be preferably used from the viewpoint of easily recognizing deformation such as cracking or peeling of a structure to be imaged.
  • the means for moving the camera 11 is not particularly limited.
  • the camera 11 is mounted on a moving means such as a car and moves by operating the moving means. Further, the camera 11 may perform imaging by scanning the object to be imaged in a direction intersecting with the moving direction by the moving unit.
  • the direction intersecting with the moving direction by the moving means is, for example, perpendicular to the moving direction.
  • the object to be imaged can be scanned by taking an image with the camera 11 while rotating the camera 11 so that the line connecting the sensor of the camera 11 and the object to be imaged rotates around a straight line extending in the moving direction.
  • the camera 11 performs one scan from the top to the bottom of the object to be imaged, and then repeats the scan from the top to the bottom.
  • the means for scanning the object to be imaged is a device that moves the direction and position of the camera 11 provided in the camera 11. Further, a scanning camera in which an operating mechanism for scanning an object to be imaged is incorporated in the camera 11 may be used.
  • a scanning type line sensor camera that captures an image of an object while operating so as to rotate a straight line connecting the sensor and the object to be picked up around a straight line extending in the moving direction by the moving means. Used.
  • the movement amount acquisition unit 12 is a device that acquires the movement amount of the camera 11 from a predetermined position to an imaging position. For example, the movement of the camera 11 from the time when the camera 11 captures an image to another image. It is a device that measures the amount of movement in the direction. The amount of movement is usually acquired in synchronization with the imaging of the image by the camera 11.
  • the movement amount acquisition unit 12 is not particularly limited, but a movement amount sensor that measures the movement amount in the movement direction by the movement unit of the camera 11 can be used. When the camera 11 is mounted on a vehicle and moved, for example, a vehicle speed sensor provided in the vehicle can be used as a movement amount sensor.
  • the vehicle speed sensor is, for example, a vehicle movement amount from a predetermined position to an imaging position (for example, a vehicle from one imaging time to another imaging time) from a pulse signal generated by a vehicle speed pulse generator in proportion to the rotational speed of the axle. ).
  • the movement amount acquisition unit 12 is configured to measure each of the distance sensors measured by the distance sensor at the time of imaging. It may be a means for calculating the movement amount of the camera from the distance and the displacement amount of the feature point of the image data obtained by the plurality of imaging.
  • the unit of the displacement amount of the feature point of the image data is, for example, a pixel unit.
  • the displacement amount in pixel units is converted into an actual displacement amount (for example, in meter units).
  • An average value of a plurality of distances acquired at the time of a plurality of imaging is calculated.
  • the movement amount of the camera can be calculated from the following equation.
  • the distance acquisition unit 13 is the distance between the imaging target of the structure and the camera 11 when the camera 11 captures an image. It is a device that acquires. The distance is usually acquired in synchronization with the image capturing by the camera 11.
  • the distance acquisition unit 13 is not particularly limited. For example, a range sensor or the like that measures the distance to an object by applying a laser beam or an ultrasonic wave to the imaging target and measuring the arrival time of the light reflected from the imaging target. A distance sensor can be used.
  • the distance acquisition unit 13 uses the movement amount sensor during a plurality of imaging operations.
  • the distance may be calculated from the actually measured movement amount and the distance from the center of each image data obtained by the plurality of imaging to the feature point of each image data.
  • the imaging target corresponding to the feature point at each imaging position is obtained by multiplying the distance (unit: pixel) from the center of each image data obtained by the plurality of imagings to the feature point of each image data by the viewing angle of the pixel.
  • the angle formed between the straight line formed by the object position and the camera 11 and the straight line in the moving direction by the moving means of the camera 11 can be calculated. From the movement amount of the camera 11 and the angle at each imaging position, the distance from the camera 11 to the object to be imaged can be calculated (triangulation).
  • the normalization processing unit 14 performs a correction for displacing the frames of the plurality of image data captured by the camera 11 based on the movement amount of the camera 11 from a predetermined position to the imaging position, respectively.
  • the processing unit 25 first processing unit
  • the frame size of the predetermined image data, and the predetermined distance corresponding to the image data the image is captured by the camera 11 according to the distance acquired by the distance acquisition unit 13.
  • an enlargement / reduction processing unit 24 (second processing unit or fifth processing unit) that performs correction to enlarge / reduce the frame size of the image data.
  • the normalization process is performed on a certain coordinate axis for a plurality of image frames obtained by scanning the imaging target once in the scanning direction. Details of the normalization processing unit 14 will be described later.
  • the combination processing unit 15 arranges a plurality of image data corrected by the movement processing unit 25 and the enlargement / reduction processing unit 24 on two-dimensional coordinates, and generates a two-dimensional image. To do. Based on the movement amount of the camera 11 acquired by the distance acquisition unit 13 during imaging of a plurality of images, the arrangement position of the image frame adjacent to the movement direction in the movement direction can be calculated to generate two-dimensional image data. Depending on only the distance acquisition means 13, a plurality of image frames may be arranged on the two-dimensional coordinates, but it is possible to obtain a two-dimensional image by correcting the plurality of image frames in the moving direction of the camera as necessary.
  • correction is performed so that the sum of absolute differences of image pixel values (pixel values) of a portion where two adjacent image frames overlap, or two adjacent image frames are corrected.
  • a correction method using a matching method based on a normalized correlation of image pixel values of a portion where image frames overlap can be used. An example of the combining process will be described later with reference to FIGS.
  • the image processing apparatus of the present embodiment may include an image storage device 16 that stores an image (development image) arranged on two-dimensional coordinates.
  • FIG. 2 is a schematic diagram for explaining a state in which a plurality of image frames are continuously acquired by moving the camera along the wall surface while scanning the wall surface in a direction perpendicular to the moving direction.
  • the camera 11 is a scanning line sensor camera.
  • the visual sensor of the camera 11 is arranged to extend in the moving direction.
  • the camera 11 images the wall surface 2 while moving along the wall surface 2 of the tunnel. During imaging, the camera 11 captures a still image a plurality of times while scanning the wall surface 2 from above to below.
  • the camera 11 scans the wall 2 from the upper side to the lower side a plurality of times from one end to the other end of the tunnel.
  • the wall surface 2 is imaged using a line sensor camera in which a plurality of image sensors that can acquire one pixel are arranged in a line in the movement direction.
  • the image capturing units 4 a to 4 i overlap each other at the boundary between adjacent image capturing units, but it is preferable to perform image capturing while scanning so that parts of the adjacent image capturing units overlap.
  • FIG. 3 is a diagram showing a flow of normalization processing of the image processing apparatus of the present embodiment.
  • the normalization processing unit 14 includes an enlargement / reduction processing unit 24 and a movement processing unit 25.
  • the enlargement / reduction processing unit 24 acquires a plurality of input images 21 captured by the camera 11 and the distance 22 between the captured unit and the camera 11 acquired by the distance acquisition unit 13.
  • the movement processing unit 25 acquires the movement amount 26 in the movement direction of the camera 11 from the time when a certain image is captured until the next image is captured, which is acquired by the movement amount acquisition unit 12.
  • the normalization process includes a moving direction enlargement / reduction process S101 and a moving direction movement process S102 which are processes in the moving direction of the image frame, and a scanning direction enlargement / reduction process S103 which is a process in the scanning direction.
  • the enlargement / reduction processing unit 24 performs a movement direction enlargement / reduction process S101 and a scanning direction enlargement / reduction process S103.
  • the movement processing unit 25 performs a movement direction movement process 102.
  • the output image data 27 that has undergone the movement direction enlargement / reduction processing S101, movement direction movement processing S102, and scanning direction enlargement / reduction processing S103 is combined in the combination processing unit 15 to generate two-dimensional image data.
  • each illustrated component is functionally conceptual and does not necessarily need to be physically configured as illustrated. That is, the specific form of distribution / integration of each device is not limited to that shown in the drawings, and all or a part of them can be configured functionally or physically distributed / integrated in arbitrary units.
  • FIG. 4 is a diagram showing a coordinate system of input image data acquired by a camera.
  • the X axis is the moving direction (horizontal direction), and the Y axis is the scanning direction (vertical direction).
  • the horizontal width of the input image (corresponding to the number of elements in the scan line) is 2w, the height (number of scan lines) is h, the upper left point on the image is ( ⁇ w, 0), and the lower right is (w , H).
  • FIG. 5 is a diagram showing a moving direction expansion / contraction process associated with the distance normalization process of the acquired image frame.
  • the distance between the camera 11 and the imaged wall 31 when the image frame y to be processed is imaged is acquired as D (y) by the distance acquisition unit 13.
  • D 0 be the distance between the camera 11 and the virtual wall surface 32 to be normalized.
  • This processing is the X-axis direction of each image frame obtained by the camera 11, all the correction as if viewed from a predetermined distance D 0.
  • the X coordinate after the enlargement / reduction processing in the moving direction of the image frame y is calculated using the following formula (1).
  • x is the X coordinate of the input image
  • x 1 is the X coordinate after the enlargement / reduction processing in the movement direction.
  • the moving direction is corrected by translating another image frame y by x 0 (y). Therefore, the X coordinate x ′ after the movement process in the movement direction can be expressed by the linear transformation of the following equation (2).
  • FIG. 7 is a diagram illustrating an image frame that has been subjected to enlargement / reduction processing and movement processing in the movement direction.
  • Each image frame y is translated in the X-axis direction by + x 0 (y) with respect to image frame 0 as a reference.
  • FIG. 8 is a cross-sectional view illustrating a state in which shooting is performed by scanning a wall surface in the vertical direction.
  • FIG. 8 shows a cross section perpendicular to the X-axis direction of the wall surface 31 and the camera 11. Each time the camera 11 is rotated by ⁇ about a straight line in the X-axis direction passing through the camera 11, a still image is taken, and an image frame y and an image frame y + 1 are acquired in order.
  • FIG. 9 is a cross-sectional view for explaining the enlargement / reduction in the scanning direction accompanying the distance normalization process.
  • This process is, the Y-axis direction of each image frame, all corrected as if viewed from a predetermined distance D 0.
  • the distance between the imaging center of the camera 11 and the image frame y is acquired as D (y) by the distance acquisition unit 13.
  • the vertical field of view r (y) of each image frame y can be approximately calculated using the following equation (3).
  • the vertical visual field r v when imaging the virtual wall surface 32 after distance normalization processing uses the following formula (4). Can be calculated.
  • the enlargement / reduction ratio s (y) of each image frame y can be calculated from the similarity ratio using the following equation (5).
  • each image frame y is enlarged / reduced at an enlargement / reduction ratio D 0 / D (y).
  • FIG. 10 is a diagram illustrating an image after the normalization process. After the normalization process, the image frames are arranged in a state where the image frames of the acquired image are enlarged or reduced.
  • each of the above processes can be performed in any order, but it is preferable that the enlargement / reduction process in the movement direction and the movement process in the movement direction are performed before the enlargement / reduction process in the vertical direction.
  • the enlargement / reduction process in the movement direction and the movement process in the movement direction can be efficiently performed when the height of each pixel frame is in units of pixels.
  • the vertical scaling process is performed, the height of each pixel frame becomes D 0 / D (y), and therefore the data to be subjected to the scaling process in the moving direction and the moving process in the moving direction are not usually in units of pixels. . Therefore, the expansion / contraction process in the movement direction and the movement process in the movement direction become inefficient.
  • the enlargement / reduction process in the movement direction is performed before the movement process in the movement direction.
  • Performing the movement process in the movement direction before the enlargement / reduction process in the movement direction means that the X coordinate x ′ after the movement process in the movement direction is transformed into the above equation (2) and further into the following equation (7). means.
  • the normalization process indicates which pixel of the acquired image is converted to which pixel by normalization.
  • the quality of the conversion result is better if inverse conversion is used in which each pixel in the normalized image acquires information on the corresponding pixel in the acquired image.
  • the inverse transformation in the Y-axis direction is a numerical value because the relationship between the position y in the scanning direction of the image frame and the position y ′ in the scanning direction after normalization is a cumulative form as shown in the above equation (6). Obtain by calculation.
  • FIG. 11 is a graph showing the relationship between the vertical position y of each acquired image and the vertical position y ′ of each image after normalization processing based on Expression (6).
  • the inverse transformation can be performed using this graph.
  • FIG. 12 is a flowchart in which the image processing apparatus according to the present embodiment performs image normalization processing after imaging.
  • the normalization processing unit 14 obtains the wall surface distance D (y) and the movement amount x 0 (y) corresponding to each image frame (input image 21) captured by the camera 11 with the distance acquisition unit 13 and the movement amount acquisition. Each is acquired from the means 12 (S202).
  • the enlargement / reduction processing unit 24 and the movement processing unit 25 perform the enlargement / reduction process in the movement direction and the movement process in the movement direction for each of the plurality of input images input by the camera 11 based on the above equation (8) (S203).
  • the enlargement / reduction processing unit 24 performs a scanning direction enlargement / reduction process on each image processed in S203 using the inverse function of the above equation (6), and outputs an output image 27 (S204).
  • the image processing apparatus creates an image by combining the output image 27 that has been normalized by the combination processing unit 15 after completing the normalization processing of each image, and outputs the image. To do.
  • FIG. 13 is a flowchart from image data acquisition to image output.
  • the camera 11 captures an image of a structure to be imaged (S301).
  • the normalization processing unit 14 acquires image data of the object to be captured and performs normalization processing until all the acquired image data is normalized (S302 to S304).
  • the combination processing unit 15 reads the normalized image data, combines the images, and creates an image (S305 to S306).
  • FIG. 14 is an image (development image) generated by imaging the wall surface shown in FIG. 2 using the image processing apparatus of the present embodiment.
  • image 6 only the image frames 7a to 7i corresponding to the imaged parts 4a to 4i in FIG. 2 and the pattern 5 corresponding to the pattern 3 on the wall surface are shown.
  • the image processing apparatus of the present invention captures an image while moving along the tunnel. The moving speed is not always constant. However, the wall pattern 5 shown in the image 6 is not removed.
  • the size of the subject to be captured in each image frame is normalized, and adjacent images can be joined together.
  • the image obtained by the image processing apparatus of the present embodiment can correctly recognize the position of the pattern 5 corresponding to the pattern 3 on the wall surface.
  • normalization processing and combining processing are performed on a plurality of still images acquired by scanning a structure intersecting the moving direction while moving along the structure and capturing the structure.
  • an area sensor camera may be used as the camera 11.
  • the distance between the camera 11 and the imaging target portion of the structure is normally regarded as the same value. Therefore, the normalized result increases as the area of the imaging object captured in each image frame increases.
  • the structure can be imaged in a short time.
  • FIG. 15 is a diagram illustrating an image processing apparatus according to a modification of the first embodiment.
  • the image processing apparatus of the present modification includes a camera 11, a movement amount acquisition unit 12, a distance acquisition unit 13, a normalization processing unit 14, and a combination processing unit 15.
  • the image processing apparatus according to the present modification further captures another image 11a, a normalization processing unit 14a that processes an image acquired from the camera 11a, and a camera 11a, and then captures the next image.
  • the distance acquisition unit 12a that measures the amount of movement or speed of the camera 11a in the moving direction until and the distance for acquiring the distance between the imaging target of the structure and the camera 11a when the camera 11a captures an image Acquisition means 13a.
  • the camera 11 and the camera 11a move while scanning different areas of the structure to be imaged.
  • the relative installation position, visual field direction, photographing timing difference, and the like of the cameras 11 and 11a can be arbitrarily set.
  • Each image frame subjected to the normalization processing by the normalization processing units 14 and 14a is input to the combination processing unit 15 to be combined. According to the image processing apparatus of this modification, an image that can correctly recognize wall surface defects and pattern positions can be generated, as in the first embodiment.
  • FIG. 16 is a schematic diagram illustrating an example in which the combination processing unit performs a combination process of image frames adjacent in the moving direction.
  • the upper left vertex of the image frame i before the combination processing is (0, 0)
  • the upper left vertex of the image frame i is (x, y).
  • the search start position (default value) (FIG. 16B).
  • the upper left vertex of the image frame i is (0, 0)
  • the upper left vertex of the image frame i is (x 0 , y 0 ).
  • the search start position can be calculated using, for example, vehicle speed movement information.
  • an image search process is performed for evaluating the degree of overlay while shifting the relative positions of the image frames i and j adjacent to each other in the moving direction, and searching for a position having the highest evaluation value (FIG. 16C).
  • the upper left vertex of the image frame i is (0, 0)
  • the upper left vertex of the image frame i is (x ′, y ′).
  • a combining process for superimposing adjacent frame images is performed.
  • the degree of superimposition for example, the sum of absolute differences of image pixel values of image pixels in an overlapped area (evaluation area) of the image frames i and j can be used.
  • the smaller the difference absolute value sum is, the smaller the amount of displacement of the image frames i and j means that they overlap.
  • the texture feature amount in the overlay evaluation area is insufficient, the position of the search result may be incorrect.
  • the texture amount in the overlap evaluation area may be evaluated in advance, and when the predetermined texture amount is not reached, the default value may be adopted without performing the image search process.
  • the texture feature amount dispersion of luminance values, dispersion of luminance differential values, and the like are used.
  • FIG. 17 is a flowchart illustrating an example in which the combination processing unit performs a combination process of image frames adjacent in the moving direction.
  • the search start position of the image frame j with respect to the image frame i is calculated (S401), and the texture feature amount of the overlap evaluation area of the image frame i and the image frame j is calculated (S402). If the texture feature amount is equal to or greater than the predetermined value (S403), search processing is performed and the overlapping position is output (S404). If the texture feature amount is less than the predetermined value (S403), the search start position is output (S405). Based on the position of the image frame j with respect to the image frame i output in S404 and S405, image combination processing is performed (S406).
  • the image processing apparatus according to the second embodiment is an apparatus that detects a boundary position of a centle and uses the information of the centle boundary position to generate a high-quality reciprocally developed image without a centle boundary shift.
  • a centle is a formwork support for an arch for placing lining concrete.
  • a centle boundary means this joint.
  • FIG. 18 is a configuration diagram of the image processing apparatus according to the second embodiment.
  • the same component as 1st Embodiment attaches
  • the image processing apparatus is mounted on a moving apparatus such as a car, and photographs one side of the wall surface of the tunnel while traveling through the tunnel.
  • the image processing apparatus according to the second embodiment includes cameras 11, 11a, distance acquisition means 13, movement amount acquisition means 12, developed image creation means 20, centle boundary detection means (detection unit) 23, and reciprocating developed image creation means 28 ( A fourth processing unit).
  • the cameras 11 and 11a are the same as those provided in the image processing apparatus according to the modification of the first embodiment in FIG. Since the distance acquisition unit 13 and the movement amount acquisition unit 12 are the same as those in the first embodiment, description thereof is omitted.
  • the developed image generation means 20 includes a normalization processing unit 14 and a combination processing unit 15 in the image processing apparatus of FIG.
  • the normalization processing unit 14 performs normalization processing on the plurality of image frames captured by the cameras 11 and 11a using the movement amount and the distance, and the combination processing unit 15 combines the normalized image frames. Then, a developed image is generated. A developed image of the wall surface on one side of the tunnel is created by the image processing apparatus configured as described above.
  • the image processing apparatus collects image frames (image data) on one wall surface while traveling on the forward path and the return path, and generates an outward path expanded image and a return path expanded image, respectively.
  • the centle boundary detection means 23 detects the centle boundary data by the centle detection means from the generated forward and backward development images.
  • 19 to 21 are diagrams for explaining means for detecting a centle boundary.
  • FIG. 19A shows the forward development image 51
  • FIG. 19C shows the return development image 55.
  • the data of the scanning direction line 53 existing in part of the vertical direction and the data of the scanning direction line 52 existing in all of the vertical direction are different depending on the image processing. Can be detected.
  • the data of the line 52 in the scanning direction existing over the entire vertical direction of the developed image of the forward path or the backward path is detected by image processing as data indicating the joint of the centles.
  • the camera 11 is an infrared camera from the viewpoint that in the forward development image and the backward development image of the tunnel wall surface, the Centle boundary is obtained as data having a clearly different temperature with respect to other portions.
  • FIG. 19B is a vertical edge histogram calculated by performing vertical edge extraction from a horizontal differential image obtained by differentiating the luminance value of the developed image of FIG. 19A in the horizontal direction.
  • FIG. 19D is a vertical edge histogram calculated by performing vertical edge extraction from a horizontal differential image obtained by differentiating the luminance value of the developed image in FIG. 19C in the horizontal direction.
  • the horizontal axis represents the horizontal image position (image position in the moving direction), and the vertical axis represents the differential value.
  • FIG. 20A is a table 40 in which horizontal image positions each having a peak equal to or greater than a predetermined threshold value t are arranged vertically in order from the entrance to the exit of the tunnel from the vertical edge histograms of the forward development image and the backward development image. .
  • the centle boundary is observed as a line having a width on the image, two vertical edge histogram peaks are observed at the centle boundary position, but an intermediate value between adjacent peaks having similar values is registered. You may make it do.
  • FIG. 20B is a table 41 in which horizontal pixel positions where the center boundary position is within a predetermined range in the movement direction are extracted from the table 40 and arranged in the vertical direction in each of the forward and backward developed images. Moreover, you may match based on the amount of vehicle movement from the tunnel opening reference position managed synchronizing with image data. In addition, since the center is a specific interval based on the tunnel design specification, the accuracy of the correspondence may be increased using this information.
  • FIG. 21 is a flowchart for detecting data at the centre boundary.
  • a vertical edge image is created from each developed image of the forward path and the backward path (S501), and a vertical edge histogram is created for each forward path and backward path (S502). (S503), the forward and backward centle boundary positions are registered (S504), and the forward and backward centle boundary positions are associated with each other (S505).
  • the reciprocating developed image generating means 28 creates a reciprocating developed image using data associated with the centle boundary position of the forward developed image and the backward developed image.
  • an embodiment of the reciprocating developed image creation process will be described below.
  • the description is given of joining the backward development image based on the forward development image, but the forward development image may be joined based on the backward development image.
  • FIG. 22A shows a forward developed image 51
  • FIG. 22B shows a return developed image 55
  • FIG. 22C shows a return developed image 55 obtained by performing enlargement / reduction processing on the return developed image.
  • Step 1 Image correction processing is performed on the partially developed image of the centle boundary section [b i , b i + 1 ] on the return path corresponding to the centle boundary section [a i , a i + 1 ] on the forward path.
  • the enlargement / reduction processing of r (a i + 1 ⁇ a i ) / (b i + 1 ⁇ b i ) times is performed in the moving direction.
  • r-fold enlargement / reduction processing may be performed in the movement direction and the scanning direction.
  • FIG. 23A is an outward development image 51 of the same outward development image as FIG. 22A
  • FIG. 23B is a backward development image 55 that has been subjected to the same enlargement / reduction processing as FIG. 22C
  • FIG. 23C is a partial reciprocal developed image obtained by combining the forward developed image 51 of the forward developed image and the backward developed image 55 subjected to the enlargement / reduction processing.
  • FIG. 24 is a flowchart of the first forward development image creation process.
  • the partially developed image of the centle boundary section [b i , b i + 1 ] of the return path is enlarged / reduced by r times (S601), and the partially expanded image of the centle boundary section [a i , a i + 1 ] of the forward path and the part after the enlargement / reduction of the return path
  • the developed image is combined (S602).
  • S601 and S602 are repeated until all the image data of the concrete wall sandwiched between the centre boundaries is processed (S603).
  • FIG. 25A shows a forward development image 51
  • FIG. 25B shows a backward development image 55
  • FIG. 25C shows a backward development image 55 obtained by performing a rearrangement process on the backward development image.
  • Step 1 The rearranged image is rearranged in the inbound centle boundary section [b i , b i + 1 ] corresponding to the forward centle boundary section [a i , a i + 1 ]. Specifically, the position in the moving direction of each image frame 56 constituting the return path developed image 55 is shifted by the next amount d.
  • N i is the number of frame junctions in the moving direction existing in the centle boundary section [b i , b i + 1 ] of the return path.
  • the frame junction number N i is 3 in the partially developed image of the centle boundary section [b i , b i + 1 ] shown in FIG.
  • M i is the number of frames in the moving direction existing in the centle boundary section [b i , b i + 1 ] of the return path, and the number of frames for which the image search process has not been performed in the expanded image generation process of the forward path or the return path. is there.
  • Step 2 Next, the forward development image 51 and the rearranged rear development image 55 are combined. That is, the image search process is performed, and the combination process is performed based on the searched overlapping position in the same manner as the first forward development image creation process.
  • FIG. 26 is a flowchart of the second outward development image creation process.
  • the partially developed image of the centle boundary section [b i , b i + 1 ] on the return path is rearranged (S701), and the partially expanded image of the forward centle boundary section [a i , a i + 1 ] and the partially expanded image after expansion / reduction of the return path are performed.
  • S702 are combined until all the image data on the concrete wall sandwiched between the centre boundaries is processed (S703).
  • the image search process and the image combining process are performed in units of each image frame that constructs the partially developed image so as to reconstruct the developed image of the return path. May be implemented.
  • the developed image creating apparatus of the second embodiment it is possible to generate a high-quality reciprocally developed image by connecting image data of the imaging object with little deviation and scale variation over the entire inner wall of the tunnel.
  • a high-quality reciprocating developed image can be generated even if the vehicle speed or the distance from the camera to the wall surface is different or not constant between the forward path and the return path.
  • FIG. 27 is a schematic diagram illustrating an example of the image processing apparatus 100 according to the first embodiment realized using a general computer.
  • the computer 110 includes a CPU (Central Processing Unit) 140, a ROM (Read Only Memory) 150, and a RAM (Random Access Memory) 160.
  • the CPU 140 is connected to the ROM 150 and the RAM 160 via the bus 180.
  • the computer 110 is connected to the camera 11, the distance acquisition unit 13, the movement amount acquisition unit 12, and the image storage device 16.
  • the overall operation of the image processing apparatus 100 is centrally controlled by the CPU 140.
  • the computer 110 performs the normalization process (enlargement / reduction process and movement process) and the combination process.
  • the CPU 140 functions as a control unit that controls the camera 11, the distance acquisition unit 13, the movement distance acquisition unit 12, and the image storage device 16 according to a predetermined program, and the normalization process (enlargement / reduction process and movement process), the combination process, and the like. It functions as a calculation means for performing various calculations.
  • the RAM 160 is used as a program development area and a calculation work area for the CPU 140, and is also used as a temporary storage area for image data.
  • the ROM 150 stores programs executed by the CPU 140 and various data necessary for control, and various constants / information relating to operations of the camera 11, the distance acquisition unit 13, the movement distance acquisition unit 12, and the image storage device 16. .
  • the present invention is not limited to the above embodiment. As long as there is no contradiction, a plurality of embodiments may be combined.
  • the above-described embodiment is an exemplification, and the present invention has any configuration that has substantially the same configuration as the technical idea described in the claims of the present invention and that exhibits the same effects. Are included in the technical scope.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】移動しながら被撮像物を複数回撮像することにより得られる複数の静止画像データから一枚の画像を生成する画像処理装置を提供する。 【解決手段】移動手段で移動しながら被撮像物を複数回撮像して得た画像データを処理する画像処理装置において、移動しながら被撮像物を複数回撮像して画像データを取得するカメラと、所定位置から撮像位置までのカメラの移動量を取得する移動量取得手段と、撮像時における被撮像物の被撮像部とカメラとの距離を取得する距離取得手段と、カメラで撮像した複数の画像データのフレームをカメラの移動量に基づき移動手段の移動方向にそれぞれ変位する補正を行う第１処理部と、被撮像部とカメラとの距離に応じてカメラで撮像した画像データのフレームのサイズを拡縮する補正を行う第２処理部と、補正された複数の画像データを二次元座標上に配置して、画像を生成する第３処理部とを備えることを特徴とする画像処理装置。

Description

画像処理装置及び画像処理方法
　本発明は、被撮像物を撮像して得た画像データを処理する画像処理装置及び画像処理方法に関するものである。
　トンネルなどの構造物において、経年劣化によってコンクリート製の壁面のひびや剥離といった変状現象が生じる。このような構造物の安全を確保するため、構造物の変状箇所の点検が行われている。点検作業は人による近接目視で行うと高コストで非効率である。
　撮影にかかる時間をなるべく短くし、一般交通の妨げにならない構造物の点検手段として、車両にカメラを搭載し構造物に沿って走行しながら撮像を行うことが考えられる（例えば特許文献１）。例えば、トンネルの壁面に沿って移動しながらトンネル壁面の撮像を連続的に行い、静止画像（１フレーム分）を複数取得する。しかし、ある画像フレームを撮像する時点とその次の画像フレームを撮像する時点との間に撮影車が移動するため、取得した複数の画像フレームを方形状の枠内に配置した展開画像に写る被撮像物の位置は不正確である。さらに、例えばトンネルの壁面のように構造物が湾曲している場合や、構造物に沿って走行できない場合において、カメラと被撮像部との距離が一定ではないため、展開画像中において画像フレームごとに被撮像部の大きさが異なってしまう。
　トンネルの展開画像は、トンネル壁面の変状箇所を確認するのに用いる。各フレームの接合にずれがあったり、各フレームの被撮像部の大きさが異なったりすると、検出すべき変状箇所が展開画像上に表示されなかったり、１箇所の変状箇所が展開画像上に複数個所表示されたりする。
特開２００４－０１２１５２号公報
　本発明は、移動しながら被撮像物を複数回撮像することにより得られる複数の静止画像データから一枚の画像を生成する画像処理装置を提供することを目的とする。
　本発明の一側面によると、
　移動手段で移動しながら被撮像物を複数回撮像して得た画像データを処理する画像処理装置において、
　前記移動手段に設けられ、前記移動手段で移動しながら前記被撮像物を複数回撮像して前記画像データを取得するカメラと、
　前記移動手段に設けられ、所定位置から撮像位置までの前記カメラの移動量を取得する移動量取得手段と、
　前記移動手段に設けられ、撮像時における前記被撮像物の被撮像部と前記カメラとの距離を取得する距離取得手段と、
　前記カメラで撮像した複数の画像データのフレームを、前記所定位置から該撮像の位置までの前記カメラの移動量に基づき、前記移動手段の移動方向にそれぞれ変位する補正を行う第１処理部と、
　所定の画像データのフレームのサイズと該画像データに対応する所定の距離とを基準として、前記距離取得手段により取得された距離に応じて前記カメラで撮像した画像データのフレームのサイズを拡縮する補正を行う第２処理部と、
　前記第１処理部と前記第２処理部とでそれぞれ補正された複数の画像データを二次元座標上に配置して、画像を生成する第３処理部と
を備えることを特徴とする画像処理装置が提供される。
　本発明の画像処理装置は、移動しながら被撮像物を複数回撮像することにより得られる複数の静止画像データから一枚の画像を生成できる。
図１は、第１実施形態の画像処理装置を示す図である。 図２は、カメラを壁面に沿って移動させながら、カメラを移動方向に対して垂直方向に壁面上を走査させて、複数の画像フレームを連続的に取得する様子を説明する模式図である。 図３は、第１実施形態の画像処理装置の正規化処理の流れを示す図である。 図４は、第１実施形態の撮像手段により取得した入力画像の座標系を示す図である。 図５は、取得した画像の、距離の正規化処理に伴う、移動方向の拡縮処理を示す図である。 図６は、移動方向の拡縮処理を行った画像の、移動量の正規化処理に伴う、移動方向の移動処理を示す図である。 図７は、拡縮処理及び移動方向の移動処理を行った画像フレームを示す図である。 図８は、壁面を垂直方向に走査して撮影を行う様子を説明する断面図である。 図９は、距離の正規化処理に伴う走査方向の拡縮を説明する断面図である。 図１０は、正規化処理後の画像を示す図である。 図１１は、取得した各画像の垂直方向の位置ｙと、正規化処理後の各画像の垂直方向の位置ｙ’との関係を示すグラフである。 図１２は、取得した画像の正規化処理のフローチャートである。 図１３は、静止画撮像から展開画像出力までのフローチャートである。 図１４は、第１実施形態の画像処理装置を用いて、図２に示される壁面を撮像し、生成した展開画像である。 図１５は、第１実施形態の変形例の画像処理装置を示す図である。 図１６は、結合処理部が移動方向に隣接する画像フレームの結合処理を行う一例を示す模式図である。 図１７は、結合処理部が移動方向に隣接する画像フレームの結合処理を行う一例を示すフローチャートである。 図１８は第２実施形態の画像処理装置の構成図である。 図１９はセントル境界を検知する手段を説明する図である。 図２０はセントル境界を検知する手段を説明する図である。 図２１はセントル境界を検知する手段を説明する図である。 図２２Ａは往路展開画像の往路展開画像５１、図２２Ｂは復路展開画像の復路展開画像５５、図２２Ｃは復路展開画像に拡縮処理を行い得られる復路展開画像５５である。 図２３Ａは、図２２Ａと同じ往路展開画像５１、図２３Ｂは、図２２Ｃと同じ拡縮処理を行った復路展開画像５５である。図２３Ｃは、往路展開画像５１と拡縮処理を行った復路展開画像５５とを結合処理して得られる往復展開画像である。 図２４は、第１の往路展開画像作成処理のフローチャートである。 図２５Ａは往路展開画像５１、図２５Ｂは復路展開画像５５、図２５Ｃは復路展開画像に拡縮処理を行い得られる復路展開画像５５である。 図２６は、第２の往路展開画像作成処理のフローチャートである。 図２７は、一般的なコンピュータを用いて実現した第１実施形態の画像処理装置の一例を示す模式図である。
　図１は、第１実施形態の画像処理装置を示す図である。本実施形態の画像処理装置は、カメラ１１と、移動量取得手段１２と、距離取得手段１３とを有する。また、本実施形態の画像処理装置は、正規化処理部１４と、結合処理部１５とを有する。
　カメラ１１は、移動しながら被撮像物を複数回（繰り返し）撮像し画像データを取得する手段である。カメラ１１の種類は特に限定されず、例えば、視覚センサが一次元方向に並んでいるラインセンサカメラ、視覚センサが二次元方向に並んでいるエリアセンサカメラのいずれを用いてもよい。ラインセンサカメラが撮像して得られるデータは一次元画像データであり、エリアセンサカメラが撮像して得られるデータは二次元画像データである。また、撮像対象の構造物のひびや剥離といった変状を認識しやすい点から赤外線カメラを好ましく用いることができる。
　カメラ１１を移動する手段は特に限定されない。カメラ１１は例えば車などの移動手段に搭載され、移動手段を動作させることで移動する。また、カメラ１１は、移動手段により移動する方向に対して交差する方向に被撮像物を走査して撮像を行ってもよい。移動手段で移動する方向に対して交差する方向は、例えば前記移動方向に対して垂直である。例えば、移動方向に伸びる直線を中心としてカメラ１１のセンサと被撮像物とを結ぶ直線が回転するようにカメラ１１を回転させながらカメラ１１で撮像を行うことにより、被撮像物を走査できる。例えば、カメラ１１は、被撮像物の上方から下方へと１回の走査を行った後、上方から下方への走査を繰り返す。被撮像物を走査する手段は、カメラ１１に設けられたカメラ１１の向きや位置を動かす装置である。また、カメラ１１に被撮像物を走査するための作動機構が内蔵された走査型のカメラを用いてもよい。以下、本実施形態において、上記移動手段による移動方向に伸びる直線を中心としてセンサと被撮像物とを結ぶ直線を回転するように作動しながら被撮像物を撮像する、走査型のラインセンサカメラが用いられる。
　移動量取得手段１２は、所定位置から撮像位置までのカメラ１１の移動量を取得する装置であり、例えば、カメラ１１がある画像を撮像してから他の画像を撮像するまでのカメラ１１の移動方向への移動量を計測する装置である。移動量は、通常、カメラ１１による画像の撮像と同期して取得される。移動量取得手段１２は、特に限定されないが、カメラ１１の移動手段による移動方向の移動量を計測する移動量センサを用いることができる。カメラ１１を車両に搭載して移動させるとき、例えば車両に設けた車速センサを移動量センサとして用いることができる。車速センサは、例えば車速パルス発生器が車軸の回転数に比例して発生させたパルス信号から、所定位置から撮像位置までの車両の移動量（例えば、ある撮像時から他の撮像時までの車両の移動量）を計測する。また、例えば距離取得手段１３として、撮像時における被撮像部とカメラ１１との距離の実測が可能な距離センサを用いるとき、移動量取得手段１２は、複数の撮像時に前記距離センサにより実測した各距離と、前記複数の撮像により得られる画像データの特徴点の変位量とから前記カメラの移動量を算出する手段であってもよい。画像データの特徴点の変位量の単位は例えばピクセル単位である。例えば、撮像素子１個の実寸サイズに特徴点の変位量との積をかけることで、ピクセル単位の変位量を現実の変位量（例えばメートル単位）に変換する。複数の撮像時にそれぞれ取得した複数の距離の平均値を算出する。そして、下記式よりカメラの移動量を算出できる。
　　カメラ移動量＝距離の平均値×特徴点の移動量×画素の実寸サイズ／焦点距離
　距離取得手段１３は、カメラ１１が画像を撮像したときにおける、構造物の被撮像部とカメラ１１との距離を取得する装置である。距離は、通常、カメラ１１による画像の撮像と同期して取得される。距離取得手段１３は、特に限定されないが、例えば、撮像対象にレーザー光や超音波などを当て、撮像対象より反射される光の到着時刻を測ることによって物体までの距離を計測するレンジセンサ等の距離センサを用いることができる。また、例えば移動量取得手段１２として車速パルス発生器等、所定位置から撮像位置までの移動量の実測が可能な車速センサを用いるとき、距離取得手段１３は、複数の撮像時に前記移動量センサにより実測した移動量と、前記複数の撮像により得られる各画像データの中心から各画像データの特徴点までの距離とから、前記距離を算出する手段であってもよい。前記複数の撮像により得られる各画像データの中心から各画像データの特徴点までの距離（単位：ピクセル）に、画素の視野角をかけることで、各撮像位置において、特徴点に対応する被撮像物の位置とカメラ１１とがなす直線と、カメラ１１の移動手段による移動方向の直線とがなす角度をそれぞれ算出することができる。カメラ１１の移動量と各撮像位置における上記角度とから、カメラ１１から被撮像物までの距離を算出できる（三角測量）。
　正規化処理部１４は、カメラ１１で撮像した複数の画像データのフレームを、所定位置から該撮像の位置までのカメラ１１の移動量に基づき、移動手段の移動方向にそれぞれ変位する補正を行う移動処理部２５（第１処理部）と、所定の画像データのフレームサイズとその画像データに対応する所定の距離とを基準として、距離取得手段１３により取得された距離に応じてカメラ１１で撮像した画像データのフレームサイズを拡縮する補正を行う拡縮処理部２４（第２処理部又は第５処理部）とを有する。正規化処理は、例えば、被撮像物を走査方向へ１回走査して得られる複数の画像フレームについてある座標軸上で行われる。正規化処理部１４の詳細は後に説明する。
　結合処理部１５（第３処理部又は第６処理部）は、移動処理部２５と拡縮処理部２４とで補正された複数の画像データを二次元座標上に配置し、二次元の画像を生成する。複数の画像の撮像中に距離取得手段１３により取得されたカメラ１１の移動量から、移動方向に隣接する画像フレームの移動方向の配置位置を計算し、二次元画像データを生成することができる。距離取得手段１３のみに依存して、複数の画像フレームを二次元座標上に配置してもよいが、必要に応じて複数の画像フレームをカメラの移動方向に補正することが、得られる二次元画像に写る被撮像物のずれを少なくできる点から好ましい。このカメラの移動方向の補正の方法としては、例えば、隣接する二つの画像フレームが重なる部分の画像ピクセル値（画素値）の差分絶対値和が最小となるように補正したり、隣接する二つの画像フレームが重なる部分の画像ピクセル値の正規化相関によるマッチング法などを用いて補正したりする方法が挙げられる。なお、結合処理の一例は、図１６、図１７を用いて後述される。
　また、本実施形態の画像処理装置は、二次元座標上に配置された画像（展開画像）を保存する画像保存装置１６を備えていてもよい。
　図２は、カメラを壁面に沿って移動させながら、カメラを移動方向に対して垂直方向に壁面上を走査させて、複数の画像フレームを連続的に取得する様子を説明する模式図である。カメラ１１は走査型のラインセンサカメラである。カメラ１１の視覚センサは移動方向に向けて伸びるように配置される。カメラ１１は、トンネルの壁面２に沿って移動しながら壁面２を撮像する。撮像の際、カメラ１１は壁面２を上方から下方に向かって走査しながら、複数回静止画を撮像する。カメラ１１は、トンネルの一端から他端に至るまで壁面２上方から下方に向う走査を複数回行う。本実施形態において、１画素を取得可能な撮像素子を移動方向に一列に複数並べたラインセンサカメラを用いて壁面２を撮像する。図２において、被撮像部４ａ～４ｉは隣り合う被撮像部の境界が重なっているが、隣り合う被撮像部の一部が重なるように走査しながら撮像することが好ましい。
　図３は、本実施形態の画像処理装置の正規化処理の流れを示す図である。本実施形態の画像処理装置において正規化処理部１４は、拡縮処理部２４と移動処理部２５とを含んでなる。拡縮処理部２４は、カメラ１１が撮像した複数の入力画像２１と、距離取得手段１３が取得した被撮像部－カメラ１１間の距離２２とを取得する。移動処理部２５は、移動量取得手段１２が取得した、ある画像が撮像されてからその次の画像が撮像されるまでのカメラ１１の移動方向への移動量２６を取得する。
　正規化処理は、画像フレームの移動方向の処理である移動方向拡縮処理Ｓ１０１および移動方向移動処理Ｓ１０２と、走査方向の処理である走査方向拡縮処理Ｓ１０３を含んでなる。拡縮処理部２４は、移動方向拡縮処理Ｓ１０１と走査方向拡縮処理Ｓ１０３とを行う。移動処理部２５は、移動方向移動処理１０２を行う。
　移動方向拡縮処理Ｓ１０１、移動方向移動処理Ｓ１０２、及び走査方向拡縮処理Ｓ１０３を経た出力画像データ２７は結合処理部１５において結合され、二次元画像データが生成される。
　なお、図示した各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を任意の単位で機能的または物理的に分散・統合して構成することができる。
　図４は、カメラにより取得した入力画像データの座標系を示す図である。Ｘ軸は移動方向（水平方向）であり、Ｙ軸は走査方向（垂直方向）である。入力画像の横幅（スキャンラインの素子数に相当する）は２ｗであり、高さ（スキャンラインの数）をｈとし、画像上の左上の点を（－ｗ，０）、右下を（ｗ，ｈ）とする。
　＜移動方向の拡縮処理＞
　図５を用いて移動方向の拡縮処理を説明する。図５は、取得した画像フレームの、距離の正規化処理に伴う、移動方向の拡縮処理を示す図である。処理対象となる画像フレームｙを撮像した時の、カメラ１１と撮像された壁面３１との距離は、距離取得手段１３によりＤ（ｙ）と取得される。カメラ１１と正規化の対象となる仮想的な壁面３２との距離をＤ０とする。本処理は、カメラ１１により得られる各画像フレームのＸ軸方向について、すべて所定の距離Ｄ０から見たかのように補正する。具体的には、例えば下記式（１）を用いて、画像フレームｙの移動方向の拡縮処理後のＸ座標を算出する。
Figure JPOXMLDOC01-appb-M000001
 ここで、ｘは入力画像のＸ座標であり、ｘ１は移動方向の拡縮処理後のＸ座標である。
　＜移動方向の移動処理＞
　図６及び図７を用いて移動方向の移動処理を説明する。図６は、移動方向の拡縮処理を行った画像の、移動量の正規化処理に伴う、移動方向の移動処理を示す図である。カメラ１１が壁面に沿って移動するため、各画像フレームの被撮像部は時間の経過とともに移動方向に移動する。本処理は、基準となる画像フレームのＸ軸の基準位置（例えば、画像フレーム０の中央のＸ座標（＝０））に対する、他の画像フレームのＸ軸方向の位置を算出する。画像フレームｙの、画像フレーム０に対する移動量は、移動量取得手段によりｘ０（ｙ）（単位：ピクセル）として取得されるものとする。
　他の画像フレームｙをｘ０（ｙ）だけ平行移動することで移動方向の補正を行う。したがって、移動方向の移動処理後のＸ座標ｘ’は次式（２）の線形変換で表せる。
Figure JPOXMLDOC01-appb-M000002
 　図７は、拡縮処理及び移動方向の移動処理を行った画像フレームを示す図である。各画像フレームｙは、画像フレーム０を基準として＋ｘ０（ｙ）だけＸ軸方向に平行移動する。
　＜走査方向の拡縮処理＞
　図８及び図９を用いて、走査（垂直）方向の拡縮処理を説明する。図８は、壁面を垂直方向に走査して撮影を行う様子を説明する断面図である。図８は、壁面３１及びカメラ１１のＸ軸方向に垂直な断面を示す。カメラ１１を通るＸ軸方向の直線を中心にカメラ１１をθν回転動作させるたびに静止画の撮影を行い、画像フレームｙ、画像フレームｙ＋１を順に取得する。図９は、距離の正規化処理に伴う走査方向の拡縮を説明する断面図である。本処理は、各画像フレームのＹ軸方向について、すべて所定の距離Ｄ０から見たかのように補正する。カメラ１１の撮像中心と画像フレームｙとの距離は、距離取得手段１３によりＤ（ｙ）と取得される。各画像フレームｙの垂直視野ｒ（ｙ）は、近似的に、下記式（３）を用いて計算できる。
Figure JPOXMLDOC01-appb-M000003
 　同様に、正規化後、つまり、カメラ１１の撮像中心からの距離がＤ０である、距離の正規化処理後の仮想壁面３２を撮像したときの垂直視野ｒνは下記式（４）を用いて計算できる。
Figure JPOXMLDOC01-appb-M000004
 　各画像フレームｙの拡縮率ｓ（ｙ）は、相似比から下記式（５）を用いて計算できる。
Figure JPOXMLDOC01-appb-M000005
 となる。すなわち、走査方向拡縮処理は、拡縮率Ｄ０／Ｄ（ｙ）で各画像フレームｙを拡縮する。
　画像フレームの走査方向の位置ｙと正規化後の走査方向の位置ｙ’との関係は、下記式（６）のように累積形式で表せる。
Figure JPOXMLDOC01-appb-M000006
 　以上の、移動方向の拡縮処理、移動方向の移動処理、及び走査方向の拡縮処理によって、本実施形態の正規化処理が行われる。図１０は、正規化処理後の画像を示す図である。正規化処理後において、各画像フレームは取得画像の各画像フレームが拡縮された状態で並んでいる。
　上記各処理は、本質的にはどのような順番でも行えるが、移動方向の拡縮処理と移動方向の移動処理は、垂直方向の拡縮処理の前に行うことが好ましい。移動方向の拡縮処理と移動方向の移動処理は、各画素フレームの高さがピクセル（画素）単位であると効率よく処理できる。ところが、垂直方向拡縮処理を行うと各画素フレームの高さはＤ０／Ｄ（ｙ）となるため、移動方向の拡縮処理及び移動方向の移動処理の対象となるデータは、通常ピクセル単位ではなくなる。よって、移動方向の拡縮処理及び移動方向の移動処理が非効率になる。
　また、移動方向の拡縮処理は移動方向の移動処理の前に行うことが好ましい。移動方向の移動処理を移動方向の拡縮処理の前に行うことは、移動方向の移動処理後のＸ座標ｘ’を上記式（２）を、更に下記式（７）のように変形することを意味する。
Figure JPOXMLDOC01-appb-M000007
 　式（７）において、カッコの中のxの加算（Ｄ（ｙ）／Ｄ０）ｘ０（ｙ）が移動方向の移動補正である。この加算は、取得した移動量ｘ０（ｙ）を取得した距離Ｄ（ｙ）に応じて補正することを意味するため、非効率である。
　以上より、正規化処理は、移動方向の拡縮処理、移動方向の移動処理、走査方向の拡縮処理の順に行うことが好ましい。
　また、上記正規化処理は取得画像の各ピクセルが正規化によって、どのピクセルに変換されるかを表している。しかし、実際に画像を変換するときは、正規化後の画像における各ピクセルが、取得画像において対応するピクセルの情報を取得する、逆変換を用いたほうが変換結果の品質が良い。
　Ｘ軸方向の逆変換は、線形変換であるので、下記式（８）により解析的に求められる。
Figure JPOXMLDOC01-appb-M000008
 　一方、Ｙ軸方向の逆変換は、画像フレームの走査方向の位置ｙと正規化後の走査方向の位置ｙ’との関係が、上記式（６）に示したように累積形式であるので数値計算で求める。
　図１１は、式（６）に基づいた、取得した各画像の垂直方向の位置ｙと正規化処理後の各画像の垂直方向の位置ｙ’との関係を示すグラフである。例えばこのグラフを用いて逆変換を行うことができる。
　図１２は、本実施形態の画像処理装置が、撮像後に画像の正規化処理を行うフローチャートである。まず、カメラ１１から正規化用の仮想壁面までの距離Ｄ０を拡縮処理部２４に入力する（Ｓ２０１）。次いで、正規化処理部１４は、カメラ１１が撮像した各画像フレーム（入力画像２１）に対応する壁面距離Ｄ（ｙ）と移動量ｘ０（ｙ）とを、距離取得手段１３と移動量取得手段１２とからそれぞれ取得する（Ｓ２０２）。次いで、拡縮処理部２４及び移動処理部２５は、上記式（８）に基づき、カメラ１１によって入力された複数の入力画像についてそれぞれ、移動方向の拡縮処理と移動方向の移動処理を行う（Ｓ２０３）。次いで、拡縮処理部２４は、Ｓ２０３において処理された各画像について、上記式（６）の逆関数を使って走査方向拡縮処理を行い、出力画像２７を出力する（Ｓ２０４）。
　本実施形態の画像処理装置は、各画像の上記正規化処理を終えたあと、結合処理部１５にて正規化処理がなされた出力画像２７を結合処理することで、画像を作成しこれを出力する。
　図１３は、画像データ取得から画像出力までのフローチャートである。まず、カメラ１１は、撮像対象となる構造物の画像を撮像する（Ｓ３０１）。次いで、正規化処理部１４は、取得した画像データをすべて正規化処理するまで、被撮像物の画像データを取得し、正規化処理を行う（Ｓ３０２～Ｓ３０４）。Ｓ３０２において、被撮像物の画像データをすべて正規化処理したら、結合処理部１５は正規化した画像データを読み込み、各画像を結合し、画像を作成する（Ｓ３０５～Ｓ３０６）。
　図１４は、本実施形態の画像処理装置を用いて、図２に示される壁面を撮像し、生成した画像（展開画像）である。画像６には、図２における被撮像部４ａ～４ｉに対応する画像フレーム７ａ～７ｉと、壁面の模様３に対応する模様５のみが示されている。本発明の画像処理装置はトンネルに沿って移動しながら撮像する。移動速度が一定であるとは限らない。しかし、画像６に写っている壁面の模様５はずれていない。また、撮像中、移動速度や壁面までの距離が一定でなくても各画像フレームに写る撮影対象の大きさが正規化され、隣り合う画像をつなぎ合わせることができる。本実施形態の画像処理装置により得られる画像は、壁面の模様３に対応する模様５の位置を正しく認識することができる。
　本実施形態の画像処理装置によれば、構造物に沿って移動しながら移動方向に対し交差する方向に走査して構造物を撮像して取得した複数の静止画像に、正規化処理及び結合処理を行うことにより、壁面の欠陥や模様の位置を正しく認識できる画像を生成できる。
　なお、上述の通り、カメラ１１としてエリアセンサカメラを用いても良い。このとき、得られた各画像フレームにおいて、通常、カメラ１１と構造物の被撮像部との距離を同じ値とみなすため、各画像フレームで撮像される被撮像物の領域が大きくなるほど正規化結果の精度が低くなるおそれがあるが、構造物の撮像を短時間に行うことができる点において好ましい。
　図１５は、第１実施形態の変形例の画像処理装置を示す図である。第１実施形態の撮像と同様の構成については同一の番号を付し、説明を省略する。本変形例の画像処理装置は、第１実施形態の画像処理装置と同様、カメラ１１、移動量取得手段１２、距離取得手段１３、正規化処理部１４、結合処理部１５を有する。本変形例の画像処理装置は、更に、他のカメラ１１ａと、カメラ１１ａから取得する画像を処理する正規化処理部１４ａと、カメラ１１ａがある画像を撮像してからその次の画像を撮像するまでのカメラ１１ａの移動方向への移動量又は移動速度を計測する移動量取得手段１２ａと、カメラ１１ａが画像を撮像したときにおける、構造物の被撮像部とカメラ１１ａとの距離を取得する距離取得手段１３ａとを備える。カメラ１１と、カメラ１１ａとは、撮像対象の構造物のうちそれぞれ異なる領域を走査しながら移動する。カメラ１１及び１１ａの、相対的な設置位置・視野方向・撮影タイミング差等は任意に設定することができる。正規化処理部１４、１４ａで正規化処理された各画像フレームは結合処理部１５へ入力され、結合処理が行われる。本変形例の画像処理装置によれば、上記第１実施形態と同様、壁面の欠陥や模様の位置を正しく認識できる画像を生成できる。
　図１６は、結合処理部が移動方向に隣接する画像フレームの結合処理を行う一例を示す模式図である。図１６Ａのように、結合処理前における画像フレームｉの左上の頂点を（０，０）、画像フレームｉの左上の頂点を（ｘ，ｙ）とする。まず、隣接するフレーム画像の理論的な重ね合わせ位置を探索開始位置（デフォルト値）に設定する（図１６Ｂ）。このときの画像フレームｉの左上の頂点を（０，０）、画像フレームｉの左上の頂点を（ｘ０，ｙ０）とする。探索開始位置は、例えば車速移動情報を用いて算出可能である。次いで、移動方向に隣接する画像フレームｉ，ｊの相対位置をずらしながら、重ね合わせ具合を評価し、最も評価値の高い位置を探索する画像探索処理を実施する（図１６Ｃ）。このときの画像フレームｉの左上の頂点を（０，０）、画像フレームｉの左上の頂点を（ｘ’，ｙ’）とする。次いで、最も評価値の高い位置に基づいて、隣接フレーム画像を重ね合わせる結合処理を実施する。重ね合わせ具合の評価に、例えば、画像フレームｉ、ｊのうち重なりあった領域（評価領域）の画像ピクセルにおける画像ピクセル値の差分絶対値和を使用することができる。通常、差分絶対値和が小さいほど、画像フレームｉ、ｊはずれの量が少なく重なっていることを意味する。
　重ね合わせの評価領域におけるテクスチャ特徴量が不十分な場合、探索結果の位置が誤っていることがある。重ね合わせの評価領域のテクスチャ量を事前に評価し、所定のテクスチャ量に満たないときは、画像探索処理を実施せずに、デフォルト値を採用するように構成してもよい。ここでテクスチャ特徴量は、輝度値の分散、輝度微分値の分散などが用いられる。
　図１７は、結合処理部が移動方向に隣接する画像フレームの結合処理を行う一例を示すフローチャートである。画像フレームｉに対する画像フレームｊの探索開始位置を算出し（Ｓ４０１）、画像フレームｉと画像フレームｊの重ね合わせ評価領域のテクスチャ特徴量を算出する（Ｓ４０２）。テクスチャ特徴量が所定値以上（Ｓ４０３）であれば，探索処理を実施し重ねあわせ位置を出力する（Ｓ４０４）。テクスチャ特徴量が所定値未満（Ｓ４０３）であれば、探索開始位置を出力する（Ｓ４０５）。Ｓ４０４、Ｓ４０５において出力した画像フレームｉに対する画像フレームｊの位置に基づき、画像結合処理を行う（Ｓ４０６）。
　図１８～２６は、第２実施形態の画像処理装置を説明する図である。第２実施形態の画像処理装置は、セントルの境界位置を検出し、セントル境界位置の情報を活用して、セントル境界のずれのない品質の良い往復展開画像を生成する装置である。セントルとは、覆工コンクリートを打設するためのアーチ部の型枠支保工である。トンネル壁面にはトンネル円周方向に渡って直線状のコンクリートの繋ぎ目が存在する。このつなぎ目は型枠支保工の形状に由来する。本実施形態において、セントル境界はこのつなぎ目を意味する。
　図１８は第２実施形態の画像処理装置の構成図である。なお、第１実施形態と同様の構成要素は同一符号を付し、説明を省略する。
　第２実施形態の画像処理装置は、車などの移動装置に搭載され、トンネルを走行しながら、トンネルの壁面の片側を撮影する。第２実施形態の画像処理装置は、カメラ１１、１１ａ、距離取得手段１３、移動量取得手段１２、展開画像作成手段２０、セントル境界検出手段（検出部）２３、及び往復展開画像作成手段２８（第４処理部）を有する。カメラ１１、１１ａは、図１５の第１実施形態の変形例の画像処理装置に設けられたものと同様である。距離取得手段１３及び移動量取得手段１２は、第１実施形態におけるそれらと同様であるため説明を省略する。展開画像生成手段２０は、図１の画像処理装置における正規化処理部１４及び結合処理部１５を含む。カメラ１１、１１ａにより撮像された複数の画像フレームに対し、正規化処理部１４が移動量と距離とを用いて正規化処理を行い、結合処理部１５が正規化処理された画像フレームを結合し、展開画像を生成する。このように構成された画像処理装置によって、トンネルの片側の壁面の展開画像を作成する。本画像処理装置は、往路と復路を走行中に、それぞれ片側の壁面の画像フレーム（画像データ）を収集し、それぞれ、往路展開画像と復路展開画像とを生成する。
　セントル境界検出手段２３は、作成された往路展開画像と復路展開画像から、セントル検知手段によって、セントル境界のデータを検知する。図１９～２１はセントル境界を検知する手段を説明する図である。
　図１９Ａは往路展開画像５１であり、図１９Ｃは復路展開画像５５である。往路展開画像及び復路展開画像それぞれにおいて、縦方向の一部に渡って存在する走査方向のライン５３のデータと縦方向全てに渡って存在する走査方向のライン５２のデータとは画像処理によって異なるデータとして検知できる。往路又は復路の展開画像の縦方向全てに渡って存在する走査方向のライン５２のデータをセントルの繋ぎ目を示すデータとして画像処理によって検知する。トンネル壁面の往路展開画像及び復路展開画像において、セントル境界が他の部分に対して明瞭に温度が異なるデータとして得られる点から、カメラ１１は赤外線カメラであることが、好ましい。
　図１９Ｂは図１９Ａの展開画像の輝度値を水平方向に微分して得られる水平微分画像から垂直エッジ抽出を行うことにより算出した垂直エッジヒストグラムである。図１９Ｄは図１９Ｃの展開画像の輝度値を水平方向に微分して得られる水平微分画像から垂直エッジ抽出を行うことにより算出した垂直エッジヒストグラムである。図１９Ｂ及び図１９Ｄの垂直エッジヒストグラムは、横軸に水平画像位置（移動方向の画像位置）を、縦軸に微分値を表す。
　また、所定の閾値ｔ以上のピークを有する水平画素位置を検出し、セントル境界位置として記憶する。これは、トンネル開口位置を基準位置として記録する。図２０Ａは、往路展開画像及び復路展開画像の垂直エッジヒストグラムから、それぞれ、所定の閾値ｔ以上のピークを有する水平画像位置をトンネルの入口から出口に向かって順に、縦に並べたテーブル４０である。なお、セントル境界は画像上で幅を有する線として観測されるため、セントル境界位置には垂直エッジヒストグラムのピークが２つ観測されるが、隣接する同程度の値を有するピークの中間値を登録するようにしてもよい。
　次に、往路展開画像と復路展開画像のセントル境界位置の対応付け処理を行う。図２０Ｂは、テーブル４０から、往路・復路の展開画像それぞれにおいて、セントル境界位置が移動方向の所定の範囲内になる水平画素位置を抽出し縦に並べたテーブル４１である。また、画像データと同期して管理されているトンネル開口基準位置からの車両移動量に基づいて対応付けてもよい。また、セントルはトンネル設計仕様に基づき特定の間隔となっているため、この情報を用いて対応の精度を高めるようにしてもよい。
　図２１は、セントル境界のデータを検知するフローチャートである。往路・復路の各展開画像から垂直エッジ画像を作成し（Ｓ５０１）、往路・復路毎に、垂直エッジヒストグラムを作成し（Ｓ５０２）、垂直エッジヒストグラムにおいて、微分値が所定値以上である水平画像位置を抽出し（Ｓ５０３）、往路及び復路のセントル境界位置をそれぞれ登録し（Ｓ５０４）、往路及び復路のセントル境界位置を対応付ける（Ｓ５０５）。
　往復展開画像生成手段２８は、往路展開画像と復路展開画像のセントル境界位置に関し対応付けられたデータを用いて、往復展開画像を作成する。以下に、往復展開画像作成処理の実施形態を以下に示す。ここでは、往路展開画像を基準として復路展開画像を接合する説明とするが、復路展開画像を基準として往路展開画像を接合してもよい。
　＜第１の往復展開画像作成処理＞
　図２２Ａは往路展開画像５１、図２２Ｂは復路展開画像５５、図２２Ｃは復路展開画像に拡縮処理を行い得られる復路展開画像５５である。
　［Ｓｔｅｐ１］往路のセントル境界区間［ａｉ，ａｉ＋１］に対応する、復路のセントル境界区間［ｂｉ，ｂｉ＋１］の部分展開画像の画像補正処理を行う。具体的には、移動方向にｒ＝（ａｉ＋１－ａｉ）／（ｂｉ＋１－ｂｉ）倍の拡縮処理を行う。また、移動方向および走査方向にｒ倍の拡縮処理を行ってもよい。
　［Ｓｔｅｐ２］次に、往路展開画像５１と、拡縮された復路展開画像５５とを結合処理する。すなわち、画像探索処理を実施し、探索された重ね合わせ位置に基づいて結合処理を行う。結合処理は部分展開画像を単位として行うことができる。結合処理は図１６、図１７において説明したため、第２実施形態における説明を省略する。図２３Ａは、図２２Ａと同じ往路展開画像の往路展開画像５１、図２３Ｂは、図２２Ｃと同じ拡縮処理を行った復路展開画像５５である。図２３Ｃは、往路展開画像の往路展開画像５１と拡縮処理を行った復路展開画像５５とを結合処理して得られる部分往復展開画像である。
　図２４は、第１の往路展開画像作成処理のフローチャートである。復路のセントル境界区間［ｂｉ，ｂｉ＋１］の部分展開画像をｒ倍だけ拡縮処理し（Ｓ６０１）、往路のセントル境界区間［ａｉ，ａｉ＋１］の部分展開画像と復路の拡縮後の部分展開画像とを結合処理する（Ｓ６０２）。セントル境界に挟まれるコンクリート壁面の画像データをすべて処理するまでＳ６０１とＳ６０２を繰り返す（Ｓ６０３）。
　＜第２の往復展開画像作成処理＞
　図２５Ａは往路展開画像５１、図２５Ｂは復路展開画像５５、図２５Ｃは復路展開画像に再配置処理を行い得られる復路展開画像５５である。
　［Ｓｔｅｐ１］往路のセントル境界区間［ａｉ，ａｉ＋１］に対応する、復路のセントル境界区間［ｂｉ，ｂｉ＋１］の部分展開画像の再配置処理を行う。具体的には、復路展開画像５５を構成する各画像フレーム５６の移動方向の位置を、次の量ｄだけシフトする。
　　　ｄ＝｛（ａｉ＋１－ａｉ）－（ｂｉ＋１－ｂｉ）｝／Ｎｉ
　Ｎｉは復路のセントル境界区間［ｂｉ，ｂｉ＋１］に存在する移動方向のフレーム接合数である。例えば図２５Ｂに示されるセントル境界区間［ｂｉ，ｂｉ＋１］の部分展開画像においてフレーム接合数Ｎｉは３である。
　このとき、復路の部分展開画像を構成する全フレーム画像に対して実施するのではなく、復路展開画像生成処理において、テクスチャ量が不十分なために画像探索処理が未実施となった画像フレームを記憶しておき、同画像フレームに対してのみ実施してもよい。その場合、同画像フレームの移動方向の位置を次の量ｄだけシフトする。
　　ｄ＝｛（ａｉ＋１－ａｉ）－（ｂｉ＋１－ｂｉ）｝／Ｍｉ
　Ｍｉは復路のセントル境界区間［ｂｉ，ｂｉ＋１］に存在する移動方向のフレーム結合数のうち、往路又は復路の展開画像生成処理において、画像探索処理が未実施となったフレームの数である。
　［Ｓｔｅｐ２］次に、往路展開画像５１と、再配置された復路展開画像５５とを結合処理する。すなわち、画像探索処理を実施し、探索された重ね合わせ位置に基づいて、第１の往路展開画像作成処理と同様に結合処理を行う。
　図２６は、第２の往路展開画像作成処理のフローチャートである。復路のセントル境界区間［ｂｉ，ｂｉ＋１］の部分展開画像を再配置処理し（Ｓ７０１）、往路のセントル境界区間［ａｉ，ａｉ＋１］の部分展開画像と復路の拡縮後の部分展開画像とを結合処理する（Ｓ７０２）。セントル境界に挟まれるコンクリート壁面の画像データをすべて処理するまで、Ｓ７０１とＳ７０２を繰り返す（Ｓ７０３）。
　なお、上記第１及び第２の往復展開画像作成処理の[Ｓｔｅｐ２]において、復路の展開画像を再構築するように、部分展開画像を構築する各画像フレームの単位で画像探索処理と画像結合処理を実施してもよい。
　第２実施形態の展開画像作成装置によると、トンネルの内壁全体にわたり、ずれや縮尺のばらつきを少なく被撮像物の画像データをつなぎ合わせて、品質の高い往復展開画像を生成することができる。例えば、往路と復路で、車速、又はカメラから壁面までの距離が異なったり、一定でなかったりしても、品質の高い往復展開画像を生成できる。
　上記第１実施形態及び第２実施形態の画像処理装置は、例えば一般的なコンピュータを用いて実現できる。図２７は、一般的なコンピュータを用いて実現した第１実施形態の画像処理装置１００の一例を示す模式図である。コンピュータ１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１４０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１５０、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１６０を含む。ＣＰＵ１４０は、バス１８０を介してＲＯＭ１５０、ＲＡＭ１６０と接続される。また、コンピュータ１１０は、カメラ１１、距離取得手段１３、移動量取得手段１２、画像保存装置１６と接続されている。画像処理装置１００全体の動作はＣＰＵ１４０によって統括制御される。コンピュータ１１０は、上記正規化処理（拡縮処理及び移動処理）、結合処理を行う。ＣＰＵ１４０は、所定のプログラムに従ってカメラ１１、距離取得手段１３、移動距離取得手段１２、画像保存装置１６を制御する制御手段として機能するとともに、上記正規化処理（拡縮処理及び移動処理）及び結合処理など各種演算を実施する演算手段として機能する。ＲＡＭ１６０は、プログラムの展開領域及びＣＰＵ１４０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１５０には、ＣＰＵ１４０が実行するプログラム及び制御に必要な各種データや、カメラ１１、距離取得手段１３、移動距離取得手段１２、及び画像保存装置１６の動作に関する各種定数／情報等が格納されている。
　尚、本発明は上記実施形態に限定されるものではない。矛盾のない限りにおいて、複数の実施例を組み合わせても構わない。上記実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
　２　　壁面
　３　　壁面の模様
　４ａ～４ｉ　　被撮像部
　５　　展開画像に写る壁面の模様
　６　　展開画像
　７ａ～７ｉ　　被撮像部４ａ～４ｉを撮影した画像フレーム
　１１　　カメラ
　１２　　移動量取得手段
　１３　　距離取得手段
　１４　　正規化処理部
　１５　　結合処理部
　１６　　画像保存装置
　２１　　入力画像
　２２　　被撮像部とカメラとの距離
　２３　　セントル境界検出手段
　２４　　拡縮処理部
　２５　　移動処理部
　２６　　移動量
　２７　　出力画像
　２８　　往復展開画像生成手段
　３１　　壁面
　３２　　仮想壁面
　４０、４１　　テーブル
　５１　　往路展開画像
　５２　　セントルのつなぎ目を示すライン
　５３　　変状現象を示すライン
　５５　　復路展開画像
　５６　　画像フレーム

Claims (13)

  1. 　移動手段で移動しながら被撮像物を複数回撮像して得た画像データを処理する画像処理装置において、
    　前記移動手段に設けられ、前記移動手段で移動しながら前記被撮像物を複数回撮像して前記画像データを取得するカメラと、
    　前記移動手段に設けられ、所定位置から撮像位置までの前記カメラの移動量を取得する移動量取得手段と、
    　前記移動手段に設けられ、撮像時における前記被撮像物の被撮像部と前記カメラとの距離を取得する距離取得手段と、
    　前記カメラで撮像した複数の画像データのフレームを、前記所定位置から該撮像の位置までの前記カメラの移動量に基づき、前記移動手段の移動方向にそれぞれ変位する補正を行う第１処理部と、
    　所定の画像データのフレームのサイズと該画像データに対応する所定の距離とを基準として、前記距離取得手段により取得された距離に応じて前記カメラで撮像した画像データのフレームのサイズを拡縮する補正を行う第２処理部と、
    　前記第１処理部と前記第２処理部とでそれぞれ補正された複数の画像データを二次元座標上に配置して、画像を生成する第３処理部と
    を備えることを特徴とする画像処理装置。
  2. 　前記第２処理部は、前記カメラで撮像した画像データのフレームのサイズを前記移動手段による移動方向に拡縮処理する第１拡縮処理部と、前記カメラで撮像した画像データのフレームのサイズを前記移動方向に対して交差する方向に拡縮する第２拡縮処理部とを含むことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第１拡縮処理部は、前記第１処理部によって補正された画像データのフレームのサイズを拡縮することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記第２拡縮処理部は、前記第１拡縮処理部によって補正された画像データのフレームのサイズを前記移動方向に対して交差する方向に拡縮することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記第２拡縮処理部は、前記第１拡縮処理部及び前記第１処理部によって補正された画像データのフレームのサイズを前記移動方向に対して交差する方向に拡縮することを特徴とする請求項２に記載の画像処理装置。
  6. 　更に、前記移動手段による前記移動方向に対して交差する方向に前記被撮像物の被撮像部を前記カメラで走査するための走査手段を備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記移動手段で移動する方向に対して交差する方向は、前記移動方向に対して垂直であることを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
  8. 　前記距離取得手段は、前記被撮像物の被撮像部と前記カメラとの距離を実測する距離センサであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
  9. 　前記移動量取得手段は、複数の撮像時にそれぞれ前記距離センサにより実測した前記被撮像物の被撮像部と前記カメラとの距離と、前記複数の撮像により得られる画像データの特徴点の変位量とから前記カメラの移動量を算出する手段であることを特徴とする請求項８に記載の画像処理装置。
  10. 　前記移動量取得手段は、前記カメラの移動方向の移動量を実測する移動量センサであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
  11. 　前記距離取得手段は、複数の撮像時に前記移動量センサにより実測した移動量と、前記複数の撮像により得られる各画像データの中心から各画像データの特徴点までの距離とから、前記被撮像物の被撮像部と前記カメラとの距離を算出する手段であることを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記被撮像物は複数の型枠を用いて形成したトンネルの内壁であり、前記カメラの移動方向は前記トンネルの開口部の一端から他端へ向かう方向であり、
    　更に、前記壁面の一部を撮像して生成された第１の二次元画像と、前記壁面の他の部分を撮像して生成された第２の二次元画像とにおいて、それぞれ型枠のつなぎ目の画像データを検出する検出部と、
    　前記第１の二次元画像における型枠のつなぎ目の画像データと、前記第２の二次元画像データにおける型枠のつなぎ目の画像データとに基づき、前記第１の二次元画像データと前記第２の二次元画像とを二次元座標上に配置する第４処理部と
    を備えることを特徴とする、請求項１乃至１１のいずれか１項に記載の画像処理装置。
  13. 　移動しながら被撮像物を複数回撮像して得た画像データを処理する画像処理方法において、
    　移動しながらカメラで前記被撮像物を複数回撮像して画像データを取得する工程と、
    　所定位置から撮像位置までの前記カメラの移動量を取得する工程と、
    　撮像時における前記被撮像物の被撮像部と前記カメラとの距離を取得する工程と、
    　前記カメラで撮像した複数の画像データのフレームを、所定位置から該撮像の位置までの前記カメラの移動量に基づき、前記移動手段の移動方向に変位する補正を行う第１処理工程と、
    　所定の画像データのフレームサイズと該画像データに対応する所定の距離とを基準として、前記距離取得手段により取得された距離に応じて前記カメラで撮像した複数の画像データのフレームサイズを拡縮する補正を行う第２処理工程と、
    　前記第１補正工程と前記第２補正工程とで補正された前記画像データを二次元座標上に配置して、画像を生成する第３処理工程と
    を備えることを特徴とする画像処理方法。
PCT/JP2009/004701 2009-09-17 2009-09-17 画像処理装置及び画像処理方法 WO2011033569A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011531643A JP5429291B2 (ja) 2009-09-17 2009-09-17 画像処理装置及び画像処理方法
PCT/JP2009/004701 WO2011033569A1 (ja) 2009-09-17 2009-09-17 画像処理装置及び画像処理方法
US13/422,711 US20120236153A1 (en) 2009-09-17 2012-03-16 Image processing apparatus, image processing method and medium for storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/004701 WO2011033569A1 (ja) 2009-09-17 2009-09-17 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/422,711 Continuation US20120236153A1 (en) 2009-09-17 2012-03-16 Image processing apparatus, image processing method and medium for storing image processing program

Publications (1)

Publication Number Publication Date
WO2011033569A1 true WO2011033569A1 (ja) 2011-03-24

Family

ID=43758197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004701 WO2011033569A1 (ja) 2009-09-17 2009-09-17 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20120236153A1 (ja)
JP (1) JP5429291B2 (ja)
WO (1) WO2011033569A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218555A (ja) * 2015-05-15 2016-12-22 三菱電機株式会社 撮像装置、撮像車両および通路沿い画像生成装置
CN107167478A (zh) * 2017-04-25 2017-09-15 明基材料有限公司 片材面内标记检测方法及装置
JP2019056647A (ja) * 2017-09-21 2019-04-11 三菱電機株式会社 画像生成装置、画像生成プログラムおよび撮影車両
CN110069972A (zh) * 2017-12-11 2019-07-30 赫克斯冈技术中心 自动探测真实世界物体
CN111024045A (zh) * 2019-11-01 2020-04-17 宁波纳智微光电科技有限公司 一种立体测量自旋转相机系统及其预测和信息结合方法
JP2020194145A (ja) * 2019-05-30 2020-12-03 金川 典代 走路周壁面撮影装置及び走路周壁面撮影方法
WO2023234360A1 (ja) * 2022-06-01 2023-12-07 パナソニックＩｐマネジメント株式会社 撮像システム、及び、それを備えた移動体
WO2023234356A1 (ja) * 2022-06-01 2023-12-07 パナソニックＩｐマネジメント株式会社 撮像システム、及び、それを備えた移動体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2996001B1 (fr) * 2012-09-21 2014-10-03 Electricite De France Dispositif et procede d'inspection et de caracterisation de defauts de surface dans des elements de tuyauterie
JP5896873B2 (ja) * 2012-10-09 2016-03-30 三井住友建設株式会社 ボケ画像検出方法
CN115278063A (zh) * 2022-07-08 2022-11-01 深圳市施罗德工业集团有限公司 一种巡检方法、巡检装置及巡检机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111073A (ja) * 2001-09-28 2003-04-11 Takenaka Komuten Co Ltd 画像検査方法
JP2003185589A (ja) * 2001-12-20 2003-07-03 Nishimatsu Constr Co Ltd コンクリート表面の変状調査システム、および、コンクリート表面の変状調査方法
JP2004012152A (ja) * 2002-06-03 2004-01-15 Asia Air Survey Co Ltd 構造物の壁面調査装置
JP2004347585A (ja) * 2003-02-21 2004-12-09 Fast:Kk 建築および土木構造物計測・解析システム
JP2005030961A (ja) * 2003-07-08 2005-02-03 Takenaka Doboku Co Ltd コンクリート点検システムのハイビジョン画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009359A (en) * 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US6633671B2 (en) * 1998-01-28 2003-10-14 California Institute Of Technology Camera-based handwriting tracking
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
ATE450840T1 (de) * 1999-08-20 2009-12-15 Yissum Res Dev Co System und verfahren zur berichtigung eines durch eine mobile kamera aufgezeichneten mosaikaehnlichen bildes
US7006707B2 (en) * 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
JP2004021578A (ja) * 2002-06-17 2004-01-22 Nikon Gijutsu Kobo:Kk 画像処理方法
US7324137B2 (en) * 2004-01-29 2008-01-29 Naomichi Akizuki System for automatically generating continuous developed still image from video image of inner wall of tubular object
JP4740723B2 (ja) * 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111073A (ja) * 2001-09-28 2003-04-11 Takenaka Komuten Co Ltd 画像検査方法
JP2003185589A (ja) * 2001-12-20 2003-07-03 Nishimatsu Constr Co Ltd コンクリート表面の変状調査システム、および、コンクリート表面の変状調査方法
JP2004012152A (ja) * 2002-06-03 2004-01-15 Asia Air Survey Co Ltd 構造物の壁面調査装置
JP2004347585A (ja) * 2003-02-21 2004-12-09 Fast:Kk 建築および土木構造物計測・解析システム
JP2005030961A (ja) * 2003-07-08 2005-02-03 Takenaka Doboku Co Ltd コンクリート点検システムのハイビジョン画像処理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218555A (ja) * 2015-05-15 2016-12-22 三菱電機株式会社 撮像装置、撮像車両および通路沿い画像生成装置
CN107167478A (zh) * 2017-04-25 2017-09-15 明基材料有限公司 片材面内标记检测方法及装置
JP2019056647A (ja) * 2017-09-21 2019-04-11 三菱電機株式会社 画像生成装置、画像生成プログラムおよび撮影車両
JP7002898B2 (ja) 2017-09-21 2022-01-20 三菱電機株式会社 画像生成装置、画像生成プログラムおよび撮影車両
CN110069972A (zh) * 2017-12-11 2019-07-30 赫克斯冈技术中心 自动探测真实世界物体
CN110069972B (zh) * 2017-12-11 2023-10-20 赫克斯冈技术中心 自动探测真实世界物体
JP2020194145A (ja) * 2019-05-30 2020-12-03 金川 典代 走路周壁面撮影装置及び走路周壁面撮影方法
JP7267557B2 (ja) 2019-05-30 2023-05-02 金川 典代 走路周壁面撮影装置及び走路周壁面撮影方法
CN111024045A (zh) * 2019-11-01 2020-04-17 宁波纳智微光电科技有限公司 一种立体测量自旋转相机系统及其预测和信息结合方法
WO2023234360A1 (ja) * 2022-06-01 2023-12-07 パナソニックＩｐマネジメント株式会社 撮像システム、及び、それを備えた移動体
WO2023234356A1 (ja) * 2022-06-01 2023-12-07 パナソニックＩｐマネジメント株式会社 撮像システム、及び、それを備えた移動体

Also Published As

Publication number Publication date
JP5429291B2 (ja) 2014-02-26
JPWO2011033569A1 (ja) 2013-02-07
US20120236153A1 (en) 2012-09-20

Similar Documents

Publication Publication Date Title
JP5429291B2 (ja) 画像処理装置及び画像処理方法
JP4915859B2 (ja) 物体の距離導出装置
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP2007164258A (ja) 画像合成処理装置及び方法
CN111879235A (zh) 弯管的三维扫描检测方法、三维扫描系统和计算机设备
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
JP2019164136A (ja) 情報処理装置、撮像装置、移動体、画像処理システムおよび情報処理方法
TWI521471B (zh) 3 - dimensional distance measuring device and method thereof
JP7412983B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019163624A (ja) 情報処理装置、情報処理方法および表示装置
JP5162412B2 (ja) トンネル壁面撮影装置
JP2023029441A (ja) 計測装置、計測システムおよび車両
WO2020158726A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5088627B2 (ja) マルチマッチング方法
JP6099281B2 (ja) 書籍読み取りシステム及び書籍読み取り方法
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
JP2011033428A (ja) パンタグラフ高さ測定装置
JP2011097640A (ja) 画像検査方法および画像検査装置
JP2004212104A (ja) 物体表面撮像装置、及び物体表面撮像方法
KR101809558B1 (ko) 3차원 모델 생성 시스템 및 그 방법
JP2009239391A (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP2009192272A (ja) 位置計測装置及び位置計測方法
JP7419846B2 (ja) 液面検出方法及び液面検出装置
JP4590592B2 (ja) 三次元計測装置および三次元計測方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09849429

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011531643

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09849429

Country of ref document: EP

Kind code of ref document: A1