WO2023100332A1 - 画像生成装置、画像生成方法および記録媒体 - Google Patents

画像生成装置、画像生成方法および記録媒体 Download PDF

Info

Publication number
WO2023100332A1
WO2023100332A1 PCT/JP2021/044336 JP2021044336W WO2023100332A1 WO 2023100332 A1 WO2023100332 A1 WO 2023100332A1 JP 2021044336 W JP2021044336 W JP 2021044336W WO 2023100332 A1 WO2023100332 A1 WO 2023100332A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
photographed
conversion
captured
Prior art date
Application number
PCT/JP2021/044336
Other languages
English (en)
French (fr)
Inventor
雅人 左貝
巡 高田
Original Assignee
日本電気株式会社
一般財団法人電力中央研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 一般財団法人電力中央研究所 filed Critical 日本電気株式会社
Priority to PCT/JP2021/044336 priority Critical patent/WO2023100332A1/ja
Publication of WO2023100332A1 publication Critical patent/WO2023100332A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Definitions

  • the present invention relates to an image generation device, an image generation method, and a recording medium.
  • Non-Patent Document 1 regarding a plurality of frames (images) obtained by continuously photographing the same scene, when the viewpoint shifts for each frame, a difference in the amount of positional shift occurs between the background component and the foreground component.
  • image alignment is performed using optical flow and pixel synthesis is performed using an energy minimization technique to remove glare.
  • Non-Patent Document 1 With the method described in Non-Patent Document 1, it is conceivable that reflection removal may not be successful when the parallax between captured images is too large. Even if there is a large difference in the size or orientation of the photographed object between images, such as when there is a large parallax between multiple images, it is possible to remove or reduce factors that make it difficult to see the image of the photographed object, such as reflections in the photographed image. preferable.
  • An example of an object of the present invention is to provide an image generation device, an image generation method, and a recording medium that can solve the above problems.
  • the image generation device includes image acquisition means for acquiring a plurality of photographed images obtained by photographing a photographing target having a pattern of a known shape a plurality of times from different positions. a conversion amount calculating means for calculating, for each photographed image, an image conversion amount in which the shape of the pattern image in the photographed image becomes the known shape; and the calculated image conversion amount for each of the photographed images. an image conversion means for performing image conversion with a , a positioning means for positioning a plurality of photographed images after image conversion, and an image generating means for generating a target image based on the plurality of positioned photographed images; Prepare.
  • the image generation device includes image acquisition means for acquiring a plurality of photographed images obtained by photographing a photographing target having a pattern having a known shape a plurality of times from different positions. , for each of the plurality of photographed images, the photographed image is used as a reference image, all images other than the reference image are used as comparative images, and the photographed images are aligned so that the comparative image is aligned with the reference image.
  • preprocessing means for generating a preprocessed image based on a plurality of preprocessed images; and an image conversion amount that detects the pattern image for each of the preprocessed images and makes the shape of the detected pattern image the known shape.
  • an image generation device obtains a plurality of photographed images obtained by photographing a photographing target to which a pattern having a known shape is attached a plurality of times from different positions. calculating, for each photographed image, an image conversion amount by which the shape of the pattern image in the photographed image becomes the known shape; and calculating the image conversion amount for each photographed image. , aligning the plurality of photographed images after the image transformation, and generating a target image based on the aligned plurality of photographed images.
  • the recording medium acquires a plurality of photographed images obtained by photographing a photographing target having a pattern having a known shape a plurality of times from different positions. calculating, for each photographed image, an image conversion amount by which the shape of the pattern image in the photographed image becomes the known shape; and for each photographed image, image conversion using the calculated image conversion amount. registering a plurality of captured images after image conversion; and generating a target image based on the aligned plurality of captured images. is a medium.
  • the present invention it is possible to remove or reduce the factors that make it difficult to see the image of the photographed object, such as reflection in the photographed image, even when there is a relatively large difference in the size or orientation of the photographed object between a plurality of images. can.
  • FIG. 4 is a diagram showing an example of a captured image or a partial image thereof acquired by the image generation system according to the first embodiment; It is a figure which shows the example of the procedure of the process which the image generation apparatus which concerns on 1st embodiment performs.
  • FIG. 10 is a diagram showing an example of the configuration of an image generation system according to a second embodiment; FIG. It is a figure which shows the example of the procedure of the process which the image generation apparatus which concerns on 2nd embodiment performs.
  • FIG. 10 is a diagram showing an example of processing for acquiring a preprocessed image by the image generation device according to the second embodiment; FIG.
  • FIG. 11 is a diagram showing an example of the configuration of an image generating device according to a third embodiment
  • FIG. 11 is a diagram showing an example of the configuration of an image generation device according to a fourth embodiment
  • FIG. 14 is a diagram showing an example of a procedure of processing in an image generation method according to the fifth embodiment
  • 1 is a schematic block diagram showing a configuration of a computer according to at least one embodiment
  • FIG. 1 is a diagram showing an example of the configuration of an image generation system according to the first embodiment.
  • the image generation system 1 includes an imaging device 100 and an image generation device 200 .
  • the imaging device 100 includes an imaging section 110 and a pattern detection section 120 .
  • the image generation device 200 includes an image acquisition section 210 , a conversion amount calculation section 220 , an image conversion section 230 , an alignment section 240 and an image generation section 250 .
  • the image generation system 1 generates an image of a shooting target. Specifically, the image generation system 1 photographs the object to be photographed a plurality of times from different positions, and removes or reduces factors that make it difficult to see the image of the object to be photographed, such as reflections, based on the obtained plural photographed images. to generate a rendered image.
  • FIG. 2 is a diagram showing an example of a captured image or a partial image thereof acquired by the image generation system 1.
  • the photographed image shown in FIG. 2 may be an entire photographed image or a partial image of one photographed image.
  • the photographed image shown in FIG. 2 includes a meter 910 to be photographed and a wire mesh 921 for preventing scattering of a glass plate 920 provided in front of the meter 910 .
  • the image of the meter 910 also includes an image of a two-dimensional barcode 911 provided for identifying the meter 910 .
  • the image of the wire netting 921 corresponds to an example of a factor that makes it difficult to see the image of the meter 910 that is the imaging target.
  • the image of the wire netting 921 overlaps the hands, scales, numbers, etc. of the meter 910, these needles, scales, numbers, etc. become difficult to see.
  • Generating an image of the meter 910 in which the image of the wire mesh 921 disappears, or generating an image of the meter 910 in which the image of the wire mesh 921 is less conspicuous eliminates or reduces factors that make it difficult to see the image of the photographing object. It corresponds to the example of
  • Making the image of the wire mesh 921 less noticeable may be that the color or brightness of the image of the wire mesh 921 becomes closer to the color or brightness of the background image. Making the image of the wire mesh 921 less noticeable may mean that the image of the wire mesh 921 becomes thinner.
  • the reflection of surrounding images or light onto the glass plate 920 or the meter 910 corresponds to an example of a factor that makes it difficult to see the image of the meter 910 that is the object of photography.
  • Generating an image of the meter 910 in which the ambient image or light reflection on the glass plate 920 or the meter 910 has disappeared, or generating an image of the meter 910 in which these reflections have become less conspicuous This is an example of removing or reducing factors that make the image difficult to see.
  • the photographing device 100 In order to remove or reduce the factors that make it difficult to see the image of the object to be photographed, the photographing device 100 repeatedly photographs the meter 910 from different positions. As a result, the photographing device 100 photographs the meter 910 multiple times from different directions as viewed from the meter 910 .
  • the user of the imaging device 100 may change the position of the imaging device 100 .
  • the photographing device 100 may be provided with a driving device such as a drone and move autonomously.
  • the relative position of the image of the wire mesh 921 with respect to the image of the meter 910 differs for each photographed image. If the image generation device 200 can create an image of the meter 910 by combining parts other than the image of the wire mesh 921 in the captured image, an image of the meter 910 without the wire mesh 921 can be obtained.
  • image generating device 200 When image generating device 200 generates an image of meter 910 using a plurality of captured images, it is necessary to align the images of meter 910 in the plurality of captured images. On the other hand, since the photographing device 100 photographs the meter 910 from various directions, the image distortion differs for each photographed image. In order to align the images of the meters 910 with high accuracy, the image generation device 200 needs to correct the distortion of the images and align the shapes and sizes of the images of the meters 910 in the captured image to some extent. .
  • the image generation device 200 uses the fact that the shape of the two-dimensional barcode 911 is known, and determines the amount of image conversion for the captured image based on the image of the two-dimensional barcode 911 .
  • target values for the shape and size of the image of the two-dimensional barcode 911 are set in advance, and the image generation device 200 sets the shape and size of the image of the two-dimensional barcode 911 in the captured image so that the target values are obtained. to calculate the amount of conversion.
  • the conversion amount of image conversion is also called an image conversion amount or simply a conversion amount.
  • various image conversions capable of correcting the distortion of the photographed image that occurs according to the position of the photographing device can be used.
  • the image generation device 200 may perform projective transformation, but is not limited to this.
  • the two-dimensional barcode 911 corresponds to an example of a pattern whose shape is known.
  • the pattern whose shape is known to the image generating apparatus 200 is not limited to a specific pattern.
  • the image generation device 200 may calculate the conversion amount based on the symbol mark of the manufacturer.
  • the photographing device 100 photographs an image of an object to be photographed, and transmits the obtained photographed image as image data to the image generating device 200 .
  • the imaging device 100 may be configured, for example, with an application program installed in a smartphone.
  • the configuration method of the photographing device 100 is not limited to a specific method, and various devices capable of photographing from different positions can be used.
  • the imaging device 100 may be configured as a dedicated device for the image generation system 1 .
  • the imaging device 100 may be implemented in a camera-equipped tablet terminal (Tablet) or a camera-equipped laptop computer (Laptop Computer).
  • the photographing unit 110 photographs an object to be photographed and generates a photographed image.
  • the photographing unit 110 includes a CCD image sensor, converts the light input to the photographing unit 110 itself into image data, and outputs the image data to the image generation device 200 at the timing instructed by the pattern detection unit 120. may be sent to In this case, the transmission of image data by the imaging unit 110 to the image generation device 200 corresponds to an example of imaging.
  • the pattern detection unit 120 controls photography by the photography unit 110 .
  • the pattern detection unit 120 may refer to the captured image output by the imaging unit 110 in the form of image data, and determine whether the two-dimensional barcode 911 can be read from the captured image. Then, when the pattern detection unit 120 determines that the two-dimensional barcode 911 can be read from the captured image and the user performs an image capturing operation, the image capturing unit 110 may be caused to perform image capturing.
  • the pattern detection unit 120 may detect the position of the image of the two-dimensional barcode 911 in the captured image. Then, when the imaging unit 110 transmits the image data to the image generation device 200 , the information indicating the position of the image of the two-dimensional barcode 911 in the captured image may also be transmitted to the image generation device 200 . . Alternatively, the image generating device 200 may detect the position of the image of the two-dimensional barcode 911 in the captured image.
  • the image generation device 200 acquires a plurality of captured images of the subject captured by the imaging unit 110, and generates an image of the subject based on the obtained plurality of captured images.
  • the image generation device 200 is configured using a computer such as a personal computer (PC), for example.
  • the photographing device 100 and the image generating device 200 may be configured integrally.
  • the imaging device 100 and the image generation device 200 may be implemented in one smartphone, one laptop computer with camera, or one tablet terminal device (Tablet) with camera.
  • the image acquisition unit 210 acquires a photographed image of the meter 910, which is an object to be photographed by the photographing device 100.
  • image acquisition section 210 acquires a plurality of photographed images obtained by photographing meter 910 a plurality of times from different positions.
  • the image acquisition unit 210 includes a communication device, and receives captured images transmitted by the imaging device 100 in the form of image data.
  • the image acquisition unit 210 corresponds to an example of image acquisition means.
  • the conversion amount calculation unit 220 calculates, for each captured image acquired by the image acquisition unit 210, an image conversion amount such that an image of a pattern with a known shape in the captured image has a known shape. For example, the conversion amount calculation unit 220 calculates the conversion amount of the image conversion so that the shape of the image of the two-dimensional barcode 911 in the captured image becomes the shape stored in advance as the shape of the two-dimensional barcode 911. do. As described above for the image generation device 200, the transformation amount calculation unit 220 may calculate the transformation amount of the projective transformation.
  • the conversion amount calculation unit 220 corresponds to an example of conversion amount calculation means.
  • the conversion amount calculation unit 220 may exclude a captured image whose difference in conversion amount from other captured images is smaller than a predetermined condition from the images used to generate the target image.
  • the target image here is an image from which the factors that make the image of the object to be photographed difficult to see are removed or reduced.
  • the image acquisition unit 210 may repeatedly acquire the captured image, and the conversion amount calculation unit 220 may calculate the image conversion amount for the captured image each time the image acquisition unit 210 acquires the captured image. Then, with respect to the captured image acquired by the image acquisition unit 210 for the second time and thereafter, the conversion amount calculation unit 220 calculates the image conversion amount for the captured image and the image conversion amount for the captured image acquired immediately before by the image acquisition unit 210. It may be determined whether the magnitude of the difference is smaller than or equal to a predetermined threshold. If it is determined that the magnitude of the difference is smaller than the threshold, the conversion amount calculation section 220 may exclude the captured image most recently acquired by the image acquisition section 210 from the images used to generate the target image.
  • the conversion amount calculation unit 220 calculates the minimum difference between the image conversion amount for the photographed image most recently acquired by the image acquisition unit 210 and the image conversion amount for the previously acquired photographed image by the image acquisition unit 210. A value may be calculated and compared with a predetermined threshold.
  • the image generating apparatus 200 When the difference in the amount of image conversion between two captured images is small, it is assumed that these two captured images were captured from the same position. It can be at the same position in the image.
  • the image generating apparatus 200 When the image generating apparatus 200 generates a target image using statistical processing such as taking the average value or the mode of pixels of a plurality of captured images, images in which factors that make it difficult to see the image of the target to be captured are located at the same position. If there are multiple , the factor is emphasized in statistical processing, and it may not be possible to remove the factor successfully.
  • the conversion amount calculation unit 220 excludes one of the two captured images that are considered to have been captured from the same position from the image used to generate the target image, thereby making it difficult to see the target image. Factors can be avoided from being emphasized in statistical processing. This increases the possibility of obtaining the target image from which the factor has been removed. In addition, the conversion amount calculation unit 220 excludes a certain photographed image from the images used to generate the target image, so that there is no need to perform image conversion and target image generation processing for that image. In this respect, the load on the image generation device 200 can be reduced.
  • the conversion amount calculation unit 220 may exclude a captured image whose difference in conversion amount from other captured images is larger than a predetermined condition from the images used to generate the target image. For example, the image acquisition unit 210 may repeatedly acquire the captured image, and the conversion amount calculation unit 220 may calculate the image conversion amount for the captured image each time the image acquisition unit 210 acquires the captured image. Then, with respect to the captured image acquired by the image acquisition unit 210 for the second time and thereafter, the conversion amount calculation unit 220 calculates the image conversion amount for the captured image and the image conversion amount for the captured image acquired immediately before by the image acquisition unit 210. It may be determined whether or not the magnitude of the difference is greater than or equal to a predetermined threshold. If it is determined that the magnitude of the difference is greater than or equal to the threshold, the conversion amount calculation section 220 may exclude the captured image most recently acquired by the image acquisition section 210 from the images used to generate the target image.
  • the conversion amount calculation unit 220 calculates the maximum difference between the image conversion amount for the photographed image most recently acquired by the image acquisition unit 210 and the image conversion amount for the previously acquired photographed image by the image acquisition unit 210. A value may be calculated and compared with a predetermined threshold.
  • the conversion amount calculation unit 220 excludes one of the two captured images, which are considered to be captured at significantly different positions, from the image used to generate the target image, thereby improving the alignment accuracy of the captured images. It is expected that a decrease in In addition, the conversion amount calculation unit 220 excludes a certain photographed image from the images used to generate the target image, so that there is no need to perform image conversion and target image generation processing for that image. In this respect, the load on the image generation device 200 can be reduced.
  • the image conversion unit 230 performs image conversion using the calculated image conversion amount for each captured image.
  • the image conversion unit 230 corresponds to an example of image conversion means. As described above with respect to the image generating apparatus 200, various image conversions capable of correcting the distortion of the photographed image that occurs according to the position of the photographing device can be used as the image conversion performed by the image converting section 230. FIG. For example, the image conversion unit 230 may perform projective conversion, but is not limited to this.
  • the alignment unit 240 aligns a plurality of photographed images after image conversion.
  • the alignment unit 240 corresponds to an example of alignment means.
  • Various methods can be used as a method for the alignment unit 240 to align the captured images.
  • the alignment unit 240 may use a known alignment method such as an alignment method using an optical flow or a shift flow (SIFT flow) technique.
  • the image generator 250 generates a target image based on the aligned multiple captured images.
  • the image generator 250 corresponds to an example of image generator.
  • the image generation unit 250 may generate the destination image by taking the median or average of the pixels at the same position in the aligned images. That is, even if the image generation unit 250 sets the median value or the average value of the pixel values of pixels corresponding in position in a plurality of aligned images for each pixel of the target image as the pixel value of the target image. good. Note that when a pixel is composed of a plurality of color components such as R, G, and B, the image generator 250 may obtain the median value or average value for each color component.
  • the image generation unit 250 obtains the median value of the pixel values of the plurality of pixels and half or more of the plurality of pixels are pixels to be imaged, the image generation unit 250 selects the pixels to be imaged. It is possible to remove or reduce the factors that make it difficult to see the image of the object to be shot. In addition, the image generation unit 250 averages the pixel values of a plurality of pixels, so that it is possible to relatively reduce the effects of reflection and the like at individual shooting angles and shooting positions. It is possible to remove or reduce the factors that make it difficult to see.
  • FIG. 3 is a diagram illustrating an example of a procedure of processing performed by the image generation device 200.
  • the image acquisition unit 210 acquires the captured image captured by the imaging device 100 (step S111).
  • the photographing device 100 when the pattern detection unit 120 cannot detect a pattern with a known shape from the photographed image generated by the photographing unit 110, the photographing device 100 transmits the photographed image to the image generating device 200. restrict. Therefore, the image acquisition unit 210 acquires a captured image when the pattern detection unit 120 detects a pattern with a known shape from the captured image.
  • the image acquisition unit 210 acquires a plurality of captured images by repeating the processing loop of FIG.
  • the captured image most recently acquired by the image acquisition unit 210 is also referred to as a target captured image.
  • the conversion amount calculation unit 220 calculates the conversion amount of image conversion for the captured image acquired by the image acquisition unit 210 (step S112).
  • the conversion amount calculation unit 220 calculates the conversion amount so that the shape and size of the image of the two-dimensional barcode 911 in the captured image become a preset shape and size.
  • the conversion amount calculation unit 220 determines whether or not the conversion amount for the target captured image is substantially the same as the conversion amount for the captured image obtained before the target captured image (step S113). For example, the conversion amount calculation unit 220 determines whether the magnitude of the difference between the conversion amount for the target captured image and the conversion amount for the captured image obtained immediately before the target captured image is equal to or less than a predetermined lower threshold. judge.
  • step S113 If it is determined that the conversion amounts are substantially the same (step S113: YES), the conversion amount calculator 220 discards the target captured image (step S131). Specifically, the conversion amount calculation unit 220 excludes the target captured image from the captured images used to generate the target image. After step S131, the process returns to step S111.
  • step S113 determines whether it is determined in step S113 that the conversion amounts are not substantially the same (step S113: NO).
  • the conversion amount calculation unit 220 calculates the conversion amount for the target captured image and the captured image obtained before the target captured image. It is determined whether or not the conversion amount is significantly different from that of the image (step S121). For example, the conversion amount calculation unit 220 determines whether the magnitude of the difference between the conversion amount for the target captured image and the conversion amount for the captured image obtained immediately before the target captured image is equal to or greater than a predetermined upper threshold. judge.
  • step S121 determines that the conversion amounts are significantly different (step S121: YES)
  • step S121: NO the conversion amount calculation unit 220 determines that the conversion amounts do not differ greatly
  • step S121: NO the image conversion unit 230 converts the target captured image into an image with the conversion amount calculated by the conversion amount calculation unit 220. Conversion is performed (step S141).
  • the image acquisition unit 210 determines whether or not a predetermined number of captured images that have undergone image conversion have been acquired (step S142).
  • the image acquisition unit 210 may include a counter to count the number of captured images that have undergone image conversion in step S141. Then, in step S142, the image acquiring unit 210 may determine whether or not the number of captured images that have undergone image conversion is equal to or greater than a predetermined number threshold.
  • step S142 If it is determined that the number of captured images is less than the number threshold (step S142: ON), the process returns to step S111.
  • the image acquisition unit 210 determines that the number of captured images is equal to or greater than the number threshold (step S142: YES)
  • the alignment unit 240 selects one of the plurality of image-converted captured images. It is set as a reference image (step S151).
  • the method by which the registration unit 240 selects the reference image is not limited to a specific method.
  • the positioning unit 240 may randomly select a reference image from a plurality of captured images that have undergone image conversion. Images other than the reference image are also referred to as comparative images.
  • the alignment unit 240 aligns a plurality of captured images that have undergone image conversion (step S152). For example, the alignment unit 240 aligns the comparison image with the reference image for each comparison image.
  • the method of alignment performed by the alignment unit 240 is not limited to a specific method.
  • the image generator 250 generates a target image using the aligned photographed images (step S153).
  • the image generation unit 250 may generate the target image by using the median value of the pixel values of pixels corresponding in position in a plurality of aligned images for each pixel of the reference image as the pixel value of the target image. may After step S153, the image generation system 1 terminates the processing of FIG.
  • the image acquisition unit 210 acquires a plurality of photographed images obtained by photographing the meter 910 attached with the two-dimensional barcode 911 having a known shape a plurality of times from different positions.
  • the conversion amount calculation unit 220 calculates, for each captured image acquired by the image acquisition unit 210, an image conversion amount that makes the shape of the image of the two-dimensional barcode 911 in the captured image a known shape.
  • the image conversion unit 230 performs image conversion using the calculated image conversion amount for each captured image.
  • the alignment unit 240 aligns a plurality of photographed images after image conversion.
  • the image generator 250 generates a target image based on the aligned multiple captured images.
  • the image generating apparatus 200 even when the difference in the size or orientation of the object to be photographed among the plurality of images is relatively large, the distortion of the photographed image according to the position of the photographing apparatus can be removed or reduced by image conversion. can. According to the image generating apparatus 200, it is possible to remove or reduce factors that make it difficult to see the image of the photographing object, such as reflection in the photographed image, using the photographed image after image conversion.
  • the image generation device 200 by performing image conversion on the photographed image based on the two-dimensional barcode 911 whose shape is known, distortion of the image can be removed with high accuracy, and the image of the photographing target becomes difficult to see. It is expected that a high-precision target image with factors removed or reduced can be obtained.
  • the image generating apparatus 200 even when the difference in the size or orientation of the object to be photographed between a plurality of images is relatively large and image alignment by image matching between the photographed images cannot be applied, the shape Since the image of the two-dimensional barcode 911 with a known value is used, it is expected that the image of the two-dimensional barcode 911 can be detected and the image conversion can be performed. According to the image generating apparatus 200, it is possible to remove or reduce factors that make it difficult to see the image of the photographing object, such as reflection in the photographed image, using the photographed image after image conversion.
  • the image generation apparatus 200 performs image conversion using a pattern with a known shape. After that, it is expected that more highly accurate alignment can be performed by performing processing step by step such as performing image alignment.
  • the image generation unit 250 sets the median value of the pixel values of the pixels corresponding in position in the plurality of aligned images as the pixel value of the target image.
  • the image generation unit 250 obtains the median value of the pixel values of the plurality of pixels and half or more of the plurality of pixels are pixels to be imaged, the image generation unit 250 selects the pixels to be imaged. It is possible to remove or reduce the factors that make it difficult to see the image of the object to be shot.
  • the image generation unit 250 sets the average value of the pixel values of the pixels at corresponding positions in the plurality of aligned images as the pixel value of the target image.
  • the image generation unit 250 averages the pixel values of a plurality of pixels, thereby relatively reducing the effects of reflection and the like at each shooting angle and shooting position. You can remove or reduce the factors that make it difficult.
  • the conversion amount calculation unit 220 excludes a captured image whose difference in conversion amount from other captured images is smaller than a predetermined condition from the images used to generate the target image.
  • a predetermined condition from the images used to generate the target image.
  • the image generating apparatus 200 When the image generating apparatus 200 generates a target image using statistical processing such as taking the average value or the mode of pixels of a plurality of captured images, images in which factors that make it difficult to see the image of the target to be captured are located at the same position. If there are multiple , the factor is emphasized in statistical processing, and it may not be possible to remove the factor successfully.
  • statistical processing such as taking the average value or the mode of pixels of a plurality of captured images
  • the conversion amount calculation unit 220 excludes one of the two captured images that are considered to have been captured from the same position from the image used to generate the target image, thereby making it difficult to see the target image. Factors can be avoided from being emphasized in statistical processing. This increases the possibility of obtaining the target image from which the factor has been removed. In addition, the conversion amount calculation unit 220 excludes a certain photographed image from the images used to generate the target image, so that there is no need to perform image conversion and target image generation processing for that image. In this respect, the load on the image generation device 200 can be reduced.
  • the conversion amount calculation unit 220 excludes the above images, and , image conversion is performed by the image conversion unit 230, and so on.
  • the image generating apparatus 200 is expected to be able to eliminate or reduce the influence of too small parallax between captured images, and to generate the target image with higher accuracy.
  • the conversion amount calculation unit 220 excludes a captured image whose difference in conversion amount from other captured images is greater than or equal to a predetermined condition from the images used to generate the target image.
  • the difference in the amount of image conversion for two captured images is large, it is considered that the positions (positions of the imaging device 100) at which these two captured images were captured are significantly different. If the position of the photographing apparatus 100 is greatly different, the distortion in the photographed image will also be greatly different, and even if the image conversion is performed, the degree of remaining distortion will be different, and it is conceivable that the accuracy of alignment of the photographed images will be low. A low alignment accuracy of the captured images leads to a decrease in the accuracy of the target image, such as a blurred target image.
  • the conversion amount calculation unit 220 excludes one of the two captured images, which are considered to be captured at significantly different positions, from the image used to generate the target image, thereby improving the alignment accuracy of the captured images. It is expected that a decrease in In addition, the conversion amount calculation unit 220 excludes a certain photographed image from the images used to generate the target image, so that there is no need to perform image conversion and target image generation processing for that image. In this respect, the load on the image generation device 200 can be reduced.
  • FIG. 4 is a diagram showing an example of the configuration of an image generation system according to the second embodiment.
  • the image generation system 2 includes an imaging device 300 and an image generation device 400 .
  • the imaging device 300 includes an imaging unit 110 .
  • the image generation device 400 includes an image acquisition section 210 , a preprocessing section 410 , a conversion amount calculation section 420 , an image conversion section 230 , an alignment section 240 and an image generation section 250 . 4 having the same functions as those in FIG. 1 are denoted by the same reference numerals (110, 210, 230, 240, 250), and detailed description thereof is omitted here.
  • the image generating system 2 differs from the image capturing apparatus 100 of the image generating system 1 in that the image capturing apparatus 300 does not include the pattern detection unit 120 . Further, the image generation system 2 differs from the image generation device 200 of the image generation system 1 in that the image generation device 400 includes a preprocessing unit 410 . Also, in the image generation device 400 , the processing performed by the conversion amount calculation unit 420 is different from the processing performed by the conversion amount calculation unit 220 of the image generation device 200 . Image generation system 2 is otherwise similar to image generation system 1 .
  • the photographing unit 110 transmits the photographed image to the image generation device 200 without being controlled by the pattern detection unit 120 .
  • the photographing unit 110 transmits a photographed image to the image generation device 200 when a photographing operation is performed by the user.
  • transmitting the captured image to the image generation device 200 corresponds to an example of capturing.
  • the preprocessing unit 410 For each of the plurality of captured images, the preprocessing unit 410 sets the captured image as a reference image, sets all images other than the reference image as comparison images, and aligns the captured images so that the comparison images are aligned with the reference image.
  • Various methods can be used as a method for the preprocessing unit 410 to align the captured images.
  • the preprocessing unit 410 may use a known registration method such as a registration method using an optical flow or shift flow technique.
  • a preprocessing unit 410 generates a preprocessed image based on the registered images.
  • the preprocessing unit 410 may generate a preprocessed image in the same manner as the image generating unit 250.
  • FIG. the preprocessing unit 410 may generate a preprocessed image by taking the median value of images at the same position in the reference image and the comparison image for each pixel of the reference image.
  • the preprocessing unit 410 corresponds to an example of preprocessing means.
  • the photographed images are aligned without performing image conversion, and the preprocessed image is performed based on the pixel values of a plurality of aligned images.
  • the processing performed by the preprocessing unit 410 is also referred to as preprocessing. For example, when a pattern with a known shape such as a two-dimensional barcode 911 cannot be detected from a captured image, preprocessing is performed by the preprocessing unit 410, and a preprocessed image from which a pattern with a known shape can be detected is used. , the same processing as in the case of the image generation device 200 may be performed.
  • the conversion amount calculation unit 420 detects a pattern with a known shape, such as a two-dimensional barcode 911, from the preprocessed image.
  • the conversion amount calculation section 420 performs the same processing as the conversion amount calculation section 220, and calculates the conversion amount of the image conversion for the preprocessed image based on the detected pattern.
  • FIG. 5 is a diagram showing an example of the procedure of processing performed by the image generation device 400.
  • the preprocessing unit 410 acquires a predetermined number of preprocessed images by performing preprocessing (step S201).
  • the conversion amount calculator 420 selects one preprocessed image from a predetermined number of preprocessed images (step S202).
  • the conversion amount calculation unit 420 selects one preprocessed image that has not yet been selected from among the predetermined number of preprocessed images.
  • the preprocessed image selected by the conversion amount calculation unit 420 in step S202 is also referred to as a target preprocessed image. Then, the conversion amount calculation unit 420 tries to detect an image of a pattern whose shape is known from the selected preprocessed image (step S203), and determines whether or not the pattern has been successfully detected (step S211).
  • the conversion amount calculation unit 420 discards the preprocessed image in which the pattern could not be detected (step S231). Specifically, the conversion amount calculation unit 420 excludes the target captured image from the captured images used to generate the target image.
  • step S231 the process returns to step S202.
  • step S211 YES
  • step S212 the processing from steps S213 to S253 corresponds to an example of the processing from steps S112 to S153 in FIG.
  • step S253 the image generating device 400 ends the process of FIG.
  • FIG. 6 is a diagram showing an example of processing for obtaining a preprocessed image by the image generation device 400.
  • the image generation device 400 performs the process of FIG. 6 in step S201 of FIG.
  • the processing in FIG. 6 corresponds to an example of preprocessing.
  • the image acquiring unit 210 acquires a predetermined number of shot images of the subject (step S301).
  • the photographing device 300 performs photographing a predetermined number of times in accordance with a user's operation, and transmits a predetermined number of photographed images to the image generating device 400 .
  • the image acquisition unit 210 receives the captured image from the imaging device 300 to acquire the captured image.
  • the preprocessing unit 410 starts a loop L11 for processing each captured image (step S302).
  • the captured image selected as a processing target in the loop L11 is set as a reference image, and the captured images other than the reference image are set as comparative images.
  • the preprocessing unit 410 aligns the positions of the comparison images so as to align them with the positions of the reference image (step S303).
  • the alignment method performed by the preprocessing unit 410 in step S303 is not limited to a specific method.
  • the preprocessing unit 410 may perform alignment using an alignment technique such as optical flow or shift flow, but is not limited to these.
  • the preprocessing unit 410 generates a preprocessed image (step S304). For example, for each pixel of the reference image, the preprocessing unit 410 reads the value of each pixel that is positioned at the same position in the reference image and the aligned comparative image, and calculates the median value of the obtained pixel values as the Let it be the value of the pixel at that position in the processed image.
  • the preprocessing unit 410 performs termination processing of the loop L11 (step S305). Specifically, the preprocessing unit 410 determines whether or not the process of loop L11 has been performed on all the captured images obtained in step S301. If it is determined that there is a photographed image that has not been subjected to the processing of loop L11, the preprocessing unit 410 performs the processing of loop L11 on the unprocessed photographed image. On the other hand, if the preprocessing unit 410 determines that the processing of loop L11 has been performed on all the captured images obtained in step S301, the image generation device 400 ends the processing of FIG.
  • the image acquisition unit 210 acquires a plurality of photographed images obtained by photographing the meter 910 attached with the two-dimensional barcode 911 a plurality of times from different positions.
  • the preprocessing unit 410 sets the captured image as a reference image, sets all images other than the reference image as comparison images, and aligns the captured images so that the comparison image is aligned with the reference image.
  • a preprocessed image is generated based on the registered images.
  • the conversion amount calculation unit 420 detects the image of the two-dimensional barcode 911 for each preprocessed image, and calculates the image conversion amount that makes the shape of the detected two-dimensional barcode 911 image a known shape for each preprocessed image. calculate.
  • the image generation unit 250 performs image conversion using the calculated image conversion amount for each preprocessed image.
  • the alignment unit 240 aligns a plurality of preprocessed images after image conversion.
  • the image generator 250 generates a target image based on the aligned preprocessed images.
  • the preprocessed image from which the pattern can be detected by preprocessing is used to perform the same processing as in the case of the image generation device 200. can be processed.
  • FIG. 7 is a diagram showing an example of the configuration of an image generation device according to the third embodiment.
  • the image generation device 610 includes an image acquisition unit 611 , a conversion amount calculation unit 612 , an image conversion unit 613 , an alignment unit 614 and an image generation unit 615 .
  • the image acquisition unit 611 acquires a plurality of photographed images obtained by photographing a photographing target to which a pattern with a known shape has been applied a plurality of times from different positions.
  • the conversion amount calculation unit 612 calculates, for each captured image, an image conversion amount by which an image of a pattern with a known shape in the captured image becomes a known shape.
  • the image conversion unit 613 performs image conversion using the calculated image conversion amount for each captured image.
  • the alignment unit 614 aligns a plurality of photographed images after image conversion.
  • the image generation unit 615 generates a target image based on the plurality of aligned captured images.
  • the image acquisition unit 611 corresponds to an example of image acquisition means.
  • the conversion amount calculation unit 612 corresponds to an example of conversion amount calculation means.
  • the image conversion unit 613 corresponds to an example of image conversion means.
  • the alignment unit 614 corresponds to an example of alignment means.
  • the image generator 615 corresponds to an example of image generator.
  • the image generation device 610 even when the difference in size or orientation of the object to be photographed among the plurality of images is relatively large, the distortion of the photographed image according to the position of the photographing device can be removed or reduced by image conversion. can. According to the image generation device 610, it is possible to remove or reduce factors that make it difficult to see the image of the photographing object, such as reflection in the photographed image, using the photographed image after image conversion.
  • the image generating device 610 by performing image conversion on the photographed image based on a pattern whose shape is known, distortion of the image can be removed with high accuracy, and factors that make it difficult to see the image of the photographed object can be removed or removed. It is expected that a reduced high-precision target image can be obtained.
  • FIG. 8 is a diagram showing an example of the configuration of an image generation device according to the fourth embodiment.
  • the image generation device 620 includes an image acquisition unit 621, a preprocessing unit 622, a conversion amount calculation unit 623, an image conversion unit 624, an alignment unit 625, and an image generation unit 626. Prepare.
  • the image acquisition unit 621 acquires a plurality of captured images obtained by capturing a plurality of times from different positions a target to be captured with a pattern having a known shape.
  • the preprocessing unit 622 sets the captured image as a reference image, uses all images other than the reference image as comparison images, and aligns the captured images so that the comparison image is aligned with the reference image.
  • a preprocessed image is generated based on the registered images.
  • the conversion amount calculation unit 623 detects an image of a pattern with a known shape for each preprocessed image, and calculates an image conversion amount that makes the shape of the detected pattern image a known shape for each preprocessed image.
  • the image conversion unit 624 performs image conversion using the calculated image conversion amount for each preprocessed image.
  • the alignment unit 625 aligns a plurality of preprocessed images after image conversion.
  • An image generator 626 generates a destination image based on the aligned preprocessed images.
  • the image acquisition unit 621 corresponds to an example of image acquisition means.
  • the preprocessing unit 622 corresponds to an example of preprocessing means.
  • the conversion amount calculation unit 623 corresponds to an example of conversion amount calculation means.
  • the image conversion unit 624 corresponds to an example of image conversion means.
  • the alignment unit 625 corresponds to an example of alignment means.
  • the image generator 626 corresponds to an example of image generator.
  • the image generation device 620 even if a pattern with a known shape cannot be detected from the captured image, the distortion of the captured image due to image conversion is removed using the preprocessed image from which the pattern can be detected by preprocessing. It is expected that the preprocessed image after image conversion can be used to superimpose the images to obtain a target image in which the factors that make the image of the object to be photographed difficult to see are removed or reduced.
  • FIG. 9 is a diagram showing an example of the procedure of processing in the image generation method according to the fifth embodiment.
  • the processing shown in FIG. 9 includes acquiring a captured image (step S611), calculating an image conversion amount (step S612), performing image conversion (step S613), and performing alignment (step S613). step S614) and generating a destination image (step S615).
  • step S611 a plurality of photographed images obtained by photographing a photographing target with a pattern having a known shape a plurality of times from different positions are obtained.
  • step S612 an image conversion amount is calculated that makes the shape of an image of a pattern with a known shape in the captured image become a known shape.
  • step S613 image conversion is performed for each captured image using the calculated image conversion amount.
  • aligning step S614), a plurality of photographed images after image conversion are aligned.
  • generating a target image step S615), a target image is generated based on the plurality of aligned captured images.
  • the image generation method shown in FIG. 9 even if the difference in the size or orientation of the object to be photographed among the plurality of images is relatively large, the distortion of the photographed image according to the position of the photographing device is removed or reduced by image conversion. can do. According to the image generating method shown in FIG. 9, it is possible to remove or reduce factors that make it difficult to see the image of the photographing object, such as reflection in the photographed image, using the photographed image after image conversion.
  • the distortion of the image can be removed with high accuracy by performing the image conversion on the photographed image based on the pattern whose shape is known, and the image of the photographed object becomes difficult to see. It is expected that a highly accurate target image can be obtained by removing or reducing the
  • FIG. 10 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • computer 700 includes CPU 710 , main memory device 720 , auxiliary memory device 730 , interface 740 , and nonvolatile recording medium 750 .
  • any one or more of the imaging device 100, the image generating device 200, the imaging device 300, the image generating device 400, the image generating device 610, and the image generating device 620 or a part thereof may be implemented in the computer 700. good.
  • the operation of each processing unit described above is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads out the program from the auxiliary storage device 730, develops it in the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures storage areas corresponding to the storage units described above in the main storage device 720 according to the program.
  • Communication between each device and another device is executed by the interface 740 having a communication function and performing communication under the control of the CPU 710 .
  • the interface 740 also has a port for the nonvolatile recording medium 750 and reads information from the nonvolatile recording medium 750 and writes information to the nonvolatile recording medium 750 .
  • the operations of the photographing unit 110 and the pattern detection unit 120 are stored in the auxiliary storage device 730 in the form of programs.
  • the CPU 710 reads out the program from the auxiliary storage device 730, develops it in the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area in the main storage device 720 for the imaging device 100 to perform processing according to the program. Communication between the imaging device 100 and other devices is performed by the interface 740 having a communication function and operating under the control of the CPU 710 . Interaction between the photographing apparatus 100 and the user is executed by the interface 740 having an input device and an output device, presenting information to the user through the output device under the control of the CPU 710, and accepting user operations through the input device. .
  • the operations of the image acquisition unit 210, the conversion amount calculation unit 220, the image conversion unit 230, the alignment unit 240, and the image generation unit 250 are implemented in the form of programs. are stored in the auxiliary storage device 730 at .
  • the CPU 710 reads out the program from the auxiliary storage device 730, develops it in the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area in the main storage device 720 for the image generating device 200 to perform processing according to the program.
  • Communication between image generating device 200 and other devices is performed by interface 740 having a communication function and operating under the control of CPU 710 .
  • Interaction between the image generating apparatus 200 and the user is executed by the interface 740 having an input device and an output device, presenting information to the user through the output device under the control of the CPU 710, and accepting user operations through the input device. be.
  • the operation of the imaging unit 110 is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads out the program from the auxiliary storage device 730, develops it in the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area in the main storage device 720 for the imaging device 300 to perform processing according to the program. Communication between the imaging device 300 and other devices is performed by the interface 740 having a communication function and operating under the control of the CPU 710 . Interaction between the photographing apparatus 300 and the user is executed by the interface 740 having an input device and an output device, presenting information to the user through the output device under the control of the CPU 710, and accepting user operations through the input device. .
  • an image acquisition unit 210 When the image generation device 400 is implemented in the computer 700, an image acquisition unit 210, a preprocessing unit 410, a conversion amount calculation unit 420, an image conversion unit 230, an alignment unit 240, and an image generation unit 250 The actions are stored in secondary storage device 730 in the form of programs.
  • the CPU 710 reads out the program from the auxiliary storage device 730, develops it in the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area in the main storage device 720 for the image generation device 400 to perform processing according to the program.
  • Communication between image generating device 400 and other devices is performed by interface 740 having a communication function and operating under the control of CPU 710 .
  • Interaction between the image generating apparatus 400 and the user is executed by the interface 740 having an input device and an output device, presenting information to the user through the output device under the control of the CPU 710, and accepting user operations through the input device. be.
  • the operations of the image acquisition unit 611, the conversion amount calculation unit 612, the image conversion unit 613, the alignment unit 614, and the image generation unit 615 are implemented in the form of programs. are stored in the auxiliary storage device 730 at .
  • the CPU 710 reads out the program from the auxiliary storage device 730, develops it in the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area in the main storage device 720 for the image generation device 610 to perform processing according to the program.
  • Communication between image generation device 610 and other devices is performed by interface 740 having a communication function and operating under the control of CPU 710 .
  • Interaction between the image generating device 610 and the user is executed by the interface 740 having an input device and an output device, presenting information to the user through the output device under the control of the CPU 710, and accepting user operations through the input device. be.
  • an image acquisition unit 621 When the image generation device 620 is implemented in the computer 700, an image acquisition unit 621, a preprocessing unit 622, a conversion amount calculation unit 623, an image conversion unit 624, an alignment unit 625, and an image generation unit 626.
  • the actions are stored in secondary storage device 730 in the form of programs.
  • the CPU 710 reads out the program from the auxiliary storage device 730, develops it in the main storage device 720, and executes the above processing according to the program.
  • any one or more of the programs described above may be recorded in the nonvolatile recording medium 750 .
  • the interface 740 may read the program from the nonvolatile recording medium 750 . Then, the CPU 710 directly executes the program read by the interface 740, or it may be temporarily stored in the main storage device 720 or the auxiliary storage device 730 and then executed.
  • a computer-readable record of a program for executing all or part of the processing performed by the imaging device 100, the image generating device 200, the imaging device 300, the image generating device 400, the image generating device 610, and the image generating device 620
  • the processing of each unit may be performed by recording the program on a medium and causing the computer system to read and execute the program recorded on the recording medium.
  • the "computer system” referred to here includes hardware such as an OS and peripheral devices.
  • “computer-readable recording medium” refers to portable media such as flexible discs, magneto-optical discs, ROM (Read Only Memory), CD-ROM (Compact Disc Read Only Memory), hard disks built into computer systems It refers to a storage device such as Further, the program may be for realizing part of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system.
  • the present invention may be applied to an image generation device, an image generation method, and a recording medium.
  • Imaging device 110 Imaging unit 120 Pattern detection unit 200, 400, 610, 620 Image generation device 210, 611, 621 Image acquisition unit 220, 420, 612, 623 Conversion amount calculation unit 230, 613 , 624 image conversion unit 240, 614, 625 alignment unit 250, 615, 626 image generation unit 410, 622 preprocessing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

画像生成装置が、形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する画像取得手段と、前記撮影画像毎に、その撮影画像のうち前記模様の画像の形状が前記既知の形状となる画像変換量を算出する変換量算出手段と、前記撮影画像毎に、算出された前記画像変換量で画像変換を行う画像変換手段と、画像変換後の複数の撮影画像の位置合わせを行う位置合わせ手段と、位置合わせされた複数の撮像画像に基づいて、目的画像を生成する画像生成手段とを備える。

Description

画像生成装置、画像生成方法および記録媒体
　本発明は、画像生成装置、画像生成方法および記録媒体に関する。
　画像を撮影する際、撮影対象の手前にあるガラス版への映り込み等によって撮影対象の画像の一部が隠される場合がある。
　これに対し、非特許文献１には、同一シーンを連続して撮影した複数枚のフレーム（画像）について、フレーム毎に視点がずれる場合に背景成分と前景成分とで位置ずれ量の違いが生じることを利用して、オプティカルフローを用いて画像間の位置合わせを実施し、エネルギー最小化の手法を用いて画素合成を行うことで、映り込みを除去する手法が記載されている。
Tianfan Xue、外３名、"A Computational Approach for Obstruction-Free Photography"、ACM Transactions on Graphics、Volume 34、Issue 4、Article No. 79、pp. 1-11、２０１５年８月
　非特許文献１に記載の手法では、撮影した画像間の視差が大きすぎる場合に、映り込み除去がうまくいかないことが考えられる。
　複数の画像間の視差が大きい場合など、画像間における撮影対象の大きさまたは向きの相違が大きい場合でも、撮影画像への映り込みなど撮影対象の画像が見えにくくなる要因を除去または軽減できることが好ましい。
　本発明の目的の一例は、上述した課題を解決することのできる画像生成装置、画像生成方法および記録媒体を提供することである。
　本発明の第一の態様によれば、画像生成装置は、形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する画像取得手段と、前記撮影画像毎に、その撮影画像のうち前記模様の画像の形状が前記既知の形状となる画像変換量を算出する変換量算出手段と、前記撮影画像毎に、算出された前記画像変換量で画像変換を行う画像変換手段と、画像変換後の複数の撮影画像の位置合わせを行う位置合わせ手段と、位置合わせされた複数の撮像画像に基づいて、目的画像を生成する画像生成手段とを備える。
　本発明の第二の態様によれば、画像生成装置は、形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する画像取得手段と、前記複数の撮影画像のそれぞれについて、その撮影画像を基準画像とし、前記基準画像以外の画像を全て比較画像として、比較画像を基準画像に合わせるように撮影画像の位置合わせを行い、位置合わせされた複数の画像に基づいて前処理画像を生成する前処理手段と、前記前処理画像毎に前記模様の画像を検出し、検出した前記模様の画像の形状が前記既知の形状となる画像変換量を前記前処理画像毎に算出する変換量算出手段と、前記前処理画像毎に、算出された前記画像変換量で画像変換を行う画像変換手段と、画像変換後の複数の前処理画像の位置合わせを行う位置合わせ手段と、位置合わせされた複数の前処理画像に基づいて、目的画像を生成する画像生成手段とを備える。
　本発明の第三の態様によれば、画像生成方法は、画像生成装置が、形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得することと、前記撮影画像毎に、その撮影画像のうち前記模様の画像の形状が前記既知の形状となる画像変換量を算出することと、前記撮影画像毎に、算出された前記画像変換量で画像変換を行うことと、画像変換後の複数の撮影画像の位置合わせを行うことと、位置合わせされた複数の撮像画像に基づいて、目的画像を生成することとを含む。
　本発明の第四の態様によれば、記録媒体は、コンピュータに、形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得することと、前記撮影画像毎に、その撮影画像のうち前記模様の画像の形状が前記既知の形状となる画像変換量を算出することと、前記撮影画像毎に、算出された前記画像変換量で画像変換を行うことと、画像変換後の複数の撮影画像の位置合わせを行うことと、位置合わせされた複数の撮像画像に基づいて、目的画像を生成することとを実行させるためのプログラムを記録する記録媒体である。
　本発明によれば、複数の画像間における撮影対象の大きさまたは向きの相違が比較的大きい場合でも、撮影画像への映り込みなど撮影対象の画像が見えにくくなる要因を除去または軽減することができる。
第一実施形態に係る画像生成システムの構成の例を示す図である。 第一実施形態に係る画像生成システムが取得する撮影画像またはその部分画像の例を示す図である。 第一実施形態に係る画像生成装置が行う処理の手順の例を示す図である。 第二実施形態に係る画像生成システムの構成の例を示す図である。 第二実施形態に係る画像生成装置が行う処理の手順の例を示す図である。 第二実施形態に係る画像生成装置が前処理画像を取得する処理の例を示す図である。 第三実施形態に係る画像生成装置の構成の例を示す図である。 第四実施形態に係る画像生成装置の構成の例を示す図である。 第五実施形態に係る画像生成方法における処理の手順の例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　＜第一実施形態＞
　図１は、第一実施形態に係る画像生成システムの構成の例を示す図である。図１に示す構成で、画像生成システム１は、撮影装置１００と、画像生成装置２００とを備える。撮影装置１００は、撮影部１１０と、模様検出部１２０とを備える。画像生成装置２００は、画像取得部２１０と、変換量算出部２２０と、画像変換部２３０と、位置合わせ部２４０と、画像生成部２５０とを備える。
　画像生成システム１は、撮影対象の画像を生成する。具体的には、画像生成システム１は、撮影対象を異なる位置から複数回撮影し、得られた複数の撮影画像に基づいて、例えば映り込みなど撮影対象の画像が見えにくくなる要因が除去または軽減された画像を生成する。
　図２は、画像生成システム１が取得する撮影画像またはその部分画像の例を示す図である。図２に示す撮影画像が、１つの撮影画像の全体であってもよいし、１つの撮影画像の部分画像であってもよい。
　図２に示す撮影画像には、撮影対象であるメーター９１０と、メーター９１０の前面に設けられたガラス板９２０の飛散防止用の金網９２１とが写っている。また、メーター９１０の画像には、メーター９１０を識別するために設けられた二次元バーコード９１１の画像が含まれている。
　金網９２１の画像は、撮影対象であるメーター９１０の画像が見えにくくなる要因の例に該当する。金網９２１の画像が、メーター９１０の針、目盛り、または、数字等と重なることで、これら針、目盛り、または、数字等が見えにくくなる。
　金網９２１の画像が消えたメーター９１０の画像を生成すること、または、金網９２１の画像が目立たなくなったメーター９１０の画像を生成することは、撮影対象の画像が見えにくくなる要因を除去または軽減することの例に該当する。
　金網９２１の画像が目立たなくなることは、金網９２１の画像の色または明るさが、その背景の画像の色または明るさに近くなることであってもよい。金網９２１の画像が目立たなくなることは、金網９２１の画像が細くなることであってもよい。
　また、ガラス板９２０またはメーター９１０への周囲の画像または光の映り込みは、撮影対象であるメーター９１０の画像が見えにくくなる要因の例に該当する。
　ガラス板９２０またはメーター９１０への周囲の画像または光の映り込みが消えたメーター９１０の画像を生成すること、または、これらの映り込みが目立たなくなったメーター９１０の画像を生成することは、撮影対象の画像が見えにくくなる要因を除去または軽減することの例に該当する。
　撮影対象の画像が見えにくくなる要因を除去または軽減するために、撮影装置１００は、メーター９１０を異なる位置から繰り返し撮影する。これにより撮影装置１００は、メーター９１０から見て異なる向きからメーター９１０を複数回撮影する。撮影装置１００のユーザが、撮影装置１００の位置を変化させるようにしてもよい。あるいは、撮影装置１００が、ドローンなどの駆動装置を備えて自律的に移動するようにしてもよい。
　撮影装置１００がメーター９１０をいろいろな向きから撮影することで、メーター９１０の画像に対する金網９２１の画像の相対位置が、撮影画像毎に異なる。画像生成装置２００が、撮影画像のうち金網９２１の画像以外の部分を組み合わせてメーター９１０の画像を作ることができれば、金網９２１が映っていないメーター９１０の画像を得られる。
　画像生成装置２００が、複数の撮影画像を用いてメーター９１０の画像を生成する際、これら複数の撮影画像におけるメーター９１０の画像の位置合わせが行われている必要がある。
　一方、撮影装置１００がメーター９１０をいろいろな向きから撮影するため、撮影画像毎に画像の歪みが異なる。メーター９１０の画像の位置合わせを高精度に行うためには、画像生成装置２００が、画像の歪みを補正して、撮影画像におけるメーター９１０の画像の形状および大きさをある程度揃えておく必要がある。
　そこで、画像生成装置２００は、二次元バーコード９１１の形状について既知であることを利用し、二次元バーコード９１１の画像に基づいて撮影画像に対する画像変換の変換量を決定する。例えば、二次元バーコード９１１の画像の形状および大きさの目標値が予め設定され、画像生成装置２００は、撮影画像中の二次元バーコード９１１の画像の形状および大きさが目標値になるような変換量を算出する。画像変換の変換量を、画像変換量または単に変換量とも称する。
　画像生成装置２００が行う画像変換として、撮影装置の位置に応じて生じる撮影画像の歪みを補正可能ないろいろな画像変換を用いることができる。例えば、画像生成装置２００が射影変換を行うようにしてもよいが、これに限定されない。
　二次元バーコード９１１は、形状が既知の模様の例に該当する。ただし、画像生成装置２００にとって形状が既知の模様は特定のものに限定されない。例えば、メーター９１０に付されているメーター９１０の製造会社のシンボルマークの形状が既知である場合、画像生成装置２００が、製造会社のシンボルマークに基づいて変換量を算出するようにしてもよい。
　撮影装置１００は、撮影対象の画像を撮影し、得られた撮影画像を画像データにて画像生成装置２００へ送信する。
　撮影装置１００は、例えば、スマートフォンにアプリケーションプログラムがインストールされて構成されていてもよい。ただし、撮影装置１００の構成方法は特定の方法に限定されず、異なる位置から撮影を行うことができるいろいろな装置とすることができる。例えば、撮影装置１００が、画像生成システム１専用の装置として構成されていてもよい。あるいは、撮影装置１００が、カメラ付きタブレット端末（Tablet）、または、カメラ付きノートパソコン（Laptop Computer）に実装されていてもよい。
　撮影部１１０は、撮影対象を撮影して撮影画像を生成する。例えば、撮影部１１０は、ＣＣＤ撮像素子（CCD image sensor）を備え、撮影部１１０自らへ入力される光を画像データに変換し、模様検出部１２０が指示するタイミングで画像データを画像生成装置２００へ送信するようにしてもよい。この場合、撮影部１１０が画像データを画像生成装置２００へ送信することは、撮影を行うことの例に該当する。
　模様検出部１２０は、撮影部１１０による撮影を制御する。例えば、模様検出部１２０が、撮影部１１０が画像データの形式で出力する撮影画像を参照して、撮影画像から二次元バーコード９１１を読み取れるか否かを判定するようにしてもよい。そして、模様検出部１２０が、撮影画像から二次元バーコード９１１を読み取れると判定し、かつ、ユーザによる撮影操作が行われた場合に、撮影部１１０に撮影を行わせるようにしてもよい。
　模様検出部１２０が、撮影画像における二次元バーコード９１１の画像の位置を検出するようにしてもよい。そして、撮影部１１０が、画像データを画像生成装置２００へ送信する際に、撮影画像における二次元バーコード９１１の画像の位置を示す情報を併せて画像生成装置２００へ送信するようにしてもよい。あるいは、画像生成装置２００側で、撮影画像における二次元バーコード９１１の画像の位置を検出するようにしてもよい。
　画像生成装置２００は、撮影部１１０が撮影対象を撮影した複数の撮影画像を取得し、得られた複数の撮影画像に基づいて、撮影対象の画像を生成する。
　画像生成装置２００は、例えばパソコン（Personal Computer；ＰＣ）などのコンピュータを用いて構成される。
　撮影装置１００および画像生成装置２００が一体的に構成されていてもよい。例えば、撮影装置１００および画像生成装置２００が、１つのスマートフォン、１つのカメラ付きノートパソコン、または、１つのカメラ付きタブレット端末装置（Tablet）に実装されていてもよい。
　画像取得部２１０は、撮影装置１００が撮影対象であるメーター９１０を撮影した撮影画像を取得する。特に、画像取得部２１０は、メーター９１０を異なる位置から複数回撮影して得られる複数の撮影画像を取得する。例えば、画像取得部２１０は通信装置を含んで構成され、撮影装置１００が画像データの形式で送信する撮影画像を受信する。
　画像取得部２１０は、画像取得手段の例に該当する。
　変換量算出部２２０は、画像取得部２１０が取得する撮影画像毎に、その撮影画像のうち形状が既知の模様の画像の形状が既知の形状となる画像変換量を算出する。例えば、変換量算出部２２０は、撮影画像のうち二次元バーコード９１１の画像の形状が、二次元バーコード９１１の形状として予め記憶している形状になるように、画像変換の変換量を計算する。画像生成装置２００について上述したように、変換量算出部２２０が、射影変換の変換量を算出するようにしてもよい。
　変換量算出部２２０は、変換量算出手段の例に該当する。
　変換量算出部２２０が、他の撮影画像との変換量の差の大きさが所定の条件以下に小さい撮像画像を、目的画像の生成に用いる画像から除外するようにしてもよい。ここでいう目的画像は、撮影対象の画像が見えにくくなる要因が除去または軽減された画像である。
　例えば、画像取得部２１０が撮影画像を繰り返し取得し、変換量算出部２２０が、画像取得部２１０が撮影画像を取得する毎に、その撮影画像に対する画像変換量を算出するようにしてもよい。そして、画像取得部２１０が２回目以降に取得した撮影画像について、変換量算出部２２０が、その撮影画像に対する画像変換量と、画像取得部２１０が直前に取得した撮影画像に対する画像変換量との差の大きさが、所定の閾値以下に小さいか否かを判定するようにしてもよい。差の大きさが閾値以下に小さいと判定した場合、変換量算出部２２０が、画像取得部２１０が直近に取得した撮影画像を、目的画像の生成に用いる画像から除外するようにしてもよい。
　あるいは、変換量算出部２２０が、画像取得部２１０が直近に取得した撮影画像に対する画像変換量と、画像取得部２１０がそれ以前に取得した撮影画像に対する画像変換量との差の大きさの最小値を算出し、所定の閾値と比較するようにしてもよい。
　２つの撮影画像に対する画像変換量の差の大きさが小さい場合、これら２つの撮影画像が同様の位置から撮影されたと考えられ、金網９２１の画像など撮影対象の画像が見えにくくなる要因が、撮影画像における同じ位置にある可能がある。
　画像生成装置２００が、複数の撮影画像の画素の平均値または最頻値をとるといった統計的処理を用いて目的画像を生成する場合、撮影対象の画像が見えにくくなる要因が同じ位置にある画像が複数あると、統計的処理でその要因が強調され、その要因の除去をうまく行えなくなる可能性がある。
　これに対して、変換量算出部２２０が、同様の位置から撮影されたと考えられる２つの撮影画像の一方を、目的画像の生成に用いる画像から除外することで、撮影対象の画像が見えにくくなる要因が統計的処理で強調されることを回避できる。これにより、その要因が除去された目的画像を得られる可能性が高くなる。
　また、変換量算出部２２０が、ある撮影画像を、目的画像の生成に用いる画像から除外することで、その画像については画像変換および目的画像生成の処理を行う必要が無い。この点で、画像生成装置２００の負荷を軽減することができる。
　変換量算出部２２０が、他の撮影画像との変換量の差の大きさが所定の条件以上に大きい撮像画像を、目的画像の生成に用いる画像から除外するようにしてもよい。
　例えば、画像取得部２１０が撮影画像を繰り返し取得し、変換量算出部２２０が、画像取得部２１０が撮影画像を取得する毎に、その撮影画像に対する画像変換量を算出するようにしてもよい。そして、画像取得部２１０が２回目以降に取得した撮影画像について、変換量算出部２２０が、その撮影画像に対する画像変換量と、画像取得部２１０が直前に取得した撮影画像に対する画像変換量との差の大きさが、所定の閾値以上に大きいか否かを判定するようにしてもよい。差の大きさが閾値以上に大きいと判定した場合、変換量算出部２２０が、画像取得部２１０が直近に取得した撮影画像を、目的画像の生成に用いる画像から除外するようにしてもよい。
　あるいは、変換量算出部２２０が、画像取得部２１０が直近に取得した撮影画像に対する画像変換量と、画像取得部２１０がそれ以前に取得した撮影画像に対する画像変換量との差の大きさの最大値を算出し、所定の閾値と比較するようにしてもよい。
　２つの撮影画像に対する画像変換量の差の大きさが大きい場合、これら２つの撮影画像が撮影された位置（撮影装置１００の位置）が大きく異なると考えられる。撮影装置１００の位置が大きく異なると、撮影画像における歪みも大きく異なり、画像変換を行っても歪みの残り具合が異なって撮像画像の位置合わせの精度が低くなることが考えられる。撮像画像の位置合わせの精度が低いことは、生成される目的画像がぼやけた画像になるなど、目的画像の精度の低下につながる。
　これに対して、変換量算出部２２０が、撮影された位置が大きく異なると考えられる２つの撮影画像の一方を、目的画像の生成に用いる画像から除外することで、撮像画像の位置合わせの精度が低くなることを回避できると期待される。
　また、変換量算出部２２０が、ある撮影画像を、目的画像の生成に用いる画像から除外することで、その画像については画像変換および目的画像生成の処理を行う必要が無い。この点で、画像生成装置２００の負荷を軽減することができる。
　画像変換部２３０は、撮影画像毎に、算出された画像変換量で画像変換を行う。画像変換部２３０は、画像変換手段の例に該当する。
　画像生成装置２００について上述したように、画像変換部２３０が行う画像変換として、撮影装置の位置に応じて生じる撮影画像の歪みを補正可能ないろいろな画像変換を用いることができる。例えば、画像変換部２３０が射影変換を行うようにしてもよいが、これに限定されない。
　位置合わせ部２４０は、画像変換後の複数の撮影画像の位置合わせを行う。位置合わせ部２４０は、位置合わせ手段の例に該当する。
　位置合わせ部２４０が撮影画像の位置合わせを行う方法として、いろいろな方法を用いることができる。例えば、位置合わせ部２４０が、オプティカルフロー（Optical Flow）またはシフトフロー（SIFT Flow）の手法を用いた位置合わせ方法など、公知の位置合わせ方法を用いるようにしてもよい。
　画像生成部２５０は、位置合わせされた複数の撮像画像に基づいて、目的画像を生成する。画像生成部２５０は、画像生成手段の例に該当する。
　画像生成部２５０が、位置合わせされた複数の画像で位置が同じ画素の中央値または平均値をとって目的画像を生成するようにしてもよい。すなわち、画像生成部２５０が、目的画像の画素毎に、位置合わせ済みの複数の画像で位置が対応する画素の画素値の中央値または平均値を、目的画像の画素値とするようにしてもよい。なお、画素がR,G,Bのような複数の色成分で構成される場合には、画像生成部２５０が、各色成分について中央値または平均値を求めるようにしてもよい。
　ここで、撮影対象の画像の画素値と、撮影対象の画像が見えにくくなる要因の画素値との関係は、いろいろである。例えば、撮影対象の画像の画素値と、撮影対象の画像が見えにくくなる要因の画素値との何れの方が大きいかは、撮影対象や、撮影対象の画像が見えにくくなる要因等によって異なる。
　一方、画像生成部２５０が、複数の画素の画素値の中央値をとることで、複数の画素のうち半数以上が撮影対象の画素であれば、画像生成部２５０は、撮影対象の画素を選択することができ、撮影対象の画像が見えにくくなる要因を除去または軽減できる。
　また、画像生成部２５０が、複数の画素の画素値の平均値をとることで、個々の撮影角度および撮影位置での映り込み等の影響を相対的に軽減することができ、撮影対象の画像が見えにくくなる要因を除去または軽減できる。
　図３は、画像生成装置２００が行う処理の手順の例を示す図である。
　図３の処理で、画像取得部２１０は、撮影装置１００が撮影した撮影画像を取得する（ステップＳ１１１）。ここで、撮影装置１００では、模様検出部１２０が、撮影部１１０が生成する撮影画像から、形状が既知の模様を検出できない場合、撮影装置１００が画像生成装置２００へ撮影画像を送信することを禁止する。したがって、画像取得部２１０は、模様検出部１２０が、撮影画像から形状が既知の模様を検出した際の撮影画像を取得する。
　画像取得部２１０は、図３の処理のループの繰り返しによって、撮影画像を複数取得する。画像取得部２１０が直近に取得した撮影画像を、対象撮影画像とも称する。
　次に、変換量算出部２２０は、画像取得部２１０が取得した撮影画像に対する画像変換の変換量を算出する（ステップＳ１１２）。変換量算出部２２０は、画像変換によって、撮影画像中の二次元バーコード９１１の画像の形状および大きさが、予め設定されている形状および大きさになるように、変換量を算出する。
　次に、変換量算出部２２０は、対象撮影画像に対する変換量と、対象撮影画像よりも前に得られた撮影画像に対する変換量とがほぼ同じか否かを判定する（ステップＳ１１３）。例えば、変換量算出部２２０が、対象撮影画像に対する変換量と、対象撮影画像の１つ前に得られた撮影画像に対する変換量との差の大きさが、所定の下限閾値以下か否かを判定する。
　変換量がほぼ同じであると判定した場合（ステップＳ１１３：ＹＥＳ）、変換量算出部２２０は、対象撮影画像を破棄する（ステップＳ１３１）。具体的には、変換量算出部２２０が、対象撮影画像を、目的画像の生成のために用いられる撮影画像から除外する。
　ステップＳ１３１の後、処理がステップＳ１１１へ戻る。
　一方、ステップＳ１１３で、変換量がほぼ同じではないと判定した場合（ステップＳ１１３：ＮＯ）、変換量算出部２２０は、対象撮影画像に対する変換量と、対象撮影画像よりも前に得られた撮影画像に対する変換量とが大きく異なるか否かを判定する（ステップＳ１２１）。例えば、変換量算出部２２０が、対象撮影画像に対する変換量と、対象撮影画像の１つ前に得られた撮影画像に対する変換量との差の大きさが、所定の上限閾値以上か否かを判定する。
　変換量が大きく異なると変換量算出部２２０が判定した場合（ステップＳ１２１：ＹＥＳ）、処理がステップＳ１３１へ進む。
　一方、変換量が大きく異ならないと変換量算出部２２０が判定した場合（ステップＳ１２１：ＮＯ）、画像変換部２３０が、対象撮影画像に対して、変換量算出部２２０が算出した変換量による画像変換を行う（ステップＳ１４１）。
　次に、画像取得部２１０は、画像変換済みの撮影画像を所定の個数取得したか否かを判定する（ステップＳ１４２）。例えば、画像取得部２１０がカウンタを備え、ステップＳ１４１で画像変換済みの撮影画像の個数を計数しておくようにしてもよい。そして、ステップＳ１４２で画像取得部２１０が、画像変換済みの撮影画像の個数が所定の個数閾値以上か否かを判定するようにしてもよい。
　撮影画像の個数が個数閾値未満であると判定した場合（ステップＳ１４２：ＯＮ）、処理がステップＳ１１１へ戻る。
　一方、撮影画像の個数が個数閾値以上であると画像取得部２１０が判定した場合（ステップＳ１４２：ＹＥＳ）、位置合わせ部２４０は、画像変換済みの複数の撮影画像のうちの何れか１つを基準画像に設定する（ステップＳ１５１）。位置合わせ部２４０が基準画像を選択する方法は、特定の方法に限定されない。例えば、位置合わせ部２４０が、画像変換済みの複数の撮影画像からランダムに基準画像を選択するようにしてもよい。
　基準画像以外の画像を比較画像とも称する。
　次に、位置合わせ部２４０は、画像変換済みの複数の撮影画像の位置合わせを行う（ステップＳ１５２）。例えば、位置合わせ部２４０は、比較画像毎に、その比較画像と基準画像との位置合わせを行う。上述したように、位置合わせ部２４０が位置合わせを行う方法は、特定の方法に限定されない。
　次に、画像生成部２５０は、位置合わせ済みの撮影画像を用いて目的画像を生成する（ステップＳ１５３）。例えば、画像生成部２５０が、基準画像の画素毎に、位置合わせ済みの複数の画像で位置が対応する画素の画素値の中央値を、目的画像の画素値として、目的画像を生成するようにしてもよい。
　ステップＳ１５３の後、画像生成システム１は、図３の処理を終了する。
　以上のように、画像取得部２１０は、形状が既知の二次元バーコード９１１が付されたメーター９１０を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する。変換量算出部２２０は、画像取得部２１０が取得する撮影画像毎に、その撮影画像のうち二次元バーコード９１１の画像の形状が既知の形状となる画像変換量を算出する。画像変換部２３０は、撮影画像毎に、算出された画像変換量で画像変換を行う。位置合わせ部２４０は、画像変換後の複数の撮影画像の位置合わせを行う。画像生成部２５０は、位置合わせされた複数の撮像画像に基づいて、目的画像を生成する。
　画像生成装置２００によれば、複数の画像間における撮影対象の大きさまたは向きの相違が比較的大きい場合でも、撮影装置の位置に応じた撮影画像の歪みを画像変換で除去または軽減することができる。画像生成装置２００によれば、画像変換後の撮影画像を用いて、撮影画像への映り込みなど撮影対象の画像が見えにくくなる要因を除去または軽減することができる。
　特に、画像生成装置２００によれば、形状が既知の二次元バーコード９１１に基づいて撮影画像に対する画像変換を行うことで、画像の歪みを高精度に除去でき、撮影対象の画像が見えにくくなる要因を除去または軽減された高精度な目的画像を得られると期待される。
　例えば、画像生成装置２００によれば、複数の画像間における撮影対象の大きさまたは向きの相違が比較的大きく、撮影画像間での画像マッチングによる画像の位置合わせを適用できないような場合でも、形状が既知の二次元バーコード９１１の画像を利用する点で、二次元バーコード９１１の画像を検出して画像変換を行える可能性が高いと期待される。画像生成装置２００によれば、画像変換後の撮影画像を用いて、撮影画像への映り込みなど撮影対象の画像が見えにくくなる要因を除去または軽減することができる。
　したがって、Optical Flowを用いる等による一段階の画像位置合わせ処理では、位置合わせの精度を十分に得られない場合でも、画像生成装置２００によれば、形状が既知の模様を利用した画像変換を行った後、画像位置合わせを行うというように段階的に処理を行うことで、より高精度に位置合わせを行えると期待される。
　また、画像生成部２５０は、目的画像の画素毎に、位置合わせされた複数の画像で位置が対応する画素の画素値の中央値を、目的画像の画素値とする。
　上記のように、撮影対象の画像の画素値と、撮影対象の画像が見えにくくなる要因の画素値との関係は、いろいろである。例えば、撮影対象の画像の画素値と、撮影対象の画像が見えにくくなる要因の画素値との何れの方が大きいかは、撮影対象や、撮影対象の画像が見えにくくなる要因等によって異なる。
　一方、画像生成部２５０が、複数の画素の画素値の中央値をとることで、複数の画素のうち半数以上が撮影対象の画素であれば、画像生成部２５０は、撮影対象の画素を選択することができ、撮影対象の画像が見えにくくなる要因を除去または軽減できる。
　また、画像生成部２５０は、目的画像の画素毎に、位置合わせされた複数の画像で位置が対応する画素の画素値の平均値を、目的画像の画素値とする。
　画像生成部２５０が、複数の画素の画素値の平均値をとることで、個々の撮影角度および撮影位置での映り込み等の影響を相対的に軽減することができ、撮影対象の画像が見えにくくなる要因を除去または軽減できる。
　また、変換量算出部２２０は、他の撮影画像との変換量の差の大きさが所定の条件以下に小さい撮像画像を、目的画像の生成に用いる画像から除外する。
　２つの撮影画像に対する画像変換量の差の大きさが小さい場合、これら２つの撮影画像が同様の位置から撮影されたと考えられ、金網９２１の画像など撮影対象の画像が見えにくくなる要因が、撮影画像における同じ位置にある可能がある。
　画像生成装置２００が、複数の撮影画像の画素の平均値または最頻値をとるといった統計的処理を用いて目的画像を生成する場合、撮影対象の画像が見えにくくなる要因が同じ位置にある画像が複数あると、統計的処理でその要因が強調され、その要因の除去をうまく行えなくなる可能性がある。
　これに対して、変換量算出部２２０が、同様の位置から撮影されたと考えられる２つの撮影画像の一方を、目的画像の生成に用いる画像から除外することで、撮影対象の画像が見えにくくなる要因が統計的処理で強調されることを回避できる。これにより、その要因が除去された目的画像を得られる可能性が高くなる。
　また、変換量算出部２２０が、ある撮影画像を、目的画像の生成に用いる画像から除外することで、その画像については画像変換および目的画像生成の処理を行う必要が無い。この点で、画像生成装置２００の負荷を軽減することができる。
　また、撮影画像間の視差が過小である場合、画像間の位置合わせおよび目的画像の生成といった、いわば一段階の処理のみでは目的画像の生成を高精度に行えないことが考えられる。
　これに対し、画像生成装置２００では、位置合わせ部２４０による複数の画像の位置合わせ、および、画像生成部２５０による目的画像の生成の前に、変換量算出部２２０による上記の画像の除外、および、画像変換部２３０による画像の変換を行うというように、段階的に処理を行う。これにより、画像生成装置２００では、撮影画像間の視差が過小であることの影響を解消または軽減することができ、目的画像の生成をより高精度に行えると期待される。
　また、変換量算出部２２０は、他の撮影画像との変換量の差の大きさが所定の条件以上に大きい撮像画像を、目的画像の生成に用いる画像から除外する。
　２つの撮影画像に対する画像変換量の差の大きさが大きい場合、これら２つの撮影画像が撮影された位置（撮影装置１００の位置）が大きく異なると考えられる。撮影装置１００の位置が大きく異なると、撮影画像における歪みも大きく異なり、画像変換を行っても歪みの残り具合が異なって撮像画像の位置合わせの精度が低くなることが考えられる。撮像画像の位置合わせの精度が低いことは、生成される目的画像がぼやけた画像になるなど、目的画像の精度の低下につながる。
　これに対して、変換量算出部２２０が、撮影された位置が大きく異なると考えられる２つの撮影画像の一方を、目的画像の生成に用いる画像から除外することで、撮像画像の位置合わせの精度が低くなることを回避できると期待される。
　また、変換量算出部２２０が、ある撮影画像を、目的画像の生成に用いる画像から除外することで、その画像については画像変換および目的画像生成の処理を行う必要が無い。この点で、画像生成装置２００の負荷を軽減することができる。
　＜第二実施形態＞
　図４は、第二実施形態に係る画像生成システムの構成の例を示す図である。図４に示す構成で、画像生成システム２は、撮影装置３００と、画像生成装置４００とを備える。撮影装置３００は、撮影部１１０を備える。画像生成装置４００は、画像取得部２１０と、前処理部４１０と、変換量算出部４２０と、画像変換部２３０と、位置合わせ部２４０と、画像生成部２５０とを備える。
　図４の各部のうち図１の各部に対応して同様の機能を有する部分には、同一の符号（１１０、２１０、２３０、２４０、２５０）を付し、ここでは詳細な説明を省略する。
　画像生成システム２では、撮影装置３００が模様検出部１２０を備えていない点で、画像生成システム１の撮影装置１００の場合と異なる。また、画像生成システム２では、画像生成装置４００が、前処理部４１０を備えている点で、画像生成システム１の画像生成装置２００の場合と異なる。また、画像生成装置４００では、変換量算出部４２０が行う処理が、画像生成装置２００の変換量算出部２２０が行う処理と異なる。
　それ以外の点では、画像生成システム２は、画像生成システム１と同様である。
　撮影装置３００が模様検出部１２０を備えていないので、撮影部１１０は模様検出部１２０の制御を受けずに撮影画像を画像生成装置２００へ送信する。例えば、撮影部１１０は、ユーザによる撮影操作が行われると、撮影画像を画像生成装置２００へ送信する。この場合、撮影画像を画像生成装置２００へ送信することは、撮影の例に該当する。
　前処理部４１０は、複数の撮影画像のそれぞれについて、その撮影画像を基準画像とし、基準画像以外の画像を全て比較画像とし、比較画像を基準画像に合わせるように撮影画像の位置合わせを行う。前処理部４１０が撮影画像の位置合わせを行う方法として、いろいろな方法を用いることができる。例えば、前処理部４１０が、オプティカルフローまたはシフトフローの手法を用いた位置合わせ方法など、公知の位置合わせ方法を用いるようにしてもよい。
　前処理部４１０は、位置合わせされた複数の画像に基づいて前処理画像を生成する。前処理部４１０が、画像生成部２５０の場合と同様の方法で前処理画像を生成するようにしてもよい。例えば、前処理部４１０が、基準画像の画素毎に、基準画像および比較画像で位置が同じ画像の中央値をとって前処理画像を生成するようにしてもよい。
　前処理部４１０は、前処理手段の例に該当する。
　前処理部４１０が行う処理では、画像変換は行わずに、撮影画像の位置合わせを行い、位置合わせ済みの複数の画像の画素値に基づいて前処理画像を行う。前処理部４１０が行う処理を前処理とも称する。
　例えば、撮影画像から二次元バーコード９１１など形状が既知の模様を検出できない場合に、前処理部４１０による前処理を行い、形状が既知の模様を検出できるようになった前処理画像を用いて、画像生成装置２００の場合と同様の処理を行うようにしてもよい。
　変換量算出部４２０は、前処理画像を対象として、二次元バーコード９１１など形状が既知の模様を検出する。変換量算出部４２０は、変換量算出部２２０の場合と同様の処理を行って、検出した模様に基づいて、前処理画像に対する画像変換の変換量を算出する。
　図５は、画像生成装置４００が行う処理の手順の例を示す図である。
　図５の処理で、前処理部４１０は、前処理を行って所定の個数の前処理画像を取得する（ステップＳ２０１）。
　次に、変換量算出部４２０は、所定の個数の前処理画像のうち、１つの前処理画像を選択する（ステップＳ２０２）。ステップＳ２０２の２回目以降の処理では、変換量算出部４２０は、所定の個数の前処理画像のうち、まだ選択していない１つの前処理画像を選択する。
　変換量算出部４２０がステップＳ２０２で選択する前処理画像を、対象前処理画像とも称する。
　そして、変換量算出部４２０は、選択した前処理画像からの、形状が既知の模様の画像の検出を試み（ステップＳ２０３）、模様の検出に成功したか否かを判定する（ステップＳ２１１）。
　模様の検出に失敗したと判定した場合（ステップＳ２１１：ＮＯ）、変換量算出部４２０は、模様を検出できなかった前処理画像を破棄する（ステップＳ２３１）。具体的には、変換量算出部４２０が、対象撮影画像を、目的画像の生成のために用いられる撮影画像から除外する。
　ステップＳ２３１の後、処理がステップＳ２０２へ戻る。
　一方、模様の検出に成功したと判定した場合（ステップＳ２１１：ＹＥＳ）、処理がステップＳ２１２へ進む。
　ステップＳ２１３からＳ２５３の処理は、図３のステップＳ１１２からＳ１５３の処理の例に該当する。
　ステップＳ２５３の処理の後、画像生成装置４００は、図５の処理を終了する。
　図６は、画像生成装置４００が前処理画像を取得する処理の例を示す図である。画像生成装置４００は、図５のステップＳ２０１で、図６の処理を行う。図６の処理は、前処理の例に該当する。
　図６の処理で、画像取得部２１０は、撮影対象を撮影した所定の個数の撮影画像を取得する（ステップＳ３０１）。例えば、撮影装置３００がユーザ操作に従って所定の回数撮影を行い、所定の個数の撮影画像を画像生成装置４００へ送信する。画像生成装置４００では、画像取得部２１０が撮影装置３００からの撮影画像を受信することで、撮影画像を取得する。
　次に、前処理部４１０は、撮影画像毎に処理を行うループＬ１１を開始する（ステップＳ３０２）。ループＬ１１で処理対象として選択されている撮影画像を基準画像とし、基準画像以外の撮影画像を比較画像とする。
　ループＬ１１の処理で、前処理部４１０は、比較画像のそれぞれの位置を基準画像の位置に合わせるように、位置合わせを行う（ステップＳ３０３）。ステップＳ３０３で前処理部４１０が行う位置合わせの方法は特定の方法に限定されない。例えば、前処理部４１０が、オプティカルフローまたはシフトフローなどの位置合わせの手法を用いて位置合わせを行うようにしてもよいが、これらに限定されない。
　次に、前処理部４１０は、前処理画像を生成する（ステップＳ３０４）。例えば、前処理部４１０は、基準画像の画素毎に、基準画像および位置合わせ済みの比較画像で同じ位置の画素とされる各画素の値を読み取り、得られた画素値の中央値を、前処理画像でその位置の画素の値とする。
　次に、前処理部４１０は、ループＬ１１の終端処理を行う（ステップＳ３０５）。具体的には、前処理部４１０は、ステップＳ３０１で得られた全ての撮影画像に対してループＬ１１の処理を行ったか否かを判定する。まだループＬ１１の処理を行っていない撮影画像があると判定した場合、前処理部４１０は、未処理の撮影画像に対してループＬ１１の処理を行う。
　一方、ステップＳ３０１で得られた全ての撮影画像に対してループＬ１１の処理を行ったと前処理部４１０が判定した場合、画像生成装置４００は、図６の処理を終了する。
　以上のように、画像取得部２１０は、二次元バーコード９１１が付されたメーター９１０を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する。
　前処理部４１０は、複数の撮影画像のそれぞれについて、その撮影画像を基準画像とし、基準画像以外の画像を全て比較画像として、比較画像を基準画像に合わせるように撮影画像の位置合わせを行い、位置合わせされた複数の画像に基づいて前処理画像を生成する。
　変換量算出部４２０は、前処理画像毎に二次元バーコード９１１の画像を検出し、検出した二次元バーコード９１１の画像の形状が既知の形状となる画像変換量を、前処理画像毎に算出する。
　画像生成部２５０は、前処理画像毎に、算出された画像変換量で画像変換を行う。
　位置合わせ部２４０は、画像変換後の複数の前処理画像の位置合わせを行う。
　画像生成部２５０は、位置合わせされた複数の前処理画像に基づいて、目的画像を生成する。
　画像生成装置４００によれば、撮影画像からは形状が既知の模様を検出できない場合でも、前処理によって模様を検出できるようになった前処理画像を用いて、画像生成装置２００の場合と同様の処理を行うことができる。
　＜第三実施形態＞
　図７は、第三実施形態に係る画像生成装置の構成の例を示す図である。
　図７に示す構成で、画像生成装置６１０は、画像取得部６１１と、変換量算出部６１２と、画像変換部６１３と、位置合わせ部６１４と、画像生成部６１５とを備える。
　かかる構成で、画像取得部６１１は、形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する。変換量算出部６１２は、撮影画像毎に、その撮影画像のうち形状が既知の模様の画像の形状が既知の形状となる画像変換量を算出する。画像変換部６１３とは、撮影画像毎に、算出された画像変換量で画像変換を行う。位置合わせ部６１４は、画像変換後の複数の撮影画像の位置合わせを行う。画像生成部６１５は、位置合わせされた複数の撮像画像に基づいて、目的画像を生成する。
　画像取得部６１１は、画像取得手段の例に該当する。変換量算出部６１２は、変換量算出手段の例に該当する。画像変換部６１３とは、画像変換手段の例に該当する。位置合わせ部６１４は、位置合わせ手段の例に該当する。画像生成部６１５は、画像生成手段の例に該当する。
　画像生成装置６１０によれば、複数の画像間における撮影対象の大きさまたは向きの相違が比較的大きい場合でも、撮影装置の位置に応じた撮影画像の歪みを画像変換で除去または軽減することができる。画像生成装置６１０によれば、画像変換後の撮影画像を用いて、撮影画像への映り込みなど撮影対象の画像が見えにくくなる要因を除去または軽減することができる。
　特に、画像生成装置６１０によれば、形状が既知の模様に基づいて撮影画像に対する画像変換を行うことで、画像の歪みを高精度に除去でき、撮影対象の画像が見えにくくなる要因を除去または軽減された高精度な目的画像を得られると期待される。
　＜第四実施形態＞
　図８は、第四実施形態に係る画像生成装置の構成の例を示す図である。
　図８に示す構成で、画像生成装置６２０は、画像取得部６２１と、前処理部６２２と、変換量算出部６２３と、画像変換部６２４と、位置合わせ部６２５と、画像生成部６２６とを備える。
　かかる構成で、画像取得部６２１は、形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する。前処理部６２２は、複数の撮影画像のそれぞれについて、その撮影画像を基準画像とし、基準画像以外の画像を全て比較画像として、比較画像を基準画像に合わせるように撮影画像の位置合わせを行い、位置合わせされた複数の画像に基づいて前処理画像を生成する。変換量算出部６２３は、前処理画像毎に、形状が既知の模様の画像を検出し、検出した模様の画像の形状が既知の形状となる画像変換量を前処理画像毎に算出する。画像変換部６２４は、前処理画像毎に、算出された画像変換量で画像変換を行う。位置合わせ部６２５は、画像変換後の複数の前処理画像の位置合わせを行う。画像生成部６２６は、位置合わせされた複数の前処理画像に基づいて、目的画像を生成する。
　画像取得部６２１は、画像取得手段の例に該当する。前処理部６２２は、前処理手段の例に該当する。変換量算出部６２３は、変換量算出手段の例に該当する。画像変換部６２４は、画像変換手段の例に該当する。位置合わせ部６２５は、位置合わせ手段の例に該当する。画像生成部６２６は、画像生成手段の例に該当する。
　画像生成装置６２０によれば、撮影画像からは形状が既知の模様を検出できない場合でも、前処理によって模様を検出できるようになった前処理画像を用いて、画像変換による撮影画像の歪みを除去または軽減することができ、画像変換後の前処理画像を用いて、画像の重ね合わせを行い、撮影対象の画像が見えにくくなる要因を除去または軽減された目的画像を得られると期待される。
　＜第五実施形態＞
　図９は、第五実施形態に係る画像生成方法における処理の手順の例を示す図である。図９に示す処理は、撮影画像を取得すること（ステップＳ６１１）と、画像変換量を算出すること（ステップＳ６１２）と、画像変換を行うことと（ステップＳ６１３）と、位置合わせを行うこと（ステップＳ６１４）と、目的画像を生成すること（ステップＳ６１５）とを含む。
　撮影画像を取得すること（ステップＳ６１１）では、形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する。
　画像変換量を算出すること（ステップＳ６１２）では、撮影画像毎に、その撮影画像のうち形状が既知の模様の画像の形状が既知の形状となる画像変換量を算出する。
　画像変換を行うことと（ステップＳ６１３）では、撮影画像毎に、算出された画像変換量で画像変換を行う。
　位置合わせを行うこと（ステップＳ６１４）では、画像変換後の複数の撮影画像の位置合わせを行う。
　目的画像を生成すること（ステップＳ６１５）では、位置合わせされた複数の撮像画像に基づいて、目的画像を生成する。
　図９に示す画像生成方法によれば、複数の画像間における撮影対象の大きさまたは向きの相違が比較的大きい場合でも、撮影装置の位置に応じた撮影画像の歪みを画像変換で除去または軽減することができる。図９に示す画像生成方法によれば、画像変換後の撮影画像を用いて、撮影画像への映り込みなど撮影対象の画像が見えにくくなる要因を除去または軽減することができる。
　特に、図９に示す画像生成方法によれば、形状が既知の模様に基づいて撮影画像に対する画像変換を行うことで、画像の歪みを高精度に除去でき、撮影対象の画像が見えにくくなる要因を除去または軽減された高精度な目的画像を得られると期待される。
　図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　図１８に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
　上記の撮影装置１００、画像生成装置２００、撮影装置３００、画像生成装置４００、画像生成装置６１０、および画像生成装置６２０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。また、インタフェース７４０は、不揮発性記録媒体７５０用のポートを有し、不揮発性記録媒体７５０からの情報の読出、および、不揮発性記録媒体７５０への情報の書込を行う。
　撮影装置１００がコンピュータ７００に実装される場合、撮影部１１０と、模様検出部１２０との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、撮影装置１００が処理を行うための記憶領域を主記憶装置７２０に確保する。
　撮影装置１００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
　撮影装置１００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
　画像生成装置２００がコンピュータ７００に実装される場合、画像取得部２１０と、変換量算出部２２０と、画像変換部２３０と、位置合わせ部２４０と、画像生成部２５０との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、画像生成装置２００が処理を行うための記憶領域を主記憶装置７２０に確保する。
　画像生成装置２００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
　画像生成装置２００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
　撮影装置３００がコンピュータ７００に実装される場合、撮影部１１０の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、撮影装置３００が処理を行うための記憶領域を主記憶装置７２０に確保する。
　撮影装置３００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
　撮影装置３００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
　画像生成装置４００がコンピュータ７００に実装される場合、画像取得部２１０と、前処理部４１０と、変換量算出部４２０と、画像変換部２３０と、位置合わせ部２４０と、画像生成部２５０との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、画像生成装置４００が処理を行うための記憶領域を主記憶装置７２０に確保する。
　画像生成装置４００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
　画像生成装置４００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
　画像生成装置６１０がコンピュータ７００に実装される場合、画像取得部６１１と、変換量算出部６１２と、画像変換部６１３と、位置合わせ部６１４と、画像生成部６１５との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、画像生成装置６１０が処理を行うための記憶領域を主記憶装置７２０に確保する。
　画像生成装置６１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
　画像生成装置６１０とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
　画像生成装置６２０がコンピュータ７００に実装される場合、画像取得部６２１と、前処理部６２２と、変換量算出部６２３と、画像変換部６２４と、位置合わせ部６２５と、画像生成部６２６との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　上述したプログラムのうち何れか１つ以上が不揮発性記録媒体７５０に記録されていてもよい。この場合、インタフェース７４０が不揮発性記録媒体７５０からプログラムを読み出すようにしてもよい。そして、ＣＰＵ７１０が、インタフェース７４０が読み出したプログラムを直接実行するか、あるいは、主記憶装置７２０または補助記憶装置７３０に一旦保存して実行するようにしてもよい。
　なお、撮影装置１００、画像生成装置２００、撮影装置３００、画像生成装置４００、画像生成装置６１０、および画像生成装置６２０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明は、画像生成装置、画像生成方法および記録媒体に適用してもよい。
　１、２　画像生成システム
　１００、３００　撮影装置
　１１０　撮影部
　１２０　模様検出部
　２００、４００、６１０、６２０　画像生成装置
　２１０、６１１、６２１　画像取得部
　２２０、４２０、６１２、６２３　変換量算出部
　２３０、６１３、６２４　画像変換部
　２４０、６１４、６２５　位置合わせ部
　２５０、６１５、６２６　画像生成部
　４１０、６２２　前処理部

Claims (8)

  1. 　形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する画像取得手段と、
    　前記撮影画像毎に、その撮影画像のうち前記模様の画像の形状が前記既知の形状となる画像変換量を算出する変換量算出手段と、
    　前記撮影画像毎に、算出された前記画像変換量で画像変換を行う画像変換手段と、
    　画像変換後の複数の撮影画像の位置合わせを行う位置合わせ手段と、
    　位置合わせされた複数の撮像画像に基づいて、目的画像を生成する画像生成手段と
    　を備える画像生成装置。
  2. 　前記画像生成手段は、前記目的画像の画素毎に、位置合わせされた複数の画像で位置が対応する画素の画素値の中央値を、前記目的画像の画素値とする、
    　請求項１に記載の画像生成装置。
  3. 　前記画像生成手段は、前記目的画像の画素毎に、位置合わせされた複数の画像で位置が対応する画素の画素値の平均値を、前記目的画像の画素値とする、
    　請求項１に記載の画像生成装置。
  4. 　前記変換量算出手段は、他の撮影画像との前記画像変換量の差の大きさが所定の条件以下に小さい撮像画像を、前記目的画像の生成に用いる画像から除外する、
    　請求項１から３の何れか一項に記載の画像生成装置。
  5. 　前記変換量算出手段は、他の撮影画像との前記画像変換量の差の大きさが所定の条件以上に大きい撮像画像を、前記目的画像の生成に用いる画像から除外する、
    　請求項１から４の何れか一項に記載の画像生成装置。
  6. 　形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得する画像取得手段と、
    　前記複数の撮影画像のそれぞれについて、その撮影画像を基準画像とし、前記基準画像以外の画像を全て比較画像として、比較画像を基準画像に合わせるように撮影画像の位置合わせを行い、位置合わせされた複数の画像に基づいて前処理画像を生成する前処理手段と、
    　前記前処理画像毎に前記模様の画像を検出し、検出した前記模様の画像の形状が前記既知の形状となる画像変換量を前記前処理画像毎に算出する変換量算出手段と、
    　前記前処理画像毎に、算出された前記画像変換量で画像変換を行う画像変換手段と、
    　画像変換後の複数の前処理画像の位置合わせを行う位置合わせ手段と、
    　位置合わせされた複数の前処理画像に基づいて、目的画像を生成する画像生成手段と
    　を備える画像生成装置。
  7. 　画像生成装置が、
    　形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得することと、
    　前記撮影画像毎に、その撮影画像のうち前記模様の画像の形状が前記既知の形状となる画像変換量を算出することと、
    　前記撮影画像毎に、算出された前記画像変換量で画像変換を行うことと、
    　画像変換後の複数の撮影画像の位置合わせを行うことと、
    　位置合わせされた複数の撮像画像に基づいて、目的画像を生成することと
    　を含む画像生成方法。
  8. 　コンピュータに、
    　形状が既知の模様が付された撮影対象を、異なる位置から複数回撮影して得られる複数の撮影画像を取得することと、
    　前記撮影画像毎に、その撮影画像のうち前記模様の画像の形状が前記既知の形状となる画像変換量を算出することと、
    　前記撮影画像毎に、算出された前記画像変換量で画像変換を行うことと、
    　画像変換後の複数の撮影画像の位置合わせを行うことと、
    　位置合わせされた複数の撮像画像に基づいて、目的画像を生成することと
    　を実行させるためのプログラムを記録する記録媒体。
PCT/JP2021/044336 2021-12-02 2021-12-02 画像生成装置、画像生成方法および記録媒体 WO2023100332A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044336 WO2023100332A1 (ja) 2021-12-02 2021-12-02 画像生成装置、画像生成方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044336 WO2023100332A1 (ja) 2021-12-02 2021-12-02 画像生成装置、画像生成方法および記録媒体

Publications (1)

Publication Number Publication Date
WO2023100332A1 true WO2023100332A1 (ja) 2023-06-08

Family

ID=86611754

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044336 WO2023100332A1 (ja) 2021-12-02 2021-12-02 画像生成装置、画像生成方法および記録媒体

Country Status (1)

Country Link
WO (1) WO2023100332A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005083984A (ja) * 2003-09-10 2005-03-31 Neomax Co Ltd 物品位置確認システム
JP2011163766A (ja) * 2010-02-04 2011-08-25 Omron Corp 画像処理方法および画像処理システム
JP2014029678A (ja) * 2012-06-27 2014-02-13 Fujifilm Corp 真偽判定システムおよび真偽判定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005083984A (ja) * 2003-09-10 2005-03-31 Neomax Co Ltd 物品位置確認システム
JP2011163766A (ja) * 2010-02-04 2011-08-25 Omron Corp 画像処理方法および画像処理システム
JP2014029678A (ja) * 2012-06-27 2014-02-13 Fujifilm Corp 真偽判定システムおよび真偽判定プログラム

Similar Documents

Publication Publication Date Title
US9338439B2 (en) Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
JP6585006B2 (ja) 撮影装置および車両
EP3319038A1 (en) Panoramic image generation method and apparatus for user terminal
US20100182480A1 (en) Image processing apparatus, image matching method, and computer-readable recording medium
WO2015048694A2 (en) Systems and methods for depth-assisted perspective distortion correction
US20130314388A1 (en) Image processing system, image processing method, and computer program product
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
CN102227746A (zh) 立体图像处理装置、方法、记录介质和立体成像设备
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2008118555A (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2016201668A (ja) 画像処理装置、画像処理方法およびプログラム
US20170142384A1 (en) Image processing apparatus, image processing method, image projection system, and storage medium
US11037327B2 (en) Camera control method, camera control device, and non-transitory computer-readable storage medium
JP2019175112A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
WO2023100332A1 (ja) 画像生成装置、画像生成方法および記録媒体
WO2019116517A1 (ja) 画像処理装置および画像処理方法
JP2016156702A (ja) 撮像装置および撮像方法
JP6556033B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5239991B2 (ja) 画像処理装置、及び画像処理システム
JP2008077489A (ja) 画像処理装置、方法、プログラムおよび記憶媒体
JP6579934B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2002058046A (ja) 撮像システムおよび３次元カメラ
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE