WO2022180963A1 - 画像処理装置、画像処理方法、および記録媒体 - Google Patents

画像処理装置、画像処理方法、および記録媒体 Download PDF

Info

Publication number
WO2022180963A1
WO2022180963A1 PCT/JP2021/042958 JP2021042958W WO2022180963A1 WO 2022180963 A1 WO2022180963 A1 WO 2022180963A1 JP 2021042958 W JP2021042958 W JP 2021042958W WO 2022180963 A1 WO2022180963 A1 WO 2022180963A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
transformed
image processing
transformed image
master
Prior art date
Application number
PCT/JP2021/042958
Other languages
English (en)
French (fr)
Inventor
雅人 左貝
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US18/276,183 priority Critical patent/US20240104752A1/en
Priority to JP2023502073A priority patent/JPWO2022180963A5/ja
Publication of WO2022180963A1 publication Critical patent/WO2022180963A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to an image processing device, an image processing method, and a recording medium, and more particularly to an image processing device, an image processing method, and a recording medium for correcting image data acquired from imaging equipment.
  • a method of correcting target image data using reference image data registered in advance (referred to as master image data) is known. An example of this is described in Patent Document 1.
  • a two-dimensional barcode added to an analog meter is detected from image data obtained by photographing the analog meter. Then, the target image data is primarily corrected so that the two-dimensional barcode in the target image data has the same size and shape as the two-dimensional barcode in the master image data.
  • master image data obtained by photographing an object such as an analog meter from the front is registered in advance.
  • the shooting direction may be tilted with respect to the front of the object.
  • the position, size, and shape of the object appearing in the target image data and the object appearing in the pre-registered master image data are different from each other.
  • the target image data may not be accurately corrected based on the master image data.
  • the present invention has been made in view of the above problems, and its purpose is to improve the accuracy of correcting target image data using master image data.
  • An image processing apparatus includes generating means for generating a transformed image group including a plurality of transformed image data by affine transforming target image data; Calculation means for calculating a correlation value between the data and master image data registered in advance, and selecting conversion image data having the maximum correlation value from the conversion image data included in the conversion image group. and correction means for correcting the selected conversion image data based on the positional deviation between the object appearing in the master image data and the object appearing in the selected conversion image data.
  • a transformed image group including a plurality of transformed image data is generated by affine transforming target image data, and the transformed image data included in the transformed image group; calculating a correlation value between pre-registered master image data, selecting conversion image data having the maximum correlation value from among the conversion image data included in the conversion image group, and selecting the master image data; The selected conversion image data is corrected based on the positional deviation between the object captured in the image and the object captured in the selected conversion image data.
  • a recording medium includes a process of generating a transformed image group including a plurality of transformed image data by affine transforming target image data, and the transformed image data included in the transformed image group. a process of calculating a correlation value between pre-registered master image data; and a process of selecting conversion image data having the maximum correlation value from among the conversion image data included in the conversion image group. a program for causing a computer to execute a process of correcting the selected transformed image data based on the positional deviation between the object depicted in the master image data and the object depicted in the selected transformed image data; is stored.
  • FIG. 2 is a diagram schematically showing photographing of an object (analog meter) by an imaging device and transmission of image data from the imaging device to the image processing apparatus according to any one of Embodiments 1 to 3;
  • 1 is a block diagram showing the configuration of an image processing apparatus according to Embodiment 1;
  • FIG. 4 is a flowchart showing the operation of the image processing apparatus according to Embodiment 1;
  • 4 is a diagram illustrating an example of the flow of operations of the image processing apparatus according to the first embodiment;
  • FIG. FIG. 11 is a block diagram showing the configuration of an image processing apparatus according to a second embodiment;
  • FIG. 9 is a flow chart showing the operation of the image processing apparatus according to the second embodiment;
  • 10 is a block diagram showing the configuration of an image processing apparatus according to Embodiment 3;
  • FIG. 10 is a flowchart showing operations of an image processing apparatus according to Embodiment 3;
  • 1 is a diagram showing an example of a hardware configuration of an image processing apparatus according to Embodiments 1-3;
  • FIG. 1 shows how a user takes an image of an object (an analog meter is shown as an example in FIG. 1) by holding an imaging device.
  • image data of an object photographed by the imaging device is transmitted from the imaging device to one of the image processing apparatuses 10, 20, and 30 according to any one of the first to third embodiments.
  • the image processing apparatus 10 (20, 30) will be referred to as “the image processing apparatus 10 (20, 30).”
  • target image data The image data transmitted from the imaging device to the image processing apparatus 10 (20, 30) is hereinafter referred to as "target image data”.
  • Image data of the object is obtained by photographing the object (an analog meter in FIG. 1).
  • the imaging device is an information device owned by the user.
  • the imaging device is a smart phone or a tablet terminal.
  • the imaging device is connected to the image processing device 10 (20, 30) by wireless communication such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • An application for remotely controlling the image processing device 10 (20, 30) is installed in the imaging device.
  • a user inputs an instruction to the image processing apparatus 10 (20, 30) to the UI (User Interface) of the application, whereby an instruction command is transmitted from the imaging device to the image processing apparatus 10 (20, 30).
  • the user can remotely operate the image processing apparatus 10 (20, 30) using the imaging device.
  • the imaging device and the image processing device 10 (20, 30) may be integrated.
  • the processing executed by the image processing apparatus 10 (20, 30), which will be described later, may be implemented as part of the information processing function of the imaging device.
  • the object (analog meter in Fig. 1) is photographed by imaging equipment.
  • the type of the object is not particularly limited, but examples other than the analog meter include an array of characters and symbols such as a poster, a calendar, or the spine of a book. Alternatively, other examples are looking through the landscape, such as a monitor or a window.
  • the types of objects are not limited to the above examples.
  • Embodiment 1 Embodiment 1 will be described with reference to FIGS. 2 to 4.
  • FIG. 1 is a diagrammatic representation of Embodiment 1
  • FIG. 2 is a block diagram showing the configuration of the image processing apparatus 10 according to the first embodiment. As shown in FIG. 2, the image processing apparatus 10 includes a generator 11, a calculator 12, a selector 13, and a corrector .
  • the generating unit 11 generates a transformed image group including a plurality of transformed image data by affine transforming the target image data.
  • the generating unit 11 is an example of generating means.
  • the generation unit 11 acquires target image data from the imaging device (FIG. 1).
  • the target image data is obtained by photographing the object (analog meter in FIG. 1), that is, the analog meter is reflected in the image data.
  • the generating unit 11 transforms the coordinates of the target image data by performing a 3 ⁇ 3 matrix operation on the coordinates of the target image data by performing one affine transformation on the target image data.
  • the coordinates of the previous data are converted to obtain one piece of converted image data.
  • Affine transformations are a combination of linear transformations (ie matrix operations) and translations.
  • the generation unit 11 may obtain a plurality of pieces of image data from the target image data. In this case, the generating unit 11 generates a plurality of transformed image data by executing different affine transformations on the acquired target image data.
  • the generation unit 11 generates a predetermined number of pieces of transformed image data from the target image data by mapping (different affine transformations) combining image enlargement, reduction, rotation, and translation.
  • the generation unit 11 outputs a transformed image group including a plurality of pieces of transformed image data generated in this manner to the calculation unit 12 .
  • the calculation unit 12 calculates the correlation value between the converted image data included in the converted image group and the pre-registered master image data.
  • the calculator 12 is an example of a calculator.
  • the calculation unit 12 uses the phase-only correlation method to calculate the correlation value between the transformed image data and the master image data. In another example, the calculation unit 12 calculates the correlation coefficient between the pixel values of the transformed image data and the pixel values of the master image data using any technique with hue, luminance value, and/or pattern as parameters. (which is an example of a correlation value) is calculated. Specifically, the calculation unit 12 can use SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), or NCC (Normalized Cross-Correlation).
  • the calculation unit 12 calculates the correlation value between each converted image data included in the converted image group and the pre-registered master image data as described above. After calculating the correlation values for all the converted image data included in the converted image group, the calculation unit 12 outputs the correlation value data associated with the corresponding converted image data to the selection unit 13 .
  • the selection unit 13 selects the conversion image data having the maximum correlation value from the conversion image data included in the conversion image group.
  • the selection unit 13 is an example of selection means.
  • the selection unit 13 receives from the calculation unit 12 the correlation value data calculated for all the transformed image data included in the transformed image group.
  • the selection unit 13 selects one piece of transformed image data from among all the transformed image data included in the transformed image group based on the magnitude relationship between the correlation values.
  • the selection unit 13 selects the conversion image data having the largest correlation value with the master image data from among all the conversion image data included in the conversion image group.
  • the selection unit 13 outputs the selected converted image data to the correction unit 14 .
  • the correction unit 14 corrects the selected converted image data based on the positional deviation between the object (analog meter in FIG. 1) appearing in the master image data and the object appearing in the selected converted image data.
  • the correction unit 14 is an example of correction means.
  • the correction unit 14 receives the selected converted image data from the selection unit 13 .
  • the correction unit 14 calculates a projective transformation (geometric transformation) matrix between the selected transformed image data and the master image data. Then, using the projective transformation matrix, the correction unit 14 transforms the coordinate system of the selected transformed image data into the coordinate system of the master image data.
  • the selected transformed image data is corrected so that the shape and size of the meter appearing in the selected transformed image data approach the same as that of the meter included in the master image data.
  • FIG. 3 is a flow chart showing the flow of processing executed by each unit of the image processing apparatus 10.
  • FIG. 4 is a diagram explaining an example of the operation of the image processing apparatus 10. As shown in FIG.
  • the generation unit 11 of the image processing device 10 first acquires image data of a target obtained by photographing an object (analog meter as an example).
  • An analog meter has pointers, numbers, and a two-dimensional bar code on its front face (board). The correction of the image data of the analog meter will be described below.
  • the generation unit 11 generates a transformed image group including a plurality of transformed image data by affine transforming the image data of the analog meter (S1).
  • FIG. 4 shows a converted image group including three pieces of converted image data as an example.
  • the generation unit 11 obtains these three transformed image data by performing mutually different affine transformations on a specific pattern area in the image data of the analog meter.
  • the generator 11 may detect the pattern area in the converted image data using a technique such as the sliding window method. As shown in FIG. 4, the pattern area may be an area containing specific letters or specific numbers.
  • the calculation unit 12 calculates the correlation value between the converted image data included in the converted image group and the pre-registered master image data (S2).
  • the selection unit 13 selects the conversion image data with the maximum correlation value from the conversion image data included in the conversion image group (S3).
  • the correction unit 14 corrects the selected conversion image data based on the positional deviation between the object appearing in the master image data and the object appearing in the selected conversion image data (S4).
  • the corrected converted image data may be transmitted from the image processing device 10 to a pointer reading device (not shown).
  • the pointer reading device reads the numerical value indicated by the pointer (FIG. 4) of the analog meter in the corrected converted image data using known image recognition technology.
  • the image processing device 10 further includes a pointer reader. In this case, the pointer reading unit of the image processing device 10 reads the numerical value indicated by the pointer of the analog meter from the corrected converted image data (second embodiment).
  • the generating unit 11 generates a transformed image group including a plurality of transformed image data by affine transforming target image data.
  • the calculation unit 12 calculates a correlation value between the converted image data included in the converted image group and the pre-registered master image data.
  • the selection unit 13 selects the conversion image data having the maximum correlation value from the conversion image data included in the conversion image group.
  • the correction unit 14 corrects the selected conversion image data based on the positional deviation between the object appearing in the master image data and the object appearing in the selected conversion image data.
  • one piece of converted image data is selected from the group of converted images generated from the target image data based on the degree of correlation with the master image data.
  • the converted image data with the highest correlation value with the master image data is closest to the master image data in terms of the angle of the imaging device with respect to the meter and the distance from the imaging device to the meter.
  • Embodiment 2 will be described with reference to FIGS. 5 to 6.
  • FIG. in the second embodiment members common to those in the first embodiment are assigned the same reference numerals as those in the first embodiment, and descriptions thereof are omitted.
  • FIG. 5 is a block diagram showing the configuration of the image processing apparatus 20 according to the second embodiment.
  • the image processing device 20 includes a generator 11, a calculator 12, a selector 13, and a corrector .
  • the image processing device 20 further includes a reading section 25 .
  • the reading unit 25 reads the numerical value indicated by the pointer of the meter from the corrected converted image data.
  • the reading unit 25 is an example of reading means.
  • the reading unit 25 receives corrected converted image data from the correcting unit 14 .
  • the reading unit 25 may read the numerical value indicated by the needle of the meter from the corrected converted image data by OCR (Optical Character Recognition), or may use an estimator that performs machine learning.
  • OCR Optical Character Recognition
  • the reading unit 25 may use the image recognition technology described in Patent Document 2.
  • the reading unit 25 may transmit information indicating the numerical value indicated by the needle of the meter to a subsequent processing unit (not shown) or an external device (not shown). For example, the reading unit 25 causes the numerical value indicated by the needle of the meter to be displayed on the screen of the imaging device (FIG. 1). Alternatively, the reading unit 25 may record information indicating the numerical value indicated by the pointer of the meter in the external storage device.
  • FIG. 6 is a flow chart showing the flow of processing executed by each unit of the image processing apparatus 20. As shown in FIG. FIG. 6 is a diagram explaining an example of the operation of the image processing device 20. As shown in FIG.
  • the generating unit 11 first generates a transformed image group including a plurality of transformed image data by affine transforming the image data of the analog meter (S201). At this time, the generation unit 11 calculates a correlation value between a specific pattern area (FIG. 4) in the converted image data and a corresponding pattern area in the master image data using, for example, the phase-only correlation method. good too.
  • the calculation unit 12 calculates the correlation value between the converted image data included in the converted image group and the pre-registered master image data (S202).
  • the selection unit 13 selects the conversion image data having the maximum correlation value from the conversion image data included in the conversion image group (S203).
  • the correction unit 14 corrects the selected conversion image data based on the positional deviation between the object appearing in the master image data and the object appearing in the selected conversion image data (S204).
  • the numerical value indicated by the needle of the meter is read from the corrected converted image data (S205).
  • the generating unit 11 generates a transformed image group including a plurality of transformed image data by affine transforming target image data.
  • the calculation unit 12 calculates a correlation value between the converted image data included in the converted image group and the pre-registered master image data.
  • the selection unit 13 selects the conversion image data having the maximum correlation value from the conversion image data included in the conversion image group.
  • the correction unit 14 corrects the selected conversion image data based on the positional deviation between the object appearing in the master image data and the object appearing in the selected conversion image data.
  • one piece of converted image data is selected from the group of converted images generated from the target image data based on the degree of correlation with the master image data.
  • the converted image data with the highest correlation value with the master image data is closest to the master image data in terms of the angle of the imaging device with respect to the meter and the distance from the imaging device to the meter.
  • the reading unit 25 reads the numerical value indicated by the needle of the meter from the corrected converted image data. As a result, it is possible to reduce the work burden on the user and the work cost associated with meter management.
  • Embodiment 3 will be described with reference to FIGS. 7 to 8.
  • FIG. 3 members common to those in Embodiments 1 and 2 are assigned the same reference numerals as those in Embodiments 1 and 2, and descriptions thereof are omitted.
  • FIG. 7 is a block diagram showing the configuration of an image processing apparatus 30 according to the third embodiment.
  • the image processing device 30 includes a generator 11, a calculator 12, a selector 13, and a corrector .
  • the image processing device 30 further includes a reading section 25 , a detection section 36 and a pre-correction section 37 .
  • the detection unit 36 detects the two-dimensional barcode (Fig. 4) from the target image data.
  • the detection unit 36 is an example of detection means.
  • the detection unit 36 receives target image data from the imaging device (FIG. 1).
  • the detection unit 36 detects the two-dimensional barcode from the target image data using an image analysis technique such as pattern detection.
  • the detection unit 36 outputs to the pre-correction unit 37 information indicating the region of the two-dimensional barcode detected from the target image data together with the target image data.
  • the information indicating the area of the two-dimensional barcode is the position coordinates of the area occupied by the two-dimensional barcode in the target image data.
  • the pre-correction unit 37 pre-corrects the target image data by affine transformation or homography transformation based on the two-dimensional shape of the two-dimensional barcode.
  • the pre-correction unit 37 is an example of pre-correction means.
  • the pre-correction unit 37 receives, from the detection unit 36, information indicating the area of the two-dimensional barcode detected from the target image data.
  • the pre-correction unit 37 corrects the target image data using information indicating the area of the two-dimensional barcode.
  • the pre-correction unit 37 projectively transforms the target image data so that the position coordinates of the two-dimensional barcode in the master image data correspond to the position coordinates of the two-dimensional barcode in the target image data. do.
  • the pre-correction unit 37 outputs the target image data thus corrected to the generation unit 11 .
  • the generation unit 11 generates a transformed image group including a plurality of transformed image data by affine transforming the target image data corrected by the pre-correction unit 37 .
  • FIG. 7 is a flow chart showing the flow of processing executed by each unit of the image processing apparatus 30. As shown in FIG. FIG. 7 is a diagram for explaining an example of the operation of the image processing device 30. As shown in FIG.
  • the detection unit 36 detects a two-dimensional barcode from the target image data (S301).
  • the pre-correction unit 37 pre-corrects the target image data by affine transformation or homography transformation based on the two-dimensional shape of the two-dimensional barcode (S302).
  • the generating unit 11 generates a transformed image group including a plurality of transformed image data by affine transforming the analog meter image data (S303). At this time, the generation unit 11 calculates a correlation value between a specific pattern area (FIG. 4) in the converted image data and a corresponding pattern area in the master image data using, for example, the phase-only correlation method. good too.
  • the calculation unit 12 calculates the correlation value between the converted image data included in the converted image group and the pre-registered master image data (S304).
  • the selection unit 13 selects the conversion image data having the maximum correlation value from the conversion image data included in the conversion image group (S305).
  • the correction unit 14 corrects the selected conversion image data based on the positional deviation between the object appearing in the master image data and the object appearing in the selected conversion image data (S306).
  • the numerical value indicated by the needle of the meter is read from the corrected converted image data (S307).
  • the generating unit 11 generates a transformed image group including a plurality of transformed image data by affine transforming target image data.
  • the calculation unit 12 calculates a correlation value between the converted image data included in the converted image group and the pre-registered master image data.
  • the selection unit 13 selects the conversion image data having the maximum correlation value from the conversion image data included in the conversion image group.
  • the correction unit 14 corrects the selected conversion image data based on the positional deviation between the object appearing in the master image data and the object appearing in the selected conversion image data.
  • one piece of converted image data is selected from the group of converted images generated from the target image data based on the degree of correlation with the master image data.
  • the converted image data with the highest correlation value with the master image data is closest to the master image data in terms of the angle of the imaging device with respect to the meter and the distance from the imaging device to the meter.
  • the reading unit 25 reads the numerical value indicated by the needle of the meter from the corrected converted image data. As a result, it is possible to reduce the work burden on the user and the work cost associated with meter management.
  • the detection unit 36 detects the two-dimensional barcode from the target image data.
  • the pre-correction unit 37 pre-corrects the target image data by affine transformation or homography transformation based on the two-dimensional shape of the two-dimensional barcode. This brings the shape and size of the object in the pre-corrected image data of the object closer to the shape and size of the object in the master image data. Therefore, the target image data can be corrected more accurately as compared with the case where the pre-correction is not performed.
  • FIG. 9 is a block diagram showing an example of the hardware configuration of the information processing device 900. As shown in FIG. 9,
  • the information processing device 900 includes the following configuration as an example.
  • a program 904 that implements the function of each component is stored in advance in, for example, the storage device 905 or the ROM 902, and is loaded into the RAM 903 and executed by the CPU 901 as necessary.
  • the program 904 may be supplied to the CPU 901 via the communication network 909 or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901 .
  • the image processing apparatuses 10, 20, and 30 described in Embodiments 1 to 3 are implemented as hardware. Therefore, the same effects as those described in the above embodiment can be obtained.
  • (Appendix 1) generating means for generating a transformed image group including a plurality of transformed image data by affine transforming target image data; calculation means for calculating a correlation value between the converted image data included in the converted image group and pre-registered master image data; selecting means for selecting the transformed image data having the maximum correlation value from the transformed image data included in the transformed image group; an image processing apparatus comprising: correcting means for correcting the selected conversion image data based on a positional deviation between an object appearing in the master image data and an object appearing in the selected conversion image data.
  • the generating means generates a predetermined number of converted image data from a specific pattern area in the image data by mapping combining enlargement, reduction, rotation, and translation. Image processing device.
  • Appendix 4 The image processing apparatus according to appendix 2 or 3, wherein the pattern area is an area containing specific characters or specific numbers.
  • the correcting means projectively transforms the selected transformed image data such that the position coordinates of the object in the master image data correspond to the position coordinates of the object in the selected transformed image data. 5.
  • the image processing apparatus according to any one of additional remarks 1 to 4.
  • Appendix 6 The image processing apparatus according to any one of appendices 1 to 5, further comprising reading means for reading a numerical value indicated by a pointer provided on the object from the corrected converted image data.
  • (Appendix 9) generating a transformed image group including a plurality of transformed image data by affine transforming target image data; calculating a correlation value between an object appearing in the transformed image data included in the transformed image group and an object appearing in pre-registered master image data; selecting the transformed image data having the maximum correlation value from the transformed image data included in the transformed image group;
  • An image processing method comprising correcting the selected conversion image data based on a positional deviation between an object appearing in the master image data and an object appearing in the selected conversion image data.
  • Appendix 10 a process of generating a transformed image group including a plurality of transformed image data by affine transforming target image data; a process of calculating a correlation value between the transformed image data included in the transformed image group and pre-registered master image data; a process of selecting the transformed image data having the maximum correlation value from the transformed image data included in the transformed image group; A program for causing a computer to execute a process of correcting the selected conversion image data based on the positional deviation between the object appearing in the master image data and the object appearing in the selected conversion image data.
  • the generating means repeats generating a predetermined number of pieces of converted image data from the image data until the numerical value indicated by the pointer of the object is successfully read from the corrected converted image data. 7.
  • the image processing device according to any one of appendices 1 to 6.
  • the present invention can be used, for example, in an image processing device that reads the numerical value indicated by the needle of the meter from the image data obtained by photographing the analog meter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

マスタ画像データを用いて、対象の画像データを補正する精度を向上させる。生成部（１１）は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成し、計算部（１２）は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算し、選択部（１３）は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択し、補正部（１４）は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。

Description

画像処理装置、画像処理方法、および記録媒体
　本発明は、画像処理装置、画像処理方法、および記録媒体に関し、特に、撮像機器から取得した画像データを補正する画像処理装置、画像処理方法、および記録媒体に関する。
　予め登録されたレファレンス画像データ（マスタ画像データと呼ぶ）を使って、対象の画像データを補正する手法が知られている。その一例が、特許文献１に記載されている。
　特許文献１に記載の関連する技術では、アナログメータを撮影することによって得られた画像データから、アナログメータに付加された二次元バーコードを検出する。そして、対象の画像データにおける二次元バーコードが、マスタ画像データにおける二次元バーコードと等しい大きさかつ同一の形状になるように、対象の画像データを１次補正する。
　さらに、特許文献１に記載の関連する技術では、１次補正した画像データから、アナログメータの盤面に描かれた特定のパターン（例えば、文字または数字）を含むいくつかの領域を切り出す。続いて、位相限定相関法を用いて、マスタ画像データの対応する領域に対する、１次補正した画像データから切り出した領域の位置ずれを計算する。その後、計算した位置ずれに基づいて、画像データを２次補正する。
国際公開第ＷＯ２０２０／１７５５６６号 特開２０２０－１６６５８７号公報
　アナログメータなどの物体を正面から撮影することによって得られたマスタ画像データが予め登録されているとする。ユーザが、撮像機器を手に持って、同じ物体を撮影したとき、撮影方向が物体の正面に対して傾斜する場合がある。この場合、対象の画像データに写る物体と、予め登録されたマスタ画像データに写る物体との間で、物体の位置、大きさ、および形状のずれが生じる。その結果、マスタ画像データに基づいて、対象の画像データを正確に補正できない可能性がある。
　本発明は、上記の課題に鑑みてなされたものであり、その目的は、マスタ画像データを用いて、対象の画像データを補正する精度を向上させることにある。
　本発明の一態様に係わる画像処理装置は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する生成手段と、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する計算手段と、前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する選択手段と、前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する補正手段とを備えている。
　本発明の一態様に係わる画像処理方法では、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成し、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算し、前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択し、前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する。
　本発明の一態様に係わる記録媒体は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する処理と、前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する処理と、前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する処理と、前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する処理とをコンピュータに実行させるためのプログラムを格納している。
　本発明の一態様によれば、マスタ画像データを用いて、対象の画像データを補正する精度を向上させることができる。
撮像機器による物体（アナログメータ）の撮影と、撮像機器から実施形態１～３のいずれかに係わる画像処理装置への画像データの送信とを模式的に示す図である。 実施形態１に係わる画像処理装置の構成を示すブロック図である。 実施形態１に係わる画像処理装置の動作を示すフローチャートである。 実施形態１に係わる画像処理装置の動作の流れの一例を説明する図である。 実施形態２に係わる画像処理装置の構成を示すブロック図である。 実施形態２に係わる画像処理装置の動作を示すフローチャートである。 実施形態３に係わる画像処理装置の構成を示すブロック図である。 実施形態３に係わる画像処理装置の動作を示すフローチャートである。 実施形態１～３に係わる画像処理装置のハードウェア構成の一例を示す図である。
　（全ての実施形態に共通）
　図１は、ユーザが撮像機器を持って、対象である物体（図１では、一例としてアナログメータを示す）の撮影を行う様子を示す。図１では、撮像機器から、実施形態１～３のいずれかに係わる画像処理装置１０，２０，３０のいずれかへ、撮像機器が撮影した対象の画像データが送信される。以下では、「画像処理装置１０，２０，３０のいずれか」を「画像処理装置１０（２０，３０）」と表記する。撮像機器から画像処理装置１０（２０，３０）へ送信される画像データを、以下では「対象の画像データ」と呼ぶ。対象の画像データは、物体（図１ではアナログメータ）を撮影することによって得られる。
　図１に示すように、撮像機器は、ユーザが所持する情報デバイスである。例えば、撮像機器は、スマートフォンまたはタブレット端末である。撮像機器は、Ｗｉ－Ｆｉ（登録商標）あるいはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により、画像処理装置１０（２０，３０）と接続する。
　撮像機器には、画像処理装置１０（２０，３０）を遠隔操作するためのアプリケーションがインストールされている。ユーザは、画像処理装置１０（２０，３０）への指示をアプリケーションのＵＩ（User Interface）に入力することにより、撮像機器から画像処理装置１０（２０，３０）へ、指示コマンドが送信される。これにより、ユーザは、撮像機器を用いて、画像処理装置１０（２０，３０）を遠隔操作することができる。
　一変形例では、撮像機器と画像処理装置１０（２０，３０）とが一体となっていてもよい。換言すれば、後述する画像処理装置１０（２０，３０）が実行する処理は、撮像機器が有する情報処理機能の一部として実現されてもよい。
　物体（図１ではアナログメータ）は、撮像機器によって撮影される。物体の種類は特に限定されないが、アナログメータ以外の例は、ポスター、カレンダー、または書籍の背表紙など、文字や記号が配列されたものである。あるいは、その他の例は、モニターや窓など、風景を見通すものである。しかしながら、物体の種類は、上記の例に限定されない。
　〔実施形態１〕
　図２から図４までを参照して、実施形態１について説明する。
　（画像処理装置１０）
　図２は、本実施形態１に係わる画像処理装置１０の構成を示すブロック図である。図２に示すように、画像処理装置１０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。
　生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。生成部１１は、生成手段の一例である。
　一例では、生成部１１は、撮像機器（図１）から、対象の画像データを取得する。対象の画像データは、物体（図１ではアナログメータ）を撮影することによって得られた、すなわち、画像データ中にアナログメータが写っている。生成部１１は、対象の画像データに対して１回のアフィン変換を行うことによって、対象の画像データの座標に対し、３×３の行列演算を行うことによって、対象の画像データの座標を変換先データの座標に変換し、１枚の変換画像データを得る。アフィン変換は、線形変換（すなわち行列演算）と平行移動の組み合わせである。
　あるいは、生成部１１は、対象の画像データから、複数枚の画像データを得てもよい。この場合、生成部１１は、取得した対象の画像データに対し、互いに異なるアフィン変換を実行することによって、複数の変換画像データを生成する。
　具体的には、生成部１１は、画像の拡大、縮小、回転、および平行移動を組み合わせた写像（異なるアフィン変換）によって、対象の画像データから、所定の枚数の変換画像データを生成する。生成部１１は、このようにして生成した複数の変換画像データを含む変換画像群を、計算部１２へ出力する。
　計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。計算部１２は、計算手段の一例である。
　一例では、計算部１２は、位相限定相関法を用いて、変換画像データとマスタ画像データとの間の相関値を計算する。その他の例では、計算部１２は、色相、輝度値、および／またはパターンをパラメータとする任意の手法を用いて、変換画像データの画素値とマスタ画像データの画素値との間の相関係数（相関値の一例である）を計算する。具体的には、計算部１２は、SAD（Sum of Absolute Difference）、SSD（Sum of Squared Difference）、またはNCC（Normalized Cross-Correlation）を用いることができる。
　計算部１２は、上述のようにして、変換画像群に含まれる各変換画像データと、予め登録されたマスタ画像データとの間の相関値をそれぞれ計算する。そして、計算部１２は、変換画像群に含まれる全ての変換画像データについて相関値を計算したのち、対応する変換画像データと紐づけた相関値のデータを、選択部１３へ出力する。
　選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。選択部１３は、選択手段の一例である。
　一例では、選択部１３は、計算部１２から、変換画像群に含まれる全ての変換画像データについて計算した相関値のデータを受信する。選択部１３は、相関値の間の大小関係に基づいて、変換画像群に含まれる全ての変換画像データの中から、一つの変換画像データを選択する。
　具体的には、選択部１３は、変換画像群に含まれる全ての変換画像データのうち、マスタ画像データとの相関値が最も大きくなる変換画像データを選択する。選択部１３は、選択された変換画像データを補正部１４へ出力する。
　補正部１４は、マスタ画像データに写る物体（図１ではアナログメータ）と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。補正部１４は、補正手段の一例である。
　一例では、補正部１４は、選択部１３から、選択された変換画像データを受信する。補正部１４は、選択された変換画像データと、マスタ画像データとの間で、射影変換（幾何学的変換）行列を計算する。そして、補正部１４は、射影変換行列を用いて、選択された変換画像データの座標系を、マスタ画像データの座標系に変換する。
　射影変換行列を用いる演算により、選択された変換画像データに写るメータの形状および大きさが、マスタ画像データに含まれるメータのそれと同等に近づくように、選択された変換画像データは補正される。
　（画像処理装置１０の動作）
　図３および図４を参照して、本実施形態１に係わる画像処理装置１０の動作を説明する。図３は、画像処理装置１０の各部が実行する処理の流れを示すフローチャートである。図４は、画像処理装置１０の動作の一例を説明する図である。
　図４に示すように、まず、画像処理装置１０の生成部１１は、物体（一例としてアナログメータ）を撮影することによって得られた対象の画像データを取得する。アナログメータの正面（盤面）には、指針、数字、および二次元バーコードが配置されている。以下では、このアナログメータの画像データの補正について説明する。
　図３に示すように、まず、生成部１１は、アナログメータの画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する（Ｓ１）。図４では、３つの変換画像データを含む変換画像群が一例として示されている。一例では、生成部１１は、アナログメータの画像データにおける特定のパターン領域に対し、互いに異なるアフィン変換を行うことによって、これらの３つの変換画像データを得る。生成部１１は、スライディング・ウィンドウ法などの手法を用いて、変換画像データにおけるパターン領域を検出してもよい。図４に示すように、パターン領域は、特定の文字または特定の数字を含む領域であってよい。
　次に、計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する（Ｓ２）。
　続いて、選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する（Ｓ３）。
　その後、補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する（Ｓ４）。
　以上で、本実施形態１に係わる画像処理装置１０の動作は終了する。
　（変形例）
　一変形例では、ステップＳ４の後、補正された変換画像データは、画像処理装置１０から、図示しない指針読取装置へ送信されてもよい。指針読取装置は、補正された変換画像データにおいて、既知の画像認識技術により、アナログメータの指針（図４）が指し示す数値を読み取る。他の変形例では、画像処理装置１０が、指針読取部をさらに備えている。この場合、画像処理装置１０の指針読取部が、補正された変換画像データから、アナログメータの指針が指し示す数値を読み取る（実施形態２）。
　（本実施形態の効果）
　本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
　このように、対象の画像データから生成した変換画像群の中から、マスタ画像データとの相関の大きさに基づき、１つの変換画像データを選択する。マスタ画像データとの相関値が最も大きい変換画像データは、メータに対する撮像機器の角度、および撮像機器からメータまでの距離の観点で、マスタ画像データと最も近しい。マスタ画像データと相関値の高い変換画像データを選択することにより、マスタ画像データを用いて対象の画像データを補正する精度を向上させることができる。
　〔実施形態２〕
　図５から図６までを参照して、実施形態２について説明する。本実施形態２では、前記実施形態１と共通する部材については、前記実施形態１と同符号を用いて、その説明を省略する。
　（画像処理装置２０）
　図５は、本実施形態２に係わる画像処理装置２０の構成を示すブロック図である。図５に示すように、画像処理装置２０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。画像処理装置２０は、読取部２５をさらに備えている。
　読取部２５は、補正した変換画像データから、メータの指針が指し示す数値を読み取る。読取部２５は、読取手段の一例である。
　一例では、読取部２５は、補正部１４から、補正した変換画像データを受信する。読取部２５は、ＯＣＲ（Optical character recognition）により、補正した変換画像データから、メータの指針が指し示す数値を読み取ってもよいし、機械学習を行った推定器を用いてもよい。または、読取部２５は、特許文献２に記載された画像認識技術を使用してもよい。
　読取部２５は、メータの指針が指し示す数値を示す情報を、図示しない後段の処理部、あるいは図示しない外部装置へ送信してもよい。例えば、読取部２５は、メータの指針が指し示す数値を、撮像機器（図１）の画面に表示させる。あるいは、読取部２５は、メータの指針が指し示す数値を示す情報を、外部記憶装置に記録してもよい。
　（画像処理装置２０の動作）
　図６を参照して、本実施形態２に係わる画像処理装置２０の動作を説明する。図６は、画像処理装置２０の各部が実行する処理の流れを示すフローチャートである。図６は、画像処理装置２０の動作の一例を説明する図である。
　図６に示すように、まず、生成部１１は、アナログメータの画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する（Ｓ２０１）。このとき、生成部１１は、例えば位相限定相関法を用いて、変換画像データにおける特定のパターン領域（図４）と、マスタ画像データにおける対応するパターン領域との間で、相関値を計算してもよい。
　次に、計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する（Ｓ２０２）。
　続いて、選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する（Ｓ２０３）。
　その後、補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する（Ｓ２０４）。
　補正した変換画像データから、メータの指針が指し示す数値を読み取る（Ｓ２０５）。
　以上で、本実施形態２に係わる画像処理装置２０の動作は終了する。
　（本実施形態の効果）
　本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
　このように、対象の画像データから生成した変換画像群の中から、マスタ画像データとの相関の大きさに基づき、１つの変換画像データを選択する。マスタ画像データとの相関値が最も大きい変換画像データは、メータに対する撮像機器の角度、および撮像機器からメータまでの距離の観点で、マスタ画像データと最も近しい。マスタ画像データと相関値の高い変換画像データを選択することにより、マスタ画像データを用いて対象の画像データを補正する精度を向上させることができる。
　さらに、本実施形態の構成によれば、読取部２５は、補正した変換画像データから、メータの指針が指し示す数値を読み取る。これにより、メータの管理に係るユーザの作業負担を低減し、かつ作業コストを低減することができる。
　〔実施形態３〕
　図７から図８までを参照して、実施形態３について説明する。本実施形態３では、前記実施形態１または２と共通する部材については、前記実施形態１または２と同符号を用いて、その説明を省略する。
　（画像処理装置３０）
　図７は、本実施形態３に係わる画像処理装置３０の構成を示すブロック図である。図７に示すように、画像処理装置３０は、生成部１１、計算部１２、選択部１３、および補正部１４を備えている。画像処理装置３０は、読取部２５、検出部３６、および事前補正部３７をさらに備えている。
　検出部３６は、対象の画像データから二次元バーコード（図４）を検出する。検出部３６は、検出手段の一例である。
　一例では、検出部３６は、撮像機器（図１）から、対象の画像データを受信する。検出部３６は、パターン検出などの画像分析技術を用いて、対象の画像データから、二次元バーコードを検出する。検出部３６は、対象の画像データとともに、対象の画像データから検出した二次元バーコードの領域を指し示す情報を、事前補正部３７へ出力する。
　二次元バーコードの領域を指し示す情報とは、対象の画像データにおいて、二次元バーコードが占有する領域の位置座標である。
　事前補正部３７は、二次元バーコードの二次元形状に基づき、アフィン変換もしくはホモグラフィー変換により、対象の画像データを事前補正する。事前補正部３７は、事前補正手段の一例である。
　一例では、事前補正部３７は、検出部３６から、対象の画像データから検出した二次元バーコードの領域を指し示す情報を受信する。事前補正部３７は、二次元バーコードの領域を指し示す情報を用いて、対象の画像データを補正する。
　具体的には、事前補正部３７は、マスタ画像データにおける二次元バーコードの位置座標と、対象の画像データにおける二次元バーコードの位置座標とが対応するように、対象の画像データを射影変換する。事前補正部３７は、このようにして補正した対象の画像データを、生成部１１へ出力する。
　本実施形態３では、生成部１１は、事前補正部３７により補正された対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。
　（画像処理装置３０の動作）
　図７を参照して、本実施形態３に係わる画像処理装置３０の動作を説明する。図７は、画像処理装置３０の各部が実行する処理の流れを示すフローチャートである。図７は、画像処理装置３０の動作の一例を説明する図である。
　図７に示すように、検出部３６は、対象の画像データから二次元バーコードを検出する（Ｓ３０１）。
　事前補正部３７は、二次元バーコードの二次元形状に基づき、アフィン変換もしくはホモグラフィー変換により、対象の画像データを事前補正する（Ｓ３０２）。
　生成部１１は、アナログメータの画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する（Ｓ３０３）。このとき、生成部１１は、例えば位相限定相関法を用いて、変換画像データにおける特定のパターン領域（図４）と、マスタ画像データにおける対応するパターン領域との間で、相関値を計算してもよい。
　次に、計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する（Ｓ３０４）。
　続いて、選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する（Ｓ３０５）。
　その後、補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する（Ｓ３０６）。
　補正した変換画像データから、メータの指針が指し示す数値を読み取る（Ｓ３０７）。
　以上で、本実施形態３に係わる画像処理装置３０の動作は終了する。
　（本実施形態の効果）
　本実施形態の構成によれば、生成部１１は、対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する。計算部１２は、変換画像群に含まれる変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する。選択部１３は、変換画像群に含まれる変換画像データの中から、相関値が最大である変換画像データを選択する。補正部１４は、マスタ画像データに写る物体と、選択された変換画像データに写る物体との間の位置ずれに基づいて、選択された変換画像データを補正する。
　このように、対象の画像データから生成した変換画像群の中から、マスタ画像データとの相関の大きさに基づき、１つの変換画像データを選択する。マスタ画像データとの相関値が最も大きい変換画像データは、メータに対する撮像機器の角度、および撮像機器からメータまでの距離の観点で、マスタ画像データと最も近しい。マスタ画像データと相関値の高い変換画像データを選択することにより、マスタ画像データを用いて対象の画像データを補正する精度を向上させることができる。
　さらに、本実施形態の構成によれば、読取部２５は、補正した変換画像データから、メータの指針が指し示す数値を読み取る。これにより、メータの管理に係るユーザの作業負担を低減し、かつ作業コストを低減することができる。
　さらに、本実施形態の構成によれば、検出部３６は、対象の画像データから二次元バーコードを検出する。事前補正部３７は、二次元バーコードの二次元形状に基づき、アフィン変換もしくはホモグラフィー変換により、対象の画像データを事前補正する。これにより、事前補正された対象の画像データにおける対象の形状および大きさが、マスタ画像データにおける対象の形状および大きさに近づく。そのため、事前補正されない場合と比較して、対象の画像データをより正確に補正することができる。
　（ハードウェア構成について）
　前記実施形態１～３で説明した画像処理装置１０，２０，３０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図９に示すような情報処理装置９００により実現される。図９は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。
　図９に示すように、情報処理装置９００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　前記実施形態１～３で説明した画像処理装置１０，２０，３０の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　上記の構成によれば、前記実施形態１～３において説明した画像処理装置１０，２０，３０が、ハードウェアとして実現される。したがって、前記実施形態において説明した効果と同様の効果を奏することができる。
　〔付記〕
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　　（付記１）
　対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する生成手段と、
　前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する計算手段と、
　前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する選択手段と、
　前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する補正手段と
　を備えた画像処理装置。
　　（付記２）
　前記生成手段は、拡大、縮小、回転、および平行移動を組み合わせた写像によって、前記画像データにおける特定のパターン領域から、所定の枚数の変換画像データを生成する
　ことを特徴とする付記１に記載の画像処理装置。
　　（付記３）
　前記生成手段は、前記変換画像データにおける特定のパターン領域の画素値と、前記マスタ画像データにおける対応するパターン領域の画素値との間で、前記相関値を計算する
　ことを特徴とする付記１または２に記載の画像処理装置。
　　（付記４）
　前記パターン領域は、特定の文字または特定の数字を含む領域である
　ことを特徴とする付記２または３に記載の画像処理装置。
　　（付記５）
　前記補正手段は、前記マスタ画像データにおける物体の位置座標と、前記選択された変換画像データにおける前記物体の位置座標とが対応するように、前記選択された変換画像データを射影変換する
　ことを特徴とする付記１から４のいずれか１項に記載の画像処理装置。
　　（付記６）
　　前記補正した変換画像データから、物体に設けられた指針が指し示す数値を読み取る読取手段をさらに備えた
　ことを特徴とする付記１から５のいずれか１項に記載の画像処理装置。
　　（付記７）
　前記変換画像群に含まれる少なくともいずれか１つの変換画像データと、予め登録されたマスタ画像データとの間の相関値が閾値を上回るまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返す
　ことを特徴とする付記６に記載の画像処理装置。
　　（付記８）
　前記対象の画像データから二次元バーコードを検出する検出手段と、
　前記二次元バーコードの二次元形状に基づき、前記アフィン変換もしくはホモグラフィー変換により、前記対象の画像データを事前補正する事前補正手段とをさらに備えた
　ことを特徴とする付記１から７のいずれか１項に記載の画像処理装置。
　　（付記９）
　対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成し、
　前記変換画像群に含まれる前記変換画像データに写る物体と、予め登録されたマスタ画像データに写る物体との間の相関値を計算し、
　前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択し、
　前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する
　画像処理方法。
　　（付記１０）
　対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する処理と、
　前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する処理と、
　前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する処理と、
　前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する処理と
　をコンピュータに実行させるためのプログラム。
　　（付記１１）
　前記補正した変換画像データから、物体の指針が指し示す数値を読み取ることに成功するまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返す
　ことを特徴とする付記１から６のいずれか１項に記載の画像処理装置。
　　（付記１２）
　前記生成手段は、前記事前補正された前記画像データをアフィン変換することによって、前記複数の変換画像データを含む前記変換画像群を生成する
　ことを特徴とする付記８に記載の画像処理装置。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２１年２月２５日に出願された日本出願特願２０２１－０２８０３５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、アナログメータを撮影することによって得られた画像データから、メータの指針が指し示す数値を読み取る画像処理装置に利用することができる。
　　１０　画像処理装置
　　１１　生成部
　　１２　計算部
　　１３　選択部
　　１４　補正部
　　２０　画像処理装置
　　２５　読取部
　　３０　画像処理装置
　　３６　検出部
　　３７　事前補正部

Claims (12)

  1. 　対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する生成手段と、
    　前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する計算手段と、
    　前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する選択手段と、
    　前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する補正手段と
    　を備えた画像処理装置。
  2. 　前記生成手段は、拡大、縮小、回転、および平行移動を組み合わせた写像によって、前記画像データにおける特定のパターン領域から、所定の枚数の変換画像データを生成する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記生成手段は、前記変換画像データにおける特定のパターン領域の画素値と、前記マスタ画像データにおける対応するパターン領域の画素値との間で、前記相関値を計算する
    　ことを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記パターン領域は、特定の文字または特定の数字を含む領域である
    　ことを特徴とする請求項２または３に記載の画像処理装置。
  5. 　前記補正手段は、前記マスタ画像データにおける物体の位置座標と、前記選択された変換画像データにおける前記物体の位置座標とが対応するように、前記選択された変換画像データを射影変換する
    　ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記補正した変換画像データから、物体の指針が指し示す数値を読み取る読取手段をさらに備えた
    　ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記変換画像群に含まれる少なくともいずれか１つの変換画像データと、予め登録されたマスタ画像データとの間の相関値が閾値を上回るまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返す
    　ことを特徴とする請求項６に記載の画像処理装置。
  8. 　前記対象の画像データから二次元バーコードを検出する検出手段と、
    　前記二次元バーコードの二次元形状に基づき、前記アフィン変換を行う前に、前記対象の画像データを事前補正する事前補正手段とをさらに備えた
    　ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記補正した変換画像データから、物体の指針が指し示す数値を読み取ることに成功するまで、前記生成手段は、前記画像データから、所定の枚数の変換画像データを生成することを繰り返す
    　ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  10. 　前記生成手段は、前記事前補正された前記画像データをアフィン変換することによって、前記複数の変換画像データを含む前記変換画像群を生成する
    　ことを特徴とする請求項８に記載の画像処理装置。
  11. 　対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成し、
    　前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算し、
    　前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択し、
    　前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する
    　画像処理方法。
  12. 　対象の画像データをアフィン変換することによって、複数の変換画像データを含む変換画像群を生成する処理と、
    　前記変換画像群に含まれる前記変換画像データと、予め登録されたマスタ画像データとの間の相関値を計算する処理と、
    　前記変換画像群に含まれる前記変換画像データの中から、前記相関値が最大である変換画像データを選択する処理と、
    　前記マスタ画像データに写る物体と、前記選択された変換画像データに写る物体との間の位置ずれに基づいて、前記選択された変換画像データを補正する処理と
    　をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。
PCT/JP2021/042958 2021-02-25 2021-11-24 画像処理装置、画像処理方法、および記録媒体 WO2022180963A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/276,183 US20240104752A1 (en) 2021-02-25 2021-11-24 Image processing device, image processing method, and recording medium
JP2023502073A JPWO2022180963A5 (ja) 2021-11-24 画像処理装置、画像処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-028035 2021-02-25
JP2021028035 2021-02-25

Publications (1)

Publication Number Publication Date
WO2022180963A1 true WO2022180963A1 (ja) 2022-09-01

Family

ID=83047928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042958 WO2022180963A1 (ja) 2021-02-25 2021-11-24 画像処理装置、画像処理方法、および記録媒体

Country Status (2)

Country Link
US (1) US20240104752A1 (ja)
WO (1) WO2022180963A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065812A (ja) * 2001-08-21 2003-03-05 National Aerospace Laboratory Of Japan 計器表示の画像情報に基く数値データ化システム
WO2020175566A1 (ja) * 2019-02-27 2020-09-03 日本電気株式会社 画像処理装置、画像処理方法、記録媒体
JP2020166587A (ja) * 2019-03-29 2020-10-08 株式会社日立システムズ メータ読み取り作業装置および方法ならびにメータ読み取り作業システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065812A (ja) * 2001-08-21 2003-03-05 National Aerospace Laboratory Of Japan 計器表示の画像情報に基く数値データ化システム
WO2020175566A1 (ja) * 2019-02-27 2020-09-03 日本電気株式会社 画像処理装置、画像処理方法、記録媒体
JP2020166587A (ja) * 2019-03-29 2020-10-08 株式会社日立システムズ メータ読み取り作業装置および方法ならびにメータ読み取り作業システム

Also Published As

Publication number Publication date
JPWO2022180963A1 (ja) 2022-09-01
US20240104752A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
US9338439B2 (en) Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
US9251411B2 (en) Augmented-reality signature capture
US8953057B2 (en) Display apparatus with image-capturing function, image processing apparatus, image processing method, and image display system
JP5560721B2 (ja) 画像処理装置、画像表示システム、及び画像処理方法
EP2926549A1 (en) Image correction system, image correction method, and computer program product
KR102268878B1 (ko) 카메라 교정
CA2850854A1 (en) Image registration method and system robust to noise
US20120140996A1 (en) Striped pattern image examination support device, striped pattern image examination support method and program
US20190005323A1 (en) Information processing apparatus for tracking processing
Zheng Spatio-temporal registration in augmented reality
US20140168078A1 (en) Electronic device and information processing method
WO2022180963A1 (ja) 画像処理装置、画像処理方法、および記録媒体
CN113485618A (zh) 自定义识别模板的生成方法、证件的识别方法以及装置
JP6326082B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、方法、及びプログラム
WO2017179543A1 (ja) 情報処理装置、情報処理方法及びプログラム記録媒体
JP2018125658A (ja) カメラ機能を有する携帯可能な情報処理装置、その表示制御方法、及びプログラム
JP4552685B2 (ja) 座標検出装置および座標検出方法
JP2005182098A (ja) 合成画像を生成・表示する装置及び方法
JP2017120455A (ja) 情報処理装置、プログラム及び制御方法
US20180365516A1 (en) Template creation apparatus, object recognition processing apparatus, template creation method, and program
US11663752B1 (en) Augmented reality processing device and method
JP2020119001A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022099492A1 (zh) 图像的处理方法、装置、设备以及存储介质
WO2023007730A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
CN112800807B (zh) 版面图像的识别方法、识别装置、计算设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21928057

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502073

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18276183

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21928057

Country of ref document: EP

Kind code of ref document: A1