WO2020075237A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020075237A1
WO2020075237A1 PCT/JP2018/037717 JP2018037717W WO2020075237A1 WO 2020075237 A1 WO2020075237 A1 WO 2020075237A1 JP 2018037717 W JP2018037717 W JP 2018037717W WO 2020075237 A1 WO2020075237 A1 WO 2020075237A1
Authority
WO
WIPO (PCT)
Prior art keywords
dissimilarity
image
image processing
unit
normalized
Prior art date
Application number
PCT/JP2018/037717
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/281,717 priority Critical patent/US11475233B2/en
Priority to PCT/JP2018/037717 priority patent/WO2020075237A1/ja
Priority to JP2020549880A priority patent/JP7099538B2/ja
Publication of WO2020075237A1 publication Critical patent/WO2020075237A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation

Definitions

  • the present invention relates to an image processing device and an image processing method for determining the degree of similarity of a plurality of types of images.
  • a far-infrared image is taken as an example of an image different from the visible image.
  • a camera that outputs a far-infrared image (which is a different modal) is installed independently of a camera that outputs a visible image. Therefore, parallax occurs between the image output by another modal and the visible image. That is, the position of a certain object in the visible image and the position in the far infrared image are displaced.
  • Non-Patent Document 1 describes a method for avoiding the problem of misalignment by using data from which parallax due to a special device has been removed.
  • Non-Patent Document 2 discloses a process of calculating the similarity between a pair of a certain image and another image that has been translated in the x direction (image pair), and a filtering process and an optimizing process for high quality.
  • a method for obtaining the parallax and the amount of deformation in combination is disclosed.
  • As the degree of similarity sum of absolute differences between pixel values, mutual information amount, normal mutual correlation, etc. are used.
  • Non-Patent Document 2 describes a method of generating a cost volume for each pixel, filtering the cost volume, and adopting a parallax that gives a minimum cost.
  • the cost volume is a set in which costs representing how different the pixel values of corresponding pixels in the standard image and the reference image are, are distributed in the horizontal direction, the vertical direction, and the parallax direction. is there.
  • a special device is required to realize an image processing device that implements the method described in Non-Patent Document 1. Then, the image processing device becomes expensive.
  • indices such as the sum of absolute pixel values, mutual information, and normal cross-correlation are used.
  • the optimal method differs depending on the image of. For example, when the image pair is composed of two visible images, the sum of absolute pixel values is an effective index. However, when the image pair is composed of a visible image and a far infrared image, the sum of absolute pixel values cannot be said to be an effective index. This is because, in general, the value range of the visible image is different from the value range of the far-infrared image, and the sum of absolute differences between the pixel value of the visible image and the pixel value of the far-infrared image becomes a large value.
  • An object of the present invention is to provide an image processing device and an image processing method capable of detecting the similarity with high accuracy regardless of the types of images forming the image group whose similarity is to be evaluated.
  • the image processing apparatus transforms any one of two or more images forming an image group by one or more transformation methods, and transforms the plurality of images by using a plurality of types of similarity evaluation methods.
  • Difference calculation means for calculating the difference between each image and the other image in the image group for each pixel, a normalization means for normalizing the difference according to each similarity evaluation method, and And a dissimilarity integrating means for integrating the dissimilarities of the respective items.
  • the image processing method transforms any one of two or more images constituting an image group by one or more transformation methods, and transforms it using a plurality of types of similarity evaluation methods.
  • the degree of difference between the generated image and other images in the image group is calculated for each pixel, the degree of difference by the method for evaluating the degree of similarity is normalized, and the normalized degrees of difference are integrated.
  • the image processing program causes a computer to transform any one of two or more images constituting an image group by one or more transformation methods and use a method for evaluating a plurality of types of similarities.
  • the similarity is detected with high accuracy regardless of the types of images forming the image group whose similarity is to be evaluated.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus.
  • the image processing apparatus 100 includes an image input unit 101, a dissimilarity calculation unit 201, a normalization unit 202, a dissimilarity smoothing unit 203, a dissimilarity integration unit 204, an integrated dissimilarity smoothing unit 205, and a modification.
  • An amount calculation unit 206 and an output unit 301 are provided.
  • the image input unit 101 inputs a plurality of images acquired by one or more cameras (not shown) or sensors (not shown).
  • the plurality of images form an image group for which parallax and deformation amount are to be obtained.
  • the image input unit 101 receives one or more images and measurement values obtained by a camera, a sensor for measurement, or the like.
  • the input image is not limited to a visible image from a visible light camera or a visible light sensor or a measured value.
  • an image acquired by a camera or sensor other than the visible light camera or the visible light sensor may be input.
  • a temperature image or a depth image may be input.
  • the image input unit 101 may perform image processing such as tone mapping processing, super-resolution processing, blur removal processing, and image fusion processing on the input image for the purpose of noise removal and the like.
  • the dissimilarity calculation unit 201 transforms one of the image groups input to the image input unit 101 by one or more transformation methods.
  • the dissimilarity calculation unit 201 further evaluates the similarity between the deformed image and the other images.
  • the dissimilarity calculation unit 201 shifts the images other than the one image in the image group, and then performs a plurality of similarity calculation methods such as normalized cross-correlation between images, sum of absolute differences, and phase-only correlation.
  • the degree of difference (or the degree of similarity) between the images is calculated using (a method for evaluating the degree of similarity).
  • the dissimilarity calculation unit 201 calculates the cost volume that is a value corresponding to the dissimilarity.
  • the normalization unit 202 normalizes the cost volume based on the dissimilarity calculated by each similarity calculation method by a voting method.
  • the difference smoothing unit 203 smoothes each normalized cost volume.
  • the difference integration unit 204 integrates the cost volumes smoothed by the difference smoothing unit 203.
  • the integrated dissimilarity smoothing unit 205 smoothes the integrated dissimilarity (integrated dissimilarity).
  • the deformation amount calculation unit 206 finds the parallax and the deformation amount by searching the minimum value for each pixel from the smoothed dissimilarity.
  • the output unit 301 outputs the parallax between images and the deformation amount calculated by the deformation amount calculation unit 206.
  • the image input unit 101 inputs a plurality of images or measurement values (step S101).
  • the image input unit 101 stores the input image or measurement value in a memory (not shown) or the like.
  • the image input by the image input unit 101 is not limited to the image from the camera.
  • the processing result during the deep learning may be input as a multi-channel image (a plurality of images).
  • vector data (velocity field, density field, etc.) calculated by numerical simulation or the like may be input as multi-channel images (plural images).
  • the dissimilarity calculation unit 201 transforms any one of the plurality of images input to the image input unit 101 by one or more transformation methods.
  • the case where the image group includes two images is taken as an example. That is, the image pair is input to the image input unit 101.
  • the dissimilarity calculation unit 201 transforms one of the images forming the image pair.
  • the dissimilarity calculation unit 201 calculates the dissimilarity between the deformed image and the other images (step S102).
  • the image that is not transformed in the image pair is called the reference image.
  • the transformed image is called a reference image.
  • the reference image is I (j).
  • j shows a pixel (specifically, a pixel position).
  • the reference image is J (j).
  • the dissimilarity calculation unit 201 subjects the reference image J (j) to geometrical transformation such as parallel movement. For example, when parallel translation is performed, the dissimilarity calculation unit 201 determines “1 pixel on the right”, “2 pixels on the right”, “3 pixels on the right”, and “no deformation” as the translation amount ( Do not move), "1 pixel to the left", “2 pixels to the left”, “3 pixels to the left”, etc. are used. In this case, one reference image is deformed to generate a plurality of types of images that are deformed in seven types of deformation methods (including “no deformation”). The dissimilarity calculation unit 201 stores the generated deformed image in a memory (not shown).
  • the transformed reference image is called a transformed image.
  • the transformed image is represented as K (j, n).
  • n is a value for identifying the method of deformation (specifically, the amount of deformation).
  • “1 pixel on the right”, “2 pixels on the right”, “3 pixels on the right”, “no deformation”, "1 pixel on the left”, “2 pixels on the left”, “3 pixels on the left” N corresponds to any value from 1 to 7.
  • the deformation performed by the dissimilarity calculation unit 201 is not limited to parallel movement.
  • the dissimilarity calculation unit 201 may transform the reference image by using homography transformation, affine transformation, or Helmert transformation.
  • the dissimilarity calculation unit 201 prepares a plurality of types of parameters (for example, eight parameters in the case of homography transformation) that characterize each transformation, and transforms the image for each parameter to obtain a plurality of types of transformed images. May be generated.
  • the dissimilarity calculation unit 201 may generate a converted image by, for example, individually providing a plurality of types of positional displacement amounts for each pixel and deforming the image for each of a plurality of types of positional displacement amounts.
  • the dissimilarity calculation unit 201 may select the deformation method according to the characteristics of the installed camera. As an example, when the cameras are lined up side by side, a deformed image in which each pixel is translated around the epipolar line corresponding to these camera arrangements may be used.
  • the dissimilarity calculation unit 201 calculates the dissimilarity (or similarity) between each generated deformed image and the reference image.
  • the dissimilarity calculation unit 201 uses, for example, a plurality of similarity calculation methods such as normalized cross-correlation between the reference image I (j) and the modified image K (j, k), the sum of absolute differences, and the phase-only correlation. The difference (or similarity) of images is calculated. The dissimilarity calculation unit 201 calculates a cost volume that is a value corresponding to the dissimilarity.
  • the difference degree calculation unit 201 calculates the cost volume C (j, k) as follows, for example. k shows the amount of deformation (for example, the amount of shift or shift).
  • Expression (1) is an expression showing an example of the expression of the cost volume C (j, k).
  • (x, y) corresponds to a two-dimensional representation of the pixel j.
  • I indicates one image (reference image), and J indicates the other image (reference image).
  • ⁇ is a parameter for adjusting the balance between the first term and the second term on the right side.
  • grad x indicates the gradient of the pixel value in the x direction.
  • T 1 and T 2 indicate cost cutoff values.
  • C (j, k, l) be the cost volume according to the similarity calculation method.
  • l is a value for identifying the similarity calculation method. For example, when three types of normalized cross-correlation, sum of absolute difference and phase-only correlation are used as the similarity calculation method, l has a value of 1 to 3.
  • the normalization unit 202 normalizes the cost volume C (j, k, l) by the voting method, for example, in the following procedure (step S103).
  • FIG. 3 is an explanatory diagram for explaining the function of the normalization unit 202.
  • the normalization unit 202 for each of the cost volumes C (j, k, l) (three in the above example), k (deformation amount) for each pixel j as shown in equation (2). Calculate the minimum cost in the direction of. Note that FIG. 3 shows an example in which the dissimilarity calculation unit 201 calculates the cost volume C (j, k, l) 501 corresponding to the dissimilarity using the normalized cross-correlation.
  • the normalization unit 202 generates a normalized cost volume by voting.
  • the normalization unit 202 sets the value represented by the equation (3) as the normalized cost volume when the peripheral area of the pixel j is set to ROI (j). That is, the normalization unit 202 counts, for each pixel j, the number of elements with the minimum cost in the peripheral area, that is, the element with the minimum cost is voted, and the number (vote number) is normalized by voting. Let it be the cost volume (see the normalized cost volume 511 in FIG. 3).
  • ⁇ () is a Dirac delta function.
  • the normalized cost volume is represented by the number of ⁇ (k min (j ′, l)) equal to k in the peripheral region ROI (j).
  • the dissimilarity smoothing unit 203 smoothes each normalized dissimilarity (step S104).
  • the dissimilarity is reflected in the cost volume C (j, k, l). Therefore, the dissimilarity smoothing unit 203 specifically smoothes each of the normalized cost volumes.
  • the dissimilarity smoothing unit 203 smoothes the normalized cost volume in the image space (in the j direction).
  • the difference smoothing unit 203 can use various methods for smoothing.
  • the dissimilarity smoothing unit 203 can use a smoothing filter in an image space as described in Non-Patent Document 2 (specifically, Guided Filter in Non-Patent Document 2).
  • the dissimilarity smoothing unit 203 may spatially smooth the normalized cost volume by using an optimization method such as a graph cut described in Non-Patent Document 3.
  • the dissimilarity smoothing unit 203 smoothes the normalized cost volume and then outputs the smoothed cost volume to the dissimilarity integrating unit 204.
  • the dissimilarity calculating unit is provided.
  • the cost volume calculated by 201 may be directly input to the difference integration unit 204.
  • the dissimilarity integration unit 204 integrates the smoothed dissimilarities (step S105).
  • the dissimilarity is reflected in the cost volume C (j, k, l). Therefore, the dissimilarity integration unit 204 specifically integrates the smoothed cost volumes D (j, k, l).
  • E (j, k) be the integrated cost volume (integrated cost volume).
  • the dissimilarity integration unit 204 uses, for example, a weighted linear sum as shown in the following expression (4). In the equation (4), the weight w l is set corresponding to each cost volume.
  • the weight w l is set in advance by the user of the image processing apparatus, for example. However, the weight w l may be set by machine learning or the like using previously derived experimental data or the like.
  • the dissimilarity integration unit 204 may integrate the smoothed cost volume D (j, k, l) by a method other than the weighted linear sum.
  • the smoothed cost volume D (j, k, l) may be integrated using a softmax function or the like.
  • the dissimilarity integration unit 204 uses a method in which the integrated cost volume has a larger value of E (j, k) as the value of the smoothed cost volume D (j, k, l) is larger. Can be used for integration.
  • the integrated dissimilarity smoothing unit 205 smoothes the integrated dissimilarity (integrated dissimilarity) in the image space (step S106). In this embodiment, the degree of difference is reflected in the cost volume. Therefore, the integrated dissimilarity smoothing unit 205 specifically smoothes the integrated cost volume E (j, k).
  • the integrated dissimilarity smoothing unit 205 smoothes the integrated cost volume E (j, k) in the image space (in the j direction). Let the smoothed integrated cost volume E (j, k) be the cost volume F (j, k).
  • the integrated dissimilarity smoothing unit 205 can use various methods for smoothing.
  • the integrated dissimilarity smoothing unit 205 can use a smoothing filter in the image space as described in Non-Patent Document 2.
  • the integrated dissimilarity smoothing unit 205 may spatially smooth the integrated cost volume E (j, k) using an optimization method such as a graph cut described in Non-Patent Document 3.
  • the integrated dissimilarity smoothing unit 205 smoothes the integrated cost volume E (j, k), and then outputs it to the deformation amount calculating unit 206.
  • the integrated cost volume E (j, k) calculated by the dissimilarity integrating unit 204 may be directly input to the deformation amount calculating unit 206.
  • the deformation amount calculation unit 206 obtains the parallax and the deformation amount by searching the minimum value for each pixel j from the smoothed difference degree (step S107).
  • the deformation amount calculation unit 206 calculates, for example, k that minimizes the integrated cost volume E (j, k) at each pixel j, and determines the deformation amount or parallax corresponding to that k as the deformation amount or parallax between images. Calculate as As an example, the deformation amount calculation unit 206 calculates k that minimizes the integrated cost volume E (j, k) by the equation (5).
  • the output unit 301 outputs the parallax between images and the deformation amount calculated by the deformation amount calculation unit 206 (step S108).
  • the dissimilarity calculating unit 201 calculates the dissimilarity (cost volume C (j, k, l)) in the process of step S102 in order to calculate the normalized cross-correlation, the sum of squared differences, and the mutual information.
  • An example using a quantity is shown. That is, the dissimilarity calculation unit 201 calculates the cost volume 501 based on the normalized cross correlation, the cost volume 502 based on the sum of squared differences, and the cost volume 503 based on the mutual information amount.
  • the normalization unit 202 normalizes the cost volumes 501, 502, 503 by voting in the process of step S103, and generates the normalized cost volumes 511, 512, 513.
  • the dissimilarity integration unit 204 integrates the normalized cost volumes 511, 512, and 513 in the process of step S105 to generate an integrated cost volume 520.
  • a 1 , a 2 , and a 3 are illustrated as the weight w l .
  • the normalized cost volumes 511, 512, 513 may be smoothed by the dissimilarity smoothing unit 203.
  • the integrated dissimilarity smoothing unit 205 smoothes the integrated cost volume 520 into the final cost volume 530 in the process of step S106.
  • the dissimilarity calculating unit 201 evaluates the dissimilarity of the images forming the image pair by a plurality of methods. In the above example, the dissimilarity calculation unit 201 calculates the cost volume based on the dissimilarity according to each method. In addition, the normalization unit 202 normalizes each degree of difference (in the above example, the cost volume). In the above example, the normalization unit 202 normalizes the cost volume by voting.
  • the image processing apparatus uses a plurality of types of dissimilarities in combination, and the plurality of normalized dissimilarities are integrated in the dissimilarity integration unit 204 by a linear sum or the like. At that time, since the normalization unit 202 normalizes each dissimilarity by voting, the range of each dissimilarity is aligned and integrated equally. As a result, the similarity of images is determined with high accuracy regardless of the types of images forming the image pair. In addition, the versatility of the image processing apparatus is improved because it does not depend on the types of images forming the image pair. That is, whether the image pair is composed of two visible images, a visible image and a far-infrared image, or a combination of other types of images, the image processing apparatus is The degree of similarity of images can be determined with accuracy.
  • the image processing device mainly calculates the parallax or the amount of deformation and determines the degree of similarity of the images for the image pair including the two types of images.
  • the image processing apparatus can also calculate parallax or deformation amount for three or more images and determine the similarity of the images.
  • each component in the above embodiments can be configured with one piece of hardware, but can also be configured with one piece of software. Further, each component can be configured by a plurality of hardware and can also be configured by a plurality of software. Further, some of the constituent elements may be configured by hardware and the other parts may be configured by software.
  • Each function (each process) in the above embodiment can be realized by a computer having a processor such as a CPU (Central Processing Unit) and a memory.
  • a processor such as a CPU (Central Processing Unit) and a memory.
  • a program for executing the method (processing) in the above embodiment is stored in a storage device (storage medium) and each function is realized by executing the program stored in the storage device by the CPU. Good.
  • FIG. 5 is a block diagram showing an example of a computer having a CPU.
  • the computer is mounted on the image processing apparatus.
  • the CPU 1000 realizes each function in the above-described embodiment by executing processing according to a program stored in the storage device 1001. That is, in the image processing apparatus 100 shown in FIG. 1, the dissimilarity calculation unit 201, the normalization unit 202, the dissimilarity smoothing unit 203, the dissimilarity integration unit 204, the integrated dissimilarity smoothing unit 205, and the deformation amount calculation.
  • the function of the unit 206 is realized.
  • the storage device 1001 is, for example, a non-transitory computer readable medium.
  • Non-transitory computer-readable media include various types of tangible storage media. Specific examples of the non-transitory computer-readable medium include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), and CD-ROMs (Compact-Disc-Read-Only Memory). ), CD-R (Compact Disc-Recordable), CD-R / W (Compact Disc-ReWritable), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM).
  • magnetic recording media for example, flexible disks, magnetic tapes, hard disk drives
  • magneto-optical recording media for example, magneto-optical disks
  • CD-ROMs Compact-Disc-Read-Only Memory
  • CD-R Compact Disc-Recordable
  • CD-R / W Compact Disc-
  • the program may be stored in various types of transitory computer readable media.
  • the program is supplied to the temporary computer-readable medium via, for example, a wired communication path or a wireless communication path, that is, via an electric signal, an optical signal, or an electromagnetic wave.
  • the memory 1002 is realized by, for example, a RAM (Random Access Memory), and is a storage unit that temporarily stores data when the CPU 1000 executes processing.
  • RAM Random Access Memory
  • a form in which the program held in the storage device 1001 or a temporary computer-readable medium is transferred to the memory 1002 and the CPU 1000 executes processing based on the program in the memory 1002 may be envisioned.
  • FIG. 6 is a block diagram showing the main part of the image processing apparatus.
  • the image processing apparatus 10 shown in FIG. 6 transforms any one of two or more images forming an image group by one or more transforming methods (for example, shifting each pixel by a plurality of types of predetermined amounts).
  • a plurality of types of methods for similarity evaluation for example, two or more of normalized cross-correlation, sum of absolute differences, sum of squared differences, phase-only correlation, mutual information, etc.
  • a dissimilarity calculation unit 11 (which is realized by the dissimilarity calculation unit 201 in the embodiment) that calculates the dissimilarity between an image and another image in an image group for each pixel, and a method for evaluating each similarity.
  • the normalization means 12 (in the embodiment, realized by the normalization unit 202) for normalizing the dissimilarity degree according to the above, and the dissimilarity integration means 15 for integrating the normalized dissimilarity degrees (in the embodiment, the difference Implemented by the integration unit 204). .
  • the image processing apparatus 10 further includes a deformation amount calculation unit 16 (in the embodiment, the deformation amount calculation unit 206 that realizes the deformation amount that minimizes the integrated degree of difference) as the image deformation amount. Be provided).
  • a deformation amount calculation unit 16 in the embodiment, the deformation amount calculation unit 206 that realizes the deformation amount that minimizes the integrated degree of difference
  • the image processing apparatus 10 further includes an integrated dissimilarity smoothing unit (which is realized by the integrated dissimilarity smoothing unit 205 in the embodiment) that smoothes the integrated dissimilarity and outputs the smoothed difference to the deformation amount calculating unit 16. You may have it.
  • an integrated dissimilarity smoothing unit (which is realized by the integrated dissimilarity smoothing unit 205 in the embodiment) that smoothes the integrated dissimilarity and outputs the smoothed difference to the deformation amount calculating unit 16. You may have it.
  • the image processing apparatus 10 further smoothes the respective normalized dissimilarities and outputs the smoothed dissimilarities to the dissimilarity unifying unit 15 (in the embodiment, realized by the dissimilarity smoothing unit 203). May be provided.
  • One of the two or more images forming the image group is transformed by one or more transformation methods, and a transformed image is obtained by using a plurality of types of similarity evaluation methods.
  • Dissimilarity calculation means for calculating the dissimilarity with other images in the image group for each pixel
  • Normalizing means for normalizing the dissimilarity by the method for each of the similarity evaluation,
  • An image processing apparatus comprising: a dissimilarity integration unit that integrates each of the normalized dissimilarities.
  • Supplementary Note 3 The image processing apparatus according to Supplementary Note 1 or Supplementary Note 2, further comprising a deformation amount calculating unit that uses a deformation amount that minimizes the integrated difference degree as a deformation amount of the image.
  • One of the two or more images forming the image group is transformed by one or more transformation methods, and a transformed image is obtained by using a plurality of types of similarity evaluation methods. Calculating the degree of difference with other images in the image group for each pixel, Normalizing the dissimilarity by the method for each of the similarity evaluation, An image processing method for integrating each of the normalized dissimilarities.
  • One of the two or more images forming the image group is transformed by one or more transformation methods, and a plurality of types of similarity evaluation methods are used to transform the transformed image and the image group.
  • Dissimilarity calculation processing for calculating the dissimilarity with other images for each pixel
  • Normalization processing for normalizing the dissimilarity by the method for each similarity evaluation
  • An image processing program for executing a dissimilarity integration process for integrating the respective normalized dissimilarities.
  • Appendix 15 15. The image processing program according to any one of appendixes 11 to 14, for executing a process of smoothing each of the normalized dissimilarities before integrating the normalized dissimilarities.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

類似度の評価対象の画像群を構成する画像の種類によらず、類似度が高精度で検出されるようにするために、画像処理装置は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段１１と、各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段１２と、正規化された各々の前記相違度を統合する相違度統合手段１５とを含む。

Description

画像処理装置および画像処理方法
　本発明は、複数種類の画像の類似度を判定する画像処理装置および画像処理方法に関する。
　複数の様式の情報を入力し、入力された情報に基づいて情報処理を行うマルチモーダル情報処理方式がある。
　画像処理分野において、単一モーダル（例えば、可視画像）の情報のみを用いるよりも複数のモーダル（例えば、可視画像と遠赤外画像）の情報を併用する方が、より多様なシーンに対応でき、画像処理の精度が向上することが知られている。例えば、一般的なカメラで撮影された可視画像と遠赤外線カメラなどで撮影された非可視画像とが合成されることによって、それぞれの画像単独では捉えにくい対象物などの視認性が向上する。
　以下、可視画像とは別の画像として、遠赤外画像を例にする。一般に、遠赤外画像を出力するカメラ（別モーダルとする。）は、可視画像を出力するカメラとは独立して設置されている。したがって、別モーダルが出力する画像と可視画像との間で、視差が生ずる。すなわち、ある対象物の可視画像における位置と遠赤外画像における位置とがずれる。
　非特許文献１には、特殊な装置による視差が除去されたデータを用いることによって、位置ずれの問題を回避する方法が記載されている。
　非特許文献２には、ある画像とｘ方向に平行移動した他の画像とのペア（画像ペア）の類似度を算出する処理によって、また、高品位化のためのフィルタ処理や最適化処理を併用して、視差や変形量を求める方法が開示されている。類似度として、画素値の差分絶対値和、相互情報量、正規相互相関などが用いられる。
　また、非特許文献２には、画素単位でコストボリュームを生成し、コストボリュームに対してフィルタリングを行い、最小コストを与える視差を採用する手法が記載されている。視差に着目した場合には、コストボリュームは、基準画像と参照画像とで対応する画素についての画素値がどの程度相違しているかを表すコストが水平方向、垂直方向、視差方向に分布した集合である。
Soonmin Hwang, et al., "Multispectral Pedestrian Detection:Benchmark Dataset and Baseline", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015 Asmaa Hosni, et al., "Fast cost-volume filtering for visual correspondence and beyond", IEEE Transactions on Pattern Analysis and Machine Intelligence, 35.2, 2013, pp.504-511 Marshall F. Tappen, William T. Freeman, "Comparison of graph cuts with belief propagation for stereo, using identical MRF parameters", Proceedings Ninth IEEE International Conference on Computer Vision, 2003
　非特許文献１に記載された方法を実施する画像処理装置を実現しようとすると、特殊な装置が必要である。すると、画像処理装置が高価になる。
　上述したように、非特許文献２に記載された方法を実施する場合、類似度として、画素値の絶対値和、相互情報量、正規相互相関などの指標が用いられるが、類似度の検出対象の画像に応じて最適な手法は異なる。例えば、画像ペアが２つの可視画像で構成されるときには、画素値の絶対値和は有効な指標である。しかし、画像ペアが可視画像と遠赤外画像とで構成されるときには、画素値の絶対値和は有効な指標であるとはいいがたい。なぜなら、一般に、可視画像の値域と遠赤外画像の値域とは異なるので、可視画像の画素値と遠赤外画像の画素値との差分絶対値和は、大きな値になるからである。
　本発明は、類似度の評価対象の画像群を構成する画像の種類によらず、類似度を高精度で検出できる画像処理装置および画像処理方法を提供することを目的とする。
　本発明による画像処理装置は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、各々の類似度評価のための手法による相違度を正規化する正規化手段と、正規化された各々の相違度を統合する相違度統合手段とを含む。
　本発明による画像処理方法は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出し、各々の類似度評価のための手法による相違度を正規化し、正規化された各々の相違度を統合する。
　本発明による画像処理プログラムは、コンピュータに、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、各々の類似度評価のための手法による相違度を正規化する正規化処理と、正規化された各々の相違度を統合する相違度統合処理とを実行させる。
　本発明によれば、類似度の評価対象の画像群を構成する画像の種類によらず、類似度が高精度で検出される。
画像処理装置の構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 正規化部の機能を説明するための説明図である。 画像処理方法の概略を示す説明図である。 ＣＰＵを有するコンピュータの一例を示すブロック図である。 画像処理装置の主要部を示すブロック図である。 他の態様の画像処理装置の主要部を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
　図１は、画像処理装置の構成例を示すブロック図である。画像処理装置１００は、画像入力部１０１と、相違度算出部２０１と、正規化部２０２と、相違度平滑化部２０３と、相違度統合部２０４と、統合相違度平滑化部２０５と、変形量算出部２０６と、出力部３０１とを備えている。
　画像入力部１０１は、１台以上のカメラ（図示せず）またはセンサ（図示せず）で取得された複数の画像を入力する。複数の画像は、視差や変形量を求める対象である画像群を構成する。画像入力部１０１には、カメラや測定用のセンサなどによって得られた１枚以上の画像や測定値が入力される。入力される画像は、可視光カメラや可視光センサからの可視画像や測定値に限定されない。例えば、可視光カメラや可視光センサから以外のカメラやセンサで取得された画像が入力されてもよい。一例として、温度画像や深度画像が入力されてもよい
　なお、画像入力部１０１は、入力された画像に対して、ノイズ除去等を目的として、トーンマッピング処理、超解像処理、ぼけ除去処理、画像融合処理などの画像処理を施してもよい
　相違度算出部２０１は、画像入力部１０１に入力された画像群のうちのいずれかを１つ以上の変形の仕方で変形する。相違度算出部２０１は、さらに、変形した画像とそれ以外の画像との類似度を評価する。一例として、相違度算出部２０１は、画像群のうち、一の画像以外の画像をずらした後、画像間の正規化相互相関、差分絶対値和、位相限定相関などの複数の類似度算出方法（類似度評価のための手法）を使用して画像の相違度（または、類似度）を算出する。そして、本実施形態では、相違度算出部２０１は、相違度に対応する値であるコストボリュームを算出する。
　正規化部２０２は、各々の類似度算出方法で算出された相違度に基づくコストボリュームを、投票方式で正規化する。
　相違度平滑化部２０３は、正規化された各々のコストボリュームを平滑化する。
　相違度統合部２０４は、相違度平滑化部２０３で平滑化されたコストボリュームを統合する。
　統合相違度平滑化部２０５は、統合された相違度（統合相違度）を平滑化する。
　変形量算出部２０６は、平滑化された相違度から、画素ごとに最小値を探索することによって、視差や変形量を求める。
　出力部３０１は、変形量算出部２０６で求められた画像間の視差や変形量を出力する。
　次に、図２のフローチャートを参照して画像処理装置１００の動作を説明する。
　画像入力部１０１は、複数の画像または測定値を入力する（ステップＳ１０１）。画像入力部１０１は、入力された画像または測定値をメモリ（図示せず）等に保存する。なお、画像入力部１０１が入力する画像は、カメラからの画像に限定されない。例えば、深層学習の途中の処理結果が、多チャンネルの画像（複数の画像）として入力されてもよい。また、数値シミュレーションなどによって算出されたベクトルデータ（速度場、密度場など）が、多チャンネルの画像（複数の画像）として入力されてもよい。
　相違度算出部２０１は、画像入力部１０１に入力された複数の画像のうちのいずれかを１つ以上の変形方法で変形する。ここでは、画像群に２つの画像が含まれる場合を例にする。すなわち、画像ペアが画像入力部１０１に入力される。相違度算出部２０１は、画像ペアを構成する一方の画像を変形する。相違度算出部２０１は、変形した画像とそれ以外の画像との相違度を算出する（ステップＳ１０２）。
　画像の変形と相違度の算出の具体例を説明する。
　画像ペアのうちの変形されない画像を基準画像という。変形される画像を参照画像という。以下、基準画像をI(j)とする。j は画素（具体的には、画素位置）を示す。また、参照画像をJ(j)とする。
　相違度算出部２０１は、参照画像J(j)に、平行移動などの幾何変形を施す。例えば、平行移動が施される場合には、相違度算出部２０１は、平行移動量として、「右に１画素」、「右に２画素」、「右に３画素」、「変形なし」（移動させない。）、「左に１画素」、「左に２画素」、「左に３画素」などを使用する。この場合には、１つの参照画像について、変形によって、７種類の変形の仕方（「変形なし」も含まれる。）で変形された複数種類の画像が生成される。相違度算出部２０１は、生成した変形画像をメモリ（図示せず）に保存する。
　以下、変形された参照画像を変形画像という。変形画像をK(j, n) と表す。n は、変形の仕方（具体的には、変形量）を識別するための値である。上記の例では、「右に１画素」、「右に２画素」、「右に３画素」、「変形なし」、「左に１画素」、「左に２画素」、「左に３画素」の各々に対応して、n は、１～７のいずれかの値になる。
　なお、相違度算出部２０１が実行する変形は、平行移動に限定されない。例えば、相違度算出部２０１は、参照画像を、ホモグラフィ変換、アフィン変換、またはヘルマート変換を用いて変形してもよい。また、相違度算出部２０１は、各変換を特徴づけるパラメータを複数種類（例えば、ホモグラフィ変換の場合には８つのパラメータ）用意し、パラメータごとに画像を変形させることによって、複数種類の変形画像を生成してもよい。
　また、相違度算出部２０１は、例えば、画素ごとに複数種類の位置ずれ量を個別に与え、複数種類の位置ずれ量毎に画像を変形させることによって変換画像を生成してもよい。
　また、相違度算出部２０１は、設置されているカメラの特性に応じて、変形の仕方を選択してもよい。一例として、カメラが横に整列して並んでいる場合、これらのカメラ配置に対応するエピポーラ線の周辺に各画素が平行移動した変形画像を使用してもよい。
　相違度算出部２０１は、生成した各変形画像と基準画像との間の相違度（または、類似度）を算出する。
　相違度算出部２０１は、例えば、基準画像I(j)と変形画像K(j,k) との正規化相互相関、差分絶対値和、位相限定相関など複数の類似度算出方法を使用して画像の相違度（または、類似度）を算出する。相違度算出部２０１は、相違度に対応する値であるコストボリュームを算出する。
　相違度算出部２０１は、例えば、以下のようにコストボリュームC(j, k) を算出する。k は、変形量（例えば、ずれ量すなわちシフト量）を示す。
　（１）式は、コストボリュームC(j, k)の表現の一例を示す式である。（１）式において、(x, y)は、画素j の２次元表現に相当する。I は一方の画像（基準画像）を示し、J は他方の画像（参照画像）を示す。αは、右辺の第１項と第２項とのバランスを調整するためのパラメータである。gradx は、画素値のｘ方向の勾配を示す。T1，T2は、コストの打ち切り値を示す。
Figure JPOXMLDOC01-appb-M000001
　類似度算出方法に応じたコストボリュームをC(j, k, l)とする。なお、l は、類似度算出方法を識別するための値である。例えば、類似度算出方法として、正規化相互相関、差分絶対値和および位相限定相関の３種類が用いられる場合には、l は１～３のいずれかの値になる。
　正規化部２０２は、例えば、以下のような手順で、投票方式でコストボリュームC(j, k, l)を正規化する（ステップＳ１０３）。
　図３は、正規化部２０２の機能を説明するための説明図である。
　まず、正規化部２０２は、コストボリュームC(j, k, l)の各々（上記の例では、３つ）について、（２）式に示すように、画素j ごとに、ｋ （変形量）の方向での最小コストを算出する。なお、図３には、相違度算出部２０１が正規化相互相関を用いて相違度に対応するコストボリュームC(j, k, l)５０１を算出した例が示されている。
Figure JPOXMLDOC01-appb-M000002
　そして、正規化部２０２は、投票によって、正規化されたコストボリュームを生成する。
　本実施形態では、画素j の周辺領域の画素j'に着目する。そして、正規化部２０２は、画素j の周辺領域をROI(j)としたきに、（３）式で表される値を正規化されたコストボリュームとする。すなわち、正規化部２０２は、画素j ごとに、周辺領域における最小コストになる要素の数を数え、すなわち、最小コストになる要素が投票され、その個数（投票数）を投票による正規化されたコストボリューム（図３における正規化されたコストボリューム５１１参照）とする。
Figure JPOXMLDOC01-appb-M000003
　（３）式において、δ（）は、ディラックのデルタ関数である。（３）式を用いる場合には、正規化されたコストボリュームは、周辺領域ROI(j)においてδ(kmin(j' , l))がk に等しい個数で表される。
　相違度平滑化部２０３は、正規化された各々の相違度を平滑化する（ステップＳ１０４）。なお、本実施形態では、相違度はコストボリュームC(j, k, l)に反映されている。したがって、相違度平滑化部２０３は、具体的には、正規化された各々のコストボリュームを平滑化する。
　なお、相違度平滑化部２０３は、正規化されたコストボリュームを画像空間上で（j 方向に）平滑化する。
　相違度平滑化部２０３は、平滑化のために種々の手法を用いることができる。一例として、相違度平滑化部２０３は、非特許文献２に記載されたような画像空間における平滑化フィルタ（非特許文献２では、具体的には、guided filter ）を使用することができる。相違度平滑化部２０３は、非特許文献３に記載されているようなグラフカットなどの最適化手法を用いて、正規化されたコストボリュームを空間的に平滑化してもよい。
　平滑化されたコストボリュームをD(j, k, l)とする。
　なお、本実施形態では、相違度平滑化部２０３が、正規化されたコストボリュームを平滑化した後、相違度統合部２０４に出力するが、処理速度の向上等を目的として、相違度算出部２０１が算出したコストボリュームがそのまま相違度統合部２０４に入力されるようにしてもよい。
　相違度統合部２０４は、平滑化された相違度を統合する（ステップＳ１０５）。なお、本実施形態では、相違度はコストボリュームC(j, k, l)に反映されている。したがって、相違度統合部２０４は、具体的には、平滑化されたコストボリュームD(j, k, l)を統合する。統合されたコストボリューム（統合コストボリューム）をE(j, k) とする。相違度統合部２０４は、例えば下記の（４）式に示すような重み付き線形和などを用いる。（４）式において、重みwlは、それぞれのコストボリュームに対応して設定される。
Figure JPOXMLDOC01-appb-M000004
　重みwlは、例えば、画像処理装置の利用者によってあらかじめ設定される。しかし、重みwlは、あらかじめ導出された実験データなどを用いて、機械学習などによって設定されてもよい。
　相違度統合部２０４は、重み付き線形和以外の手法で、平滑化されたコストボリュームD(j, k, l)を統合してもよい。例えば、ソフトマックス関数などを用いて、平滑化されたコストボリュームD(j, k, l)を統合してもよい。具体的には、相違度統合部２０４は、平滑化されたコストボリュームD(j, k, l)の値が大きいほど、統合コストボリュームをE(j, k) の値が大きくなるような手法を用いて統合を行えばよい。
　統合相違度平滑化部２０５は、統合された相違度（統合相違度）を画像空間で平滑化する（ステップＳ１０６）。なお、本実施形態では、相違度はコストボリュームに反映されている。したがって、統合相違度平滑化部２０５は、具体的には、統合コストボリュームE(j, k) を平滑化する。
　なお、統合相違度平滑化部２０５は、統合コストボリュームE(j, k) を画像空間上で（j 方向に）平滑化する。平滑化された統合コストボリュームE(j, k) を、コストボリュームF(j, k) とする。
　統合相違度平滑化部２０５は、平滑化のために種々の手法を用いることができる。一例として、統合相違度平滑化部２０５は、非特許文献２に記載されたような画像空間における平滑化フィルタを使用することができる。統合相違度平滑化部２０５は、非特許文献３に記載されているようなグラフカットなどの最適化手法を用いて、統合コストボリュームE(j, k) を空間的に平滑化してもよい。
　なお、本実施形態では、統合相違度平滑化部２０５が、統合コストボリュームE(j, k) を平滑化した後、変形量算出部２０６に出力するが、処理速度の向上等を目的として、相違度統合部２０４が算出した統合コストボリュームE(j, k) がそのまま変形量算出部２０６に入力されるようにしてもよい。
　変形量算出部２０６は、平滑化された相違度から、画素j ごとに最小値を探索することによって、視差や変形量を求める（ステップＳ１０７）。
　変形量算出部２０６は、例えば、各画素j において、統合コストボリュームE(j, k) を最小にするk を算出し、そのk に対応する変形量や視差を、画像間の変形量や視差として算出する。一例として、変形量算出部２０６は、（５）式によって、統合コストボリュームE(j, k) を最小にするk を算出する。
Figure JPOXMLDOC01-appb-M000005
　参照画像に対して、「右に１画素」（k =1）、「右に２画素」（k =2）、「右に３画素」（k =3）、「変形なし」（k =4）、「左に１画素」（k =5）、「左に２画素」（k =6）、「左に３画素」（k =7）の７種類の変形が施されている場合を想定する。そして、統合コストボリュームE(j, k) を最小にするk としてkmin=3が得られたときには、変形量算出部２０６は、「右に３画素」を、画像間の視差や変形量とする。
　出力部３０１は、変形量算出部２０６で求められた画像間の視差や変形量を出力する（ステップＳ１０８）。
　次に、図４の説明図を参照して、画像処理方法の概略を説明する。
　図４には、相違度算出部２０１は、ステップＳ１０２の処理で、相違度（コストボリュームC(j, k, l)）を算出するために、正規化相互相関、差分二乗和、および相互情報量を用いる例が示されている。すなわち、相違度算出部２０１は、正規化相互相関によるコストボリューム５０１、差分二乗和によるコストボリューム５０２、および相互情報量によるコストボリューム５０３を算出する。
　正規化部２０２は、上述したように、ステップＳ１０３の処理で、コストボリューム５０１，５０２，５０３を投票によって正規化し、正規化されたコストボリューム５１１，５１２，５１３を生成する。
　相違度統合部２０４は、ステップＳ１０５の処理で、正規化されたコストボリューム５１１，５１２，５１３を統合し、統合コストボリューム５２０を生成する。図４には、重みwlとして、a1，a2，a3が例示されている。
　なお、上述したように、正規化されたコストボリューム５１１，５１２，５１３は、相違度平滑化部２０３によって平滑化されてもよい。
　統合相違度平滑化部２０５は、ステップＳ１０６の処理で、統合コストボリューム５２０を平滑化して、最終的なコストボリューム５３０とする。
　以上に説明したように、本実施形態では、相違度算出部２０１は、複数の手法で、画像ペアを構成する画像の相違度を評価する。上記の例では、相違度算出部２０１は、各々の手法による相違度に基づくコストボリュームを算出する。また、正規化部２０２が、各々の相違度（上記の例では、コストボリューム）を正規化する。上記の例では、正規化部２０２は、投票によってコストボリュームを正規化する。
　画像処理装置は複数種類の相違度を併用し、正規化された複数の相違度が相違度統合部２０４において線形和などで統合される。その際に、正規化部２０２が投票によって各相違度を正規化するので、各相違度の値域が揃えられ、平等に統合される。その結果、画像ペアを構成する画像の種類によらず、高精度で画像の類似度が判定される。また、画像ペアを構成する画像の種類によらないので、画像処理装置の汎用性が向上する。すなわち、画像ペアが２つの可視画像で構成される場合でも、可視画像と遠赤外画像で構成される場合でも、その他の種類の画像の組み合わせで構成される場合でも、画像処理装置は、高精度で画像の類似度を判定できる。
　なお、上記の実施形態では、主に、画像処理装置が、２種類の画像で構成される画像ペアを対象として視差や変形量を算出して画像の類似度を判定する場合について説明したが、画像処理装置が、３つ以上の画像を対象として、視差や変形量を算出して画像の類似度を判定することもできる。
　また、上記の実施形態における各構成要素は、１つのハードウェアで構成可能であるが、１つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
　上記の実施形態における各機能（各処理）を、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することによって実現してもよい。
　図５は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、画像処理装置に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１に示された画像処理装置１００における、相違度算出部２０１、正規化部２０２、相違度平滑化部２０３、相違度統合部２０４、統合相違度平滑化部２０５、および変形量算出部２０６の機能を実現する。
　記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
　また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
　メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。
　図６は、画像処理装置の主要部を示すブロック図である。図６に示す画像処理装置１０は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し（例えば、各画素を複数種類の所定量だけずらし）、複数種類の類似度評価のための手法（例えば、正規化相互相関、差分絶対値和、差分二乗和、位相限定相関、相互情報量などのうちの２種類以上）を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出手段１１（実施形態では、相違度算出部２０１で実現される。）と、各々の類似度評価のための手法による相違度を正規化する正規化手段１２（実施形態では、正規化部２０２で実現される。）と、正規化された各々の相違度を統合する相違度統合手段１５（実施形態では、相違度統合部２０４で実現される。）とを備えている。
　図７に示すように、画像処理装置１０は、さらに、統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段１６（実施形態では、変形量算出部２０６で実現される。）を備えていてもよい。
　画像処理装置１０は、さらに、統合された相違度を平滑化して変形量算出手段１６に出力する統合相違度平滑化手段（実施形態では、統合相違度平滑化部２０５で実現される。）を備えていてもよい。
　画像処理装置１０は、さらに、正規化された各々の相違度を平滑化して相違度統合手段１５に出力する相違度平滑化手段（実施形態では、相違度平滑化部２０３で実現される。）を備えていてもよい。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、
　各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段と、
　正規化された各々の前記相違度を統合する相違度統合手段と
　を備えた画像処理装置。
（付記２）前記正規化手段は、投票方式で前記相違度を正規化する
　付記１の画像処理装置。
（付記３）統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段をさらに備えた
　付記１または付記２の画像処理装置。
（付記４）統合された相違度を平滑化して前記変形量算出手段に出力する統合相違度平滑化手段をさらに備えた
　付記３の画像処理装置。
（付記５）正規化された各々の前記相違度を平滑化して前記相違度統合手段に出力する相違度平滑化手段をさらに備えた
　付記１から付記４のうちのいずれかの画像処理装置。
（付記６）画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出し、
　各々の前記類似度評価のための手法による前記相違度を正規化し、
　正規化された各々の前記相違度を統合する
　画像処理方法。
（付記７）投票方式で前記相違度を正規化する
　付記６の画像処理方法。
（付記８）統合された相違度を最小にする変形量を画像の変形量とする
　付記６または付記７の画像処理方法。
（付記９）前記画像の変形量を導出する前に、統合された相違度を平滑化する
　付記８の画像処理方法。
（付記１０）正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する
　付記６から付記９のうちのいずれかの画像処理方法。
（付記１１）コンピュータに、
　画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、
　各々の前記類似度評価のための手法による前記相違度を正規化する正規化処理と、
　正規化された各々の前記相違度を統合する相違度統合処理と
　を実行させるための画像処理プログラム。
（付記１２）コンピュータに、
　投票方式で前記相違度を正規化させる
　付記１１の画像処理プログラム。
（付記１３）コンピュータに、
　統合された相違度を最小にする変形量を画像の変形量とする処理を実行させるための
　付記１１または付記１２の画像処理プログラム。
（付記１４）コンピュータに、
　前記画像の変形量を導出する前に、統合された相違度を平滑化する処理を実行させるための
　付記１３の画像処理プログラム。
（付記１５）コンピュータに、
　正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する処理を実行させるための
　付記１１から付記１４のうちのいずれかの画像処理プログラム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０　　　画像処理装置
　１１　　　相違度算出手段
　１２　　　正規化手段
　１５　　　相違度統合手段
　１６　　　変形量算出手段
　１００　　画像処理装置
　１０１　　画像入力部
　２０１　　相違度算出部
　２０２　　正規化部
　２０３　　相違度平滑化部
　２０４　　相違度統合部
　２０５　　統合相違度平滑化部
　２０６　　変形量算出部
　３０１　　出力部
　１０００　ＣＰＵ
　１００１　記憶装置
　１００２　メモリ

Claims (15)

  1. 　画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、
    　各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段と、
    　正規化された各々の前記相違度を統合する相違度統合手段と
    　を備えた画像処理装置。
  2. 　前記正規化手段は、投票方式で前記相違度を正規化する
    　請求項１記載の画像処理装置。
  3. 　統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段をさらに備えた
    　請求項１または請求項２記載の画像処理装置。
  4. 　統合された相違度を平滑化して前記変形量算出手段に出力する統合相違度平滑化手段をさらに備えた
    　請求項３記載の画像処理装置。
  5. 　正規化された各々の前記相違度を平滑化して前記相違度統合手段に出力する相違度平滑化手段をさらに備えた
    　請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
  6. 　画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出し、
    　各々の前記類似度評価のための手法による前記相違度を正規化し、
    　正規化された各々の前記相違度を統合する
    　画像処理方法。
  7. 　投票方式で前記相違度を正規化する
    　請求項６記載の画像処理方法。
  8. 　統合された相違度を最小にする変形量を画像の変形量とする
    　請求項６または請求項７記載の画像処理方法。
  9. 　前記画像の変形量を導出する前に、統合された相違度を平滑化する
    　請求項８記載の画像処理方法。
  10. 　正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する
    　請求項６から請求項９のうちのいずれか１項に記載の画像処理方法。
  11. 　コンピュータに、
    　画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、
    　各々の前記類似度評価のための手法による前記相違度を正規化する正規化処理と、
    　正規化された各々の前記相違度を統合する相違度統合処理と
    　を実行させるための画像処理プログラム。
  12. 　コンピュータに、
    　投票方式で前記相違度を正規化させる
    　請求項１１記載の画像処理プログラム。
  13. 　コンピュータに、
    　統合された相違度を最小にする変形量を画像の変形量とする処理を実行させるための
    　請求項１１または請求項１２記載の画像処理プログラム。
  14. 　コンピュータに、
    　前記画像の変形量を導出する前に、統合された相違度を平滑化する処理を実行させるための
    　請求項１３記載の画像処理プログラム。
  15. 　コンピュータに、
    　正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する処理を実行させるための
    　請求項１１から請求項１４のうちのいずれか１項に記載の画像処理プログラム。
PCT/JP2018/037717 2018-10-10 2018-10-10 画像処理装置および画像処理方法 WO2020075237A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/281,717 US11475233B2 (en) 2018-10-10 2018-10-10 Image processing device and image processing method
PCT/JP2018/037717 WO2020075237A1 (ja) 2018-10-10 2018-10-10 画像処理装置および画像処理方法
JP2020549880A JP7099538B2 (ja) 2018-10-10 2018-10-10 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037717 WO2020075237A1 (ja) 2018-10-10 2018-10-10 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2020075237A1 true WO2020075237A1 (ja) 2020-04-16

Family

ID=70165212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037717 WO2020075237A1 (ja) 2018-10-10 2018-10-10 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US11475233B2 (ja)
JP (1) JP7099538B2 (ja)
WO (1) WO2020075237A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460854B1 (en) * 2020-04-28 2022-10-04 Amazon Technologies, Inc. System to determine floor or obstacle by autonomous mobile device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036405A1 (en) * 2005-05-16 2007-02-15 Jean Lienard Method and apparatus for correction of an image
JP2014078095A (ja) * 2012-10-10 2014-05-01 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2015179499A (ja) * 2014-02-28 2015-10-08 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2016057793A (ja) * 2014-09-09 2016-04-21 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3979136B2 (ja) * 2002-03-20 2007-09-19 富士ゼロックス株式会社 認識装置および方法
JP5955199B2 (ja) * 2011-12-20 2016-07-20 富士フイルム株式会社 画像処理装置および画像処理方法、並びに、画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036405A1 (en) * 2005-05-16 2007-02-15 Jean Lienard Method and apparatus for correction of an image
JP2014078095A (ja) * 2012-10-10 2014-05-01 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2015179499A (ja) * 2014-02-28 2015-10-08 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2016057793A (ja) * 2014-09-09 2016-04-21 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
US11475233B2 (en) 2022-10-18
JPWO2020075237A1 (ja) 2021-09-02
US20220004802A1 (en) 2022-01-06
JP7099538B2 (ja) 2022-07-12

Similar Documents

Publication Publication Date Title
JP3944647B2 (ja) 物体計測装置、物体計測方法、およびプログラム
JP6091560B2 (ja) 画像解析方法
JP5517504B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10853960B2 (en) Stereo matching method and apparatus
WO2010113389A1 (ja) ステレオ画像処理装置およびステレオ画像処理方法
US20070189637A1 (en) Combined forward and reverse correlation
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
JP6221390B2 (ja) 画像処理装置、プログラム、および画像処理方法
WO2014073670A1 (ja) 画像処理方法及び画像処理装置
US10748027B2 (en) Construction of an efficient representation for a three-dimensional (3D) compound object from raw video data
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
WO2012100225A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
EP3819869A1 (en) Method and apparatus with depth image generation
WO2021108626A1 (en) System and method for correspondence map determination
US11238304B2 (en) System and method for biometric identification
US10096113B2 (en) Method for designing a passive single-channel imager capable of estimating depth of field
JP6429466B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
WO2020075237A1 (ja) 画像処理装置および画像処理方法
JP2013044597A (ja) 画像処理装置および方法、プログラム
KR20150069739A (ko) 스테레오비전 기반의 어류 개체수 측정방법과 이를 적용한 패턴인식 시스템
EP2887261B1 (en) Information processing device, information processing method, and program
JP6127958B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
Johannsen et al. Occlusion-aware depth estimation using sparse light field coding
JP6843552B2 (ja) 画像処理装置、画像処理方法およびプログラム。

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936705

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020549880

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936705

Country of ref document: EP

Kind code of ref document: A1