WO2006131967A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2006131967A1
WO2006131967A1 PCT/JP2005/010523 JP2005010523W WO2006131967A1 WO 2006131967 A1 WO2006131967 A1 WO 2006131967A1 JP 2005010523 W JP2005010523 W JP 2005010523W WO 2006131967 A1 WO2006131967 A1 WO 2006131967A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
images
expected value
feature points
Prior art date
Application number
PCT/JP2005/010523
Other languages
English (en)
French (fr)
Inventor
Ayu Miyakawa
Masayoshi Simizu
Yasuhiko Nakano
Yuri Watanabe
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to EP05748563A priority Critical patent/EP1901228B1/en
Priority to JP2007519994A priority patent/JP4142732B2/ja
Priority to PCT/JP2005/010523 priority patent/WO2006131967A1/ja
Publication of WO2006131967A1 publication Critical patent/WO2006131967A1/ja
Priority to US11/949,463 priority patent/US8401333B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Definitions

  • the present invention relates to an image processing apparatus capable of performing subject association at high speed when combining a plurality of images.
  • FIGS. 1 (a) and 1 (b) are used for superposition as shown in FIG. 1 (c).
  • FIG. 2 feature points of one image are extracted, and feature points are searched in the other image to associate subjects.
  • Fig. 3 if feature points are tracked without changing the original image, it is necessary to search for feature points throughout the original image as shown in Fig. 3, so the search range becomes wider.
  • feature points are associated with each other at a low resolution (Fig. 5 (la), (lb)), and the feature point search range in the image with the increased resolution is limited to increase the resolution step by step. This method is generally used (Fig. 5 (2a) to (3b)).
  • Patent Document 5 describes a method for increasing the resolution while limiting the search range by sequentially using the results obtained with low-resolution images in order to synthesize two images that partially overlap each other. It is written.
  • Feature points can be extracted by extracting feature points from a high-resolution original image and using the points corresponding to the feature points as feature points of the reduced image, or extracting feature points from the reduced image.
  • FIG. 4 is a conceptual diagram of an image including feature points and an image not including feature points. As shown by the arrows in Fig. 4 (a) and Fig. 4 (b), the points with large edge curvature and the intersection of the edges are feature points. Fig. 4 (c) and Fig. 4 (d) It does not include points with large edge curvature or intersecting edges, so there are no feature points.
  • operators such as Moravec, Harris, and SUSAN and KLT have been proposed. For these operators, see Non-Patent Documents 1 to 6 below.
  • Patent Document 1 discloses a technique for performing collation by wavelet variable template matching.
  • Patent Document 2 discloses that an image having a low resolution is used as a camera shake correction method.
  • Patent Document 3 discloses a technique for extracting and correlating feature points of graphic data for each layer corresponding to the resolution of the display device when displaying the graphic data.
  • Patent Document 4 discloses a technique that uses the positions and shapes of feature points having different resolutions in an image restoration apparatus.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-34756
  • Patent Document 2 Japanese Patent Laid-Open No. 2004-343483
  • Patent Document 3 JP-A-87585
  • Patent Document 4 Japanese Patent No. 2652070
  • Patent Document 5 Japanese Patent Laid-Open No. 10-83442
  • Non-Special 3 PM HX1 Bruce D. Lucas and TaKeo Kanade: An Iterative Image Registration Technique with an Application to Stereo Vision, International Joint Conference on Artificial Intelligence, pages 674-679, 1981.
  • Non-Patent Document 2 Carlo Tomasi and Takeo Kanade: "Detection and Tracking of Point Features.”, Carnegie Mellon University Technical Report CMU_CS_91_132, April 19 91.
  • Non-Patent Document 3 Hideyuki Tamura: “Computer Image Processing”, published by Ohmsha, ISBN4-274-132 64-1
  • Non-Special Reference 4 Harris and M. Stephens: A combined Corner and Edge Detector, Proc. Alvey Vision Conf. Pp. 147–151, 1988
  • Non-Patent Document 5 S.M.Smith, J.M.Brady: "SUSAN-A New Approach to Low Level Image Processing
  • Patent Document 6 Richard Hartley, Andrew Zisserman: “Multiple View Geometry in Computer Vision", Cambridge Univ Pr (Txp); ISBN: 0521540518; 2nd (2004/04/01) Disclosure of the invention
  • An object of the present invention is to provide an image processing apparatus capable of performing image association at high speed while maintaining accuracy even for a multi-pixel image.
  • the image processing apparatus includes a reduced image generating unit that generates a reduced image of an image to be superimposed, and each pixel of an original image of the image to be overlapped in an image processing apparatus that superimposes and combines two images.
  • the expected feature value is calculated using a predetermined operator filter, block the feature value of each pixel so as to correspond to the resolution of the reduced image, and register the expected value of the feature value for each block.
  • Expected value map creating means for creating a value map
  • feature point extracting means for extracting feature points from the expected values registered in the expected value map, and a reduced image to be overlaid using the feature points
  • a superimposing unit that extracts a feature point in the original image corresponding to the feature point from the result of the superimposition and superimposes the original images.
  • the expected value map is created based on the original image, so that the map includes the information of the original image.
  • the resolution of the expected value map corresponds to the reduced image. Since feature points are extracted using this, feature points in the reduced image can be extracted while maintaining the original image information. The disappearance of feature points does not occur. Even when the processing shifts from the reduced image to the original image, the correspondence between the original images can be found simply by looking around the points on the original image corresponding to the feature points of the reduced image. I'm sorry.
  • FIG. 1 is a conceptual diagram of feature points.
  • FIG. 2 is a conceptual diagram of image superposition.
  • FIG. 3 is a conceptual diagram of correspondence between feature points.
  • FIG. 4 is a diagram for explaining feature points.
  • FIG. 5 is a conceptual diagram of image hierarchization.
  • FIG. 6 is a diagram for explaining disappearance of feature points.
  • FIG. 7 is a flow of feature point association.
  • FIG. 8 A conceptual diagram of creating an expected value map.
  • FIG. 9 is a diagram (part 1) illustrating a method for creating an expectation value map.
  • FIG. 10 is a diagram (part 2) illustrating a method for creating an expected value map.
  • FIG. 11 is a diagram (part 3) illustrating a method for creating an expectation value map.
  • FIG. 12 is a diagram (part 4) illustrating a method for creating an expectation value map.
  • FIG. 16 is a conceptual diagram of image blocking.
  • FIG. 17 is a diagram illustrating the correspondence of feature points between images with subject movement.
  • FIG. 18 is a flow (part 1) for associating feature points between images with subject movement.
  • FIG. 19 is a flow (part 2) for associating feature points between images with subject movement.
  • FIG. 20 is a diagram for explaining expansion processing.
  • the feature points extracted at high resolution are not feature points in the reduced image ( Figure 6 (b)).
  • the feature points extracted at low resolution do not become feature points when the resolution is increased (Fig. 6 ( d))
  • the disappearance of features increases the number of incorrect associations, resulting in a problem that it takes time to remove the erroneous correspondences.
  • the accuracy may decrease due to a decrease in the number of feature points.
  • a means for assuring that a feature point exists in an original image and a reduced image is provided.
  • an expected value map corresponding to the resolution at which feature points are extracted is generated from the upper resolution image. This can solve the problem of speed reduction and accuracy reduction due to disappearance of feature points due to hierarchization of images with a large number of pixels.
  • the embodiment of the present invention provides a means for creating an expected value map at high speed. Specifically, the expectation value map is created by limiting to the characteristic part in the low-resolution image. to this Therefore, even an image with a large number of pixels can solve the problem of increasing the expected value map creation time.
  • a means for detecting the displacement by removing the influence of the motion region Specifically, after calculating the displacement without considering the motion region, the motion region is detected, the feature point extraction region force is removed, and the displacement is calculated again. This solves the problem of reduced accuracy in calculating the displacement due to partial movement of the subject.
  • the embodiment of the present invention provides a means for reliably removing feature points on the boundary of the motion region. Specifically, an expansion process is performed on the detected motion region. As a result, the problem of a decrease in the positional deviation calculation accuracy can be solved.
  • a means for facilitating detection of a motion region is provided.
  • a process for matching the luminance levels between images is added. This facilitates detection of a motion region when there is a difference in luminance level between images.
  • an expected value map can be created at high speed even for images with a large number of pixels, thereby further speeding up the processing.
  • the power to do is S.
  • FIG 7 and 8 are diagrams showing an outline of the processing. First, the outline of the processing will be described.
  • Step S1 create a reduced image (Fig. 5 (la), (lb), (2a), (2b)) (Step S1), and create an expected value map of the same size as the reduced image (Step S2).
  • the feature amount of the reduced image is calculated (step S3), and feature points are extracted only from the points with the large expected values (step S4, see FIG. 8).
  • Track in the reduced image of the target Figure 5 (lb)) (corresponding points are detected; step S5).
  • Step S6 Determine whether or not to perform correspondence on an image with a higher resolution (Step S7) If the determination in Step S7 is No, end the processing. If Yes, convert the point corresponding to the feature point in Fig. 5 (la) that has been matched to a point on the upper resolution image in Fig. 5 (2a) and re-feature around it. Searching for a (step S8).
  • Figure 5 the removal of erroneous correspondence between feature point tracking (2a), is repeated with (2b) (3a), (3b).
  • FIG. 9 to FIG. 12 are diagrams for explaining a method for creating an expected value map.
  • feature values are calculated by Moravec Operator. Where the operator is Moravec The force S explained on the assumption that Operator is used, and various other operators can be used.
  • the feature value of each pixel is compared with the feature values of the eight neighboring pixels. If the feature value is not the maximum value, the feature value is set to zero.
  • the feature value is divided into the same number of blocks as the number of pixels in the expected value map, and the maximum value of each block is assumed as the expected value. Other than the top N expected values are set to 0.
  • Figure 9 is an image of the expected value map. Actually, the expected value obtained by the above process is registered in each block of the expected value map.
  • FIGS. 10 and 11 are diagrams exemplifying results when feature points are extracted without using an expected value map and when feature points are extracted using an expected value map, respectively.
  • the square location indicating the position of the feature point comes to the non-feature point in the reduced image.
  • the position of the square indicating the position of the feature point is also around the feature point in the reduced image.
  • FIG. 12 is a diagram for explaining Moravec Operator.
  • [0026] is a feature value of the position of I. In addition, when it is not the maximum value compared to the feature value near 8
  • FIG. 13 to FIG. 16 are diagrams for explaining an expected value map creation method. Figures 13 and 14 correspond to different creation methods.
  • the original image diagram 5 (3a) is divided into blocks of the same number as the number of pixels in the reduced image diagram 5 (la) (step S10).
  • the original image figure 5 (3a) can be divided into blocks of 4 pixels vertically and horizontally ( Figure 8a Processing 1, Figure 16 (a )).
  • the expected value of the feature point of the block is compared with the feature value of the pixels in the block and the maximum value is used (step Sl l).
  • the above-mentioned operators such as KLT, Moravec, Harris, and SUSAN can be used to calculate the features. Different operators may be used, such as KLT for feature point extraction and Moravec with a small amount of computation for expected value calculation.
  • the expected value may be set to 0 when there are few edges as shown in FIG.
  • FIG. 14 The portion without the edge in the reduced image is not extracted as a feature point in step S4 in FIG. Therefore, a process of detecting the edge of the reduced image is inserted before the process of FIG.
  • the presence / absence of an edge is calculated from the original image, but in FIG. 14, it is calculated from the reduced image, so that the speed can be increased. That is, the edge of the reduced image is detected in step S13, the original image is divided into blocks around the edge in step S14, and an expected value is calculated for each block in step S15.
  • step S20 it is determined in step S20 whether or not there is an edge in the vicinity. If the determination in step S20 is No, the expected value of that block is set to 0 in step S23. If the determination in step S20 is Yes, the feature quantity in the block is calculated in step S21, and the process is terminated in step S22 with the maximum value in the block as the expected value of the block.
  • the reduced images may be created at a necessary stage, not necessarily simultaneously.
  • the feature amount of the reduced image can be increased by calculating only around the point where the expected value is large.
  • the feature point re-search in step S7 in Fig. 7 is not essential, but if it is not performed, the accuracy may be reduced. It is not always necessary to create an expected value map from the original image.
  • An expected value map for Figure 5 (3a) can be created from Figure 5 (2a).
  • step S10 in FIG. 13 may have a width of 4 pixels or more, which does not create an overlapping area as a 4-pixel block in the above example.
  • FIG. 18 and FIG. 19 are flowcharts of different methods for feature point association processing, respectively.
  • FIG. 17 when the subject has partial movement, it is desirable not to extract feature points from the moving part. Therefore, as shown in the flow of FIG. 18, in the case of the first processing with a reduced image, motion detection is performed (FIG. 18, step S37), and feature points in the motion region are removed (FIG. 18, Returning to step S38), feature point extraction (2) (FIG. 18, step S40).
  • motion detection is performed (FIG. 18, step S37), and feature points in the motion region are removed (FIG. 18, Returning to step S38), feature point extraction (2) (FIG. 18, step S40).
  • feature points may be extracted again from an image from which a motion region has been removed, as in the flow of FIG.
  • a reduced image is created in step S30, an expected value map is created in step S31, and a feature amount is calculated in step S32.
  • step S33 feature points are extracted using the expected value map by the method described above.
  • step S34 the feature points are tracked, and in step S35, erroneous correspondence between the feature points of the original image and the feature points of the reduced image is removed.
  • step S36 it is determined whether or not the current process is the first process. If the determination in step S36 is yes, motion detection is performed in step S37, the motion region is removed in step S38, and the process proceeds to step S40.
  • step S39 it is determined in step S39 whether or not feature points are associated with a high-resolution image. If the determination in step S39 is No, the process ends. If the determination in step S39 is yes, feature points are extracted again at the above resolution in step S40. After step S40, proceed to step S34 and repeat the process until the desired resolution is reached.
  • FIG. 19 the same processes as those in FIG. 18 are denoted by the same step numbers, and description thereof is omitted.
  • step S36 determines whether the motion is detected in step S42, and after the motion region is removed or masked in step S43, a new feature point is extracted. is there. After step S43, the process returns to step S34 to repeat the process.
  • the motion region is extracted by superimposing FIG. 5 (lb) on FIG. 5 (la) from the information of the corresponding points obtained first, and either one or both of the luminance difference and color difference is equal to or more than an appropriate threshold value. Extracting points Convenient. However, if a feature point occurs at the boundary of the motion region, it may be classified outside the motion region depending on the threshold value. Therefore, it is desirable to dilate the extracted motion region.
  • feature point ⁇ p ⁇ is extracted from image P, and corresponding point ⁇ q ⁇ is searched in image Q.
  • N Number of repetitions from (2) to (4),: If the following expression is not satisfied for the number of inliers, return to (2)
  • FIG. 20 is a diagram for explaining the S tension processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

　異なる画像を合成する場合、対応する部分を正確に重ね合わせる必要がある。この場合、原画像から、ある作用素（フィルタ）を用いて、画素ごとに特徴量を計算する。これを原画像の縮小画像の解像度に一致するように、画素をブロック化し、各ブロックに特徴量の期待値を登録する期待値マップを作成する。そして、期待値マップが保持する期待値から特徴点を抽出し、縮小画像同士の重ね合わせを行う。そして、原画像に戻り、縮小画像で対応関係が得られた特徴点に対応する原画像の特徴点を抽出し、原画像同士の重ね合わせを、このようにして得られた特徴点を使って行う。

Description

明 細 書
画像処理装置
技術分野
[0001] 本発明は、複数の画像を画像合成する際に、高速に被写体の対応付けを行うこと ができる画像処理装置に関する。
背景技術
[0002] 図 1〜図 5を用いて、従来の画像合成方法を説明する。
例えば、図 1(a)と図 1(b)に示すような画像を用いて、図 1(c)に示すような重ね合わせ を行うとする。この場合、図 2に示すように、一方の画像の特徴点を抽出し、もう一方 の画像内で特徴点を探索して被写体の対応付けを行う。その際に、原画像のまま特 徴点追跡を行うと、図 3のように、原画像の全体にわたって特徴点を探索する必要が あるため、探索範囲が広くなるので、図 5に示すように、まず低解像度で特徴点同士 の対応付けを行い（図 5 (la)、（lb) )、解像度を上げた画像での特徴点探索範囲を 限定して段階的に解像度を上げて特徴点追跡を行う方法が一般的に用いられてい る（図 5 (2a)〜（3b) )。特許文献 5には互いに画像の一部が重複する 2つの画像を 合成するために、解像度の低い画像で求めた結果を順次利用して探索範囲を限定 しながら解像度を上げてレ、く方法が記されている。特徴点の抽出には、高解像度の 原画像から特徴点を抽出して、その特徴点に対応する点を縮小画像の特徴点とする 方法や、縮小画像から特徴点を抽出する方法がある。
[0003] 図 4は、特徴点を含む画像と特徴点を含まない画像の概念図である。図 4(a)や図 4( b)の矢印が示すような、エッジの曲率が大きい点や、エッジが交差する点が特徴点で あり、 図 4(c)や図 4(d)にはエッジの曲率が大きい点やエッジが交差する点は含まれ ないため、特徴点は存在しなレ、。このような特徴点を抽出するために、 Moravec、 Harr is、 SUSANといった作用素や KLTが提案されている。これらの作用素については、以 下の非特許文献 1〜6を参照されたい。
[0004] 複数の画像を合成して、パノラマ画像の生成や画像の高解像度化、ノイズ低減など を行う際には、画像間の高精度な対応付けが必要である。しかし、デジタルカメラの 性能向上などにより、処理対象の画像が多画素化するのに伴い演算処理も増加して おり、高速な処理方法が求められている。
従来の画像合成方法として、以下の特許文献がある。特許文献 1には、ウェーブレ ットの可変テンプレートマッチングにより照合を行う技術が開示されている。特許文献
2には、手振れ補正方法として、解像度の低い画像を用レ、ることが開示されている。 特許文献 3には、図形データを表示する際、表示装置の解像度に対応する階層ごと に図形データの特徴点を抽出し、対応付ける技術が開示されている。特許文献 4に は、画像復元装置において、異なる解像度の特徴点の位置や形状を用いる技術が 開示されている。
特許文献 1：特開 2001— 34756号公報
特許文献 2：特開 2004— 343483号公報
特許文献 3：特開平 8— 87585号公報
特許文献 4：特許第 2652070号公報
特許文献 5：特開平 10— 83442号公報
非特 3午文 HX1： Bruce D. Lucas and TaKeo Kanade: An Iterative Image Registration Technique with an Application to Stereo Vision , International Joint Conference on Artificial Intelligence, pages 674-679， 1981.
非特許文献 2 : Carlo Tomasi and Takeo Kanade: "Detection and Tracking of Point F eatures.", Carnegie Mellon University Technical Report CMU_CS_91_132, April 19 91.
非特許文献 3 :田村秀行："コンピュータ画像処理"、 オーム社出版、 ISBN4-274-132 64-1
非特千文献 4 :し. Harris and M. Stephens: A combined Corner and Edge Detector ， Proc. Alvey Vision Conf. pp. 147—151, 1988
非特許文献 5 : S.M.Smith, J.M.Brady:"SUSAN-A New Approach to Low Level Image Processing
特許文献 6 : Richard Hartley, Andrew Zisserman: "Multiple View Geometry in Com puter Vision", Cambridge Univ Pr(Txp); ISBN: 0521540518; 2nd(2004/04/01) 発明の開示
[0006] 本発明の課題は、多画素な画像であっても、精度を保ちながら高速に画像の対応 付けを行うことのできる画像処理装置を提供することである。
本発明の画像処理装置は、 2つの画像を重ね合わせて合成する画像処理装置に おいて、重ね合わせるべき画像の縮小画像を生成する縮小画像生成手段と、重ね 合わせるべき画像の原画像の各画素について、所定の作用素フィルタを用いて、特 徴量を計算し、該縮小画像の解像度に対応するように各画素の特徴量をブロックィ匕 し、各ブロックについて特徴量の期待値を登録した期待値マップを作成する期待値 マップ作成手段と、該期待値マップに登録された期待値から特徴点を抽出する特徴 点抽出手段と、該特徴点を用いて重ね合わせるべき画像の縮小画像を重ね合わせ 、該重ね合わせの結果から、該特徴点に対応する原画像内の特徴点を抽出し、原画 像同士の重ね合わせを行う重ね合わせ手段とを備えることを特徴とする。
[0007] 本発明によれば、期待値マップを原画像に基づいて作成しているので、原画像の 情報が含まれたマップとなってレ、る。期待値マップの解像度は縮小画像に対応する 、これを使って特徴点を抽出するので、原画像の情報を保ったまま縮小画像内の 特徴点を抽出することができ、原画像と縮小画像で特徴点の消失などが起こらない。 縮小画像から原画像に処理が移った場合にも、縮小画像の特徴点に対応する原画 像上の点の周辺を探すだけで、原画像の対応関係が見つけられるので、処理量も少 なくてすむ。
図面の簡単な説明
[0008] [図 1]特徴点の概念図である。
[図 2]画像の重ね合せの概念図である。
[図 3]特徴点の対応の概念図である。
[図 4]特徴点を説明する図である。
[図 5]画像の階層化の概念図である。
[図 6]特徴点の消失について説明する図である。
[図 7]特徴点対応付けのフローである。
[図 8]期待値マップ作成の概念図である。 [図 9]期待値マップの作成方法を説明する図（その 1)である。
[図 10]期待値マップの作成方法を説明する図（その 2)である。
[図 11]期待値マップの作成方法を説明する図（その 3)である。
[図 12]期待値マップの作成方法を説明する図（その 4)である。
[図 13]期待値マップ作成のフロー（その 1)である。
[図 14]期待値マップ作成のフロー（その 2)である。
[図 15]期待値算出のフローである。
[図 16]画像のブロック化の概念図である。
[図 17]被写体動きのある画像間の特徴点の対応を説明するである。
[図 18]被写体動きのある画像間の特徴点対応付けのフロー（その 1)である。
[図 19]被写体動きのある画像間の特徴点対応付けのフロー（その 2)である。
[図 20]膨張処理を説明する図である。
発明を実施するための最良の形態
[0009] 図 6を参照しながら、本発明の実施形態の基本的構成について説明する。
縮小画像の特徴点を高解像度の原画像から特徴点を抽出する方法 (従来例 1)で は、高解像度で抽出した特徴点が（図 6(a))、縮小画像では特徴点にならない（図 6(b) )可能性がある。また、縮小画像から特徴点を抽出する方法 (従来例 2)でも、低解像 度で抽出した特徴点（図 6(c))が、解像度を上げた場合に特徴点にならない（図 6(d)) 可能性がある。特徴が消失することにより、誤った対応付けが多くなり、誤対応を除去 する処理に時間がかかる、という問題が発生する。また、画像間の位置合わせに用い る場合には、特徴点数の減少により、精度が低下する可能性がある。
[0010] 本発明の実施形態では、原画像、および、縮小画像で特徴点が存在することを保 証する手段を提供する。具体的には、特徴点抽出を行う解像度に対応する期待値マ ップを上位の解像度画像から生成する。これにより、多画素数の画像の階層化による 特徴点の消失による速度低下や精度低下という課題を解決できる。
[0011] 画像が多画素化するに従い、期待値マップ生成に力かる演算量が増加する。そこ で、本発明の実施形態では、高速に期待値マップを作成する手段を提供する。具体 的には低解像度の画像で特徴的な部分に限定して期待値マップを作成する。これに よって多画素数の画像であっても、期待値マップ作成時間の増加とレ、う課題を解決 できる。
[0012] また、例えば、複数の画像を重ね合わせてノイズ補正を行う場合などには、高精度 な複数画像間の位置合わせが要求される。上記対応付け方法を用いて得た対応特 徴点情報から位置ずれを算出することで、高速に画像間の位置合わせが行える。部 分的に動きがある領域が含まれ、その領域内でも特徴点が抽出 '追跡された場合に も、 RANSACなどで動き領域内の特徴点の対応付けを誤対応として除去することは可 能である。しかし、誤対応とする動き量が小さい場合には、動きのない領域の対応付 けも誤対応とする可能性があり、動き量を大きくした場合には、動き領域の対応付け を除去しきれない可能性がある。特に、動きが少ない場合には動き領域の境界上の 特徴点の除去は困難である。その結果、対応付け特徴点数の減少や、除去し切れな 力、つた動き領域の対応点の影響により、画像間の位置ずれ検出精度が低下する。
[0013] そこで、本発明の実施形態では、動き領域の影響を除去して位置ずれ検出する手 段を提供する。具体的には動き領域を考慮せずに位置ずれを算出後に、動き領域を 検出して特徴点抽出領域力 除去し、再度位置ずれを算出する。これによつて被写 体の部分的な動きによる位置ずれ算出精度低下という課題を解決できる。
[0014] 被写体の動き領域を検出して特徴点抽出領域力 除去する際に、動き領域の境界 上の特徴点が除去されなかった場合、位置ずれ算出精度が低下する。そこで、本発 明の実施形態では、動き領域の境界上の特徴点を確実に除去する手段を提供する 。具体的には、検出した動き領域に対して膨張処理を行う。これによつて、位置ずれ 算出精度の低下という課題を解決できる。
[0015] 複数画像の位置ずれを求める場合に、被写体の部分的な動きを検出することを考 える。例えば蛍光灯下で撮像した場合には蛍光灯のチラツキにより、画像間の輝度 レベルに差が生じている可能性がある。この場合には、画像間の画素値の差分を比 較しても被写体の動き領域の検出は困難である。
[0016] そこで、本発明の実施形態では、動き領域の検出を容易にする手段を提供する。
具体的には、画像間の輝度レベルを一致させる処理を加える。これによつて、画像間 の輝度レベルに差が生じてレ、る場合の動き領域の検出を容易にする。 [0017] 上記構成によれば、特徴点抽出を行う解像度に対応する期待値マップを上位の解 像度画像から生成することにより、特徴点の消失や課題を解決し、多画素数の画像 であっても高速に画像間の被写体の対応付けが可能になる。
[0018] また、低解像度の画像で特徴的な部分に限定して期待値マップを作成することで、 多画素数の画像であっても高速に期待値マップを作成し、処理をさらに高速化する こと力 Sできる。
[0019] さらに、動き領域を考慮せずに位置ずれを算出後に、動き領域を検出して特徴点 抽出領域力 除去し、再度位置ずれを算出することで、被写体の部分的な動きによ る位置ずれ算出精度低下を防止することもでき、また、動き領域の境界上の特徴点 を確実に除去し、位置ずれ算出精度を保つこともできる。
[0020] また、さらに、画像間の輝度レベルに差があっても、容易に被写体の部分的な動き 領域を算出できるようにし、処理を高速化することができる。
図 l(a)、図 1(b)に示すような画像間の対応付けを、図 5のように 3階層（3段階の解像 度）で行う例について説明する。
[0021] 図 7及び図 8は、処理の概要を示す図である。まず、処理の概要を説明する。
始めに、縮小画像 (図 5(la),(lb),(2a),(2b》の作成と (ステップ S 1)と、縮小画像と同サ ィズの期待値マップの作成 (ステップ S2)を行う。次に縮小画像の特徴量を算出し (ス テツプ S3)、前記期待値が大きい点からのみ特徴点を抽出する (ステップ S4、図 8参 照)。抽出した特徴点を、対応付け対象の縮小画像 (図 5(lb))内で追跡する (対応する 点を検出する;ステップ S5)。追跡結果には誤対応が含まれている可能性があるので 、 RANSACなどで誤対応を除去する (ステップ S6)。より大きい解像度の画像上で対応 付けを行うか否かを判断する（ステップ S7)。ステップ S7の判断が Noの場合には、処 理を終了する。ステップ S7の判断が Yesの場合には、対応が取れた図 5(la)の特徴 点に対応する点を上の解像度の画像図 5(2a)上の点に変換し、その周囲で再度特徴 点を探索する (ステップ S8)。特徴点の追跡と誤対応の除去を図 5(2a)，(2b) (3a)，(3b)で 繰り返す。
[0022] 図 9〜図 12は、期待値マップの作成方法を説明する図である。
まず、 Moravec Operatorにより特徴量を算出する。ここで、作用素として、 Moravec Operatorを使うことを前提に説明する力 S、他のさまざまな作用素が使用可能である。 個々の画素の特徴量に対して、その 8近傍の画素の特徴量と比較し、最大値でない 場合はその特徴量を 0とする。期待値マップの画素数と同数のブロックに特徴量を分 割し、各ブロックの最大値を期待値とする。期待値の上位 N個以外を 0とする。図 9は 、期待値マップのイメージ図である。実際には、期待値マップの各ブロックには、上記 処理で得られた期待値が登録される。
[0023] このようにして得た期待値マップが適当な閾値以上の場所から追跡する特徴点を 抽出することで、特徴点の消失という課題が解決できる。
図 10と図 11は、それぞれ、期待値マップを使用しないで特徴点を抽出した場合と、 期待値マップを使用して特徴点を抽出した場合の結果を例示する図である。図 10の 期待値マップを使用しない場合には、特徴点の位置を示す四角の場所が縮小画像 において、特徴点でない部分に来ている。これに対し、図 11の期待値マップを使用 した場合には、特徴点の存在位置を示す四角の位置が、縮小画像においても特徴 点のあるあたりになっている。
[0024] 図 12は、 Moravec Operatorを説明する図である。
図 12のようなウィンドウに対して、
[0025] [数 1]
2
min ( ',ノ ー 7。,。）2 ' 二 0 2,3)
;=-2
[0026] を I の位置の特徴量とする。さらに、 8近傍の特徴量と比較して極大値でない場合
0, 0
はその点を 0とした結果をオペレータの出力とする。
図 13〜図 16は、期待値マップ作成方法を説明する図である。図 13と図 14は、そ れぞれ異なる作成手法に対応する。
[0027] まず、図 13の処理について説明する。
原画像図 5(3a)を、縮小画像図 5(la)の画素数と同数のブロックに分割する（ステツ プ S10)。例えば、縮小画像図 5(la)の縮小率が縦横 1/4であるとする。この場合には 、原画像図 5(3a)を縦横 4ピクセルのブロックに分割すればょレ、 (図 8a処理 1、図 16 (a ) )。ブロックの特徴点の期待値は、ブロック内の画素の特徴量を比較して最大値を使 用する（ステップ Sl l)。特徴量の計算には、前述の KLTや Moravec、 Harris, SUSAN といった作用素が利用できる。特徴点の抽出には KLTを用い、期待値の算出には演 算量の少ない Moravecを用いる、というように、違う作用素を利用しても良い。違う作 用素を用いる場合には、図 16 (b)のように、隣り合うブロックに重なり領域を作ることが 望ましレ、。また、 KLTのような演算量の多い作用素を用いる場合には、図 15のように 、予めエッジの有無を判断してエッジが少ない場合には期待値を 0としても良い。
[0028] 次に、図 14の処理について説明する。縮小画像でエッジの無い部分は、図 7のス テツプ S4で特徴点として抽出されないため、期待値の算出を省ける。そこで、図 13 の処理の前に、縮小画像のエッジを検出する処理を入れる。図 13ではエッジの有無 を原画像で算出するが、図 14では縮小画像で算出するため、高速化が図れる。すな わち、ステップ S13において、縮小画像のエッジを検出し、ステップ S14において、ェ ッジの周辺において、原画像をブロックに分割し、ステップ S15において、ブロック毎 に期待値を算出する。
[0029] 図 15の期待値算出処理においては、ステップ S20において、近傍にエッジがある か否かを判断する。ステップ S20の判断が Noの場合には、ステップ S23において、 そのブロックの期待値を 0とする。ステップ S20の判断が Yesの場合には、ステップ S2 1において、ブロック内の特徴量を算出し、ステップ S22において、ブロック内の最大 値をそのブロックの期待値として処理を終了する。
[0030] なお、縮小画像 (図 5(la),(lb),(2a),(2b))の作成は、同時に行う必要はなぐ必要な段 階で作成しても良い。また、縮小画像の特徴量は、期待値が大きい点の周囲のみを 算出すればより高速化可能である。図 7のステップ S7の特徴点再探索は必須ではな レ、が、行わないと精度が落ちる可能性がある。必ずしも原画像から期待値マップを作 成する必要はなぐ図 5(3a)のための期待値マップを図 5(2a)から作成しても良レ、。さら に、図 13のステップ S10は、上の例では縦横 4ピクセルのブロックとして重なり領域を 作らなかった力 4ピクセル以上の幅としても良い。
[0031] 図 18及び図 19は、特徴点の対応付け処理のそれぞれ異なる手法のフローである 図 17のように、被写体に部分的な動きがある場合に、動きのある部分からは特徴点 を抽出しないことが望ましい。そこで、図 18のフローのように、縮小画像での一回目 の処理の場合には、動き検出を行レ、（図 18、ステップ S37)、動き領域内の特徴点を 除去し（図 18、ステップ S38)、特徴点抽出（2) (図 18、ステップ S40)に戻る。この場 合、必要な特徴点数より多めに特徴点候補を抽出して、動き領域を除去した対応点 を利用するのが良い。
[0032] また、図 19のフローのように、動き領域を除去した画像から再度特徴点抽出を行つ ても良い。
図 18の特徴点対応付け手法においては、ステップ S30において、縮小画像を作成 し、ステップ S31において、期待値マップを作成し、ステップ S32において、特徴量を 算出する。そして、ステップ S33において、前述の方法で、期待値マップを用いて特 徴点を抽出する。ステップ S34において、特徴点の追跡を行い、ステップ S35におい て、原画像の特徴点と縮小画像の特徴点の誤対応を除去する。ステップ S36におい て、現在の処理が一回目の処理か否かを判断する。ステップ S36の判断が Yesの場 合には、ステップ S37において、動き検出を行い、ステップ S38において、動き領域 を除去し、ステップ S40に進む。ステップ S36の判断が Noの場合には、ステップ S39 において、高解像度の画像で特徴点の対応付けを行うか否かを判断する。ステップ S39の判断が Noの場合には、処理を終了する。ステップ S39の判断が Yesの場合 には、ステップ S40において、上の解像度において、再度特徴点を抽出する。ステツ プ S40の後は、ステップ S34に進んで、 目的の解像度にいたるまで、処理を繰り返す
[0033] 図 19においては、図 18と同じ処理には同じステップ番号を付し、説明を省略する。
図 18と異なる部分は、ステップ S36の判断が Yesの場合、ステップ S42において、動 き検出を行い、ステップ S43において、動き領域を除去あるいはマスクした後、新た に、特徴点の抽出を行うことである。ステップ S43の後は、ステップ S34に戻って、処 理を繰り返す。
[0034] 動き領域の抽出は、最初に求めた対応点の情報から、図 5(lb)を図 5(la)に重ね合 せ、その輝度差や色差の一方もしくは両方が適当な閾値以上の点を抽出するのが 簡便である。ただし、動き領域の境界に特徴点が生じ場合、閾値によっては動き領域 外に分類される可能性があるので、抽出した動き領域に対して膨張処理をすることが 望ましい。
[0035] 画像図 5(lb)を図 5(la)間に輝度レベルの差がある場合には、輝度差や色差から動 き領域を抽出するのは困難であるが、画像間の輝度レベルを一致させるようにヒスト グラム変換を施すことで、動き領域の抽出が容易になる。
[0036] 以下に、画像の重ね合せ方法を説明する。
まず、画像 Pから特徴点 {p }を抽出し、画像 Qで対応点 {q }を探索する
次に、 n≥4個の対応付けされた点 {p q }に対して、 q =Hpを満たす行列を求める
[0037] 画像 Qを画像 Pに重ね合わせる場合は、画像 P上の点 p = {x 、y 、 1 }τに対応する 画像 Q上の点 q =Hpの画素値を補間によって求め、画像 Pに重ねる。
ただし p、 qは、 p = {x 、y 、 1 }T、 q = {x 、y 、 1 }Tにのように斉次座標で表現す る。
[0038] [行列 Hの求め方]
(D p., を次式のように変換する。
[0039] [数 2]
P mean 一
Figure imgf000012_0001
ϊ
mean /
^dist
[0040] (2) Hに対して、次のように q =Hpを満たす行列 Hを求める
[0041] [数 3] 0Γ P q p
(Aiは 2行 9列の行列）
、 0
A = [AX T A\ A (Aは を行方向に並べた 2 n行 9列の行列） →A = UDVT (特異値分解、 Dは大きい順に並ぶようにする) H = (h, h, (Ηは 3行 3列の行列）
ただし hは Vの最終列で h = (hf h【 h である。
[0042] (3) Η=Τ _1ΗΤとする。ここで、 Τ、 Τは次のような行列である
q P P q
[0043] [数 4]
-
Figure imgf000013_0001
[0044] 次に、誤対応点除去方法 (RAN SAC for Homography)について説明する。
下の処理の（4)で t2≤d 2である点 (outlier)を誤対応点として除去する。
err
(1)対応付けされた点 {p q }を {£ }、 T、 Tに変換する。変換方法は上記を参
p q
照のこと。
(2) から、無作為に 4点を抽出する。ただし、この 4点からさらに 3点を抽出した ときに、この 3点が同一線上にあるような組合せがあってはならない。
(3)抽出した 4点力 Homography： Hを求める。
(4) d 2 n -H →Q.
err = I i s i I 2+ I i s i I 2く t2である点を inlierとする。
(5) N : (2)から (4)の繰返し回数、 ： inlierの数に対して次式を満たさない場合（2) に戻る
[0045] [数 5] ( ） < N
log (卜 (",. /")4)—
[0046] (6) {o a }中の inlier全てから再度 Homography : Hを求める。 (7){p q}に対する Homography:H=T " HTを求める。
ί i q p
次に、膨張処理について説明する。図 20は、 S彭張処理を説明するための図である
[0047] 動き領域と判定した部分を白で表した場合、黒い点に着目し、 8近傍に白い点がな い場合はそのまま（図 20(a) )、白い点がある場合は白に (図 20(b))する。例えば、図 20(c)左のようなマスクは、図 20(c)右のようになる。ただし、図 20(c)右では分りや すさのため、膨張前の白レ、部分を斜線で表してレ、る。
[0048] 次に、ヒストグラム変換について述べる。
画像 2を画像 1の輝度レベルに変換する場合、次にような処理を行う。
(1)画像 1と画像 2との単純な差分をとり、適当に定めた閾値以下の領域を抽出する
(2) (1)で抽出した領域内で、画像 1の画素値の標準偏差 S、平均値 X、画像 2の画
1 1
素値の標準偏差 s、平均値 Xを求める
2 2
(3)画像 2の画素値 yを次式により Yに変換する
[0049] [数 6]
Figure imgf000014_0001

Claims

請求の範囲
[1] 2つの画像を重ね合わせて合成する画像処理装置におレ、て、
重ね合わせるべき画像の縮小画像を生成する縮小画像生成手段と、
重ね合わせるべき画像の原画像の各画素について、所定の作用素フィルタを用い て、特徴量を計算し、該縮小画像の解像度に対応するように各画素の特徴量をプロ ックイ匕し、各ブロックについて特徴量の期待値を登録した期待値マップを作成する期 待値マップ作成手段と、
該期待値マップに登録された期待値力 特徴点を抽出する特徴点抽出手段と、 該特徴点を用いて重ね合わせるべき画像の縮小画像を重ね合わせ、該重ね合わ せの結果から、該特徴点に対応する原画像内の特徴点を抽出し、原画像同士の重 ね合わせを行う重ね合わせ手段と、
を備えることを特徴とする画像処理装置。
[2] 前記縮小画像は、複数の解像度について生成され、もっとも解像度の低い縮小画 像を最初に用いて重ねあわせを行い、順次解像度の高い縮小画像の重ねあわせを 行い、最終的に前記原画像についての重ね合わせを行うことを特徴とする請求項 1 に記載の画像処理装置。
[3] 前記特徴点抽出手段は、画像内の物体が動いていると考えられる領域を取り除い て特徴点を抽出することを特徴とする請求項 1に記載の画像処理装置。
[4] 前記期待値は、画像のエッジがある部分についてのみ計算することを特徴とする請 求項 1に記載の画像処理装置。
[5] 前記期待値は、画像のエッジがない部分については、 0に設定されることを特徴と する請求項 1に記載の画像処理装置。
[6] 前記重ね合わせるべき 2つの画像の輝度レベルを一致させた後、重ねあわせ処理 を行うことを特徴とする請求項 1に記載の画像処理装置。
[7] 前記物体が動いていると考えられる領域に膨張処理をほどこした領域を、特徴点の 抽出処理につ力う領域から除外することを特徴とする請求項 3に記載の画像処理装 置。
[8] 前記作用素フィルタは、 Moravec作用素を用いたフィルタであることを特徴とする 請求項 1に記載の画像処理装置。
[9] 2つの画像を重ね合わせて合成する画像処理方法において、
重ね合わせるべき画像の縮小画像を生成し、
重ね合わせるべき画像の原画像の各画素について、所定の作用素フィルタを用い て、特徴量を計算し、該縮小画像の解像度に対応するように各画素の特徴量をプロ ックイ匕し、各ブロックについて特徴量の期待値を登録した期待値マップを作成し、 該期待値マップに登録された期待値力 特徴点を抽出し、
該特徴点を用いて重ね合わせるべき画像の縮小画像を重ね合わせ、該重ね合わ せの結果から、該特徴点に対応する原画像内の特徴点を抽出し、原画像同士の重 ね合わせを行う、
ことを特徴とする画像処理方法。
[10] 2つの画像を重ね合わせて合成する画像処理方法をコンピュータに実現させるプロ グラムにおいて、
重ね合わせるべき画像の縮小画像を生成し、
重ね合わせるべき画像の原画像の各画素について、所定の作用素フィルタを用い て、特徴量を計算し、該縮小画像の解像度に対応するように各画素の特徴量をプロ ックイ匕し、各ブロックについて特徴量の期待値を登録した期待値マップを作成し、 該期待値マップに登録された期待値力 特徴点を抽出し、
該特徴点を用いて重ね合わせるべき画像の縮小画像を重ね合わせ、該重ね合わ せの結果から、該特徴点に対応する原画像内の特徴点を抽出し、原画像同士の重 ね合わせを行う、
ことを特徴とする画像処理方法を実現するためのプログラム。
PCT/JP2005/010523 2005-06-08 2005-06-08 画像処理装置 WO2006131967A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP05748563A EP1901228B1 (en) 2005-06-08 2005-06-08 Apparatus, method and program for image matching
JP2007519994A JP4142732B2 (ja) 2005-06-08 2005-06-08 画像処理装置
PCT/JP2005/010523 WO2006131967A1 (ja) 2005-06-08 2005-06-08 画像処理装置
US11/949,463 US8401333B2 (en) 2005-06-08 2007-12-03 Image processing method and apparatus for multi-resolution feature based image registration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/010523 WO2006131967A1 (ja) 2005-06-08 2005-06-08 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/949,463 Continuation US8401333B2 (en) 2005-06-08 2007-12-03 Image processing method and apparatus for multi-resolution feature based image registration

Publications (1)

Publication Number Publication Date
WO2006131967A1 true WO2006131967A1 (ja) 2006-12-14

Family

ID=37498179

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/010523 WO2006131967A1 (ja) 2005-06-08 2005-06-08 画像処理装置

Country Status (4)

Country Link
US (1) US8401333B2 (ja)
EP (1) EP1901228B1 (ja)
JP (1) JP4142732B2 (ja)
WO (1) WO2006131967A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150882A1 (ja) * 2008-06-10 2009-12-17 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP2015021891A (ja) * 2013-07-22 2015-02-02 株式会社ミツトヨ 画像測定装置およびプログラム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1744278B1 (en) * 2005-07-13 2008-05-21 LaserSoft Imaging AG Providing a digital copy of a source image
JP5226600B2 (ja) * 2009-04-28 2013-07-03 富士フイルム株式会社 画像変形装置およびその動作制御方法
DE102010005265A1 (de) * 2010-01-20 2011-07-21 Testo AG, 79853 Verfahren zur überlagerten Darstellung korrespondierender Bilder und Bildaufnahmevorrichtung
JP5653104B2 (ja) * 2010-07-16 2015-01-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US8532390B2 (en) * 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
US10424342B2 (en) 2010-07-28 2019-09-24 International Business Machines Corporation Facilitating people search in video surveillance
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
JP5569357B2 (ja) 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
TWI492166B (zh) 2012-01-12 2015-07-11 Kofax Inc 行動影像擷取和處理的系統和方法
CN102855649B (zh) * 2012-08-23 2015-07-15 山东电力集团公司电力科学研究院 基于orb特征点的高压杆塔高清图像全景拼接方法
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US10140511B2 (en) 2013-03-13 2018-11-27 Kofax, Inc. Building classification and extraction models based on electronic forms
US10127636B2 (en) * 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US9886645B2 (en) 2013-05-09 2018-02-06 National Technology & Engineering Solutions Of Sandia, Llc Image registration via optimization over disjoint image regions
WO2015073920A1 (en) 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
JP6686890B2 (ja) * 2014-10-03 2020-04-22 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
CN106204455A (zh) * 2016-07-13 2016-12-07 广州市久邦数码科技有限公司 一种带有多重滤镜效果的图像处理方法及其系统
JP6869841B2 (ja) * 2017-07-20 2021-05-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6897431B2 (ja) * 2017-08-30 2021-06-30 オムロン株式会社 画像処理装置、設定支援方法、および設定支援プログラム
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11335108B2 (en) * 2020-08-10 2022-05-17 Marlabs Incorporated System and method to recognise characters from an image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785246A (ja) * 1993-09-10 1995-03-31 Olympus Optical Co Ltd 画像合成装置
JPH07200778A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 画像取扱装置
JPH08147473A (ja) * 1994-11-17 1996-06-07 Matsushita Electric Ind Co Ltd 画像動き検出方法
JP2652070B2 (ja) 1989-09-12 1997-09-10 株式会社 エイ・ティ・アール視聴覚機構研究所 画像処理装置
JPH1083442A (ja) 1996-09-09 1998-03-31 Canon Inc 画像合成方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128416A (en) * 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JPH0887585A (ja) 1994-09-17 1996-04-02 Sony Corp 図形データの階層的近似化方法
US6714689B1 (en) * 1995-09-29 2004-03-30 Canon Kabushiki Kaisha Image synthesizing method
JP4086422B2 (ja) 1999-07-21 2008-05-14 日本放送協会 被写体認識装置
US6795567B1 (en) * 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
US6665440B1 (en) * 2000-05-30 2003-12-16 Microsoft Corporation System and method for performing corner guided curve matching of multiple images representing a scene
JP2004343483A (ja) 2003-05-16 2004-12-02 Acutelogic Corp 手振れ補正装置および方法、手振れ検出装置
US7991232B2 (en) * 2004-03-03 2011-08-02 Nec Corporation Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
FR2872728B1 (fr) * 2004-07-06 2006-09-15 Commissariat Energie Atomique Procede de saisie d'un objet par un bras de robot muni d'une camera
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP4899402B2 (ja) * 2005-10-05 2012-03-21 株式会社日立製作所 撮像装置
JP5100360B2 (ja) * 2007-12-21 2012-12-19 株式会社トプコン 画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2652070B2 (ja) 1989-09-12 1997-09-10 株式会社 エイ・ティ・アール視聴覚機構研究所 画像処理装置
JPH0785246A (ja) * 1993-09-10 1995-03-31 Olympus Optical Co Ltd 画像合成装置
JPH07200778A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 画像取扱装置
JPH08147473A (ja) * 1994-11-17 1996-06-07 Matsushita Electric Ind Co Ltd 画像動き検出方法
JPH1083442A (ja) 1996-09-09 1998-03-31 Canon Inc 画像合成方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BRUCE D. LUCAS; TAKEO KANADE: "An Iterative Image Registration Technique with an Application to Stereo Vision", INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE, 1981, pages S 674 - 679
C. HARRIS; M. STEPHENS: "A combined Corner and Edge Detector", PROC. ALVEY VISION CONF., 1988, pages 147 - 151
CARLO TOMASI; TAKEO KANADE: "Detection and Tracking of Point Features", CARNEGIE MELLON UNIVERSITY TECHNICAL REPORT CMU-CS-91-132, April 1991 (1991-04-01)
HIDEYUKI TAMURA: "Computer Image Processing", OHMUSHA
RICHARD HARTLEY; ANDREW ZISSERMAN: "Multiple View Geometry in Computer Vision", 1 April 2004, CAMPRIDGE UNIV PR
S. M. SMITH; J. M. BRADY, SUSAN-A NEW APPROACH TO LOW LEVEL IMAGE PROCESSING

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150882A1 (ja) * 2008-06-10 2009-12-17 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP5294343B2 (ja) * 2008-06-10 2013-09-18 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP2015021891A (ja) * 2013-07-22 2015-02-02 株式会社ミツトヨ 画像測定装置およびプログラム

Also Published As

Publication number Publication date
EP1901228A4 (en) 2009-08-19
US20080232715A1 (en) 2008-09-25
US8401333B2 (en) 2013-03-19
EP1901228B1 (en) 2011-05-18
JPWO2006131967A1 (ja) 2009-01-08
EP1901228A1 (en) 2008-03-19
JP4142732B2 (ja) 2008-09-03

Similar Documents

Publication Publication Date Title
WO2006131967A1 (ja) 画像処理装置
US8055101B2 (en) Subpixel registration
US8023725B2 (en) Identification of a graphical symbol by identifying its constituent contiguous pixel groups as characters
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
JP4630936B1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
US6714689B1 (en) Image synthesizing method
US20110170784A1 (en) Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus
CN109461174A (zh) 视频目标区域跟踪方法和视频平面广告植入方法及系统
CN104574339A (zh) 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN102074001A (zh) 一种文本图像的拼接方法及系统
JP2003006619A (ja) 複数個の画像をマッチングする方法及び装置
JP6797046B2 (ja) 画像処理装置及び画像処理プログラム
JP2009109666A (ja) 解像度変換装置、方法およびプログラム
Kim et al. Development of an AR based method for augmentation of 3D CAD data onto a real ship block image
JPWO2018158903A1 (ja) 重畳位置補正装置及び重畳位置補正方法
JP2010093343A (ja) カメラワーク最適化プログラム、撮像装置及びカメラワーク最適化方法
JP2003288588A (ja) 画像処理装置及び画像処理方法
KR20050063991A (ko) 영상 피라미드를 이용한 영상정합 처리방법 및 장치
US6650362B1 (en) Movement detecting apparatus with feature point extractor based on luminance gradient in current frame
Chang et al. A low-complexity image stitching algorithm suitable for embedded systems
JPH10108003A (ja) 画像合成装置および画像合成方法
JP5563390B2 (ja) 画像処理装置およびその制御方法、及びプログラム
JP7001265B2 (ja) 映像修復システム、映像修復方法及びプログラム
JP5883715B2 (ja) 画像処理ｌｓｉ、画像処理システムおよび画像処理方法
Rao et al. A heterogeneous feature-based image alignment method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007519994

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005748563

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 2005748563

Country of ref document: EP