KR20150119706A - Method for image matching using global motion vector compensation - Google Patents

Method for image matching using global motion vector compensation Download PDF

Info

Publication number
KR20150119706A
KR20150119706A KR1020140045458A KR20140045458A KR20150119706A KR 20150119706 A KR20150119706 A KR 20150119706A KR 1020140045458 A KR1020140045458 A KR 1020140045458A KR 20140045458 A KR20140045458 A KR 20140045458A KR 20150119706 A KR20150119706 A KR 20150119706A
Authority
KR
South Korea
Prior art keywords
motion vector
image
global motion
block
representative block
Prior art date
Application number
KR1020140045458A
Other languages
Korean (ko)
Other versions
KR101589186B1 (en
Inventor
이용헌
곽동민
양동원
윤주홍
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020140045458A priority Critical patent/KR101589186B1/en
Publication of KR20150119706A publication Critical patent/KR20150119706A/en
Application granted granted Critical
Publication of KR101589186B1 publication Critical patent/KR101589186B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

The present invention relates to a method for matching an image by calculating a global motion vector from continuous images inputted from an image sensor. More specifically, the present invention relates to a method for matching an image by using global motion vector compensation, in which continuous image backgrounds inputted from an image sensor are matched or an object moving in an image can be separated and detected from a background, when the image sensor is shaken or moved or when the image sensor is pan or tilt operated. According to an aspect of an embodiment of the method for matching an image of the present invention comprises: an image inputting step of inputting an image; a representative block setting step of setting a representative block in the inputted image; a global motion vector calculating step of calculating a global motion vector by using the representative block; and a global motion vector compensating step of performing a global motion vector compensation for the image by using the global motion vector. Moreover, the global motion vector calculating step comprises: a block motion vector calculating step of calculating a motion vector of the representative block and a motion vector of an adjacent block surrounding the representative block; a motion vector conformity calculating step of calculating conformity between the motion vectors; and an image matching function confirming step of determining a global motion vector by comparing a matching function value with a particular critical value, when the multiple motion vectors are matched with each other.

Description

글로벌 모션벡터 보상을 이용한 영상정합 방법 {METHOD FOR IMAGE MATCHING USING GLOBAL MOTION VECTOR COMPENSATION}[0001] METHOD FOR IMAGE MATCHING USING GLOBAL MOTION VECTOR COMPENSATION [0002]

본 발명은, 영상센서로부터 입력되는 연속적인 영상으로부터 글로벌 모션벡터(Global Motion Vector)을 계산하여 영상을 정합하는 방법에 관한 것이다. 보다 상세하게는, 영상센서가 흔들리거나 이동하는 경우 또는 영상센서가 팬·틸트 기동하는 경우에서도, 영상센서로부터 입력되는 연속적인 영상배경을 일치시키거나 영상 내 이동하는 물체를 배경으로부터 구분·탐지할 수 있는 글로벌 모션벡터(Global Motion Vector) 보상을 이용한 영상정합 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of calculating a global motion vector from a continuous image input from an image sensor and matching the images. More specifically, even when the image sensor is wobbled or moved, or when the image sensor is in the pan / tilt start state, the continuous image background input from the image sensor is matched or an object moving in the image is distinguished from the background And more particularly, to a video matching method using global motion vector compensation.

연속적으로 입력되는 영상에서 글로벌 모션벡터(Global Motion Vector)를 계산하고 이를 보상하는 기술은, 영상센서를 이용한 이동물체의 탐지·분할기술 또는 영상압축과 같은 영상처리 기술의 성능을 향상시키기 위하여, 필요한 기술이다.A technique for calculating and compensating a global motion vector in a continuously input image is required to improve the performance of an image processing technique such as detection or segmentation of a moving object using an image sensor or image compression Technology.

일정한 시간차를 갖는 두 장의 영상(기준영상; Reference Image, 현재영상; Current Image) 사이에 발생하는 모션벡터(Motion Vector)는, 글로벌 모션벡터 (Global Motion Vector)와 로컬 모션벡터(Local Motion Vector)으로 구분될 수 있다. 상기 글로벌 모션벡터(Global Motion Vector)는 영상센서가 흔들리거나 이동하는 경우 또는 영상센서가 팬·틸트 기동하는 경우 두 영상 사이에 발생하는 모션벡터이고, 상기 로컬 모션벡터(Local Motion Vector)는 영상 내 물체 및 일부영역(예를 들면, 영상블록)이 이동하는 경우 두 영상 사이에 발생하는 모션벡터이다. 여기서, 상기 두 장의 영상은 기준영상(Reference Image)과 현재영상(Current Image)으로 구분할 수 있으며, 상기 모션벡터(Motion Vector)는 두 영상에서 대응되는 위치의 변화량, 즉 두 영상에서 대응되는 영상블록의 이동량 및 방향을 의미하며, "이동량"이라고 호칭될 수 있다.A motion vector generated between two images (reference image, current image) having a predetermined time difference is divided into a global motion vector and a local motion vector Can be distinguished. The global motion vector is a motion vector generated between two images when the image sensor shakes or moves, or when the image sensor is in a pan / tilt state, and the local motion vector is a motion vector It is a motion vector that occurs between two images when an object and some area (e.g., an image block) move. Here, the two images may be divided into a reference image and a current image. The motion vector may be a variation amount of a corresponding position in two images, that is, Quot; movement amount "and the" movement amount ".

그런데, 글로벌 모션벡터(Global Motion Vector)를 계산하고 이를 보상하는 기술은, 두 영상 사이의 배경을 일치시킴으로써 영상 내에서 이동하는 물체를 탐지하거나, 상기 물체를 배경으로부터 분할하는 장치 및 기술에서 활용될 수 있다. 반면, 로컬 모션벡터(Local Motion Vector)를 계산하고 이를 보상하는 기술은, 두 영상 사이의 차이를 최소화함으로써 영상압축과 같은 응용기술의 성능을 향상시키는데 활용될 수 있다. 더욱 상세하게는, 상기 로컬 모션벡터 기술(Local Motion Vector)은, 기준영상에서 일정한 크기로 영상을 분할하고, 분할된 각각의 영상블록 별로 이동량을 계산한다. 그리고, 계산된 영상블록 별 이동량을 반영하여 기준영상의 블록을 재배치하는 과정에서 보상된 기준영상(Reference Image)과 현재영상(Current Image) 사이의 차이를 최소화하는 과정을 거친다.However, a technology for calculating and compensating a global motion vector is not limited to a technique for detecting an object moving in an image by matching the background between two images, or for dividing the object from the background . On the other hand, the technique of calculating and compensating the local motion vector can be utilized to improve the performance of the application technology such as image compression by minimizing the difference between the two images. More specifically, the local motion vector technique divides an image into a predetermined size in a reference image, and calculates a movement amount for each divided image block. The process of minimizing the difference between the compensated reference image and the current image in the process of rearranging the blocks of the reference image reflecting the calculated movement amounts of the image blocks is performed.

이러한 글로벌 모션벡터(Global Motion Vector) 및 로컬 모션벡터(Local Motion Vector)에 대한 계산 성능은, 계산된 이동량을 이용한 기준영상 보상결과와 현재의 현재영상 간 영상 품질 비교 방법(예를 들어, PSNR;Peak Signal to Noise Ratio)을 통해 평가할 수 있다.
The calculation performance for the global motion vector and the local motion vector is calculated by a method of comparing the reference image compensation result using the calculated movement amount and the current image quality of the current image (for example, PSNR; Peak Signal to Noise Ratio).

본 발명은, 영상센서가 흔들리거나 이동하는 경우 또는 영상센서가 팬·틸트 기동하는 경우, 영상센서로부터 입력되는 연속적인 영상배경을 일치시켜, 영상 내 이동하는 물체를 배경으로부터 탐지·구분할 수 있는 글로벌 모션벡터(Global Motion Vector) 보상을 이용한 영상정합 방법을 제공하는데 그 목적이 있다.
The present invention relates to a method and apparatus for detecting a moving object in an image by matching a continuous image background input from the image sensor when the image sensor is shaken or moved or when the image sensor is in a pan / And an image matching method using motion vector compensation.

본 발명에 의한 영상정합 방법의 실시예의 일 양태는, 영상이 입력되는 영상 입력단계; 상기 입력된 영상 내에서 대표블록을 설정하는 대표블록 설정단계; 상기 대표블록을 이용하여 글로벌 모션벡터(Global Motion Vector)를 연산하는 글로벌 모션벡터 연산단계; 및 상기 글로벌 모션벡터(Global Motion Vector)를 이용하여 상기 영상에 대한 글로벌 모션벡터 보상을 수행하는 글로벌 모션벡터 보상단계; 를 포함할 수 있다.One aspect of an embodiment of the image matching method according to the present invention is an image matching method comprising: inputting an image; A representative block setting step of setting a representative block in the input image; A global motion vector calculation step of calculating a global motion vector using the representative block; A global motion vector compensation step of performing global motion vector compensation on the image using the global motion vector; . ≪ / RTI >

또한, 상기 글로벌 모션벡터 연산단계는, 상기 대표블록의 모션벡터 및 상기 대표블록을 둘러싼 인접블록의 모션벡터를 연산하는 블록 모션벡터 연산단계; 상기 다수의 모션벡터 사이의 일치도을 연산하는 모션벡터 일치도 연산단계; 및 상기 다수의 모션벡터가 서로 일치하는 경우, 정합성능 값을 소정의 임계값과 비교하여 글로벌 모션벡터를 결정하는 영상정합성능 확인단계; 를 포함하는 것을 특징으로 할 수 있다.The global motion vector computation step may include: a block motion vector computation step of computing a motion vector of the representative block and a motion vector of an adjacent block surrounding the representative block; A motion vector matching degree calculating step of calculating a matching degree between the plurality of motion vectors; And determining a global motion vector by comparing the matching performance value with a predetermined threshold value when the plurality of motion vectors coincide with each other; And a control unit.

한편으로, 본 발명에 의한 영상정합 방법의 또 다른 실시예의 일 양태는, 영상이 입력되는 영상 입력단계; 상기 입력된 영상을 경계강도 영상으로 변환하는 영상 변환단계; 상기 입력된 영상 내에서 대표블록을 설정하는 대표블록 설정단계; 상기 대표블록을 이용하여 글로벌 모션벡터(Global Motion Vector)를 연산하는 글로벌 모션벡터 연산단계; 상기 글로벌 모션벡터(Global Motion Vector)를 이용하여 상기 영상에 대한 글로벌 모션벡터 보상을 수행하는 글로벌 모션벡터 보상단계; 및 상기 보상된 영상을 이용하여 영상품질을 측정하는 성능평가단계; 를 포함할 수 있다.
According to another aspect of the present invention, there is provided an image matching method comprising: inputting an image; An image converting step of converting the input image into a boundary intensity image; A representative block setting step of setting a representative block in the input image; A global motion vector calculation step of calculating a global motion vector using the representative block; A global motion vector compensation step of performing global motion vector compensation on the image using the global motion vector; And a performance evaluation step of measuring an image quality using the compensated image; . ≪ / RTI >

본 발명에 의하면, 영상센서가 흔들리거나 이동하는 경우 또는 영상센서가 팬·틸트 기동하는 경우에서도, 영상 내 이동하는 물체를 배경으로부터 탐지·구분할 수 있게 되므로, 영상센서를 이용한 이동물체의 탐지·분할기술 또는 영상압축과 같은 영상처리기술의 성능을 향상시킬 수 있다.
According to the present invention, it is possible to detect and distinguish moving objects in the image from the background even when the image sensor is wobbled or moved or when the image sensor is in the pan / tilt start mode. Therefore, The performance of an image processing technique such as a technique or an image compression can be improved.

도1은 본 발명에 의한 영상정합 방법의 제1실시예를 보인 흐름도.
도2는 본 발명에 의한 영상정합 방법에서 글로벌 모션벡터 연산단계의 세부 과정을 보인 흐름도.
도3은 본 발명에 의한 영상정합 방법에서 사용자가 정의한 다수의 대표블록위치, 인접블록 위치 및 진행순서를 보인 개념도.
도4는 본 발명에 의한 대표블록과 4방향 인접블록에서 글로벌 모션벡터의 일치도 판단을 보인 개념도.
도5는 본 발명에 의한 영상정합 방법의 제2실시예를 보인 흐름도.1 is a flowchart showing a first embodiment of a video matching method according to the present invention.
FIG. 2 is a flowchart illustrating a detailed process of a global motion vector calculation step in an image matching method according to the present invention. FIG.
FIG. 3 is a conceptual diagram showing a plurality of representative block positions, adjacent block positions, and a progress order defined by a user in the image matching method according to the present invention.
FIG. 4 is a conceptual diagram showing the determination of the degree of matching of a global motion vector in a representative block and a 4-direction adjacent block according to the present invention. FIG.
5 is a flowchart showing a second embodiment of a video matching method according to the present invention.

본 발명은 다양하게 변경할 수 있고, 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 도면에 예시하고 상세한 설명에서 구체적으로 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위하여 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적이거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것은 아니며, 본 명세서에 개시된 기술의 사상 및 기술 범위에 포함되는 모든 변경·균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. Also, the technical terms used herein should be interpreted in a sense that is generally understood by those skilled in the art to which the present disclosure relates, unless otherwise specifically defined in the present specification, Or shall not be construed to mean excessively reduced. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. But is to be understood as including all modifications, equivalents, and alternatives falling within the scope of the appended claims.

이하에서는, 첨부된 도면을 참조하여 본 명세서에 개시된 제1실시예을 보다 상세히 설명한다.In the following, the first embodiment disclosed herein will be described in more detail with reference to the accompanying drawings.

도1은 본 발명에 의한 영상정합 방법의 제1실시예를 보인 흐름도이고, 도2는 본 발명에 의한 영상정합 방법에서 글로벌 모션벡터 연산단계의 세부 과정을 보인 흐름도이며, 도3은 본 발명에 의한 영상정합 방법에서 사용자가 정의한 다수의 대표블록위치, 인접블록 위치 및 진행순서를 보인 개념도이고, 도4는 본 발명에 의한 대표블록과 4방향 인접블록에서 글로벌 모션벡터의 일치도 판단을 보인 개념도이다.FIG. 1 is a flowchart showing a first embodiment of the image matching method according to the present invention, FIG. 2 is a flowchart showing a detailed process of a global motion vector calculating step in the image matching method according to the present invention, FIG. FIG. 4 is a conceptual diagram showing the determination of the degree of matching of a global motion vector in a representative block and a 4-direction adjacent block according to the present invention .

도 1, 도 2, 도 3 및 도 4를 참조하면, 본 발명에 의한 글로벌 모션벡터 보상을 이용한 영상정합 방법은, 영상 입력단계(S100), 대표블록 설정단계(S200), 글로벌 모션벡터 연산단계(S300) 및 글로벌 모션벡터 보상단계(S400)를 포함할 수 있다. Referring to FIGS. 1, 2, 3 and 4, an image matching method using global motion vector compensation according to the present invention includes an image input step S100, a representative block setting step S200, (S300), and a global motion vector compensation step (S400).

상기 영상 입력단계(S100)에서는, 연속적인 영상이 입력된다. 더욱 상세하게는, 상기 영상 입력단계(S100)에서는, 연속적인 영상 중 소정의 시간차를 가지는 두 장의 영상(1)(2)이 입력될 수 있다. 여기서, 첫 번째 영상은 기준영상(Reference Image)(1) , 두 번째 영상은 현재영상(Current Image)(2)이라고 호칭할 수 있다. In the image input step S100, a continuous image is input. More specifically, in the image input step S100, two images (1) and (2) having a predetermined time difference among successive images can be input. Here, the first image may be referred to as a reference image (1), and the second image may be referred to as a current image (2).

상기 대표블록 설정단계(S200)에서는, 상기 입력된 기준영상(1) 내에서 대표블록을 설정한다. 더욱 상세하게는, 상기 대표블록 설정단계(S200)에서는, 영상제어기가 상기 입력된 기준영상(1) 내에서, 일정한 크기의 대표블록(10) 위치를 설정할 수 있다. 또한, 상기 대표블록 설정단계(S200)에서는, 도3과 같은 위치와 순서로, 영상제어기가 다수 개의 대표블록(10)(20)(30)(40)(50) 위치를 설정할 수도 있다. 그리고 상기 영상제어기는, 상기 대표블록(10)을 기준으로 4방향 인접블록(11)(12)(13)(14) 혹은 8방향 인접블록을 설정하여, 상기 글로벌 모션벡터 연산단계(S300)에서 상기 영상제어기가 상기 대표블록의 모션벡터와 상기 인접블록의 모션벡터를 계산할 수 있게 한다. 이와 같이 대표블록을 설정하는 것은, 입력되는 영상에서 모션벡터(Motion Vector)를 계산하기 위한 기준위치를 설정하기 위해서이다. 왜냐하면, 모션벡터(Global Motion Vector)의 계산에 있어서, 영상의 전체 영역에 대하여 모션벡터(Motion Vector)를 계산하는 것은, 오히려 큰 오차를 발생시킬 수 있으며, 연산량의 문제가 발생하기 때문이다. 즉, 영상의 전체 영역 대신 대표블록을 설정하고 대표블록과 인접블록에 대한 모션벡터(Motion Vector)를 계산하여 모션벡터의 일치도를 판단하는 것이 보다 용이하기 때문이다. 여기서, 상기 영상제어기는 본 발명에 의한 영상정합 절차를 실행하는 장치를 의미한다. In the representative block setting step (S200), a representative block is set in the input reference image (1). More specifically, in the representative block setting step S200, the image controller can set the position of the representative block 10 of a predetermined size within the input reference image 1. [ In the representative block setting step S200, the image controller may set the positions of a plurality of representative blocks 10, 20, 30, 40, and 50 in the position and order as shown in FIG. The image controller sets four-direction adjacent blocks 11, 12, 13, and 14 or 8-direction adjacent blocks on the basis of the representative block 10, and performs the global motion vector calculation in step S300 So that the image controller can calculate the motion vector of the representative block and the motion vector of the adjacent block. Setting the representative block in this manner is for setting a reference position for calculating a motion vector in the input image. This is because, in the calculation of a motion vector (Global Motion Vector), the calculation of a motion vector with respect to the entire area of the image can cause a rather large error and causes a problem of a calculation amount. That is, it is easier to set the representative block in place of the entire area of the image and determine the degree of match of the motion vector by calculating a motion vector for the representative block and the adjacent block. Here, the image controller means an apparatus for executing the image matching procedure according to the present invention.

상기 대표블록을 설정하는 방법에는, 블록 내 데이터의 통계적 특성인 분산이 큰 영역을 선택하는 방법과 통계적 특성과 관계없이 사용자가 직접 정의(예를 들어, 영상의 중앙, 좌측상단, 우측상단, 좌측하단, 우측하단)하는 방법이 있을 수 있다. 그리고, 상기 사용자가 직접 정의하는 방법을 수행하기 위하여, 하드웨어적인 구성 혹은 소프트웨어 알고리즘이 사용될 수 있다. 여기서, 블록은 영상 내에서 일정한 크기를 가지는 픽셀의 모임을 의미할 수 있다.The method of setting the representative block includes a method of selecting an area having a large variance which is a statistical characteristic of data in a block and a method of selecting a representative block such that the user can directly define the representative block (for example, center, left top, Bottom, bottom right). In addition, a hardware configuration or a software algorithm may be used to perform the method defined by the user. Here, the block may mean a group of pixels having a certain size in the image.

상기 글로벌 모션벡터 연산단계(S300)에서는, 상기 대표블록(10) 또는 상기 대표블록을 둘러싼 인접블록(11)(12)(13)(14)을 이용하여, 글로벌 모션벡터(Global Motion Vector)를 연산한다. 더욱 상세하게는, 상기 글로벌 모션벡터 연산단계(S300)는, 블록 모션벡터 연산단계(S310), 모션벡터 일치도 연산단계(S320), 영상정합성능 확인단계(S330), 대표블록 변경단계(S340), 모션벡터 빈도수 연산단계(S350), 글로벌 모션벡터 결정단계(S360) 및 글로벌 모션벡터 재연산단계(S370)을 포함할 수 있다.In the global motion vector calculation step S300, a global motion vector is calculated using the representative block 10 or the neighboring blocks 11, 12, 13 and 14 surrounding the representative block . More specifically, the global motion vector calculation step S300 includes a block motion vector calculation step S310, a motion vector matching degree calculation step S320, a video matching performance verification step S330, a representative block modification step S340, A motion vector frequency step S350, a global motion vector determination step S360, and a global motion vector recomputation step S370.

상기 블록 모션벡터 연산단계(S310)에서는, 영상제어기가 상기 입력된 두 장의 영상, 즉 기준영상(1)과 현재영상(2), 사이에서 대표블록(10)에 대한 모션벡터(Motion Vector), 즉 이동량 및 방향을 연산한다. 그 후, 영상제어기는 상기 대표블록에 인접한 인접 블록(11)(12)(13)(14)에 대해서도 동일한 방법으로 모션벡터(Motion Vector), 즉 이동량을 계산할 수 있다. 또한, 상기 블록 모션벡터 연산단계(S310)에서는, 전술한 바와 동일한 방법으로, 영상제어기가 도 3와 같이 다수 개의 대표블록(10)(20)(30)(40)(50) 및 그 인접 블록에 대하여, 모션벡터(Motion Vector)를 연산할 수도 있다. 또한 상기 블록 모션벡터 연산 단계(S310)에서는, 상기 입력된 영상을 변환한 경계강도 영상을 이용하여, 대표블록(10) 및 인접블록에 대하여 모션벡터(Motion Vector), 즉 이동량 및 방향을 연산할 수 있다. 경계강도 영상을 이용하는 경우 대표블록(10)(20)(30)(40)(50) 및 그 인접블록에 대한 모션벡터(Motion Vector) 연산의 정확도를 향상시킬 수 있기 때문이다.In the block motion vector calculation step S310, the image controller calculates a motion vector for the representative block 10 between the inputted two images, that is, the reference image 1 and the current image 2, That is, the movement amount and the direction. Thereafter, the image controller can calculate a motion vector, i.e., a movement amount, for the adjacent blocks 11, 12, 13, and 14 adjacent to the representative block in the same manner. In the block motion vector calculation step S310, in the same manner as described above, the image controller may include a plurality of representative blocks 10, 20, 30, 40 and 50, A motion vector may be calculated. Also, in the block motion vector calculation step S310, a motion vector, that is, a movement amount and a direction are calculated for the representative block 10 and the adjacent block using the boundary intensity image obtained by converting the input image . It is possible to improve the accuracy of the motion vector calculation for the representative blocks 10, 20, 30, 40, and 50 and the neighboring blocks.

상기 모션벡터의 연산은, 블록 매칭 기법(BMA : Block Matching Algorithm) 또는 주파수 변환 후 위상의 상관도를 활용하는 방법 등이 사용될 수 있다. 여기서, 상기 모션벡터(Motion Vector)는 두 영상에서 대응되는 위치의 변화량, 즉 두 영상에서 대응되는 영상블록의 이동량 및 방향을 의미하며, "이동량"이라고 호칭될 수 있다.The calculation of the motion vector may be performed using a block matching algorithm (BMA) or a method of utilizing the correlation of phases after frequency conversion. Here, the motion vector means the amount of change of the position corresponding to the two images, that is, the movement amount and the direction of the corresponding image block in the two images, and may be referred to as "movement amount ".

상기 모션벡터 일치도 연산단계(S320)에서는, 영상제어기가 상기 다수의 모션벡터 사이의 일치도를 연산한다. 즉, 상기 모션벡터 일치도 연산단계(S320)에서는, 상기 블록 모션벡터 연산단계(S310)에서 연산된 대표블록(10)의 모션벡터 및 그 인접블록들의 모션벡터(11)(12)(13)(14) 즉, 이동량 및 방향들이 일치하는지 여부를 연산한다. 예를 들면, 도 4와 같이, 상기 모션벡터들의 일치도는, 대표블록의 모션벡터(60)와 그 인접블록들의 모션벡터(61)(62)(63)(64)가 일치하는 경우, 대표블록의 모션벡터(70)와 그 인접블록들의 모션벡터(71)(72)(73)(74)가 부분적으로 일치하는 경우 또는 대표블록의 모션벡터(80)와 그 인접블록들의 모션벡터(81)(82)(83)(84)가 불일치하는 경우로 구분할 수 있다.In the motion vector matching degree calculation step S320, the image controller calculates the degree of matching between the plurality of motion vectors. That is, in the motion vector matching degree calculation step S320, the motion vector of the representative block 10 calculated in the block motion vector calculation step S310 and the motion vectors 11, 12, 13 14), that is, whether or not the amount of movement and the direction coincide with each other. For example, as shown in Fig. 4, when the motion vector 60 of the representative block and the motion vectors 61, 62, 63 and 64 of the neighboring blocks coincide with each other, The motion vector 80 of the representative block and the motion vector 81 of the neighboring blocks are compared with each other when the motion vector 70 of the representative block and the motion vectors 71, 72, 73, (82), (83), and (84) are inconsistent.

상기 영상정합성능 확인단계(S330)에서는, 상기 다수의 모션벡터가 서로 일치하는 경우, 정합성능 값을 소정의 임계값과 비교하여 글로벌 모션벡터(Global Motion Vector)를 결정한다. 더욱 상세하게는, 상기 모션벡터(60)(61)(62)(63)(64)들이 서로 일치하는 경우, 영상제어기는 상기 모션벡터들의 정합성능을 확인하기 위하여, 상기 모션벡터들의 정합 정도 즉, 정합성능 값을 임계값과 비교한다. 그 후, 상기 모션벡터들의 정합성능 값이 상기 임계값을 초과하는 경우, 상기 모션벡터(60)를 글로벌 모션벡터로 결정한다. 여기서, 상기 정합성능은 확인하는 이유는, 상기 모션벡터들이 일치하고, 정합성능 값이 일정 수준을 초과하는 경우, 해당 대표블록의 모션벡터(60)를 대표블록에 적용하여 글로벌 모션벡터 보상을 하면 되기 때문이다.In the image matching performance checking step S330, if the plurality of motion vectors coincide with each other, a global motion vector is determined by comparing the matching performance value with a predetermined threshold value. More specifically, when the motion vectors 60, 61, 62, 63 and 64 coincide with each other, the image controller determines the matching degree of the motion vectors, that is, , And the matching performance value is compared with the threshold value. Then, if the matching performance value of the motion vectors exceeds the threshold value, the motion vector 60 is determined as a global motion vector. Here, the matching performance is confirmed because if the motion vectors coincide with each other and the matching performance value exceeds a certain level, the global motion vector compensation is performed by applying the motion vector 60 of the representative block to the representative block .

상기 대표블록 변경단계(S340)에서는, 상기 다수의 모션벡터가 서로 일치하지 아니거나 상기 정합성능 값이 소정의 임계값 이하인 경우, 다음 대표블록(20)에 대하여 상기 블록 모션벡터 연산단계(S100)를 다시 수행한다. 즉, 대표블록을 다수 개 선정한 경우, 모든 대표블록(10)(20)(30)(40)(50)에 대하여 상기 블록 모션벡터 연산단계(S100)부터 다시 수행하여, 즉 동일한 과정을 다시 수행하여 글로벌 모션벡터를 연산하는 것이다. 여기서, 대표블록의 연산 순서는, 전술한 바와 같이, 상기 대표블록을 설정하는 방법에 따를 수 있다. 예를 들면, 도 3과 같이, 대표블록으로 설정된 블록(10)(20)(30)(40)(50)의 순서로 대표블록 및 대표블록을 둘러싼 인접블록의 순서를 설정할 수 있다. In the representative block changing step S340, if the motion vectors do not coincide with each other or the matching performance value is equal to or less than a predetermined threshold value, the block motion vector calculating step S100 is performed for the next representative block 20, Lt; / RTI > That is, when a plurality of representative blocks are selected, the block motion vector calculation step (S100) is performed again for all the representative blocks 10, 20, 30, 40 and 50, Thereby computing a global motion vector. Here, the calculation order of the representative block may be determined according to the method of setting the representative block, as described above. For example, as shown in FIG. 3, the order of adjacent blocks surrounding the representative block and the representative block can be set in the order of blocks 10, 20, 30, 40, and 50 set as representative blocks.

상기 모션벡터 빈도수 연산단계(S350)에서는, 상기 다수의 모션벡터에 대한 반복빈도 값을 계산한다. 더욱 상세하게는, 마지막 대표블록에 대하여 상기 대표블록 변경단계(S340)를 종료한 후, 상기 다수의 대표블록 및 그 인접블록에 대하여 모션벡터가 서로 불일치하거나, 상기 모션벡터들의 정합성능 값이 임계값 이하인 경우, 영상제어기는 연산된 모든 모션벡터에 대하여 그 반복빈도 계산한다. 그 후, 영상제어기는 반복빈도 값이 가장 큰 모션벡터를 선정한다. 예를 들면, 도 3에 예시된 5개의 대표블록 및 그 인접블록(총 25개의 블록)의 모션벡터가 서로 일치하지 아니하거나 또는 모션벡터들의 정합성능 값이 임계값 이하인 경우, 영상제어기는 상기 5개의 대표블록을 포함한 총 25개의 블록에 대한 모션벡터의 반복빈도를 계산하여 그 중 반복빈도 값이 가장 높은 모션벡터를 선정하는 것이다.In the motion vector frequency calculation step S350, a repetition frequency value for the plurality of motion vectors is calculated. More specifically, after completing the representative block changing step (S340) with respect to the last representative block, motion vectors of the plurality of representative blocks and its adjacent blocks may be inconsistent with each other, Value, the image controller calculates the repetition frequency for all the calculated motion vectors. Thereafter, the image controller selects the motion vector having the largest repetition frequency value. For example, if the motion vectors of the five representative blocks and the neighboring blocks (a total of 25 blocks) illustrated in FIG. 3 do not coincide with each other, or if the matching performance value of the motion vectors is equal to or less than the threshold value, The motion vector is repeatedly calculated for a total of 25 blocks including the representative blocks, and the motion vector having the highest repetition frequency value is selected.

상기 글로벌 모션벡터 결정단계(S360)에서는, 상기 가장 큰 반복빈도 값이 소정의 임계값을 초과하는 경우, 상기 가장 큰 빈도 값을 가지는 모션벡터를 글로벌 모션벡터(Global Motion Vector)로 결정한다. 즉, 영상 제어기는 임계값을 초과하는 반복빈도를 가지는 모션벡터를 기준영상(1)에 대한 글로벌 모션벡터(Global Motion Vector)로 결정하는 것이다.In the global motion vector determination step S360, if the largest repetition frequency value exceeds a predetermined threshold value, the motion vector having the largest frequency value is determined as a global motion vector. That is, the image controller determines a motion vector having a repetition frequency exceeding the threshold value as a global motion vector for the reference image 1.

상기 글로벌 모션벡터 재연산단계(S370)에서는, 상기 가장 큰 반복빈도 값이 소정의 임계값 이하인 경우, 전체 영상에 대하여 모션벡터를 연산하여 이를 글로벌 모션벡터(Global Motion Vector)로 결정한다. 더욱 상세하게는, 영상제어기는 상기 다수의 모션벡터 중 반복빈도 임계값 이하의 반복빈도를 가지는 모션벡터만 존재하는 경우, 영상 전체에 대한 모션벡터를 연산하는 것이다. 즉, 영상 전체에 대한 모션벡터 연산의 오차 및 연산량의 문제에도 불구하고, 영상제어기는 영상의 전체 영역에 대하여 모션벡터를 연산하여 글로벌 모션벡터(Global Motion Vector)를 결정하는 것이다. In the global motion vector re-calculation step (S370), if the largest repetition frequency value is less than or equal to a predetermined threshold value, a motion vector is calculated for the entire image, and the global motion vector is determined as a global motion vector. More specifically, when there exists only a motion vector having a repetition frequency lower than a repetition frequency threshold value among the plurality of motion vectors, the image controller calculates a motion vector for the entire image. That is, in spite of the problem of the motion vector calculation error and the calculation amount for the entire image, the image controller calculates a global motion vector by calculating a motion vector for the entire region of the image.

한편, 본 발명에 의한 영상정합 방법에서, 글로벌 모션벡터(Global Motion Vector)를 연산·결정하는 과정은 단계적으로 수행될 수 있으므로, 적용하려는 응용기술에 따라 대표블록의 개수, 크기 및 임계치 설정을 조정하여 연산량을 제어할 수 있다.Meanwhile, in the image matching method according to the present invention, since the process of calculating and determining the global motion vector can be performed step by step, the number, size and threshold setting of representative blocks can be adjusted The amount of computation can be controlled.

상기 글로벌 모션벡터 보상단계(S400)에서는, 상기 글로벌 모션벡터(Global Motion Vector)를 이용하여 입력된 영상에 대하여 글로벌 모션벡터 보상을 수행한다. 더욱 상세하게는, 영상제어기는 전술된 과정을 통해 글로벌 모션벡터(Global Motion Vector)가 연산되면, 이를 이용하여 기준영상(1)에 대한 글로벌 모션벡터 보상을 수행한다. 만약 연산된 글로벌 모션벡터(Global Motion Vector)가 정화소 단위의 값인 경우, 정화소 단위만큼 기준영상(1)을 수평 및 수직 이동시킨다. 상기 글로벌 모션벡터(Global Motion Vector)이 부화소 단위를 포함하는 경우, 먼저 아핀변환(Affine)을 이용하여 부화소 단위만큼 기준영상을 이동시킨 후, 정화소 단위만큼 이동시킨다. 기준 영상(1)을 이동시킬 경우, 이동량 만큼 상하좌우 중 일부의 데이터가 존재하지 않게 되는데 이 영역은 현재 영상(2)의 데이터로 채울 수 있다.
In the global motion vector compensation step (S400), global motion vector compensation is performed on the input image using the global motion vector. More specifically, when a global motion vector is calculated through the above-described process, the image controller performs global motion vector compensation on the reference image 1 using the calculated global motion vector. If the computed global motion vector is a value of a cleansing site unit, the reference image 1 is moved horizontally and vertically by a cleansing site unit. If the global motion vector includes a subpixel unit, the reference image is shifted by subpixel using affine transformation, and then the reference image is shifted by the refinement unit. When the reference image 1 is moved, there is no data of some of the up, down, left, and right as much as the movement amount. This area can be filled with the data of the current image 2.

이하에서는, 첨부된 도면을 참조하여 본 명세서에 개시된 제2실시예를 첨보된 도면을 참조하여 보다 상세히 설명한다.In the following, a second embodiment disclosed herein with reference to the accompanying drawings will be described in more detail with reference to the accompanying drawings.

도5는 본 발명에 의한 영상정합 방법의 제2실시예를 보인 흐름도이다. 본 실시예의 단계 중 전술한 본 발명에 의한 영상정합 방법의 제1실시예의 각 단계와 동일한 단계 및 기능에 대해서는 도 1 내지 도4의 도면 부호를 원용하고 이에 대한 상세한 설명은 생략하기로 한다. 5 is a flowchart illustrating a second embodiment of the image matching method according to the present invention. The same steps and functions as the steps of the first embodiment of the image matching method according to the present invention described above in the present embodiment will be described with reference to FIGS. 1 to 4, and a detailed description thereof will be omitted.

도 5를 참조하면, 본 실시예는 영상 입력단계(S101), 영상 변환단계(S201),대표블록 설정단계(S301), 글로벌 모션벡터 연산단계(S401), 글로벌 모션벡터 보상단계(S501) 및 성능평가단계(S601)를 포함한다. 즉 본 실시예는, 전술한 본 발명에 의한 영상정합 방법의 제1실시예에 비하여 영상 변환단계(S201) 및 성능평가단계(S601)를 더 포함하는 것이다. 5, the present embodiment includes an image input step S101, an image conversion step S201, a representative block setting step S301, a global motion vector calculation step S401, a global motion vector compensation step S501, And a performance evaluation step (S601). That is, the present embodiment further includes an image conversion step (S201) and a performance evaluation step (S601) in comparison with the first embodiment of the image matching method according to the present invention described above.

상기 영상 변환단계(S201)에서는, 상기 영상 입력단계(S101)에서 입력된 영상을 경계강도 영상으로 변환한다. 더욱 상세하게는, 상기 영상 변환단계(S201)에서, 영상제어기는 상기 영상의 수평, 수직, 대각선 방향에 대한 Sobel 연산자를 적용하여 세 방향의 경계강도를 획득한다. 그 후 상기 영상제어기는 상기 세 방향의 경계강도 영상을 결합함으로써, 상기 영상을 경계강도 영상으로 변환할 수 있다. 이와 같이 경계강도 영상으로 변환된 영상은, 이 후 글로벌 모션벡터 연산단계(S401)에서, 모션벡터 연산의 정확도를 향상시키는데 사용된다. 여기서, 상기 Sobel 연산자를 활용한 영상변환기법은, 영상의 각 픽셀 위치에 대하여 인접한 픽셀 값과의 차이를 이용하여 경계강도로 나타내는 경계강도 영상변환 방법 중 하나이다.In the image conversion step S201, the image input in the image input step S101 is converted into a boundary intensity image. More specifically, in the image conversion step (S201), the image controller acquires boundary strengths in three directions by applying a Sobel operator for the horizontal, vertical, and diagonal directions of the image. Then, the image controller can convert the image into the boundary strength image by combining the boundary strength images in the three directions. The image thus converted into the boundary intensity image is then used in the global motion vector calculation step S401 to improve the accuracy of the motion vector calculation. Here, the image transformation technique using the Sobel operator is one of the boundary intensity image transformation methods, which indicates the boundary intensities using the difference between adjacent pixel values for each pixel position of the image.

한편 상기 영상 변환단계(S201)는, 상기 영상 입력단계(S101)와 글로벌 모션벡터 연산단계(S401) 사이에서 수행될 수 있다. 즉, 상기 영상 변환단계(S201)는, 상기 대표블록 설정단계(S301)의 전후에 이루어질 수 있다.
Meanwhile, the image conversion step (S201) may be performed between the image input step (S101) and the global motion vector calculation step (S401). That is, the image conversion step S201 may be performed before or after the representative block setting step S301.

상기 성능평가단계(S601)에서는, 상기 보상된 영상을 이용하여 영상품질을 측정한다. 더욱 상세하게는, 영상제어기는 현재영상(2)과 연산된 글로벌 모션벡터(Global Motion Vector)만큼 보상된 기준영상을 이용하여 영상품질을 측정할 수 있다. 영상품질을 측정하는 방법에는, 피크신호대잡음비(PSNR : Peak Signal to Noise Ratio)가 활용될 수 있다.In the performance evaluation step S601, the image quality is measured using the compensated image. More specifically, the image controller can measure the image quality using the reference image compensated for the current image (2) and the calculated global motion vector (Global Motion Vector). Peak signal to noise ratio (PSNR) can be utilized as a method of measuring image quality.

상기 영상 입력단계(S101), 대표블록 설정단계(S301), 글로벌 모션벡터 연산단계(S401) 및 글로벌 모션벡터 보사상단계(S501)는 전술한 본 발명에 의한 영상정합 방법의 제1실시예와 실질적으로 동일하므로, 상세한 설명을 생략한다.
The image input step S101, the representative block setting step S301, the global motion vector calculating step S401, and the global motion vector calculating step S501 are the same as the first embodiment of the image matching method according to the present invention described above And therefore detailed description thereof will be omitted.

1 : 기준영상 2 : 현재영상
10 : 대표블록 1 11 : 인접블록 1
12 : 인접블록 2 13 : 인접블록 3
14 : 인접블록 4 20 : 대표블록 2
30 : 대표블록 3 40 : 대표블록 4
50 : 대표블록 5
60 : 대표블록 6의 모션벡터
61, 62, 63, 64 : 대표블록 6의 인접블록들의 모션벡터
70 : 대표블록 7의 모션벡터
71, 72, 73, 74 : 대표블록 7의 인접블록들의 모션벡터
80 : 대표블록 8의 모션벡터
81, 82, 83, 84 : 대표블록 8의 인접블록들의 모션벡터1: Reference video 2: Current video
10: Representative block 1 11: Adjacent block 1
12: adjacent block 2 13: adjacent block 3
14: adjacent block 4 20: representative block 2
30: Representative block 3 40: Representative block 4
50: Representative block 5
60: motion vector of representative block 6
61, 62, 63, 64: motion vectors of adjacent blocks in the representative block 6
70: motion vector of representative block 7
71, 72, 73, 74: motion vectors of adjacent blocks in the representative block 7
80: motion vector of representative block 8
81, 82, 83, 84: motion vectors of adjacent blocks in representative block 8

Claims (14)

영상정합 방법에 있어서,
영상이 입력되는 영상 입력단계;
상기 입력된 영상 내에서 대표블록을 설정하는 대표블록 설정단계;
상기 대표블록을 이용하여 글로벌 모션벡터(Global Motion Vector)를 연산하는 글로벌 모션벡터 연산단계; 및
상기 글로벌 모션벡터(Global Motion Vector)를 이용하여 상기 영상에 대한 글로벌 모션벡터 보상을 수행하는 글로벌 모션벡터 보상단계;
를 포함하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
In the image matching method,
An image input step of inputting an image;
A representative block setting step of setting a representative block in the input image;
A global motion vector calculation step of calculating a global motion vector using the representative block; And
A global motion vector compensation step of performing global motion vector compensation on the image using the global motion vector;
And a global motion vector compensation unit.
제 1 항에 있어서,
상기 영상 입력단계 이후, 상기 대표블록 설정단계 이전에,
상기 입력된 영상을 경계강도 영상으로 변환하는 영상 변환단계; 를 더 포함하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
The method according to claim 1,
After the image input step and before the representative block setting step,
An image converting step of converting the input image into a boundary intensity image; Wherein the global motion vector compensation is performed using the global motion vector compensation.
제 1 항에 있어서,
상기 대표블록 설정단계 이후, 상기 글로벌 모션벡터 연산단계 이전에,
상기 입력된 영상을 경계강도 영상으로 변환하는 영상 변환단계; 를 더 포함하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
The method according to claim 1,
After the representative block setting step, before the global motion vector operation step,
An image converting step of converting the input image into a boundary intensity image; Wherein the global motion vector compensation is performed using the global motion vector compensation.
제 1 항에 있어서,
상기 글로벌 모션벡터 보상단계 이후에,
상기 보상된 영상을 이용하여 영상품질을 측정하는 성능평가단계; 를 더 포함하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
The method according to claim 1,
After the global motion vector compensation step,
A performance evaluation step of measuring an image quality using the compensated image; Wherein the global motion vector compensation is performed using the global motion vector compensation.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 대표블록 설정단계에서는,
블록 내 데이터의 분산이 큰 영역을 상기 대표블록으로 설정하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
5. The method according to any one of claims 1 to 4,
In the representative block setting step,
And an area having a large variance of data in the block is set as the representative block.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 대표블록 설정단계에서는,
사용자가 직접 정의하는 영역을 상기 대표블록으로 설정하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
5. The method according to any one of claims 1 to 4,
In the representative block setting step,
And the region defined by the user is set as the representative block.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 글로벌 모션벡터 연산단계는,
상기 대표블록의 모션벡터 및 상기 대표블록을 둘러싼 인접블록의 모션벡터를 연산하는 블록 모션벡터 연산단계;
상기 다수의 모션벡터 사이의 일치도을 연산하는 모션벡터 일치도 연산단계; 및
상기 다수의 모션벡터가 서로 일치하는 경우, 정합성능 값을 소정의 임계값과 비교하여 글로벌 모션벡터를 결정하는 영상정합성능 확인단계; 를 포함하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
5. The method according to any one of claims 1 to 4,
Wherein the global motion vector computation step comprises:
A block motion vector calculation step of calculating a motion vector of the representative block and a motion vector of an adjacent block surrounding the representative block;
A motion vector matching degree calculating step of calculating a matching degree between the plurality of motion vectors; And
An image matching performance checking step of determining a global motion vector by comparing a matching performance value with a predetermined threshold value when the plurality of motion vectors coincide with each other; And a global motion vector compensation method.
제 7 항에 있어서,
상기 블록 모션벡터 연산단계에서,
상기 모션벡터의 연산은 블록 매칭 기법(Block Matching Algorithm)을 사용하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
8. The method of claim 7,
In the block motion vector calculation step,
Wherein the operation of the motion vector uses a block matching algorithm.
제 7 항에 있어서,
상기 블록 모션벡터 연산단계에서,
상기 모션벡터의 연산은 주파수 변환 후 위상의 상관도를 활용하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
8. The method of claim 7,
In the block motion vector calculation step,
Wherein the operation of the motion vector utilizes a correlation of phases after frequency conversion.
제 7 항에 있어서,
상기 다수의 모션벡터가 서로 일치하지 아니거나 상기 정합성능 값이 소정의 임계값 이하인 경우, 대표블록을 변경하여 상기 블록 모션벡터 연산단계를 다시 수행하는 대표블록 변경단계;를 포함하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
8. The method of claim 7,
And a representative block changing step of changing the representative block and performing the block motion vector calculating step again when the plurality of motion vectors do not coincide with each other or when the matching performance value is less than or equal to a predetermined threshold value Image matching method using global motion vector compensation.
제 10 항에 있어서,
마지막 대표블록에 대하여 상기 대표블록 변경단계를 종료한 경우,
상기 다수의 모션벡터에 대한 반복빈도 값을 계산하여 가장 큰 빈복빈도 값을 가지는 모션벡터를 선정하는 모션벡터 빈도값 연산단계; 및
상기 가장 큰 반복빈도 값이 소정의 임계값을 초과하는 경우, 상기 가장 큰 반복빈도 값을 가지는 모션벡터를 글로벌 모션벡터(Global Motion Vector)로 결정하는 글로벌 모션벡터 결정단계; 를 포함하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
11. The method of claim 10,
When the representative block changing step is completed for the last representative block,
A motion vector frequency value calculation step of calculating a repeat frequency value for the plurality of motion vectors to select a motion vector having the largest frequency frequency value; And
A global motion vector determining step of determining a motion vector having the largest repetition frequency value as a global motion vector when the largest repetition frequency value exceeds a predetermined threshold value; And a global motion vector compensation method.
제 11 항에 있어서,
상기 가장 큰 반복빈도 값이 소정의 임계값 이하인 경우, 전체 영상에 대한 모션벡터를 연산하여 이를 글로벌 모션벡터(Global Motion Vector)로 결정하는 글로벌 모션벡터 재연산단계; 를 포함하는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
12. The method of claim 11,
Computing a motion vector for the entire image and determining the global motion vector as a global motion vector if the largest repetition frequency value is less than or equal to a predetermined threshold value; And a global motion vector compensation method.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 글로벌 모션벡터 보상단계에서는,
상기 연산된 글로벌 모션벡터(Global Motion Vector)가 정화소 단위의 값인 경우, 상기 정화소 단위만큼 기준영상을 수평 또는 수직 이동시키는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.
5. The method according to any one of claims 1 to 4,
In the global motion vector compensation step,
Wherein the reference image is horizontally or vertically moved by the refinement unit when the computed global motion vector is a value of a refinement unit.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 글로벌 모션벡터 보상단계에서는,
상기 연산된 글로벌 모션벡터(Global Motion Vector)가 부화소 단위를 포함하는 경우, 아핀(Affine)변환을 이용하여 부화소 단위만큼 기준영상을 이동시킨 후, 정화소 단위만큼 기준영상을 수평 또는 수직 이동시키는 것을 특징으로 하는 글로벌 모션벡터 보상을 이용한 영상정합 방법.

5. The method according to any one of claims 1 to 4,
In the global motion vector compensation step,
If the computed global motion vector includes subpixel units, the reference image is shifted by subpixel units using an affine transformation, and then the reference image is horizontally or vertically moved by the refinement unit And a global motion vector compensation method.

KR1020140045458A 2014-04-16 2014-04-16 Method for image matching using global motion vector compensation KR101589186B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140045458A KR101589186B1 (en) 2014-04-16 2014-04-16 Method for image matching using global motion vector compensation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140045458A KR101589186B1 (en) 2014-04-16 2014-04-16 Method for image matching using global motion vector compensation

Publications (2)

Publication Number Publication Date
KR20150119706A true KR20150119706A (en) 2015-10-26
KR101589186B1 KR101589186B1 (en) 2016-01-27

Family

ID=54428066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140045458A KR101589186B1 (en) 2014-04-16 2014-04-16 Method for image matching using global motion vector compensation

Country Status (1)

Country Link
KR (1) KR101589186B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146526A1 (en) * 2016-02-25 2017-08-31 주식회사 케이티 Video signal processing method and device
KR20190087119A (en) * 2018-01-16 2019-07-24 한화테크윈 주식회사 Image processing device stabilizing image and method of stabilizing image
KR20200067072A (en) * 2018-12-03 2020-06-11 중앙대학교 산학협력단 Facility defect inspection method and apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102547085B1 (en) * 2018-12-26 2023-06-23 엘지디스플레이 주식회사 Image processing method and display device using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090016553A (en) * 2006-04-06 2009-02-16 퀄컴 인코포레이티드 Electronic video image stabilization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090016553A (en) * 2006-04-06 2009-02-16 퀄컴 인코포레이티드 Electronic video image stabilization

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146526A1 (en) * 2016-02-25 2017-08-31 주식회사 케이티 Video signal processing method and device
ES2692864R1 (en) * 2016-02-25 2019-01-02 Kt Corp METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNALS
KR20190087119A (en) * 2018-01-16 2019-07-24 한화테크윈 주식회사 Image processing device stabilizing image and method of stabilizing image
KR20200067072A (en) * 2018-12-03 2020-06-11 중앙대학교 산학협력단 Facility defect inspection method and apparatus

Also Published As

Publication number Publication date
KR101589186B1 (en) 2016-01-27

Similar Documents

Publication Publication Date Title
KR101837407B1 (en) Apparatus and method for image-based target tracking
US9646389B2 (en) Systems and methods for image scanning
KR101589186B1 (en) Method for image matching using global motion vector compensation
KR101703515B1 (en) Apparatus and method for target tracking of image
TWI571828B (en) Optical navigation method and device using same
KR20120011653A (en) Image processing apparatus and method
TWI491258B (en) Method and related apparatus for determining motion vector
JP6579727B1 (en) Moving object detection device, moving object detection method, and moving object detection program
JP4496595B2 (en) Image processing apparatus, image processing method, and recording medium
US20090079875A1 (en) Motion prediction apparatus and motion prediction method
WO2013132836A1 (en) Object detection device, object detection method, and object detection program
JP2005252359A (en) Motion vector detecting apparatus, motion vector detection method and computer program
JP2008171247A (en) Motion detecting device, method and program
TWI353562B (en) A video processing apparatus and related method to
JP5034253B2 (en) Object height calculation device, object search device using the same, and object height calculation method
JP2012181710A (en) Object tracking device, method and program
JP2006215655A (en) Method, apparatus, program and program storage medium for detecting motion vector
CN104980623B (en) Detection method and detection device
JP6918661B2 (en) Coding device, coding method and program
US10346680B2 (en) Imaging apparatus and control method for determining a posture of an object
JP6904200B2 (en) Motion vector detector
JP2009290277A (en) Signal processor
KR20160138847A (en) Method and apparatus for generating disparity image
US9721151B2 (en) Method and apparatus for detecting interfacing region in depth image
JP2009187429A (en) Image processor and image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 5