KR20110091381A - System and method for stabilizing images - Google Patents
System and method for stabilizing images Download PDFInfo
- Publication number
- KR20110091381A KR20110091381A KR1020100011191A KR20100011191A KR20110091381A KR 20110091381 A KR20110091381 A KR 20110091381A KR 1020100011191 A KR1020100011191 A KR 1020100011191A KR 20100011191 A KR20100011191 A KR 20100011191A KR 20110091381 A KR20110091381 A KR 20110091381A
- Authority
- KR
- South Korea
- Prior art keywords
- patch
- model
- correction information
- image
- sample
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000087 stabilizing effect Effects 0.000 title claims abstract description 6
- 238000012937 correction Methods 0.000 claims abstract description 99
- 238000006073 displacement reaction Methods 0.000 claims abstract description 61
- 230000008859 change Effects 0.000 claims abstract description 55
- 230000006641 stabilisation Effects 0.000 claims description 27
- 238000011105 stabilization Methods 0.000 claims description 27
- 238000010200 validation analysis Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 239000006185 dispersion Substances 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 80
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000004069 differentiation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상 안정화 시스템 및 방법에 관한 것으로서, 보다 상세하게는 카메라의 흔들림에 안정적인 영상을 출력하는 시스템 및 방법에 관한 것이다.The present invention relates to an image stabilization system and method, and more particularly to a system and method for outputting a stable image to the camera shake.
카메라를 이용하여 특정 물체, 예컨대 이동체를 정확하게 탐지하기 위해서는 매 프레임당 입력 영상이 안정적이어야 한다. 하지만, 실제 카메라를 이용하여 이동체를 탐지하는 환경에서는 영상의 중심이 미세하게 이동하거나 카메라가 미세하게 회전하는 경우가 종종 발생한다. 예컨대, 바람이나 외부의 작은 충격에 의해 카메라가 흔들리는 경우가 있다. 혹은, 군수용 로봇과 같이 카메라와 무기가 동일한 로봇의 바디에 장착되어 있는 경우에는 사격과 같은 격발 진동에 의해 카메라가 심하게 흔들리게 된다.In order to accurately detect a specific object such as a moving object using a camera, the input image must be stable every frame. However, in an environment in which a moving object is detected using a real camera, the center of the image moves finely or the camera rotates finely. For example, the camera may be shaken by wind or a small external shock. Alternatively, when the camera and the weapon are mounted on the body of the same robot as the military robot, the camera is severely shaken by the triggered vibration such as shooting.
이와 같은 현상은 카메라에 작용하는 외부 충격량이 크면 클수록 심해져 종국적으로는 이동체를 정확하게 탐지할 수 없게 된다.Such a phenomenon becomes worse as the amount of external impact acting on the camera becomes larger and ultimately, the moving object cannot be accurately detected.
따라서, 카메라가 흔들리는 환경에서 정확하게 이동체를 탐지하기 위해서 전처리 과정이 필요한데 이와 관련된 기술로서 자이로 센서를 이용하는 경우가 있다. 그러나, 정확한 이동체 탐지를 위해서는 자이로 센서 자체의 오차를 해결해야 하고, 자이로 센서라는 별도의 하드웨어를 더 구비하므로 시스템 구성비가 증가하게 된다.Therefore, in order to accurately detect a moving object in an environment in which a camera is shaken, a preprocessing process is required. As a related technology, a gyro sensor may be used. However, in order to accurately detect the moving object, the error of the gyro sensor itself has to be solved, and since a separate hardware called a gyro sensor is further provided, the system configuration ratio increases.
본 발명의 일 실시예는, 모델 패치를 이용하여 영상의 흔들림을 보정함으로써, 카메라의 흔들림에 강인한 영상을 출력하는 영상 안정화 시스템 및 방법을 제공하는 것이다.One embodiment of the present invention is to provide an image stabilization system and method for outputting an image that is robust to camera shake by correcting image shake using a model patch.
상기와 같은 기술적 과제는, 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하는 단계와, 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 단계와, 제 2 입력 영상에서 모델 패치의 위치 변화를 토대로 변위보정정보와 각도보정정보를 획득하는 단계 및 변위보정정보와 각도보정정보가 반영된 영상을 출력하는 단계를 포함하는 영상 안정화 방법에 의하여 달성 가능하다.The above technical problem includes the steps of sampling at least one sample patch from a first input image, selecting a sample patch satisfying a model patch condition among sample patches as a model patch, and model patch from a second input image. The image stabilization method may include obtaining the displacement correction information and the angle correction information based on the position change of the image, and outputting the image reflecting the displacement correction information and the angle correction information.
이 경우, 모델 패치 선정단계는, 샘플 패치의 픽셀간 분산 정보에 따라 샘플 패치 중에서 모델 패치의 후보를 선정하는 단계 및 모델 패치 후보와 주변 영역 간 차별성에 따라 모델 패치 후보 중에서 모델 패치를 선정하는 단계를 포함할 수 있다.In this case, the model patch selection step includes selecting a model patch candidate from among the sample patches according to the pixel-to-pixel dispersion information of the sample patch, and selecting a model patch from among the model patch candidates according to the difference between the model patch candidate and the peripheral region. It may include.
혹은, 모델 패치 선정단계는, 샘플 패치의 에지 정보에 따라 샘플 패치 중에서 모델 패치의 후보를 선정하는 단계 및 모델 패치 후보와 주변 영역 간 차별성에 따라 모델 패치 후보 중에서 모델 패치를 선정하는 단계를 포함할 수 있다.Alternatively, the model patch selection step may include selecting a model patch candidate from among sample patches according to edge information of the sample patch, and selecting a model patch from among model patch candidates according to the difference between the model patch candidate and the surrounding area. Can be.
모델 패치가 복수 개인 경우 획득하는 단계는, 제 2 입력 영상에서 모델 패치 중 어느 하나인 제 1 모델 패치의 예상 위치를 계산하는 단계와, 제 1 모델 패치의 변위변화와 각도변화를 계산하는 단계와, 제 1 모델 패치의 변위변화와 각도변화에 기초하여, 다른 모델 패치들의 변위변화와 각도변화를 계산하는 단계를 포함할 수 있다.The obtaining of the plurality of model patches may include calculating an expected position of the first model patch, which is one of the model patches, in the second input image, calculating a displacement change and an angle change of the first model patch. The method may include calculating a displacement change and an angle change of other model patches based on the displacement change and the angle change of the first model patch.
이 경우,제 1 모델 패치의 유효성을 검증하는 단계를 더 포함할 수 있다.In this case, the method may further include validating the first model patch.
만약, 제 1 모델 패치의 유효성이 인정되지 않는 경우, 모델 패치 중에서 다른 어느 하나인 제 2 모델 패치에 대하여 예상 위치를 계산하고 유효성을 검증하는 단계를 더 포함할 수 있다.If the validity of the first model patch is not recognized, the method may further include calculating an expected position and validating the second model patch, which is another one of the model patches.
그리고, 예상 위치 계산 단계는, 제 1 입력 영상에서의 제 1 모델 패치와 제 2 입력 영상에서의 제 1 모델 패치 간 변위 변화를 반영하여 계산할 수 있다.In addition, the predicted position calculating step may be calculated by reflecting a change in displacement between the first model patch in the first input image and the first model patch in the second input image.
또한, 영상을 출력하는 단계는, 변위보정정보 및 각도보정정보 중에서 각각 신뢰도가 높은 변위보정정보와 각도보정정보를 선택하는 단계 및 선택된 변위 보정정보 및 각도보정정보를 토대로 제 2 입력 영상의 흔들림을 보정하여 출력하는 단계를 포함할 수 있다.The outputting of the image may include selecting displacement correction information and angle correction information having high reliability from the displacement correction information and the angle correction information, and shaking the second input image based on the selected displacement correction information and the angle correction information. It may include the step of correcting the output.
그리고, 정보 획득 단계 및 상기 영상 출력 단계는, 제2 입력 영상 이후에 입력되는 영상에 대하여 반복 수행될 수 있다.The information acquisition step and the image output step may be repeatedly performed on an image input after the second input image.
상기와 같은 기술적 과제는 또 다른 카테고리로서, 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하고 샘플 패치 중에서 모델 패치를 선정하는 제 1 영상 처리기 및 2 입력 영상에서 모델 패치들의 위치 변화에 따라 변위보정정보와 각도보정정보를 산출하여 변위보정정보와 각도보정정보가 반영된 영상을 출력하는 제 2 영상 처리기를 포함하는 영상 안정화 시스템에 의하여 달성 가능하다.The above technical problem is another category and includes a first image processor for sampling at least one sample patch from a first input image and selecting a model patch among the sample patches, and a displacement correction according to a change in the position of the model patches in the second input image. The image stabilization system may include a second image processor that calculates information and angle correction information and outputs an image in which displacement correction information and angle correction information are reflected.
이 경우, 제 1 영상 처리기는, 제 1 입력 영상에서 상호 위치관계를 갖는 적어도 하나 이상의 샘플 패치를 샘플링하는 샘플패치부 및 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 모델패치부를 포함할 수 있다.In this case, the first image processor may include a model patch that selects a sample patch that satisfies a model patch condition from among a sample patch unit and sample patches that sample at least one sample patch having a mutual positional relationship in the first input image, as a model patch. It may include wealth.
또한, 모델패치부는, 샘플 패치 내부의 픽셀간 분산 정보 및 샘플 패치와 주변 영역 간 영상 유사도를 고려하여 모델 패치를 선정할 수 있다.In addition, the model patch unit may select the model patch in consideration of dispersion information between pixels in the sample patch and an image similarity between the sample patch and the surrounding area.
그리고, 모델패치부는, 샘플 패치 내부의 에지 정보 및 샘플 패치와 주변 영역의 영상 유사도를 고려하여 모델 패치를 선정할 수 있다.The model patch may select the model patch in consideration of edge information inside the sample patch and image similarity between the sample patch and the surrounding area.
제 2 영상 처리기는, 제 2 입력 영상에서 모델 패치들의 위치를 계산하고 해당 위치에서 모델 패치의 변위변화 값과 각도변화 값을 계산하여 변위보정정보와 각도보정정보를 획득하는 보정정보 획득부 및 변위보정정보 및 각도보정정보를 상기 제 2 입력 영상에 반영하여 출력하는 영상처리부를 포함할 수 있다.The second image processor is configured to calculate the position of the model patches in the second input image, and calculate a displacement change value and an angle change value of the model patch at the corresponding position to obtain the displacement correction information and the angle correction information and the displacement. And an image processor for reflecting the correction information and the angle correction information to the second input image.
이 경우, 보정정보 획득부는, 제 2 입력 영상에 대한 어느 하나의 모델 패치의 예상 위치를 계산하고 어느 하나의 모델 패치의 변위변화 값과 각도변화 값을 계산하며, 계산된 모델 패치와 상호 위치관계를 갖는 다른 모델 패치의 변위변화 값과 각도변화 값을 계산하여 변위보정정보와 각도보정정보를 획득할 수 있다.In this case, the correction information acquisition unit calculates an expected position of any one model patch with respect to the second input image, calculates a displacement change value and an angle change value of any one model patch, and calculates the positional relationship with the calculated model patch. Displacement correction information and angle correction information can be obtained by calculating the displacement change value and the angle change value of another model patch having.
이 때, 어느 하나의 모델 패치는 보정정보를 획득하는데 사용할 수 있는지 여부인 유효성이 검증된 것이다.At this time, the validity of which one model patch can be used to obtain the correction information is verified.
그리고, 유효성 검증은 어느 하나의 모델 패치와 주변 영역 간 영상 유사도에 따라 수행될 수 있다.The validation may be performed according to the image similarity between any one model patch and the surrounding area.
또한, 보정정보 획득부는 모델 패치의 변위 변화를 반영하여 예상 위치를 계산할 수 있다.In addition, the correction information acquisition unit may calculate the expected position by reflecting the change in displacement of the model patch.
영상처리부는 획득된 변위보정정보 및 각도보정정보 중에서 신뢰도가 높은 변위보정정보와 각도보정정보를 선택하여 선택된 변위보정정보 및 각도보정정보를 토대로 상기 제 2 입력 영상을 보정할 수 있다.
The image processor may correct the second input image based on the selected displacement correction information and the angle correction information by selecting highly reliable displacement correction information and angle correction information from the obtained displacement correction information and angle correction information.
상기와 같은 본 발명의 일 실시예에 따르면, 새로운 영상이 입력됨에 따라 영상 안정화에 사용하기에 적합한 모델 패치들만 잔존시키고 이들 적합한 모델 패치들을 이용하여 영상화 안정을 수행함으로써, 카메라 흔들림에 안정적인 영상을 출력할 수 있다.
According to an embodiment of the present invention as described above, as a new image is input, only the model patches suitable for use in image stabilization remain and image stabilization is performed using these suitable model patches, thereby outputting an image stable to camera shake. can do.
도 1은 본 발명에 따른 영상 안정화 시스템의 일 실시예에 따른 개략적인 구성 블록도이다.
도 2a 및 도 2b는 제 1 입력 영상에 대하여 샘플링된 샘플 패치의 실시예에 따른 상태도이다.
도 3은 도 2a의 샘플 패치 중에서 선정된 모델 패치의 상태를 나타낸 것이다.
도 4는 제 1 입력 영상에서의 모델 패치의 상태와 제 2 입력 영상에서의 모델 패치의 상태도를 나타낸 것이다.
도 5a는 제 2 입력 영상에 대한 첫번째 모델 패치의 예상 위치를 나타낸 상태도이다.
도 5b는 도 5a의 첫번째 모델 패치를 기준으로 다른 모델 패치들의 예상 위치가 자동 계산된 상태를 나타낸 것이다.
도 6은 도 1의 모델 패치 선정 단계(S120)의 제 1 실시예에 따른 흐름도이다.
도 7은 도 1의 모델 패치 선정 단계(S120)의 제 2 실시예에 따른 흐름도이다.
도 8a는 도 7의 에지 정보 추출 단계(S710)의 제 1 실시예인 미분을 이용하여 에지 처리된 상태를 나타낸다.
도 8b는 도 7의 에지 정보 추출 단계(S710)의 제 2 실시예인 해리스 코널 디텍터를 이용하여 에지 처리된 상태를 나타낸다.
도 9는 도 1의 보정정보 획득 단계(S130)의 일 실시예에 따른 흐름도이다.
도 10은 본 발명에 따른 영상 안정화 시스템(1000)의 일 실시예에 따른 개략적인 구성 블록도이다.1 is a schematic block diagram of an image stabilization system according to an embodiment of the present invention.
2A and 2B are state diagrams according to an embodiment of a sample patch sampled with respect to a first input image.
3 illustrates a state of a model patch selected from the sample patches of FIG. 2A.
4 illustrates a state diagram of a model patch in the first input image and a state of the model patch in the second input image.
5A is a state diagram illustrating an expected position of a first model patch with respect to a second input image.
FIG. 5B illustrates a state in which estimated positions of other model patches are automatically calculated based on the first model patch of FIG. 5A.
6 is a flowchart according to a first embodiment of the model patch selection step S120 of FIG. 1.
7 is a flowchart according to a second embodiment of the model patch selection step S120 of FIG. 1.
FIG. 8A illustrates an edge-processed state using differential, which is the first embodiment of the edge information extraction step S710 of FIG. 7.
FIG. 8B illustrates an edge-processed state using the Harris connel detector, which is the second embodiment of the edge information extraction step S710 of FIG. 7.
9 is a flowchart according to an exemplary embodiment of the correction information obtaining step S130 of FIG. 1.
10 is a schematic structural block diagram of an
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. Meanwhile, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and / or “comprising” refers to the presence of one or more other components, steps, operations and / or elements. Or does not exclude additions.
본 명세서에서 제 1 입력 영상이란 카메라와 같은 촬영 장치(미도시)에 의하여 촬영된 영상으로, 제 1 입력 영상에서 샘플 패치와 모델 패치가 생성된다.In the present specification, the first input image is an image photographed by a photographing apparatus (not shown) such as a camera, and a sample patch and a model patch are generated from the first input image.
본 명세서에서 제 2 입력 영상이란 제 1 입력 영상의 이후에 촬영된 영상으로 본 발명에 따른 영상 안정화 방법의 대상이 되는 영상을 의미한다. 제 2 입력 영상은 제 1 입력 영상에서 생성된 모델 패치의 전부 또는 일부를 통해 안정화된다. 예컨대, 초당 30프레임을 촬영하는 카메라에 의하여 입력된 영상 중에서 n번째의 입력 영상에서 샘플 패치 및 모델 패치를 선정하였다면, n+1번째 입력 영상 및 이후의 입력 영상이 제 2 입력 영상이 될 수 있다.In the present specification, the second input image refers to an image that is captured after the first input image and that is an object of the image stabilization method according to the present invention. The second input image is stabilized through all or part of the model patch generated from the first input image. For example, if a sample patch and a model patch are selected from an nth input image among images input by a camera photographing 30 frames per second, the n + 1th input image and the subsequent input image may be the second input image. .
본 명세서에서 샘플 패치 및 모델 패치는 입력 영상의 일부 영역을 의미한다. 예컨대, 640×480 해상도의 영상에서 30×30 ~ 50×50의 픽셀 사이즈 범위에 해당하는 사각형 영역이 샘플 패치 및 모델 패치가 될 수 있다.In the present specification, the sample patch and the model patch mean some regions of the input image. For example, a rectangular region corresponding to a pixel size range of 30 × 30 to 50 × 50 in an 640 × 480 resolution image may be a sample patch and a model patch.
샘플 패치와 모델 패치의 차이점을 살펴보면 다음과 같다. 샘플 패치는 제 1 입력 영상에서 샘플링된 영역으로서 하나 혹은 복수 개일 수 있다. 한편, 모델 패치는 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 의미한다.The differences between the sample patch and the model patch are as follows. The sample patch may be one or a plurality of regions sampled from the first input image. The model patch refers to a sample patch that satisfies the model patch condition among the sample patches.
본 명세서에서 보정정보는 제 2 입력 영상의 흔들림을 보정하기 위한 정보로서, 변위보정정보와 각도보정정보로 구체화될 수 있다. 본 명세서에서 특별한 언급이 없는 한 "보정정보"는 변위보정정보와 각도보정정보를 모두 포함하는 개념으로 볼 것이다.In the present specification, the correction information is information for correcting a shake of the second input image, and may be embodied as displacement correction information and angle correction information. Unless otherwise specified in the present specification, "correction information" will be regarded as a concept including both displacement correction information and angle correction information.
본 명세서에서 조건 영역이란 샘플 패치 또는 모델 패치를 포함하는 영역이다. 본 발명의 비제한적 실시예로서, 샘플 패치의 사이즈가 a×b 인 경우 조건 영역은 2a×2b 가 될 수 있고, 모델 패치의 사이즈가 a×b 인 경우 조건 영역은 a×b 이거나 3a×3b 가 될 수 있다. 한편, 본 명세서에서 주변 영역이란 조건 영역에서 샘플 패치 또는 모델 패치의 영역을 제외한 나머지 영역이다.
In the present specification, the condition region is an area including a sample patch or a model patch. As a non-limiting embodiment of the present invention, the condition area may be 2a × 2b when the size of the sample patch is a × b, and the condition area is a × b or 3a × 3b when the size of the model patch is a × b. Can be Meanwhile, in the present specification, the peripheral region is a region other than the region of the sample patch or the model patch in the condition region.
도 1은 본 발명에 따른 흔들림에 강인한 영상 안정화 방법의 일 실시예에 따른 개략적인 흐름도이다. 본 발명에 따른 영상 안정화 방법은 도 10의 영상 안정화 시스템(1000)에 의하여 구현될 수 있다.1 is a schematic flowchart of an embodiment of a method for stabilizing image stabilization according to the present invention. The image stabilization method according to the present invention may be implemented by the
단계 S110에서는, 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링한다. 예컨대, 가로×세로가 640×480픽셀인 화면 해상도를 기준으로 픽셀 사이즈 50×50의 패치를 샘플 패치로 샘플링할 수 있다.In operation S110, at least one sample patch is sampled from the first input image. For example, a patch having a pixel size of 50x50 may be sampled as a sample patch based on a screen resolution of 640x480 pixels.
단계 S110에서, 샘플 패치는 다음과 같은 방법들에 따라 샘플링될 수 있다. 일예로, 특정 위치에 기준이 되는 어느 하나의 샘플 패치를 먼저 샘플링한 후, 기준 샘플 패치를 중심으로 좌우 또는 상하 방향으로 일정한 피치 간격만큼 떨어진 위치에 복수 개의 샘플 패치를 더 샘플링할 수 있다. 도 2a는 이와 같은 실시예에 의해, 제 1 입력 영상(210)에 샘플링된 샘플 패치들(201a)의 배열 상태를 나타낸 것이다. 샘플 패치들(201a)은 소정의 규칙에 따라 샘플링된 것이므로, 샘플 패치들(201a)은 상호 위치관계를 갖는다. 또 다른 일예로, 제1 입력 영상에서 소정의 크기를 갖는 샘플 패치를 임의로 샘플링한 후, 샘플링된 샘플 패치 간 상호 위치관계를 설정할 수 있다. 도 2b는 이와 같은 실시예에 의해 샘플링된 샘플 패치들(201b)의 배열 상태를 나타낸 것이다.In step S110, the sample patch may be sampled according to the following methods. For example, after sampling any one sample patch as a reference to a specific position, the plurality of sample patches may be further sampled at positions spaced apart by a predetermined pitch interval in the left, right, and up and down directions with respect to the reference sample patch. FIG. 2A illustrates an arrangement of sample patches 201a sampled on the
샘플 패치의 개수와 크기는 입력 영상의 크기 또는 해상도에 따라 설정될 수 있다. The number and size of sample patches may be set according to the size or resolution of the input image.
단계 S120에서는, 각 샘플 패치의 타당성을 검증하여 타당성이 검증된 샘플 패치를 모델 패치로 선정한다. 타당성 검증은 모델패치조건을 만족하는지 여부에 따른다. 타당성 검증은 본 발명의 실시예에 따라 두가지로 나누어 볼 수 있다. 첫번째 실시예로, 샘플 패치 내부의 픽셀간 분산 정보를 검증하고 샘플 패치와 주변 영역간 차별성을 검증하는 방식을 사용할 수 있다. 두번째 실시예로, 샘플 패치 내부의 에지 정보를 검증하고 샘플 패치와 주변 영역간 차별성을 검증하는 방식을 사용할 수 있다. 도 3은 도 2a의 샘플 패치(201a) 중 단계 S120에 따라 선정된 모델 패치(301)를 나타낸 상태도이다. 도 3의 미설명 부호 302는 모델 패치로 선정되지 못한 샘플 패치를 나타낸다.In step S120, the validity of each sample patch is verified to select a sample patch whose validity is verified as a model patch. Validation depends on whether the model patch condition is met. Validation can be divided into two types according to the embodiment of the present invention. In a first embodiment, a method of verifying inter-pixel dispersion information in the sample patch and verifying the difference between the sample patch and the surrounding area may be used. As a second embodiment, a method of verifying edge information inside the sample patch and verifying the difference between the sample patch and the surrounding area may be used. 3 is a state diagram illustrating a
모델 패치를 선정하는 단계 S120의 보다 구체적인 과정은 실시예별로 도 6 및 도 7을 참고하여 후술한다.A more detailed process of selecting a model patch S120 will be described later with reference to FIGS. 6 and 7 for each embodiment.
단계 S130에서는, 제 2 입력 영상에서 모델 패치의 위치 변화를 토대로 보정정보를 획득한다. 도 4에 도시된 바와 같이, 제 2 입력 영상(410)이 흔들려서 촬영된 경우, 모델 패치(401)에도 흔들림 정보가 반영되어 있다. 그러므로, 각각의 모델 패치(401)가 갖는 고유의 영상 정보를 이용하여 모델 패치(401)의 흔들림 정도 즉, 제 1 입력 영상(210)과 제 2 입력 영상(410) 간 모델 패치(401)의 위치변화를 계산하고, 위치변화를 토대로 제 2 입력 영상(410)의 흔들림을 보정한다. 이하에서는, 단계 S130의 일 실시예에 따른 개략적인 과정을 설명하고, 보다 구체적인 과정은 도 9를 참고하여 후술하기로 한다.In operation S130, correction information is obtained based on a change in the position of the model patch in the second input image. As shown in FIG. 4, when the
단계 S131에서는, 제 2 입력 영상에서 어느 하나의 모델 패치의 예상 위치를 계산한다. 이 경우, 모델 패치의 회전변화는 계산하지 않고 변위변화만을 계산하여 연산 시간을 단축시킬 수 있다. 도 5a는 예상 위치가 계산된 모델 패치(401a)를 나타낸 상태도이다.In operation S131, an expected position of any one model patch in the second input image is calculated. In this case, the calculation time can be shortened by calculating only the displacement change without calculating the rotation change of the model patch. 5A is a state diagram showing a
단계 S132에서는, 예상 위치가 계산된 모델 패치에 대하여 모델 패치의 정확한 좌표와 회전 각도를 계산할 수 있다. 이 때, 예상 위치가 계산된 모델 패치는 제 2 입력 영상의 흔들림 보정에 사용하기에 적합한, 즉 유효성이 검증된 모델 패치가 바람직하다. 유효성 검증은 이하 도 9를 참고하여 해당 부분에서 후술한다. 단계 S132를 통해, 모델 패치의 중심 좌표의 변화에 따라 모델 패치의 변위변화를 획득할 수 있고 회전 각도에 따라 모델 패치의 각도변화를 획득할 수 있다.In step S132, the exact coordinates and the rotation angle of the model patch can be calculated for the model patch whose expected position is calculated. In this case, the model patch whose expected position is calculated is preferably a model patch that is suitable for use in the shake correction of the second input image, that is, the validity of the model patch. Validation will be described later in this section with reference to FIG. 9. Through the step S132, it is possible to obtain a change in displacement of the model patch in accordance with the change in the coordinates of the center of the model patch, it is possible to obtain a change in the angle of the model patch in accordance with the rotation angle.
단계 S133에서는, 단계 S132에서의 모델 패치를 기준으로 다른 모델 패치들의 예상 위치를 계산한다. 앞서 언급한 바와 같이, 모델 패치는 상호 위치관계를 가지므로 이를 이용하여 다른 모델 패치들의 예상 위치를 자동적으로 계산할 수 있다. 도 5b는 자동 계산된 다른 모델 패치들(401b ~ 401g)의 배열 상태를 나타낸다.In step S133, the expected positions of other model patches are calculated based on the model patch in step S132. As mentioned above, since model patches have a mutual position relationship, they can be used to automatically calculate expected positions of other model patches. 5B shows the arrangement of other automatically calculated model patches 401b-401g.
단계 S134에서는, 다른 모델 패치의 정확한 좌표와 회전 각도를 계산할 수 있다. 단계 S132와 마찬가지로, 계산값에 따라 다른 모델 패치에 대한 변위변화와 회전변화를 획득할 수 있다. 단계 S132와 단계 S134에 의하여 획득된 변위변화는 변위보정정보로 활용되고, 각도변화는 각도보정정보로 활용된다.In step S134, the exact coordinates and the rotation angle of the other model patch can be calculated. As in step S132, it is possible to obtain a displacement change and a rotation change for another model patch according to the calculated value. The displacement change obtained in steps S132 and S134 is used as the displacement correction information, and the angle change is used as the angle correction information.
단계 S140에서는, 변위보정정보와 각도보정정보를 토대로 제 2 입력 영상의 흔들림을 보정하여 출력한다. 예컨대, 단계 S130에서 획득한 보정정보 모두를 이용하거나 일부 신뢰도가 높은 보정정보만 이용할 수 있다. 신뢰도는 모델 패치가 제 1 입력 영상에 존재할 때와 제 2 입력 영상에 존재할 때의 유사도 판단에 의할 수 있다. 각각의 모델 패치에 대하여 신뢰도를 평가하여 신뢰도가 높은 몇 개의 모델 패치의 보정정보를 선택할 수 있다.In step S140, the shake of the second input image is corrected and output based on the displacement correction information and the angle correction information. For example, all of the correction information acquired in step S130 may be used or only some of the highly reliable correction information may be used. The reliability may be determined by determining the similarity between when the model patch is present in the first input image and when it is present in the second input image. Reliability is evaluated for each model patch to select correction information of several high-quality model patches.
단계 S140은, 각 보정정보의 평균값을 계산하여 계산된 값만큼 제 2 입력 영상의 변위와 각도를 보정하여 출력할 수 있다.
In operation S140, the average value of each piece of correction information may be calculated to correct and output the displacement and the angle of the second input image by the calculated value.
도 6은 모델 패치를 선정하는 단계 S120의 제 1실시예에 따른 흐름도이다. 먼저, 샘플 패치 내부의 픽셀간 분산 정보를 검증한 후, 샘플 패치의 주변 영역과의 차별성을 검증한다.6 is a flowchart according to the first embodiment of step S120 of selecting a model patch. First, the dispersion information between pixels in the sample patch is verified, and then differentiation from the peripheral area of the sample patch is verified.
단계 S610에서, 샘플 패치 내부의 픽셀 평균값과 표준 편차를 구하고, 단계 S620에서 픽셀 평균값과 표준 편차의 값을 평가한다. 단계 S630에서, 샘플 패치 내부의 픽셀 평균값이 소정의 범위에 속하고 표준 편차가 최소 기준값을 초과하는 경우에만 샘플 패치를 모델 패치 후보로 선정한다. 예컨대, 앞서 640×480의 화면 해상도에서 50×50의 픽셀 사이즈가 샘플 패치로 샘플링된 경우, 샘플 패치 내부의 픽셀 평균값이 60 ~ 220 사이이고 표준 편차가 최소 기준값인 25 이상일 때의 샘플 패치가 모델 패치 후보로 선정될 수 있다.In step S610, the pixel mean value and standard deviation inside the sample patch are obtained, and in step S620, the pixel mean value and the standard deviation value are evaluated. In step S630, the sample patch is selected as the model patch candidate only when the pixel average value in the sample patch falls within a predetermined range and the standard deviation exceeds the minimum reference value. For example, if a pixel size of 50 × 50 is sampled as a sample patch at a screen resolution of 640 × 480, the sample patch is modeled when the pixel average value within the sample patch is between 60 and 220 and the standard deviation is 25 or more, the minimum reference value. Can be selected as a patch candidate.
단계 S640에서, 모델 패치 후보와 주변 영역의 차별성을 파악한다. 주변 영역과의 차별성은 영상 유사도 계산에 의할 수 있다. 예컨대 제 1 입력 영상에 위치하는 모델 패치 후보를 포함하는 조건 영역을 설정하고 조건 영역 내에서 모델 패치 후보와 주변 영역 간 영상 유사도를 계산한다. 일예로, 모델 패치 후보의 픽셀 사이즈가 50×50이라면 조건영역의 픽셀 사이즈는 100×100일 수 있다. In step S640, the difference between the model patch candidate and the surrounding area is determined. Differentiation from the surrounding area may be based on image similarity calculation. For example, a condition region including a model patch candidate located in the first input image is set, and an image similarity between the model patch candidate and the surrounding region is calculated in the condition region. For example, if the pixel size of the model patch candidate is 50 × 50, the pixel size of the condition region may be 100 × 100.
영상 유사도는 다음의 [수학식 1]과 같은 픽셀간 유사도(h(u,v))에 따라 계산될 수 있다.The image similarity may be calculated according to the inter-pixel similarity h (u, v) as shown in
이 때, t(x,y)는 주변 영역 내부의 어느 하나의 픽셀을 나타내고, f(u+x, v+y)는 모델 패치 후보의 내부에 존재하는 어느 하나의 픽셀을 나타낸다. 유사도 판단은 각 픽셀에 대한 유사도(h(u,v)) 값이 예컨대, 0.4 보다 작은 경우 모델 패치로 선정될 수 있다. 그리고, h(u,v) 값 중 가장 큰 값은 단계 S922의 유효성 검증시 임계치로 사용될 수 있다.
In this case, t (x, y) represents any one pixel inside the peripheral region, and f (u + x, v + y) represents any one pixel present inside the model patch candidate. The similarity determination may be selected as a model patch when the similarity (h (u, v)) value for each pixel is smaller than 0.4, for example. In addition, the largest value of the h (u, v) values may be used as a threshold in the validation of step S922.
도 7은 모델 패치를 선정하는 단계 S120의 제 2실시예에 따른 흐름도이다. 먼저, 샘플 패치 내부의 에지 정보를 검증하여 모델 패치 후보를 선정한 후, 모델 패치 후보와 주변 영역 간 차별성을 검증한다. 본 실시예의 경우, 차별성 검증은 앞서 도 6을 참고하여 설명한 단계 S640 ~ S660과 동일하므로 이하에서는 단계 모델 패치 후보를 선정하는 과정을 중심으로 설명한다.7 is a flowchart according to a second embodiment of step S120 of selecting a model patch. First, the model patch candidates are selected by verifying edge information inside the sample patch, and then the discrimination between the model patch candidates and the surrounding area is verified. In the case of the present embodiment, the differentiation verification is the same as the steps S640 to S660 described above with reference to FIG. 6 and will be described below with reference to a process of selecting a step model patch candidate.
단계 S710에서는, 샘플 패치의 에지 정보를 추출한다. 에지 정보는 1차 미분 또는 2차 미분을 적용하거나 해리스 코널 디텍터(Harris Conel Detector) 등을 이용하여 추출할 수 있다. 1차 미분을 적용하는 경우의 예로는 소벨 필터, 차분 필터, 로버츠 필터, 커쉬필터, 로빈슨 필터, 프레위트 필터 등이 있고, 2차 미분을 이용하는 경우의 예로는 라플라스 에지 필터 등이 있다. 도 8a는 미분을 이용하여 처리한 상태를 나타내고, 도 8b는 해리스 코널 디텍터를 적용하여 처리한 상태를 나타낸다.In step S710, edge information of a sample patch is extracted. Edge information may be extracted by applying a first derivative or a second derivative or using a Harris Conel Detector. Examples of applying the first derivative include the Sobel filter, the differential filter, the Roberts filter, the Kersh filter, the Robinson filter, and the Freudian filter. Examples of the second derivative include the Laplace edge filter. FIG. 8A shows the state processed using the derivative, and FIG. 8B shows the state processed by applying the Harris connel detector.
단계 S720에서는, 샘플 패치 사이즈의 일정 부분 이상이 에지로 구성되었는지 판단한다. 예컨대, 샘플 패치 사이즈의 20%를 초과하는 부분이 에지로 구성된 경우에 샘플 패치를 모델 패치 후보로 선정할 수 있다. 본 실시예에서 판단 기준의 값으로 20%인 경우에 대하여 설명하였으나 이와 같은 수치로 한정할 것이 아님은 물론이다.
In step S720, it is determined whether a predetermined portion or more of the sample patch size is configured as an edge. For example, a sample patch may be selected as a model patch candidate when a portion of more than 20% of the sample patch size consists of edges. In the present embodiment, the case where the value of the criterion is 20% has been described. However, the present invention is not limited thereto.
도 9는 보정정보 획득 단계 S130의 보다 구체적인 과정을 나타낸 흐름도이다. 단계 S130은 앞선 단계(S110 ~ S120)에 따라 선정된 모델 패치의 위치가 제 2 입력 영상에서 얼마만큼 변화하였는지를 계산하여, 계산된 값을 보정정보로 하는 과정이다. 설명의 편의를 위해, 앞서 언급한 바와 같이 각각의 모델 패치에는 1 ~ m 까지의 고유의 번호가 부여되었다고 가정한다.9 is a flowchart illustrating a more detailed process of the correction information acquisition step S130. Step S130 is a process of calculating how much the position of the model patch selected according to the previous steps (S110 ˜ S120) has changed in the second input image, and using the calculated value as correction information. For convenience of explanation, it is assumed that each model patch has a unique number of 1 to m as mentioned above.
단계 S910에서는, 제2 입력 영상에서 첫번째 모델 위치의 예상 위치를 계산한다. 이 경우, 첫번째 모델 위치의 회전변화는 계산하지 않고 변위변화만을 계산하여 연산 시간을 단축시킬 수 있다. 변위변화 계산은 예컨대, [수학식 2]의 마할라노비스 거리(Mahalanobis distance) 계산법에 따를 수 있다. 예상 위치의 계산은 제 2 입력 영상에 설정된 조건 영역 내에서 이루어질 수 있다. 조건 영역은 모델 패치의 픽셀 사이즈보다 더 큰 범위로서 예컨대, 모델 패치 후보의 픽셀 사이즈가 50×50인 경우 조건 영역의 크기는 150×150의 픽셀사이즈가 될 수 있다.In operation S910, an expected position of the first model position is calculated in the second input image. In this case, the calculation time can be shortened by calculating only the displacement change without calculating the rotation change of the first model position. Displacement change calculation may be, for example, according to the Mahalanobis distance calculation method of Equation 2. The calculation of the expected position may be performed within the condition area set in the second input image. The condition area is a larger range than the pixel size of the model patch. For example, when the pixel size of the model patch candidate is 50 × 50, the size of the condition area may be a pixel size of 150 × 150.
이 때, xi는 조건 영역 내부에 존재하는 임의의 픽셀을 나타내고, umodel은 모델 패치 내부의 픽셀을 나타낸다. 
단계 S920에서는, 첫번째 모델 패치의 유효성을 검증한다. 유효성 검증은 첫번째 모델 패치와 주변 영역 간 차별성 검증에 의할 수 있고, 차별성 검증은 [수학식 1]의 영상 유사도 계산법을 이용할 수 있다. In step S920, the validity of the first model patch is verified. Validation may be based on the difference between the first model patch and the surrounding area. Differentiation may be calculated using the image similarity calculation method shown in [Equation 1].
단계 S921에서, 첫번째 모델 패치와 주변 영역 간 영상 유사도를 계산한다. 영상 유사도 계산은 첫번째 모델 패치를 포함하는 조건 영역 내에서 수행된다.In operation S921, image similarity between the first model patch and the surrounding area is calculated. Image similarity calculation is performed within the conditional region containing the first model patch.
단계 S922에서, 영상 유사도 값이 임계치보다 큰지 비교한다. 이 경우, 임계치로 앞서 설명한 단계 S640에서의 결과 값인 h(u,v) 값 중에서 가장 큰 값을 사용할 수 있다. 첫번째 모델 패치의 영상 유사도 값이 임계치보다 큰 경우 유효성이 인정된다.In step S922, it is compared whether the image similarity value is greater than the threshold. In this case, as the threshold value, the largest value among the h (u, v) values which are the result values in step S640 described above may be used. Validity is recognized if the image similarity value of the first model patch is greater than the threshold.
판단 결과, 유사도 값이 유효성 검증용 임계치보다 작은 경우라면 두번째 모델 패치에 대하여 단계 S921과 단계 S922를 반복 수행한다. 이 경우 단계 S923에서는, 첫번째 모델 패치를 제거함으로써 본 발명에 따른 보정정보 획득에 일체 사용하지 않을 수 있다.If it is determined that the similarity value is smaller than the validation threshold, steps S921 and S922 are repeated for the second model patch. In this case, in step S923, by removing the first model patch, it can not be used at all to obtain correction information according to the present invention.
단계 S930에서는, 유효성이 인정된 첫번째 모델 패치의 정확한 위치를 계산한다. 첫번째 모델 패치의 정확한 좌표와 회전 각도를 계산할 수 있다. 이 경우도 [수학식 1]과 같은 유사도 수식을 이용할 수 있다. 유사도 수식을 사용함에 있어서, 조건 영역은 첫번째 모델 패치의 크기와 동일하게 설정할 수 있다. 좌표에 기초하여 변위변화를 계산할 수 있고, 회전 각도에 기초하여 각도변화를 계산할 수 있다.In step S930, the correct position of the first model patch is validated. The exact coordinates and angle of rotation of the first model patch can be calculated. In this case, a similarity equation such as
단계 S940에서는, 유효성이 인정된 첫번째 모델 패치를 기준으로 다른 모델 패치의 예상 위치를 계산한다. 앞서 언급한 바와 같이 모델 패치는 상호 위치관계를 가지므로 이를 이용하면 다른 모델 패치들의 예상 위치를 자동 계산할 수 있다.In step S940, the expected position of another model patch is calculated based on the first model patch that is recognized as valid. As mentioned above, since model patches have a mutual positional relationship, the model patches can be used to automatically calculate expected positions of other model patches.
단계 S950에서는, 다른 모델 패치들의 정확한 좌표와 회전 각도를 계산할 수 있다. 단계 S930과 마찬가지로, 좌표에 기초하여 변위변화를 계산할 수 있고, 회전 각도에 기초하여 각도변화를 계산할 수 있다.In operation S950, accurate coordinates and rotation angles of the other model patches may be calculated. As in step S930, the displacement change can be calculated based on the coordinates, and the angle change can be calculated based on the rotation angle.
단계 S930과 단계 S950에서 계산된 변위변화와 각도변화는 변위보정정보와 각도보정정보로 활용된다.
The displacement change and angle change calculated in steps S930 and S950 are used as the displacement correction information and the angle correction information.
도 10은 본 발명에 따른 영상 안정화 시스템의 일 실시예에 따른 개략적인 구성 블록도이다. 10 is a schematic structural block diagram of an image stabilization system according to an embodiment of the present invention.
도 10을 참조하면, 본 발명의 일 실시예에 따른 영상 안정화 시스템(1000)은 도 1에 도시된 영상 안정화 방법에 따라 구현될 수 있다. 따라서, 도 1에 도시된 영상 안정화 방법에서와 동일한 사항에 대해서는 이를 참조하고, 이하에서는 자세한 설명이 생략될 수 있다.Referring to FIG. 10, the
영상 안정화 시스템(1000)은 제 1 영상 처리기(1100) 및 제 2 영상 처리기(1200) 등을 포함한다.The
제 1 영상 처리기(1100)는 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하고 샘플 패치 중에서 일정한 조건 즉, 모델 패치 조건에 부합하는 샘플 패치를 모델 패치로 선정한다. The
제 1 영상 처리기(1100)는 샘플패치부(1110)와 모델패치부(1120)를 구비할 수 있다.The
샘플패치부(1110)는 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링한다. 예컨대, 샘플패치부(1110)는 소정의 규칙에 따라 샘플 패치를 순차적으로 샘플링하거나 무작위로 샘플 패치를 생성한 후 이들의 상호 위치관계를 설정할 수 있다. The
모델패치부(1120)는 모델 패치 조건을 기준으로 샘플 패치들의 타당성을 검증하고, 검증된 샘플 패치를 모델 패치로 선정한다. The
모델 패치의 개수는 샘플 패치의 개수와 동일하거나 작을 수 있다. 또한, 샘플 패치들은 상호 위치관계를 가지므로 모델 패치들도 상호 위치관계를 갖는다.The number of model patches may be equal to or smaller than the number of sample patches. In addition, since the sample patches have a mutual positional relationship, the model patches also have a mutual positional relationship.
제 2 영상 처리기(1200)는 제1 영상 처리기(1100)에서 선정된 모델 패치에 관한 정보를 수신하고, 모델 패치들을 이용하여 변위보정정보와 각도보정정보를 획득한다. 그리고, 획득된 보정정보를 제 2 입력 영상에 반영하여 흔들림이 보정된 영상을 출력한다. The
제 2 영상 처리기(1200)는 보정정보 획득부(1210)와 영상처리부(1220)를 포함할 수 있다.The
보정정보 획득부(1210)는 모델 패치의 제1 입력 영상과 제 2 입력 영상 간 위치 변화를 토대로 변위보정정보와 각도보정정보를 산출한다. 보정정보를 산출함에 있어, 보정정보 획득부(1210)는 제 1 영상 처리기(1100)에서 입력된 모델 패치의 전부 또는 일부를 사용할 수 있다. 모델 패치의 전부를 사용할 것인지 일부를 사용할 것인지 여부는 앞서 언급한 단계 S920에서 설명한 유효성 검증에 따라 결정될 수 있다.The correction
예컨대, 제 1 입력 영상에서 선정된 k번째 모델 패치가 날아다니는 새에 관한 영상 정보를 포함하는 경우를 살펴본다. 새는 위치가 금방 변하므로, k번째 모델 패치의 제 2 입력 영상에서의 예상 위치를 계산하더라도 해당 위치에서 k번째 모델 패치가 새에 관한 영상 정보를 포함하지 않을 수 있다. 이 경우, 제 1 입력 영상에서 k번째 모델 패치와 주변 영상 간 유사도 값과, 제 2 입력 영상에서 k번째 모델 패치와 주변영상간 유사도 값은 다르다. 따라서, 앞서 언급한 단계 S922, S923와 같이 임계치보다 크다는 조건을 만족하지 못하므로 k번째 모델 패치는 보정정보 획득에 사용되지 않는다.For example, a case in which the k-th model patch selected from the first input image includes image information about a flying bird will be described. Since the position of the bird changes quickly, even if the expected position of the second input image of the k-th model patch is calculated, the k-th model patch may not include the image information about the bird. In this case, the similarity value between the k-th model patch and the surrounding image in the first input image and the similarity value between the k-th model patch and the peripheral image in the second input image are different. Therefore, the k-th model patch is not used for acquiring correction information because the condition of being larger than the threshold value is not satisfied as in the aforementioned steps S922 and S923.
영상처리부(1220)는 획득된 보정정보를 제 2 입력 영상에 반영하여, 흔들림이 보정된 영상을 출력한다. 이 경우, 보정정보의 전부를 사용하거나 일부 신뢰도가 높은 보정정보를 사용하는 일예는 앞서 단계 S140에서 언급한 바와 같다.
The
본 발명과의 비교 실시예로서, 영상을 안정화하기 위한 방법으로 화면 끝단의 일부에서 특징점을 추출하여, 이를 이용하는 경우를 살펴본다. 이와 같은 경우, 피촬영체가 매 순간 프레임마다 이동하는 경우에는 화면 끝단의 특징점만으로 영상의 안정화가 매우 어렵다. 설령, 많은 특징점을 사용한다 하더라도 특징점의 선택이 용이하지 않고, 이동체에 의하여 배경 가려짐 현상이 발생하는 경우에는 정확한 판단이 어려워진다.As a comparative embodiment with the present invention, a case where a feature point is extracted from a part of a screen end and used as a method for stabilizing an image will be described. In such a case, when the subject moves in every frame at every moment, it is very difficult to stabilize the image only by the feature points at the end of the screen. Even if many feature points are used, the selection of the feature points is not easy, and when the background obstruction occurs due to the moving object, accurate determination becomes difficult.
반면, 본 발명은 제 1 입력 영상에서 모델 패치를 선정하고 선정된 모델 패치 중에서 유효한 모델 패치만을 제 2 입력 영상의 안정화에 사용한다. 같은 방식으로, 제 2 입력 영상의 안정화에 사용된 모델 패치 중에서 유효한 모델 패치만을 제 3 입력 영상의 안정화에 사용하는 연쇄적인 구조이다. 즉, 영상 안정화에 사용하기 어려운 모델 패치들은 자연스럽게 제거되고 안정화에 사용하기에 적합한 유효 모델 패치만 남게 된다. 따라서, 점차 강건한 모델 패치들로만 영상을 안정화시켜 영상의 오인식을 현저하게 줄일 수 있는 장점이 있다.
In contrast, the present invention selects a model patch from the first input image and uses only a valid model patch among the selected model patches to stabilize the second input image. In the same manner, it is a chain structure that uses only the valid model patches among the model patches used for stabilization of the second input image to stabilize the third input image. In other words, model patches that are difficult to use for image stabilization are naturally removed and only valid model patches suitable for use in stabilization remain. Therefore, by stabilizing the image only with increasingly robust model patches there is an advantage that can significantly reduce the recognition of the image.
한편, 본 발명에 따른 영상 안정화 시스템은 컴퓨터로 읽을 수 있는 기록 매체로도 구현가능함은 물론이다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.On the other hand, the image stabilization system according to the present invention can be implemented as a computer-readable recording medium, of course. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
예컨대, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.For example, there are ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like, and also include implementing in the form of carrier waves (eg, transmission over the Internet). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어 졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위에는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.Although the present invention has been described in connection with the above-mentioned preferred embodiments, it is possible to make various modifications or variations without departing from the spirit and scope of the invention. Accordingly, the appended claims will include such modifications and variations as long as they fall within the spirit of the invention.
201a, 201b: 샘플 패치 210: 제 1 입력 영상
301: 모델 패치 410: 제2 입력 영상
401: 모델 패치 401a: 모델 패치 중 첫번째 모델 패치
1000: 영상 안정화 시스템 1100: 제 1 영상 처리기
1110: 샘플패치부 1120: 모델패치부
1200: 제 2 영상 처리기 1210: 보정정보 획득부
1220: 영상처리부201a and 201b: sample patch 210: first input image
301: model patch 410: second input image
401:
1000: image stabilization system 1100: first image processor
1110: sample patch 1120: model patch
1200: second image processor 1210: correction information acquisition unit
1220: image processing unit
Claims (19)
상기 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 단계;
제 2 입력 영상에서 상기 모델 패치의 위치 변화를 토대로 변위보정정보와 각도보정정보를 획득하는 단계; 및
상기 변위보정정보와 상기 각도보정정보가 반영된 영상을 출력하는 단계를 포함하는 영상 안정화 방법.Sampling at least one sample patch in a first input image;
Selecting a sample patch satisfying a model patch condition among the sample patches as a model patch;
Acquiring displacement correction information and angle correction information based on a change in position of the model patch in a second input image; And
And outputting an image in which the displacement correction information and the angle correction information are reflected.
상기 샘플 패치의 픽셀간 분산 정보에 따라 상기 샘플 패치 중에서 모델 패치의 후보를 선정하는 단계; 및
상기 모델 패치 후보와 주변 영역 간 차별성에 따라 상기 모델 패치 후보 중에서 모델 패치를 선정하는 단계를 포함하는 영상 안정화 방법.The method of claim 1, wherein the model patch selection step,
Selecting a candidate of a model patch among the sample patches according to the inter-pixel dispersion information of the sample patch; And
And selecting a model patch from among the model patch candidates according to the discrimination between the model patch candidates and the surrounding area.
상기 샘플 패치의 에지 정보에 따라 상기 샘플 패치 중에서 모델 패치의 후보를 선정하는 단계; 및
상기 모델 패치 후보와 주변 영역 간 차별성에 따라 상기 모델 패치 후보 중에서 모델 패치를 선정하는 단계를 포함하는 영상 안정화 방법.The method of claim 1, wherein the model patch selection step,
Selecting a candidate of a model patch among the sample patches according to the edge information of the sample patch; And
And selecting a model patch from among the model patch candidates according to the discrimination between the model patch candidates and the surrounding area.
상기 획득하는 단계는,
상기 제 2 입력 영상에서 상기 모델 패치 중 어느 하나인 제 1 모델 패치의 예상 위치를 계산하는 단계;
상기 제 1 모델 패치의 변위변화와 각도변화를 계산하는 단계;
상기 제 1 모델 패치의 변위변화와 각도변화에 기초하여, 다른 모델 패치들의 변위변화와 각도변화를 계산하는 단계를 포함하는 영상 안정화 방법.According to claim 1, wherein the plurality of model patches,
The obtaining step,
Calculating an expected position of a first model patch which is one of the model patches in the second input image;
Calculating a displacement change and an angle change of the first model patch;
Calculating a displacement change and an angle change of other model patches based on the displacement change and the angle change of the first model patch.
상기 제 1 모델 패치의 유효성을 검증하는 단계를 더 포함하는 영상 안정화 방법.The method of claim 4, wherein
And stabilizing the first model patch.
상기 제 1 모델 패치의 유효성이 인정되지 않는 경우,
상기 모델 패치 중에서 다른 어느 하나인 제 2 모델 패치에 대하여 예상 위치를 계산하고 유효성을 검증하는 단계를 더 포함하는 영상 안정화 방법.The method of claim 5, wherein
If the validity of the first model patch is not recognized,
The method of claim 1, further comprising calculating and validating an expected position of a second model patch, which is another one of the model patches.
상기 제 1 입력 영상에서의 제 1 모델 패치와 상기 제 2 입력 영상에서의 제 1 모델 패치 간 변위 변화를 반영하여 계산하는 것인 영상 안정화 방법.The method of claim 4, wherein the predicted position calculating step comprises:
The image stabilization method is calculated by reflecting the change in displacement between the first model patch in the first input image and the first model patch in the second input image.
상기 변위보정정보 및 상기 각도보정정보 중에서 각각 신뢰도가 높은 변위보정정보와 각도보정정보를 선택하는 단계; 및
상기 선택된 변위 보정정보 및 각도보정정보를 토대로 상기 제 2 입력 영상의 흔들림을 보정하여 출력하는 단계를 포함하는 영상 안정화 방법.The method of claim 1, wherein the outputting of the image comprises:
Selecting displacement correction information and angle correction information having high reliability from the displacement correction information and the angle correction information; And
And correcting and outputting a shake of the second input image based on the selected displacement correction information and angle correction information.
상기 제2 입력 영상 이후에 입력되는 영상에 대하여 반복 수행되는 것인 영상 안정화 방법.The method of claim 1, wherein the information acquisition step and the image output step,
The image stabilization method is repeated for the image input after the second input image.
제 2 입력 영상에서 상기 모델 패치들의 위치 변화에 따라 변위보정정보와 각도보정정보를 산출하여 상기 변위보정정보와 상기 각도보정정보가 반영된 영상을 출력하는 제 2 영상 처리기를 포함하는 영상 안정화 시스템.A first image processor for sampling at least one sample patch from a first input image and selecting a model patch from the sample patches; And
And a second image processor configured to calculate displacement correction information and angle correction information according to a change in position of the model patches in a second input image, and output an image in which the displacement correction information and the angle correction information are reflected.
상기 제 1 입력 영상에서 상호 위치관계를 갖는 적어도 하나 이상의 샘플 패치를 샘플링하는 샘플패치부; 및
상기 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 모델패치부를 포함하는 영상 안정화 시스템.The method of claim 10, wherein the first image processor,
A sample patch unit for sampling at least one sample patch having a mutual positional relationship in the first input image; And
An image stabilization system including a model patch for selecting a sample patch that satisfies a model patch condition among the sample patch as a model patch.
상기 샘플 패치 내부의 픽셀간 분산 정보 및 상기 샘플 패치와 주변 영역의 영상 유사도를 고려하여 상기 모델 패치를 선정하는 것인 영상 안정화 시스템.The method of claim 11, wherein the model patch unit,
And selecting the model patch in consideration of the inter-pixel dispersion information in the sample patch and the image similarity between the sample patch and the surrounding area.
상기 샘플 패치 내부의 에지 정보 및 상기 샘플 패치와 주변 영역 간 영상 유사도를 고려하여 상기 모델 패치를 선정하는 것인 영상 안정화 시스템.The method of claim 11, wherein the model patch unit,
And selecting the model patch in consideration of edge information inside the sample patch and image similarity between the sample patch and a peripheral region.
상기 제 2 입력 영상에서 상기 모델 패치들의 위치를 계산하고 해당 위치에서 상기 모델 패치의 변위변화 값과 각도변화 값을 계산하여 변위보정정보와 각도보정정보를 획득하는 보정정보 획득부; 및
상기 변위보정정보 및 상기 각도보정정보를 상기 제 2 입력 영상에 반영하여 출력하는 영상처리부를 포함하는 영상 안정화 시스템.The method of claim 10, wherein the second image processor,
A correction information acquisition unit for calculating the position of the model patches in the second input image and calculating displacement change value and angle change value of the model patch at the corresponding position to obtain displacement correction information and angle correction information; And
And an image processor which reflects the displacement correction information and the angle correction information to the second input image and outputs the reflected image.
상기 보정정보 획득부는,
상기 제 2 입력 영상에 대한 어느 하나의 모델 패치의 예상 위치를 계산하고, 상기 어느 하나의 모델 패치의 변위변화 값과 각도변화 값을 계산하며,
상기 계산된 모델 패치와 상호 위치관계를 갖는 다른 모델 패치의 변위변화 값과 각도변화 값을 계산하여 상기 변위보정정보와 각도보정정보를 획득하는 것인 영상 안정화 시스템.The method of claim 14,
The correction information acquisition unit,
Calculating an expected position of any one model patch with respect to the second input image, calculating a displacement change value and an angle change value of the any one model patch,
And calculating the displacement change value and the angle change value of another model patch having a mutual positional relationship with the calculated model patch to obtain the displacement correction information and the angle correction information.
상기 보정정보를 획득하는데 사용할 수 있는지 여부인 유효성이 검증된 것인 영상 안정화 시스템.The method of claim 15, wherein any one model patch,
The image stabilization system is validated whether or not it can be used to obtain the correction information.
상기 어느 하나의 모델 패치와 주변 영역 간 영상 유사도에 따르는 것인 영상 안정화 시스템.The method of claim 17, wherein the validation,
The image stabilization system according to the image similarity between the one of the model patch and the surrounding area.
상기 모델 패치의 변위 변화를 반영하여 상기 예상 위치를 계산하는 것인 영상 안정화 시스템.The method of claim 15, wherein the correction information obtaining unit,
And calculating the expected position by reflecting the change in displacement of the model patch.
상기 획득된 변위보정정보 및 각도보정정보 중에서 신뢰도가 높은 변위보정정보와 각도보정정보를 선택하여 선택된 변위보정정보 및 각도보정정보를 토대로 상기 제 2 입력 영상을 보정하는 것인 영상 안정화 시스템.The method of claim 14, wherein the image processing unit,
And correcting the second input image based on the selected displacement correction information and angle correction information by selecting displacement correction information and angle correction information having high reliability from the obtained displacement correction information and angle correction information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100011191A KR101426417B1 (en) | 2010-02-05 | 2010-02-05 | System and method for stabilizing images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100011191A KR101426417B1 (en) | 2010-02-05 | 2010-02-05 | System and method for stabilizing images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110091381A true KR20110091381A (en) | 2011-08-11 |
| KR101426417B1 KR101426417B1 (en) | 2014-08-07 |
Family
ID=44928822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100011191A KR101426417B1 (en) | 2010-02-05 | 2010-02-05 | System and method for stabilizing images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101426417B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8988534B2 (en) | 2012-01-11 | 2015-03-24 | Samsung Techwin Co., Ltd. | Characterizing point checking region setting apparatus and method, and image stabilizing apparatus including the same |
| US9202128B2 (en) | 2012-01-11 | 2015-12-01 | Hanwha Techwin Co., Ltd. | Image adjusting apparatus and method, and image stabilizing apparatus including the same |
| US9674543B2 (en) | 2012-11-14 | 2017-06-06 | Samsung Electronics Co., Ltd. | Method for selecting a matching block |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101636233B1 (en) | 2015-05-04 | 2016-07-06 | 경북대학교 산학협력단 | Method and apparatus for stabilizing of camera image |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4725059B2 (en) | 2004-05-26 | 2011-07-13 | セイコーエプソン株式会社 | Camera shake image correction apparatus, camera shake image correction method, and computer program |
| JP4755490B2 (en) * | 2005-01-13 | 2011-08-24 | オリンパスイメージング株式会社 | Blur correction method and imaging apparatus |
| KR100827794B1 (en) * | 2005-07-29 | 2008-05-07 | 재단법인서울대학교산학협력재단 | compensating method for camera image fluctuation |
| JP2007215114A (en) | 2006-02-13 | 2007-08-23 | Sony Corp | Method of correcting distortion of taken image and device of correcting distortion of taken image, and imaging apparatus |
-
2010
- 2010-02-05 KR KR1020100011191A patent/KR101426417B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8988534B2 (en) | 2012-01-11 | 2015-03-24 | Samsung Techwin Co., Ltd. | Characterizing point checking region setting apparatus and method, and image stabilizing apparatus including the same |
| US9202128B2 (en) | 2012-01-11 | 2015-12-01 | Hanwha Techwin Co., Ltd. | Image adjusting apparatus and method, and image stabilizing apparatus including the same |
| US9674543B2 (en) | 2012-11-14 | 2017-06-06 | Samsung Electronics Co., Ltd. | Method for selecting a matching block |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101426417B1 (en) | 2014-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9934442B2 (en) | Passenger counting device, passenger counting method, and program recording medium | |
| US8908967B2 (en) | Image processing method using foreground probability | |
| US10417773B2 (en) | Method and apparatus for detecting object in moving image and storage medium storing program thereof | |
| US10311595B2 (en) | Image processing device and its control method, imaging apparatus, and storage medium | |
| US8184859B2 (en) | Road marking recognition apparatus and method | |
| US9773322B2 (en) | Image processing apparatus and image processing method which learn dictionary | |
| KR102476022B1 (en) | Face detection method and apparatus thereof | |
| CN111340749B (en) | Image quality detection method, device, equipment and storage medium | |
| JP2021082316A5 (en) | ||
| US11417080B2 (en) | Object detection apparatus, object detection method, and computer-readable recording medium | |
| US20130083965A1 (en) | Apparatus and method for detecting object in image | |
| KR20110091381A (en) | System and method for stabilizing images | |
| US20190210722A1 (en) | System, method, and program for controlling drone | |
| CN113092079B (en) | Definition detection target and method, system, electronic equipment and detection platform thereof | |
| CN113052019A (en) | Target tracking method and device, intelligent equipment and computer storage medium | |
| KR102592988B1 (en) | Method and device for detecting object in aerial images | |
| JP4595834B2 (en) | Motion vector detection method and apparatus | |
| CN111626078A (en) | Method and device for identifying lane line | |
| CN112906495B (en) | Target detection method and device, electronic equipment and storage medium | |
| KR20230050150A (en) | Method and system for recognizing lanes in a safety zone based on birdeye view image | |
| US20210227131A1 (en) | Image capturing support apparatus, image capturing support method, and computer-readable recording medium | |
| CN114332981A (en) | Face living body detection method and device, electronic equipment and storage medium | |
| JP2013003751A (en) | Face collation system and face collation method | |
| KR102496462B1 (en) | Algorihm for keyframe extraction from video | |
| KR102186751B1 (en) | Apparatus and method for improving multiple recognition and recognition rate of classification using object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20180627 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190626 Year of fee payment: 6 |