KR20150087056A - 영상 안정화 장치 및 방법 - Google Patents
영상 안정화 장치 및 방법 Download PDFInfo
- Publication number
- KR20150087056A KR20150087056A KR1020140007467A KR20140007467A KR20150087056A KR 20150087056 A KR20150087056 A KR 20150087056A KR 1020140007467 A KR1020140007467 A KR 1020140007467A KR 20140007467 A KR20140007467 A KR 20140007467A KR 20150087056 A KR20150087056 A KR 20150087056A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- foreground
- feature points
- reference image
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000087 stabilizing effect Effects 0.000 title description 3
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000003702 image correction Methods 0.000 claims abstract description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006641 stabilisation Effects 0.000 abstract description 28
- 238000011105 stabilization Methods 0.000 abstract description 28
- 238000012545 processing Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Abstract
본 발명은 동적 환경에서 강인하게 동작하는 영상 안정화 장치 및 방법에 관한 것이다. 영상 안정화 장치는, 기설정된 기준영상 및 현재영상의 차영상으로부터 배경 및 동적물체를 포함하는 전경영상을 생성하는 전경영상 생성부, 기준영상의 특징점들로부터 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 배경에 해당하는 특징점들을 선택하는 특징점 선택부, 입력된 다음영상에서 기준영상의 선택된 특징점을 추적하여 대응점을 찾고 대응점을 이용하여 기준영상 및 다음영상 사이의 움직임을 산출하는 움직임 산출부 및 움직임을 이용하여 다음영상을 변환시켜 안정화된 영상을 생성하는 영상 보정부를 포함한다.
Description
본 발명은 동적 환경에서 강인하게 동작하는 영상 안정화 장치 및 방법에 관한 것이다.
최근 멀티미디어 기기의 사용이 증가함에 따라 다양한 환경에서 촬영된 디지털 영상에 대한 화질개선(image enhancement) 기술에 대한 수요도 증가하고 있다. 화질개선 기술에는 영상의 번짐 제거, 잡음 제거 및 영상 안정화 기술 등이 있으며, 디지털 카메라, 스마트폰, 가정용 카메라나 캠코더, 산업용 감시 카메라, 방송용 카메라 및 군사용 영상 촬영 장치와 같은 촬영장치에 이르기까지 광범위하게 적용된다. 초기 촬영장치는 기존의 아날로그 영상을 디지털화하여 영상을 만들어 내는 데 그쳤다. 그러나 최근 사용되는 촬영장치는 각종 선처리 및 후처리 보정 기술이 적용되어 기존의 아날로그 영상보다 더욱 깨끗하고 선명한 화질의 디지털 영상을 얻을 수 있게 되었다.
디지털 영상 보정 기술 중에서 가장 보편적으로 사용되는 기술이 영상 안정화(image stabilization) 기술이다. 사용자가 촬영장치를 들고 촬영할 경우 또는 이동 중 촬영할 경우에 흔들림이 발생하게 되며, 자동차, 비행기 또는 헬기와 같은 이동수단에 설치된 카메라의 경우에는 기계적 진동이나 지면과의 마찰 등 여러 환경적 요인에 의해 원치 않는 흔들림이 생기게 된다. 또한 줌 렌즈(zoom lens)의 배율이 올라가면서 약간의 움직임에도 화면 흔들림이 심해지는 문제가 있다. 영상 안정화 기술은 이와 같이 촬영시 촬영장치가 흔들릴 때 깨끗하고 선명한 영상을 얻을 수 있는 기술로서, 촬영된 영상에서 발생하는 원치 않은 흔들림을 제거하기 위해 적용된다.
기존의 영상 안정화 기술은 기준영상에서 특징점을 추출하고, 현재영상에서 특징점 추적을 이용하여 대응점을 찾고, 기준영상 및 현재영상 사이의 움직임을 계산하고, 계산된 움직임으로 현재영상을 변환하여 안정된 영상을 생성한다. 이러한 영상 안정화 기술에서는 배경영상의 움직임을 이용하여 영상을 안정화 하므로, 배경영상에서 추출된 특징점을 이용하여 영상의 움직임을 계산하게 된다. 그러나 동적 물체 위에서 추출된 특징점이 영상의 움직임 계산에 이용되는 경우에는 영상의 움직임 계산에 무시할 수 없는 오차를 발생시킬 수 있고, 결과적으로 영상 안정화에 실패하는 요인이 된다.
본 발명이 해결하고자 하는 기술적인 과제는 전경영상을 이용하여 동적 물체 위의 특징점을 제거하여 동적 환경에서도 강인하게 동작하는 영상 안정화 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 안정화 장치는 기설정된 기준영상 및 현재영상의 차영상으로부터 배경 및 동적물체를 포함하는 전경영상을 생성하는 전경영상 생성부; 상기 기준영상의 특징점들로부터 상기 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 상기 배경에 해당하는 특징점들을 선택하는 특징점 선택부; 입력된 다음영상에서 상기 기준영상의 선택된 특징점을 추적하여 대응점을 찾고 상기 대응점을 이용하여 상기 기준영상 및 상기 다음영상 사이의 움직임량을 산출하는 움직임 산출부; 및 상기 움직임량을 이용하여 상기 다음영상을 변환시켜 안정화된 영상을 생성하는 영상 보정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 전경영상 생성부는, 상기 차영상에 블랍 필터(blob filter)를 적용하여 노이즈를 제거하는 것을 특징으로 한다.
본 발명에 있어서, 상기 전경영상과 상기 다음영상의 동기를 일치시키기 위해 상기 전경영상을 한 프레임 지연시키는 지연부;를 더 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 안정화 방법은 기설정된 기준영상 및 현재영상의 차영상으로부터 배경 및 동적물체를 포함하는 전경영상을 생성하는 전경영상 생성단계; 상기 기준영상의 특징점들로부터 상기 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 상기 배경에 해당하는 특징점들을 선택하는 특징점 선택단계; 입력된 다음영상에서 상기 기준영상의 선택된 특징점을 추적하여 대응점을 찾고 상기 대응점을 이용하여 상기 기준영상 및 상기 다음영상 사이의 움직임량을 산출하는 움직임 산출단계; 및 상기 움직임량을 이용하여 상기 다음영상을 변환시켜 안정화된 영상을 생성하는 영상 보정단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 전경영상 생성단계는, 상기 차영상에 블랍 필터링(blob filtering)을 적용하여 노이즈를 제거하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 전경영상과 상기 다음영상의 동기를 일치시키기 위해 상기 전경영상을 한 프레임 지연시키는 지연단계;를 더 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 기존의 영상 안정화 기술은 영상에 동적 물체가 차지하는 비중이 커지면 영상 안정화에 실패 하였지만, 본 실시 예에 따른 영상 안정화 기술은 영상에 동적 물체가 차지하는 비중이 큰 경우에도 영상을 안정화 시킬 수 있다. 예를 들어, 사람 또는 자동차 등과 같이 영상에 동적 물체가 많은 환경에서의 영상 안정화에 활용할 수 있다.
또한 전경영상을 생성하는 종래의 방법은 계산량이 많은 배경 모델링 기법을 이용하였기 때문에 처리 속도가 느리지만, 본 실시 예에 따른 영상 안정화 기술에서는 기준영상과 안정화된 현재영상의 차영상을 이용하기 때문에 빠르게 전경영상을 생성할 수 있다. 이 전경영상은 다른 영상분석 알고리즘에 적용할 수 있다.
또한 본 실시 예에 따른 영상 안정화 기술을 이용하여, 고정된 카메라, 이동하는 카메라, PTZ 카메라에서의 영상 정합에 활용할 수 있고, 이는 움직임 검출, 물체 추적, 물체 검출, 물체 인식 등에 이용할 수 있다.
더 나아가 본 실시 예에 따른 영상 안정화 기술을 이용하여 동적 환경에서 두 영상의 대응점을 강인하게 찾을 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 안정화 장치의 구성을 보이는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 특징점 추출을 설명하는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 임의의 영상을 이용하여 영상 안정화를 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 영상 안정화 방법의 동작을 보이는 흐름도 이다.
도 2는 본 발명의 일 실시 예에 따른 특징점 추출을 설명하는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 임의의 영상을 이용하여 영상 안정화를 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 영상 안정화 방법의 동작을 보이는 흐름도 이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 안정화 장치의 구성을 보이는 블록도 이다.
도 1을 참조하면, 영상 안정화 장치(10)는 카메라(100), 영상 처리부(110), 특징점 추출부(120), 전경영상 생성부(130), 지연부(140), 특징점 선택부(150), 움직임 산출부(160) 및 영상 보정부(170)를 포함한다.
카메라(100)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 카메라를 의미하는 것으로, 동일한 피사체에 대하여 입력되는 이미지(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다. 더 나아가 카메라(100)는 열상 카메라 일 수도 있다. 열상 카메라는 각 물체로부터 방출되는 복사 에너지에 의해 물체와 그 물체의 주변 배경 간의 온도 차이를 검출하고 이를 전기 신호로 변환하여 영상화하는 카메라를 말한다.
영상 처리부(110)은 카메라(100)로부터 출력되는 영상 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행한다. 또한, 영상 처리부(110)은 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다. 또한, 영상 처리부(110)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
특징점 추출부(120)는 영상 처리부(110)로부터 영상 처리되어 출력되는 기준영상, 현재영상(피드백된 안정화된 현재영상) 및 다음영상으로부터 특징점들을 검출한다. 이러한 특징점들은 각각 좌표로써 표시될 수 있다. 영상은 다양한 특징 요소를 구비하고 있으며, 사용자의 필요에 따라 이들 다양한 특징 요소들 중 일부가 특징점들로써 추출될 수 있다. 영상으로부터 특징점들을 검출하기 위하여 해리스(harris)의 코너 검출 방법, SIFT(scale invariant feature transform) 알고리즘, SURF(speeded up robust feature) 알고리즘 등을 이용할 수 있다.
이러한 특징점 추출부(120)는 안정화된 현재영상으로부터 특징점을 추출하는 제1 특징점 추출부(121), 기준영상으로부터 특징점을 추출하는 제2 특징점 추출부(122) 및 다음영상으로부터 특징점을 추출하는 제3 특징점 추출부(123)를 포함할 수 있다. 여기서, 기준영상은, 물체를 촬영하여 생성된 영상 데이터에 포함되는 영상들 중에서 흔들림이 가장 적은 영상을 나타내며, 흔들림이 가장 적은 영상을 기준영상으로 설정할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 특징점 추출을 설명하는 도면이다. 도 2를 참조하면, 도 2a는 임의의 영상(현재영상, 기준영상, 다음영상)을 나타내고, 도 2b는 축소 영상을 나타내고, 도 2c는 축소된 영상에 대한 엣지 영상을 나타낸다. 특징점 추출부(120)는 엣지 영상 내의 임의의 블록(예를 들어, 3×3 블록) 내에 존재하는 엣지의 개수가 임계값을 초과하는 경우, 해당 블록을 특징점으로 추출할 수 있다. 여기서, 특징점 추적에 실패할 확률이 높은 엣지 위에 존재하는 특징점을 제거하고, 엣지가 교차하거나 코너에 위치하는 특징점을 선택하기 위해서, 블록의 폭과 너비를 조정하여 임계값의 변경이 가능하다. 도 2d는 엣지 영상 내의 블록 내에 존재하는 엣지의 개수가 임계값을 초과하여 추출된 특징점들을 보이고 있다.
전경영상 생성부(130)는 기준영상 및 현재영상의 차영상으로부터 배경 및 동적 물체를 포함하는 전경영상을 생성한다. 전경영상 생성부(130)는 기준영상 및 현재영상을 각각 그레이 스케일 영상으로 변환하고, 리사이즈 한 후 차영상으로부터 배경 및 동적 물체를 포함하는 전경영상을 생성한다. 도 3a에는 임의의 기준영상이 도시되어 있고, 도 3b에는 임의의 안정화된 현재영상이 도시되어 있고, 도 3c에는 기준영상 및 안정화된 현재영상의 차영상인, 배경 및 동적 물체를 포함하는 전경영상이 도시되어 있다. 여기서 차영상에 미디언 필터(median filter) 등과 같은 블랍(blob) 필터를 적용하여 노이즈를 제거할 수 있다. 여기서, 차영상을 기준영상과 안정화된 현재영상을 이용하여 구하는 이유는, 첫째, 성공적을 안정된 영상이 획득되었다면, 기준영상과 안정화된 현재영상은 서로 정합(alignment) 되어 있기 때문에 차영상은 이론적으로 동적 물체를 나타낸다. 둘째, 기존의 배경 모델링 기법(background modeling technique)을 이용할 수도 있지만, 처리 속도가 느리기 때문에 본 실시 예에서는 고속 처리를 고려하여 기준영상 및 안정화된 현재영상의 차영상을 이용한다.
지연부(140)는 생성된 전경영상과 다음영상의 동기를 일치시키기 위해 전경영상을 한 프레임 지연시킨다.
특징점 선택부(150)는 기준영상의 특징점들로부터, 한 프레임 지연된 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 배경에 해당하는 특징점들을 선택한다. 도 3d에는 특징점들을 포함하는 기준영상이 도시되어 있고, 도 3e에는 전경영상의 동적물체 상에 해당하는 특징점들을 기준영상으로부터 제거하고, 전경영상의 배경 상에 해당하는 특징점들을 기준영상에서 선택하는 도면이 도시되어 있다. 이와 같이 특징점 선택부(150)는 기준영상의 특징점들로부터 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 배경에 해당하는 특징점들을 선택한다.
움직임 산출부(160)는 입력된 다음영상에서 기준영상의 선택된 특징점을 추적하여 대응점을 찾고 대응점을 이용하여 기준영상 및 다음영상 사이의 움직임을 산출한다. 도 3e에는 선택된 특징점을 포함하는 기준영상이 도시되어 있고, 도 3f에는 특징점을 포함하는 다음영상이 도시되어 있다. 움직임 산출부(160)는 입력된 다음영상에서 기준영상의 선택된 특징점을 추적하여 대응점을 획득한다. 여기서 대응점 획득이라 함은, 기준영상에서 선택된 특징점들이 다음영상의 어디에 위치하는지 찾는 작업이라고 할 수 있다. 대응점 획득 방법은 공지된 KLT(kanade-lucas-tomasi) 추적기 알고리즘, 테일러 시리즈(taylor expansion) 및 헤시안 매트릭스(hessian matrix)를 이용할 수 있다. 이와 같이 대응점이 획득되면, 움직임 산출부(160)는 대응점을 이용하여 기준영상 대비 다음영상이 얼만큼 움직였는지를 나타내는 움직임량을 산출한다.
영상 보정부(170)는 산출된 움직임량을 이용하여 다음영상을 변환시켜 안정화된 영상을 생성한다.
이어서, 도 4를 참조하여 본 발명의 일 실시 예에 따른 영상 안정화 방법의 동작을 보이는 흐름도 이다. 본 발명에 따른 영상 안정화 방법은 도 1에 도시된 바와 같이 주변 구성요소들의 도움을 받아 영상 안정화 장치에서 수행될 수 있다. 이하의 설명에서 도 1 내지 도 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
영상 안정화 장치는 기준영상 및 현재영상의 차영상으로부터 배경 및 동적 물체를 포함하는 전경영상을 생성한다(S100). 영상 안정화 장치는 기준영상 및 현재영상을 각각 그레이 스케일 영상으로 변환하고, 리사이즈 한 후 차영상으로부터 배경 및 동적 물체를 포함하는 전경영상을 생성한다. 여기서, 차영상을 기준영상과 안정화된 현재영상을 이용하여 구하는 이유는, 첫째, 성공적을 안정된 영상이 획득되었다면, 기준영상과 안정화된 현재영상은 서로 정합(alignment) 되어 있기 때문에 차영상은 이론적으로 동적 물체를 나타낸다. 둘째, 기존의 배경 모델링 기법(background modeling technique)을 이용할 수도 있지만, 처리 속도가 느리기 때문에 본 실시 예에서는 고속 처리를 고려하여 기준영상 및 안정화된 현재영상의 차영상을 이용한다.
영상 안정화 장치는 전경영상이 생성되면, 생성된 전경영상과 다음영상의 동기를 일치시키기 위해 전경영상을 한 프레임 지연시킨다(S200).
그리고 나서 영상 안정화 장치는 기준영상의 특징점들로부터, 한 프레임 지연된 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 배경에 해당하는 특징점들을 선택한다(S300).
영상 안정화 장치는 입력된 다음영상에서 기준영상의 선택된 특징점을 추적하여 대응점을 찾고 대응점을 이용하여 기준영상 및 다음영상 사이의 움직임을 산출한다(S400). 여기서 대응점 찾는다는 것은, 기준영상에서 선택된 특징점들이 다음영상의 어디에 위치하는지 찾는 작업이라고 할 수 있다. 이와 같이 대응점이 획득되면, 움직임 산출부(160)는 대응점을 이용하여 기준영상 대비 다음영상이 얼만큼 움직였는지를 나타내는 움직임량을 산출한다.
영상 안정화 장치는 산출된 움직임량을 이용하여 다음영상을 변환시켜 안정화된 영상을 생성한다(S500).
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 카메라 110: 영상 처리부
120: 특징점 추출부 130: 전경영상 생성부
140: 지연부 150: 특징점 선택부
160: 움직임 산출부 170: 영상 보정부
120: 특징점 추출부 130: 전경영상 생성부
140: 지연부 150: 특징점 선택부
160: 움직임 산출부 170: 영상 보정부
Claims (6)
- 기설정된 기준영상 및 현재영상의 차영상으로부터 배경 및 동적물체를 포함하는 전경영상을 생성하는 전경영상 생성부;
상기 기준영상의 특징점들로부터 상기 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 상기 배경에 해당하는 특징점들을 선택하는 특징점 선택부;
입력된 다음영상에서 상기 기준영상의 선택된 특징점을 추적하여 대응점을 찾고 상기 대응점을 이용하여 상기 기준영상 및 상기 다음영상 사이의 움직임량을 산출하는 움직임 산출부; 및
상기 움직임량을 이용하여 상기 다음영상을 변환시켜 안정화된 영상을 생성하는 영상 보정부;를 포함하는 것을 특징으로 하는 영상 안정화 장치. - 제 1항에 있어서, 상기 전경영상 생성부는,
상기 차영상에 블랍 필터(blob filter)를 적용하여 노이즈를 제거하는 것을 특징으로 하는 영상 안정화 장치. - 제 1항에 있어서,
상기 전경영상과 상기 다음영상의 동기를 일치시키기 위해 상기 전경영상을 한 프레임 지연시키는 지연부;를 더 포함하는 것을 특징으로 하는 영상 안정화 장치. - 기설정된 기준영상 및 현재영상의 차영상으로부터 배경 및 동적물체를 포함하는 전경영상을 생성하는 전경영상 생성단계;
상기 기준영상의 특징점들로부터 상기 전경영상 중 동적물체에 해당하는 특징점들을 제거하고, 상기 배경에 해당하는 특징점들을 선택하는 특징점 선택단계;
입력된 다음영상에서 상기 기준영상의 선택된 특징점을 추적하여 대응점을 찾고 상기 대응점을 이용하여 상기 기준영상 및 상기 다음영상 사이의 움직임량을 산출하는 움직임 산출단계; 및
상기 움직임량을 이용하여 상기 다음영상을 변환시켜 안정화된 영상을 생성하는 영상 보정단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법. - 제 4항에 있어서, 상기 전경영상 생성단계는,
상기 차영상에 블랍 필터링(blob filtering)을 적용하여 노이즈를 제거하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법. - 제 4항에 있어서,
상기 전경영상과 상기 다음영상의 동기를 일치시키기 위해 상기 전경영상을 한 프레임 지연시키는 지연단계;를 더 포함하는 것을 특징으로 하는 영상 안정화 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140007467A KR102069269B1 (ko) | 2014-01-21 | 2014-01-21 | 영상 안정화 장치 및 방법 |
| US14/601,467 US9466095B2 (en) | 2014-01-21 | 2015-01-21 | Image stabilizing method and apparatus |
| US15/288,788 US10136063B2 (en) | 2013-07-12 | 2016-10-07 | Image stabilizing method and apparatus |
| US16/133,196 US10848672B2 (en) | 2013-07-12 | 2018-09-17 | Image stabilizing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140007467A KR102069269B1 (ko) | 2014-01-21 | 2014-01-21 | 영상 안정화 장치 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200005606A Division KR102213201B1 (ko) | 2020-01-15 | 2020-01-15 | 영상 안정화 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150087056A true KR20150087056A (ko) | 2015-07-29 |
| KR102069269B1 KR102069269B1 (ko) | 2020-01-22 |
Family
ID=53545222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140007467A KR102069269B1 (ko) | 2013-07-12 | 2014-01-21 | 영상 안정화 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9466095B2 (ko) |
| KR (1) | KR102069269B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10757369B1 (en) * | 2012-10-08 | 2020-08-25 | Supratik Mukhopadhyay | Computer implemented system and method for high performance visual tracking |
| KR102457617B1 (ko) * | 2015-09-16 | 2022-10-21 | 한화테크윈 주식회사 | 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체 |
| JP6894725B2 (ja) * | 2017-03-09 | 2021-06-30 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
| US11206433B2 (en) * | 2019-05-08 | 2021-12-21 | Verizon Media Inc. | Generating augmented videos |
| US11216911B2 (en) * | 2019-10-31 | 2022-01-04 | Dell Products L.P. | Device manufacturing cycle time reduction using machine learning techniques |
| CN113763281B (zh) * | 2021-09-17 | 2023-12-12 | 无锡睿勤科技有限公司 | 伽马曲线调整方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090034836A (ko) * | 2006-06-27 | 2009-04-08 | 마벨 월드 트레이드 리미티드 | 움직임 보상 픽처 레이트 컨버터 시스템 및 방법 |
| US20100074531A1 (en) * | 2008-09-24 | 2010-03-25 | Fujifilm Corporation | Image processing apparatus, method and computer program product |
| JP2011003057A (ja) | 2009-06-19 | 2011-01-06 | Casio Computer Co Ltd | 画像合成装置、画像特定方法、画像合成方法及びプログラム |
| KR101202642B1 (ko) * | 2011-09-30 | 2012-11-19 | 고려대학교 산학협력단 | 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치 |
| KR20140002401A (ko) * | 2012-06-29 | 2014-01-08 | 삼성전자주식회사 | 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100683849B1 (ko) * | 2000-06-28 | 2007-02-15 | 삼성전자주식회사 | 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법 |
| EP1376471A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Motion estimation for stabilization of an image sequence |
| TW200917824A (en) | 2007-10-12 | 2009-04-16 | Univ Nat Taiwan | Shockproof method for digital imaging |
| US8797414B2 (en) * | 2010-12-23 | 2014-08-05 | Samsung Electronics Co., Ltd. | Digital image stabilization device |
| KR101792501B1 (ko) | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
| KR101299237B1 (ko) | 2011-11-23 | 2013-08-22 | 서울대학교산학협력단 | 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법 |
| KR101930235B1 (ko) * | 2012-05-15 | 2018-12-18 | 삼성전자 주식회사 | 디지털 이미지 안정화 방법, 장치 및 시스템 |
| WO2014075022A1 (en) * | 2012-11-12 | 2014-05-15 | Behavioral Recognition Systems, Inc. | Image stabilization techniques for video surveillance systems |
| US9055223B2 (en) * | 2013-03-15 | 2015-06-09 | Samsung Electronics Co., Ltd. | Digital image stabilization method and imaging device using the same |
-
2014
- 2014-01-21 KR KR1020140007467A patent/KR102069269B1/ko active IP Right Grant
-
2015
- 2015-01-21 US US14/601,467 patent/US9466095B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090034836A (ko) * | 2006-06-27 | 2009-04-08 | 마벨 월드 트레이드 리미티드 | 움직임 보상 픽처 레이트 컨버터 시스템 및 방법 |
| US20100074531A1 (en) * | 2008-09-24 | 2010-03-25 | Fujifilm Corporation | Image processing apparatus, method and computer program product |
| JP2011003057A (ja) | 2009-06-19 | 2011-01-06 | Casio Computer Co Ltd | 画像合成装置、画像特定方法、画像合成方法及びプログラム |
| KR101202642B1 (ko) * | 2011-09-30 | 2012-11-19 | 고려대학교 산학협력단 | 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치 |
| KR20140002401A (ko) * | 2012-06-29 | 2014-01-08 | 삼성전자주식회사 | 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102069269B1 (ko) | 2020-01-22 |
| US20150206290A1 (en) | 2015-07-23 |
| US9466095B2 (en) | 2016-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101883481B1 (ko) | 영상 안정화 장치 및 방법 | |
| US10771697B2 (en) | Still image stabilization/optical image stabilization synchronization in multi-camera image capture | |
| US9398235B2 (en) | Apparatus and method for fusing images | |
| KR102069269B1 (ko) | 영상 안정화 장치 및 방법 | |
| KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
| US9202263B2 (en) | System and method for spatio video image enhancement | |
| CN110651297B (zh) | 使用引导图像对合成的长曝光图像进行可选增强 | |
| JP6577703B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
| JP5499050B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| EP3016383B1 (en) | Method, device, and system for pre-processing a video stream for subsequent motion detection processing | |
| US20230048234A1 (en) | Real-time video overlaying display | |
| KR20120131178A (ko) | 타겟 추적 기능을 포함하는 촬영 장치 | |
| JP6582926B2 (ja) | 移動情報取得装置、移動情報取得方法、及び、プログラム | |
| US20180089809A1 (en) | Image deblurring with a multiple section, regularization term | |
| JP2008099025A (ja) | 撮像装置、ぶれ補正方法及び撮像方法 | |
| JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP2019101997A (ja) | 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法 | |
| JP2012155456A (ja) | 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法 | |
| JP2006049949A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US9270883B2 (en) | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
| KR102213201B1 (ko) | 영상 안정화 장치 및 방법 | |
| JP6090193B2 (ja) | 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法 | |
| JP5446641B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN112132879A (zh) | 一种图像处理的方法、装置和存储介质 | |
| JP6029464B2 (ja) | 撮像装置、その制御方法、および制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |