KR101426417B1 - 영상 안정화 시스템 및 방법 - Google Patents

Abstract

본 발명은 영상 안정화 시스템 및 방법에 관한 것으로서, 보다 상세하게는 카메라의 흔들림에 안정적인 영상을 출력하는 시스템 및 방법에 관한 것이다. 이를 위해, 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하는 단계와, 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 단계와, 제 2 입력 영상에서 모델 패치들의 위치 변화를 토대로 변위보정정보와 각도보정정보를 획득하는 단계 및 변위보정정보와 각도보정정보가 반영된 영상을 출력하는 단계를 포함하는 영상 안정화 방법 및 시스템을 제공한다.

Description

영상 안정화 시스템 및 방법{System and method for stabilizing images}

본 발명은 영상 안정화 시스템 및 방법에 관한 것으로서, 보다 상세하게는 카메라의 흔들림에 안정적인 영상을 출력하는 시스템 및 방법에 관한 것이다.

카메라를 이용하여 특정 물체, 예컨대 이동체를 정확하게 탐지하기 위해서는 매 프레임당 입력 영상이 안정적이어야 한다. 하지만, 실제 카메라를 이용하여 이동체를 탐지하는 환경에서는 영상의 중심이 미세하게 이동하거나 카메라가 미세하게 회전하는 경우가 종종 발생한다. 예컨대, 바람이나 외부의 작은 충격에 의해 카메라가 흔들리는 경우가 있다. 혹은, 군수용 로봇과 같이 카메라와 무기가 동일한 로봇의 바디에 장착되어 있는 경우에는 사격과 같은 격발 진동에 의해 카메라가 심하게 흔들리게 된다.

이와 같은 현상은 카메라에 작용하는 외부 충격량이 크면 클수록 심해져 종국적으로는 이동체를 정확하게 탐지할 수 없게 된다.

따라서, 카메라가 흔들리는 환경에서 정확하게 이동체를 탐지하기 위해서 전처리 과정이 필요한데 이와 관련된 기술로서 자이로 센서를 이용하는 경우가 있다. 그러나, 정확한 이동체 탐지를 위해서는 자이로 센서 자체의 오차를 해결해야 하고, 자이로 센서라는 별도의 하드웨어를 더 구비하므로 시스템 구성비가 증가하게 된다.

본 발명의 일 실시예는, 모델 패치를 이용하여 영상의 흔들림을 보정함으로써, 카메라의 흔들림에 강인한 영상을 출력하는 영상 안정화 시스템 및 방법을 제공하는 것이다.

상기와 같은 기술적 과제는, 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하는 단계와, 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 단계와, 제 2 입력 영상에서 모델 패치의 위치 변화를 토대로 변위보정정보와 각도보정정보를 획득하는 단계 및 변위보정정보와 각도보정정보가 반영된 영상을 출력하는 단계를 포함하는 영상 안정화 방법에 의하여 달성 가능하다.

이 경우, 모델 패치 선정단계는, 샘플 패치의 픽셀간 분산 정보에 따라 샘플 패치 중에서 모델 패치의 후보를 선정하는 단계 및 모델 패치 후보와 주변 영역 간 차별성에 따라 모델 패치 후보 중에서 모델 패치를 선정하는 단계를 포함할 수 있다.

혹은, 모델 패치 선정단계는, 샘플 패치의 에지 정보에 따라 샘플 패치 중에서 모델 패치의 후보를 선정하는 단계 및 모델 패치 후보와 주변 영역 간 차별성에 따라 모델 패치 후보 중에서 모델 패치를 선정하는 단계를 포함할 수 있다.

모델 패치가 복수 개인 경우 획득하는 단계는, 제 2 입력 영상에서 모델 패치 중 어느 하나인 제 1 모델 패치의 예상 위치를 계산하는 단계와, 제 1 모델 패치의 변위변화와 각도변화를 계산하는 단계와, 제 1 모델 패치의 변위변화와 각도변화에 기초하여, 다른 모델 패치들의 변위변화와 각도변화를 계산하는 단계를 포함할 수 있다.

이 경우,제 1 모델 패치의 유효성을 검증하는 단계를 더 포함할 수 있다.

만약, 제 1 모델 패치의 유효성이 인정되지 않는 경우, 모델 패치 중에서 다른 어느 하나인 제 2 모델 패치에 대하여 예상 위치를 계산하고 유효성을 검증하는 단계를 더 포함할 수 있다.

그리고, 예상 위치 계산 단계는, 제 1 입력 영상에서의 제 1 모델 패치와 제 2 입력 영상에서의 제 1 모델 패치 간 변위 변화를 반영하여 계산할 수 있다.

또한, 영상을 출력하는 단계는, 변위보정정보 및 각도보정정보 중에서 각각 신뢰도가 높은 변위보정정보와 각도보정정보를 선택하는 단계 및 선택된 변위 보정정보 및 각도보정정보를 토대로 제 2 입력 영상의 흔들림을 보정하여 출력하는 단계를 포함할 수 있다.

그리고, 정보 획득 단계 및 상기 영상 출력 단계는, 제2 입력 영상 이후에 입력되는 영상에 대하여 반복 수행될 수 있다.

상기와 같은 기술적 과제는 또 다른 카테고리로서, 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하고 샘플 패치 중에서 모델 패치를 선정하는 제 1 영상 처리기 및 2 입력 영상에서 모델 패치들의 위치 변화에 따라 변위보정정보와 각도보정정보를 산출하여 변위보정정보와 각도보정정보가 반영된 영상을 출력하는 제 2 영상 처리기를 포함하는 영상 안정화 시스템에 의하여 달성 가능하다.

이 경우, 제 1 영상 처리기는, 제 1 입력 영상에서 상호 위치관계를 갖는 적어도 하나 이상의 샘플 패치를 샘플링하는 샘플패치부 및 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 모델패치부를 포함할 수 있다.

또한, 모델패치부는, 샘플 패치 내부의 픽셀간 분산 정보 및 샘플 패치와 주변 영역 간 영상 유사도를 고려하여 모델 패치를 선정할 수 있다.

그리고, 모델패치부는, 샘플 패치 내부의 에지 정보 및 샘플 패치와 주변 영역의 영상 유사도를 고려하여 모델 패치를 선정할 수 있다.

제 2 영상 처리기는, 제 2 입력 영상에서 모델 패치들의 위치를 계산하고 해당 위치에서 모델 패치의 변위변화 값과 각도변화 값을 계산하여 변위보정정보와 각도보정정보를 획득하는 보정정보 획득부 및 변위보정정보 및 각도보정정보를 상기 제 2 입력 영상에 반영하여 출력하는 영상처리부를 포함할 수 있다.

이 경우, 보정정보 획득부는, 제 2 입력 영상에 대한 어느 하나의 모델 패치의 예상 위치를 계산하고 어느 하나의 모델 패치의 변위변화 값과 각도변화 값을 계산하며, 계산된 모델 패치와 상호 위치관계를 갖는 다른 모델 패치의 변위변화 값과 각도변화 값을 계산하여 변위보정정보와 각도보정정보를 획득할 수 있다.

이 때, 어느 하나의 모델 패치는 보정정보를 획득하는데 사용할 수 있는지 여부인 유효성이 검증된 것이다.

그리고, 유효성 검증은 어느 하나의 모델 패치와 주변 영역 간 영상 유사도에 따라 수행될 수 있다.

또한, 보정정보 획득부는 모델 패치의 변위 변화를 반영하여 예상 위치를 계산할 수 있다.

영상처리부는 획득된 변위보정정보 및 각도보정정보 중에서 신뢰도가 높은 변위보정정보와 각도보정정보를 선택하여 선택된 변위보정정보 및 각도보정정보를 토대로 상기 제 2 입력 영상을 보정할 수 있다.

상기와 같은 본 발명의 일 실시예에 따르면, 새로운 영상이 입력됨에 따라 영상 안정화에 사용하기에 적합한 모델 패치들만 잔존시키고 이들 적합한 모델 패치들을 이용하여 영상화 안정을 수행함으로써, 카메라 흔들림에 안정적인 영상을 출력할 수 있다.

도 1은 본 발명에 따른 영상 안정화 시스템의 일 실시예에 따른 개략적인 구성 블록도이다.
도 2a 및 도 2b는 제 1 입력 영상에 대하여 샘플링된 샘플 패치의 실시예에 따른 상태도이다.
도 3은 도 2a의 샘플 패치 중에서 선정된 모델 패치의 상태를 나타낸 것이다.
도 4는 제 1 입력 영상에서의 모델 패치의 상태와 제 2 입력 영상에서의 모델 패치의 상태도를 나타낸 것이다.
도 5a는 제 2 입력 영상에 대한 첫번째 모델 패치의 예상 위치를 나타낸 상태도이다.
도 5b는 도 5a의 첫번째 모델 패치를 기준으로 다른 모델 패치들의 예상 위치가 자동 계산된 상태를 나타낸 것이다.
도 6은 도 1의 모델 패치 선정 단계(S120)의 제 1 실시예에 따른 흐름도이다.
도 7은 도 1의 모델 패치 선정 단계(S120)의 제 2 실시예에 따른 흐름도이다.
도 8a는 도 7의 에지 정보 추출 단계(S710)의 제 1 실시예인 미분을 이용하여 에지 처리된 상태를 나타낸다.
도 8b는 도 7의 에지 정보 추출 단계(S710)의 제 2 실시예인 해리스 코널 디텍터를 이용하여 에지 처리된 상태를 나타낸다.
도 9는 도 1의 보정정보 획득 단계(S130)의 일 실시예에 따른 흐름도이다.
도 10은 본 발명에 따른 영상 안정화 시스템(1000)의 일 실시예에 따른 개략적인 구성 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

본 명세서에서 제 1 입력 영상이란 카메라와 같은 촬영 장치(미도시)에 의하여 촬영된 영상으로, 제 1 입력 영상에서 샘플 패치와 모델 패치가 생성된다.

본 명세서에서 제 2 입력 영상이란 제 1 입력 영상의 이후에 촬영된 영상으로 본 발명에 따른 영상 안정화 방법의 대상이 되는 영상을 의미한다. 제 2 입력 영상은 제 1 입력 영상에서 생성된 모델 패치의 전부 또는 일부를 통해 안정화된다. 예컨대, 초당 30프레임을 촬영하는 카메라에 의하여 입력된 영상 중에서 n번째의 입력 영상에서 샘플 패치 및 모델 패치를 선정하였다면, n+1번째 입력 영상 및 이후의 입력 영상이 제 2 입력 영상이 될 수 있다.

본 명세서에서 샘플 패치 및 모델 패치는 입력 영상의 일부 영역을 의미한다. 예컨대, 640×480 해상도의 영상에서 30×30 ~ 50×50의 픽셀 사이즈 범위에 해당하는 사각형 영역이 샘플 패치 및 모델 패치가 될 수 있다.

샘플 패치와 모델 패치의 차이점을 살펴보면 다음과 같다. 샘플 패치는 제 1 입력 영상에서 샘플링된 영역으로서 하나 혹은 복수 개일 수 있다. 한편, 모델 패치는 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 의미한다.

본 명세서에서 보정정보는 제 2 입력 영상의 흔들림을 보정하기 위한 정보로서, 변위보정정보와 각도보정정보로 구체화될 수 있다. 본 명세서에서 특별한 언급이 없는 한 "보정정보"는 변위보정정보와 각도보정정보를 모두 포함하는 개념으로 볼 것이다.

본 명세서에서 조건 영역이란 샘플 패치 또는 모델 패치를 포함하는 영역이다. 본 발명의 비제한적 실시예로서, 샘플 패치의 사이즈가 a×b 인 경우 조건 영역은 2a×2b 가 될 수 있고, 모델 패치의 사이즈가 a×b 인 경우 조건 영역은 a×b 이거나 3a×3b 가 될 수 있다. 한편, 본 명세서에서 주변 영역이란 조건 영역에서 샘플 패치 또는 모델 패치의 영역을 제외한 나머지 영역이다.

도 1은 본 발명에 따른 흔들림에 강인한 영상 안정화 방법의 일 실시예에 따른 개략적인 흐름도이다. 본 발명에 따른 영상 안정화 방법은 도 10의 영상 안정화 시스템(1000)에 의하여 구현될 수 있다.

단계 S110에서는, 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링한다. 예컨대, 가로×세로가 640×480픽셀인 화면 해상도를 기준으로 픽셀 사이즈 50×50의 패치를 샘플 패치로 샘플링할 수 있다.

단계 S110에서, 샘플 패치는 다음과 같은 방법들에 따라 샘플링될 수 있다. 일예로, 특정 위치에 기준이 되는 어느 하나의 샘플 패치를 먼저 샘플링한 후, 기준 샘플 패치를 중심으로 좌우 또는 상하 방향으로 일정한 피치 간격만큼 떨어진 위치에 복수 개의 샘플 패치를 더 샘플링할 수 있다. 도 2a는 이와 같은 실시예에 의해, 제 1 입력 영상(210)에 샘플링된 샘플 패치들(201a)의 배열 상태를 나타낸 것이다. 샘플 패치들(201a)은 소정의 규칙에 따라 샘플링된 것이므로, 샘플 패치들(201a)은 상호 위치관계를 갖는다. 또 다른 일예로, 제1 입력 영상에서 소정의 크기를 갖는 샘플 패치를 임의로 샘플링한 후, 샘플링된 샘플 패치 간 상호 위치관계를 설정할 수 있다. 도 2b는 이와 같은 실시예에 의해 샘플링된 샘플 패치들(201b)의 배열 상태를 나타낸 것이다.

샘플 패치의 개수와 크기는 입력 영상의 크기 또는 해상도에 따라 설정될 수 있다.

단계 S120에서는, 각 샘플 패치의 타당성을 검증하여 타당성이 검증된 샘플 패치를 모델 패치로 선정한다. 타당성 검증은 모델패치조건을 만족하는지 여부에 따른다. 타당성 검증은 본 발명의 실시예에 따라 두가지로 나누어 볼 수 있다. 첫번째 실시예로, 샘플 패치 내부의 픽셀간 분산 정보를 검증하고 샘플 패치와 주변 영역간 차별성을 검증하는 방식을 사용할 수 있다. 두번째 실시예로, 샘플 패치 내부의 에지 정보를 검증하고 샘플 패치와 주변 영역간 차별성을 검증하는 방식을 사용할 수 있다. 도 3은 도 2a의 샘플 패치(201a) 중 단계 S120에 따라 선정된 모델 패치(301)를 나타낸 상태도이다. 도 3의 미설명 부호 302는 모델 패치로 선정되지 못한 샘플 패치를 나타낸다.

모델 패치를 선정하는 단계 S120의 보다 구체적인 과정은 실시예별로 도 6 및 도 7을 참고하여 후술한다.

단계 S130에서는, 제 2 입력 영상에서 모델 패치의 위치 변화를 토대로 보정정보를 획득한다. 도 4에 도시된 바와 같이, 제 2 입력 영상(410)이 흔들려서 촬영된 경우, 모델 패치(401)에도 흔들림 정보가 반영되어 있다. 그러므로, 각각의 모델 패치(401)가 갖는 고유의 영상 정보를 이용하여 모델 패치(401)의 흔들림 정도 즉, 제 1 입력 영상(210)과 제 2 입력 영상(410) 간 모델 패치(401)의 위치변화를 계산하고, 위치변화를 토대로 제 2 입력 영상(410)의 흔들림을 보정한다. 이하에서는, 단계 S130의 일 실시예에 따른 개략적인 과정을 설명하고, 보다 구체적인 과정은 도 9를 참고하여 후술하기로 한다.

단계 S131에서는, 제 2 입력 영상에서 어느 하나의 모델 패치의 예상 위치를 계산한다. 이 경우, 모델 패치의 회전변화는 계산하지 않고 변위변화만을 계산하여 연산 시간을 단축시킬 수 있다. 도 5a는 예상 위치가 계산된 모델 패치(401a)를 나타낸 상태도이다.

단계 S132에서는, 예상 위치가 계산된 모델 패치에 대하여 모델 패치의 정확한 좌표와 회전 각도를 계산할 수 있다. 이 때, 예상 위치가 계산된 모델 패치는 제 2 입력 영상의 흔들림 보정에 사용하기에 적합한, 즉 유효성이 검증된 모델 패치가 바람직하다. 유효성 검증은 이하 도 9를 참고하여 해당 부분에서 후술한다. 단계 S132를 통해, 모델 패치의 중심 좌표의 변화에 따라 모델 패치의 변위변화를 획득할 수 있고 회전 각도에 따라 모델 패치의 각도변화를 획득할 수 있다.

단계 S133에서는, 단계 S132에서의 모델 패치를 기준으로 다른 모델 패치들의 예상 위치를 계산한다. 앞서 언급한 바와 같이, 모델 패치는 상호 위치관계를 가지므로 이를 이용하여 다른 모델 패치들의 예상 위치를 자동적으로 계산할 수 있다. 도 5b는 자동 계산된 다른 모델 패치들(401b ~ 401g)의 배열 상태를 나타낸다.

단계 S134에서는, 다른 모델 패치의 정확한 좌표와 회전 각도를 계산할 수 있다. 단계 S132와 마찬가지로, 계산값에 따라 다른 모델 패치에 대한 변위변화와 회전변화를 획득할 수 있다. 단계 S132와 단계 S134에 의하여 획득된 변위변화는 변위보정정보로 활용되고, 각도변화는 각도보정정보로 활용된다.

단계 S140에서는, 변위보정정보와 각도보정정보를 토대로 제 2 입력 영상의 흔들림을 보정하여 출력한다. 예컨대, 단계 S130에서 획득한 보정정보 모두를 이용하거나 일부 신뢰도가 높은 보정정보만 이용할 수 있다. 신뢰도는 모델 패치가 제 1 입력 영상에 존재할 때와 제 2 입력 영상에 존재할 때의 유사도 판단에 의할 수 있다. 각각의 모델 패치에 대하여 신뢰도를 평가하여 신뢰도가 높은 몇 개의 모델 패치의 보정정보를 선택할 수 있다.

단계 S140은, 각 보정정보의 평균값을 계산하여 계산된 값만큼 제 2 입력 영상의 변위와 각도를 보정하여 출력할 수 있다.

도 6은 모델 패치를 선정하는 단계 S120의 제 1실시예에 따른 흐름도이다. 먼저, 샘플 패치 내부의 픽셀간 분산 정보를 검증한 후, 샘플 패치의 주변 영역과의 차별성을 검증한다.

단계 S610에서, 샘플 패치 내부의 픽셀 평균값과 표준 편차를 구하고, 단계 S620에서 픽셀 평균값과 표준 편차의 값을 평가한다. 단계 S630에서, 샘플 패치 내부의 픽셀 평균값이 소정의 범위에 속하고 표준 편차가 최소 기준값을 초과하는 경우에만 샘플 패치를 모델 패치 후보로 선정한다. 예컨대, 앞서 640×480의 화면 해상도에서 50×50의 픽셀 사이즈가 샘플 패치로 샘플링된 경우, 샘플 패치 내부의 픽셀 평균값이 60 ~ 220 사이이고 표준 편차가 최소 기준값인 25 이상일 때의 샘플 패치가 모델 패치 후보로 선정될 수 있다.

단계 S640에서, 모델 패치 후보와 주변 영역의 차별성을 파악한다. 주변 영역과의 차별성은 영상 유사도 계산에 의할 수 있다. 예컨대 제 1 입력 영상에 위치하는 모델 패치 후보를 포함하는 조건 영역을 설정하고 조건 영역 내에서 모델 패치 후보와 주변 영역 간 영상 유사도를 계산한다. 일예로, 모델 패치 후보의 픽셀 사이즈가 50×50이라면 조건영역의 픽셀 사이즈는 100×100일 수 있다.

영상 유사도는 다음의 [수학식 1]과 같은 픽셀간 유사도(h(u,v))에 따라 계산될 수 있다.

이 때, t(x,y)는 주변 영역 내부의 어느 하나의 픽셀을 나타내고, f(u+x, v+y)는 모델 패치 후보의 내부에 존재하는 어느 하나의 픽셀을 나타낸다. 유사도 판단은 각 픽셀에 대한 유사도(h(u,v)) 값이 예컨대, 0.4 보다 작은 경우 모델 패치로 선정될 수 있다. 그리고, h(u,v) 값 중 가장 큰 값은 단계 S922의 유효성 검증시 임계치로 사용될 수 있다.

도 7은 모델 패치를 선정하는 단계 S120의 제 2실시예에 따른 흐름도이다. 먼저, 샘플 패치 내부의 에지 정보를 검증하여 모델 패치 후보를 선정한 후, 모델 패치 후보와 주변 영역 간 차별성을 검증한다. 본 실시예의 경우, 차별성 검증은 앞서 도 6을 참고하여 설명한 단계 S640 ~ S660과 동일하므로 이하에서는 단계 모델 패치 후보를 선정하는 과정을 중심으로 설명한다.

단계 S710에서는, 샘플 패치의 에지 정보를 추출한다. 에지 정보는 1차 미분 또는 2차 미분을 적용하거나 해리스 코널 디텍터(Harris Conel Detector) 등을 이용하여 추출할 수 있다. 1차 미분을 적용하는 경우의 예로는 소벨 필터, 차분 필터, 로버츠 필터, 커쉬필터, 로빈슨 필터, 프레위트 필터 등이 있고, 2차 미분을 이용하는 경우의 예로는 라플라스 에지 필터 등이 있다. 도 8a는 미분을 이용하여 처리한 상태를 나타내고, 도 8b는 해리스 코널 디텍터를 적용하여 처리한 상태를 나타낸다.

단계 S720에서는, 샘플 패치 사이즈의 일정 부분 이상이 에지로 구성되었는지 판단한다. 예컨대, 샘플 패치 사이즈의 20%를 초과하는 부분이 에지로 구성된 경우에 샘플 패치를 모델 패치 후보로 선정할 수 있다. 본 실시예에서 판단 기준의 값으로 20%인 경우에 대하여 설명하였으나 이와 같은 수치로 한정할 것이 아님은 물론이다.

도 9는 보정정보 획득 단계 S130의 보다 구체적인 과정을 나타낸 흐름도이다. 단계 S130은 앞선 단계(S110 ~ S120)에 따라 선정된 모델 패치의 위치가 제 2 입력 영상에서 얼마만큼 변화하였는지를 계산하여, 계산된 값을 보정정보로 하는 과정이다. 설명의 편의를 위해, 앞서 언급한 바와 같이 각각의 모델 패치에는 1 ~ m 까지의 고유의 번호가 부여되었다고 가정한다.

단계 S910에서는, 제2 입력 영상에서 첫번째 모델 위치의 예상 위치를 계산한다. 이 경우, 첫번째 모델 위치의 회전변화는 계산하지 않고 변위변화만을 계산하여 연산 시간을 단축시킬 수 있다. 변위변화 계산은 예컨대, [수학식 2]의 마할라노비스 거리(Mahalanobis distance) 계산법에 따를 수 있다. 예상 위치의 계산은 제 2 입력 영상에 설정된 조건 영역 내에서 이루어질 수 있다. 조건 영역은 모델 패치의 픽셀 사이즈보다 더 큰 범위로서 예컨대, 모델 패치 후보의 픽셀 사이즈가 50×50인 경우 조건 영역의 크기는 150×150의 픽셀사이즈가 될 수 있다.

이 때, x_i는 조건 영역 내부에 존재하는 임의의 픽셀을 나타내고, u_model은 모델 패치 내부의 픽셀을 나타낸다.

는 공분산 행렬이다.

단계 S920에서는, 첫번째 모델 패치의 유효성을 검증한다. 유효성 검증은 첫번째 모델 패치와 주변 영역 간 차별성 검증에 의할 수 있고, 차별성 검증은 [수학식 1]의 영상 유사도 계산법을 이용할 수 있다.

단계 S921에서, 첫번째 모델 패치와 주변 영역 간 영상 유사도를 계산한다. 영상 유사도 계산은 첫번째 모델 패치를 포함하는 조건 영역 내에서 수행된다.

단계 S922에서, 영상 유사도 값이 임계치보다 큰지 비교한다. 이 경우, 임계치로 앞서 설명한 단계 S640에서의 결과 값인 h(u,v) 값 중에서 가장 큰 값을 사용할 수 있다. 첫번째 모델 패치의 영상 유사도 값이 임계치보다 큰 경우 유효성이 인정된다.

판단 결과, 유사도 값이 유효성 검증용 임계치보다 작은 경우라면 두번째 모델 패치에 대하여 단계 S921과 단계 S922를 반복 수행한다. 이 경우 단계 S923에서는, 첫번째 모델 패치를 제거함으로써 본 발명에 따른 보정정보 획득에 일체 사용하지 않을 수 있다.

단계 S930에서는, 유효성이 인정된 첫번째 모델 패치의 정확한 위치를 계산한다. 첫번째 모델 패치의 정확한 좌표와 회전 각도를 계산할 수 있다. 이 경우도 [수학식 1]과 같은 유사도 수식을 이용할 수 있다. 유사도 수식을 사용함에 있어서, 조건 영역은 첫번째 모델 패치의 크기와 동일하게 설정할 수 있다. 좌표에 기초하여 변위변화를 계산할 수 있고, 회전 각도에 기초하여 각도변화를 계산할 수 있다.

단계 S940에서는, 유효성이 인정된 첫번째 모델 패치를 기준으로 다른 모델 패치의 예상 위치를 계산한다. 앞서 언급한 바와 같이 모델 패치는 상호 위치관계를 가지므로 이를 이용하면 다른 모델 패치들의 예상 위치를 자동 계산할 수 있다.

단계 S950에서는, 다른 모델 패치들의 정확한 좌표와 회전 각도를 계산할 수 있다. 단계 S930과 마찬가지로, 좌표에 기초하여 변위변화를 계산할 수 있고, 회전 각도에 기초하여 각도변화를 계산할 수 있다.

단계 S930과 단계 S950에서 계산된 변위변화와 각도변화는 변위보정정보와 각도보정정보로 활용된다.

도 10은 본 발명에 따른 영상 안정화 시스템의 일 실시예에 따른 개략적인 구성 블록도이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 영상 안정화 시스템(1000)은 도 1에 도시된 영상 안정화 방법에 따라 구현될 수 있다. 따라서, 도 1에 도시된 영상 안정화 방법에서와 동일한 사항에 대해서는 이를 참조하고, 이하에서는 자세한 설명이 생략될 수 있다.

영상 안정화 시스템(1000)은 제 1 영상 처리기(1100) 및 제 2 영상 처리기(1200) 등을 포함한다.

제 1 영상 처리기(1100)는 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하고 샘플 패치 중에서 일정한 조건 즉, 모델 패치 조건에 부합하는 샘플 패치를 모델 패치로 선정한다.

제 1 영상 처리기(1100)는 샘플패치부(1110)와 모델패치부(1120)를 구비할 수 있다.

샘플패치부(1110)는 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링한다. 예컨대, 샘플패치부(1110)는 소정의 규칙에 따라 샘플 패치를 순차적으로 샘플링하거나 무작위로 샘플 패치를 생성한 후 이들의 상호 위치관계를 설정할 수 있다.

모델패치부(1120)는 모델 패치 조건을 기준으로 샘플 패치들의 타당성을 검증하고, 검증된 샘플 패치를 모델 패치로 선정한다.

모델 패치의 개수는 샘플 패치의 개수와 동일하거나 작을 수 있다. 또한, 샘플 패치들은 상호 위치관계를 가지므로 모델 패치들도 상호 위치관계를 갖는다.

제 2 영상 처리기(1200)는 제1 영상 처리기(1100)에서 선정된 모델 패치에 관한 정보를 수신하고, 모델 패치들을 이용하여 변위보정정보와 각도보정정보를 획득한다. 그리고, 획득된 보정정보를 제 2 입력 영상에 반영하여 흔들림이 보정된 영상을 출력한다.

제 2 영상 처리기(1200)는 보정정보 획득부(1210)와 영상처리부(1220)를 포함할 수 있다.

보정정보 획득부(1210)는 모델 패치의 제1 입력 영상과 제 2 입력 영상 간 위치 변화를 토대로 변위보정정보와 각도보정정보를 산출한다. 보정정보를 산출함에 있어, 보정정보 획득부(1210)는 제 1 영상 처리기(1100)에서 입력된 모델 패치의 전부 또는 일부를 사용할 수 있다. 모델 패치의 전부를 사용할 것인지 일부를 사용할 것인지 여부는 앞서 언급한 단계 S920에서 설명한 유효성 검증에 따라 결정될 수 있다.

예컨대, 제 1 입력 영상에서 선정된 k번째 모델 패치가 날아다니는 새에 관한 영상 정보를 포함하는 경우를 살펴본다. 새는 위치가 금방 변하므로, k번째 모델 패치의 제 2 입력 영상에서의 예상 위치를 계산하더라도 해당 위치에서 k번째 모델 패치가 새에 관한 영상 정보를 포함하지 않을 수 있다. 이 경우, 제 1 입력 영상에서 k번째 모델 패치와 주변 영상 간 유사도 값과, 제 2 입력 영상에서 k번째 모델 패치와 주변영상간 유사도 값은 다르다. 따라서, 앞서 언급한 단계 S922, S923와 같이 임계치보다 크다는 조건을 만족하지 못하므로 k번째 모델 패치는 보정정보 획득에 사용되지 않는다.

영상처리부(1220)는 획득된 보정정보를 제 2 입력 영상에 반영하여, 흔들림이 보정된 영상을 출력한다. 이 경우, 보정정보의 전부를 사용하거나 일부 신뢰도가 높은 보정정보를 사용하는 일예는 앞서 단계 S140에서 언급한 바와 같다.

본 발명과의 비교 실시예로서, 영상을 안정화하기 위한 방법으로 화면 끝단의 일부에서 특징점을 추출하여, 이를 이용하는 경우를 살펴본다. 이와 같은 경우, 피촬영체가 매 순간 프레임마다 이동하는 경우에는 화면 끝단의 특징점만으로 영상의 안정화가 매우 어렵다. 설령, 많은 특징점을 사용한다 하더라도 특징점의 선택이 용이하지 않고, 이동체에 의하여 배경 가려짐 현상이 발생하는 경우에는 정확한 판단이 어려워진다.

반면, 본 발명은 제 1 입력 영상에서 모델 패치를 선정하고 선정된 모델 패치 중에서 유효한 모델 패치만을 제 2 입력 영상의 안정화에 사용한다. 같은 방식으로, 제 2 입력 영상의 안정화에 사용된 모델 패치 중에서 유효한 모델 패치만을 제 3 입력 영상의 안정화에 사용하는 연쇄적인 구조이다. 즉, 영상 안정화에 사용하기 어려운 모델 패치들은 자연스럽게 제거되고 안정화에 사용하기에 적합한 유효 모델 패치만 남게 된다. 따라서, 점차 강건한 모델 패치들로만 영상을 안정화시켜 영상의 오인식을 현저하게 줄일 수 있는 장점이 있다.

한편, 본 발명에 따른 영상 안정화 시스템은 컴퓨터로 읽을 수 있는 기록 매체로도 구현가능함은 물론이다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

예컨대, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어 졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위에는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.

201a, 201b: 샘플 패치 210: 제 1 입력 영상
301: 모델 패치 410: 제2 입력 영상
401: 모델 패치 401a: 모델 패치 중 첫번째 모델 패치
1000: 영상 안정화 시스템 1100: 제 1 영상 처리기
1110: 샘플패치부 1120: 모델패치부
1200: 제 2 영상 처리기 1210: 보정정보 획득부
1220: 영상처리부

Claims (19)

1. 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하는 단계;
   상기 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 단계;
   제 2 입력 영상에서 상기 모델 패치의 위치 변화를 토대로 변위보정정보와 각도보정정보를 획득하는 단계; 및
   상기 변위보정정보와 상기 각도보정정보가 반영된 영상을 출력하는 단계를 포함하고, 상기 모델 패치 선정단계는,
   상기 샘플 패치의 픽셀간 분산 정보에 따라 상기 샘플 패치 중에서 모델 패치의 후보를 선정하는 단계; 및
   상기 모델 패치 후보와 주변 영역 간 차별성에 따라 상기 모델 패치 후보 중에서 모델 패치를 선정하는 단계를 포함하는 영상 안정화 방법.
2. 삭제
3. 제 1 항에 있어서, 상기 모델 패치 선정단계는,
   상기 샘플 패치의 에지 정보에 따라 상기 샘플 패치 중에서 모델 패치의 후보를 선정하는 단계; 및
   상기 모델 패치 후보와 주변 영역 간 차별성에 따라 상기 모델 패치 후보 중에서 모델 패치를 선정하는 단계를 포함하는 영상 안정화 방법.
4. 제 1 항에 있어서, 상기 모델 패치는 복수 개로서,
   상기 획득하는 단계는,
   상기 제 2 입력 영상에서 상기 모델 패치 중 어느 하나인 제 1 모델 패치의 예상 위치를 계산하는 단계;
   상기 제 1 모델 패치의 변위변화와 각도변화를 계산하는 단계;
   상기 제 1 모델 패치의 변위변화와 각도변화에 기초하여, 다른 모델 패치들의 변위변화와 각도변화를 계산하는 단계를 포함하는 영상 안정화 방법.
5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.

   제 4 항에 있어서,
   상기 제 1 모델 패치의 유효성을 검증하는 단계를 더 포함하고,
   상기 제 1 모델 패치의 유효성이 인정되지 않는 경우,
   상기 모델 패치 중에서 다른 어느 하나인 제 2 모델 패치에 대하여 예상 위치를 계산하고 유효성을 검증하는 단계를 더 포함하는 영상 안정화 방법.
   
6. 삭제
7. 삭제
8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.

   제 1 항에 있어서, 상기 영상을 출력하는 단계는,
   기설정된 신뢰도를 넘는 상기 변위보정정보 및 상기 각도보정정보 중 신뢰도가 가장 높은 순서를 기준으로 변위보정정보와 각도보정정보를 각각 선택하는 단계; 및
   상기 선택된 변위 보정정보 및 각도보정정보를 토대로 상기 제 2 입력 영상의 흔들림을 보정하여 출력하는 단계를 포함하는 영상 안정화 방법.
9. 삭제
10. 제 1 입력 영상에서 적어도 하나 이상의 샘플 패치를 샘플링하고, 상기 샘플 패치 중에서 모델 패치를 선정하는 제 1 영상 처리기; 및
    제 2 입력 영상에서 상기 모델 패치들의 위치 변화에 따라 변위보정정보와 각도보정정보를 산출하여 상기 변위보정정보와 상기 각도보정정보가 반영된 영상을 출력하는 제 2 영상 처리기를 포함하고, 상기 제 1 영상 처리기는,
    상기 샘플 패치의 픽셀간 분산 정보에 따라 상기 샘플 패치 중에서 모델 패치의 후보를 선정하고, 상기 모델 패치 후보와 주변 영역 간 차별성에 따라 상기 모델 패치 후보 중에서 모델 패치를 선정하는 것을 특징으로 하는 영상 안정화 시스템.
11. 제 10 항에 있어서, 상기 제 1 영상 처리기는,
    상기 제 1 입력 영상에서 상호 위치관계를 갖는 적어도 하나 이상의 샘플 패치를 샘플링하는 샘플패치부; 및
    상기 샘플 패치 중에서 모델패치조건을 만족하는 샘플 패치를 모델 패치로 선정하는 모델패치부를 포함하는 영상 안정화 시스템.
12. 제 11 항에 있어서, 상기 모델패치부는,
    상기 샘플 패치 내부의 픽셀간 분산 정보 및 상기 샘플 패치와 주변 영역의 영상 유사도를 고려하거나, 상기 샘플 패치 내부의 에지 정보 및 상기 샘플 패치와 주변 영역 간 영상 유사도를 고려하여, 상기 모델 패치를 선정하는 것인 영상 안정화 시스템.
    
13. 삭제
14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.

    제 10 항에 있어서, 상기 제 2 영상 처리기는,
    상기 제 2 입력 영상에서 상기 모델 패치들의 위치를 계산하고 해당 위치에서 상기 모델 패치의 변위변화 값과 각도변화 값을 계산하여 변위보정정보와 각도보정정보를 획득하는 보정정보 획득부; 및
    상기 변위보정정보 및 상기 각도보정정보를 상기 제 2 입력 영상에 반영하여 출력하는 영상처리부를 포함하는 영상 안정화 시스템.
15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.

    제 14 항에 있어서,
    상기 보정정보 획득부는,
    상기 제 2 입력 영상에 대한 어느 하나의 모델 패치의 예상 위치를 계산하고, 상기 어느 하나의 모델 패치의 변위변화 값과 각도변화 값을 계산하며,
    상기 계산된 모델 패치와 상호 위치관계를 갖는 다른 모델 패치의 변위변화 값과 각도변화 값을 계산하여 상기 변위보정정보와 각도보정정보를 획득하는 것인 영상 안정화 시스템.
16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.

    제 15 항에 있어서, 상기 어느 하나의 모델 패치는,
    상기 보정정보를 획득하는데 사용할 수 있는지 여부인 유효성이 검증된 것이고,
    상기 유효성 검증은,
    상기 어느 하나의 모델 패치와 주변 영역 간 영상 유사도에 따르는 것인 영상 안정화 시스템.
    
17. 삭제
18. 삭제
19. 삭제

Images