KR20120072351A

KR20120072351A - 디지털 이미지 안정화

Info

Publication number: KR20120072351A
Application number: KR1020110141578A
Authority: KR
Inventors: 에르윈 싸이 키 리우
Original assignee: 삼성전자주식회사
Priority date: 2010-12-23
Filing date: 2011-12-23
Publication date: 2012-07-03
Also published as: JP2012138905A; US9083845B2; KR20120072350A; JP2012164303A; US20120162450A1; CN102665041B; US20120162452A1; KR101798010B1; JP2012165365A; JP5933970B2; CN102547118A; US20120162475A1; US20120162460A1; DE102011056972A1; KR20120072348A; JP2012165364A; KR101830889B1; US20120162454A1; US8988536B2; US9036031B2

Abstract

디지털 이미지-안정화(digital image-stabilization(DIS)) 방법 및 회로가 개시된다. 상기 디지털 이미지-안정화(digital image-stabilization(DIS)) 방법에 따른 비디오 데이터 처리 방법은 제1모션 특징(characteristic)을 갖는 모션 벡터들을 포함하는 제1 그룹과 상기 제1모션 특징보다 더 정적인(stationary) 제2모션 특징을 갖는 모션 벡터들을 포함하는 제2 그룹을 수신하는 단계, 변환-히스토리, 변환-모션, 변환-특징 개수들, 및 변환-규모(extent)를 포함하는 연속적인(continuous) 스코어링(scoring) 함수들을 이용해 상기 제1 그룹에 포함된 상기 모션 벡터들 중에서 제1주요 변환(principal transform)을 식별하는(identify) 단계, 및 상기 연속적인 스코어링 함수들을 이용해 상기 제2그룹에 포함된 상기 모션 벡터들 중에서 제2주요 변환을 식별하는 단계를 포함한다.

Description

디지털 이미지 안정화{DIGITAL IMAGE STABILIZATION}

본 발명의 개념에 따른 실시 예는 디지털 이미지-안정화(digital image-stabilization(DIS))에 관한 것으로, 특히 카메라 장면 내의 객체들(objects)의 이동을 식별하고, 상기 카메라의 의도된 움직임과 의도되지 않은 움직임 사이를 구분하는 방법에 관한 것이다.

디지털 카메라들(digital cameras), 디지털 비디오 카메라들(digital video cameras), 및 이와 같은 카메라들을 포함하는 핸드-헬드 디바이스들(hand-held devices)은 상기 카메라가 조작자의 손에서 동작 되는 동안 이미지들 또는 비디오를 캡쳐(capture)하기 위해 종종 사용된다.

따라서 상기 비디오 카메라는 이미지 또는 비디오를 캡쳐하는 동안 상기 조작자의 손에서 흔들리거나 지터링(jittering) 할 수 있다. 지터(jitter)는 수평 성분, 수직 성분, 및 회전 성분(rotational component)을 포함할 수 있다. 상기 지터는 상기 핸드-캡쳐드 비디오(hand-captured video)를 이를 보는 사람에게 디스트랙팅(distracting) 또는 디스오리엔팅(disorienting)하도록 만들 수 있고, 따라서 디지털적으로 카메라 궤적(trajectory), 즉, 연속적인 프레임들의 각 쌍 사이에서 검출된 지터를 추정하고, 같은 장면의 비디오 프레임들의 시퀀스(sequence)로부터 상기 지터를 필터링하기 위한(filter out) 디지털 회로를 사용하는 것이 요구된다.

정적이거나 움직이는 스테디(steady) 비디오 카메라에 의해 제작된 비디오는 캡쳐된 비디오에 주로 부드러운 모션들(병진(translation) 또는 회전(rotational))을 포함한다. 반면, 언스테디(unsteady) 비디오 카메라는 비디오 이미지들 전체에 걸쳐 높은 주파수의 (병진의(translational) 및/또는 회전의(rotational)) 지터를 포함하는 비디오를 생산한다.

디지털 이미지 안정화(DIS) 시스템은 먼저 원하지 않은(의도되지 않은) 모션(motion)을 추정한 다음, 정정을 이미지 시퀀스에 적용한다. 안정화된 비디오의 시각적 효과는 카메라 궤적 추정의 품질에 크게 의존한다. 종래의 디지털 이미지 안정화(DIS) 방법들은 두 개의 연속적인 프레임들 사이의 지터가 있는 모션(jittery motion)의 추정에 기초하여 식별된 특징점들(feature points)을 사용한다. 따라서, 종래의 DIS 기술에서, 지터가 있는 카메라 이동은 시간에 따라(timewise) 근접한 복수의 프레임들 사이의 식별 가능한 "특징점들(feature points)"의 모션 벡터들(motion vectors)을 계산함으로써 감지된다. 특징점들의 계산된 모션 벡터들은 상기 장면 내에 액츄얼 객체(actual object)를 갖는 복수의 모션 벡터들과 관련한 목적에 따라 “그룹화(grouped)”된다. 이러한 그룹화(grouping)는 상기 장면 내의 소형 이동 객체들을 상기 카메라(camera)/장면(scene)의 글로벌 모션(global motion)으로부터 구분되도록 한다. 카메라/장면의 글로벌 모션은 의도된 글로벌 모션, 예컨대 패닝(panning) 글로벌 모션과 의도되지 않은 글로벌 모션, 예컨대 지터리(jittery) 글로벌 모션을 구별하기 위하여 분석된다.

지터가 저장된/디스플레이된 비디오로부터 정확히 보상되고 정확히 제거될 수 있도록 카메라의 궤적(trajectory)을 감지하고 측정하는 것과 상기 지터의 특성을 정확하게 밝혀내는 것이 요구된다. 그러나, 높은 노이즈(noise) 또는 플랫한 (flat) 장면 비디오들과 같은 어떤 특별한 경우들에서 특징점 추적(feature point tracking)은 신뢰할 수가 없을 수 있다. 특징-점 모션 벡터들(feature-point motion vectors)을 얻기 위해, 가장 매칭되는 점은 절대차의 합(sum of absolute difference(SAD)) 계산에 기초하여 찾아야 한다. 그러나 최소의 SAD는 높은 노이즈의 저광(low-light) 조건, 또는 푸른 하늘과 같은 플랫한 장면과 같이 항상 정확한 매칭 포인트들(matching points)을 보장하지 않는다.

수학적으로, 아핀 기하학(affine geometry)은 아핀 변환들(affine transformations)에 의해 변하지 않도록 유지되는 기하학적 성질들(geometric properties), 즉 비-특이 선형 변환 및 변형(non-singular linear transformation and translation)의 연구이다. 아핀 행렬(Affine matrix)이라고 불리는, 숫자로 나타나는 계수들(coefficient)에 의해 정의되는 방정식들의 수학적 시스템은 연속적인 프레임들의 각 페어(pair) 사이에서 또는 이들의 일부분들(예컨대, 프레임들 내의 이동 객체들) 사이에서 감지된 이동의 측면(lateral, 예컨대 위/아래), 회전(rotational), 및 스칼라(scalar, 예컨대 줌 인(zoon in) 또는 줌 아웃(zoon out)) 성질을 나타내기 위하여 발전되었다. 따라서, 아핀 변환들(T_i(n))은, 각 특징이 비디오 프레임 이미지(video frame image) 내의 구별되는 점인 곳에서, 이미지 내에 보이는 선택된 특징들의 식별된 그룹의 모션의 간편한 설명으로서 역할할 수 있다. 그룹의 이러한 수학적인 설명은 선형적인 이동, 회전 각, 스케일 (scale) 등을 포함할 수 있다. 각 그룹의 상기 선형 이동 모션(M_i(n))은 멀티플 프레임들(multiple frames; n-1, n, n+1, etc)에 대한 아핀 변환들(T_i(n)) 내의 정보의 부분 집합이다.

따라서, 카메라 지터(camera jitter)는 장면 내의 어떤 실제적으로-정적인 객체들(actually-stationary objects), 예컨대, 바위들, 탁자들, 주차된 차들, 산들, 태양에 연관된, 주요 변환 (principal transform) (P(n)), 또는 글로벌 변환(global transform)이라고 불리는, 제1아핀 변환 행렬로 특성화될 수 있고, 상기 프레임 내의 이동 객체들, 예컨대, 새들, 사람, 공들, 움직이는 차들, 지나가는 기차들은 추가적인 아핀 행렬들에 의해 특성화될 수 있다. 작은 모션(M_i(n))의 변환들은 주요 변환(P(n))에 더 관련이 있다. 그러나 최소의 모션(M_i(n))의 변환이 필연적으로 항상 상기 주요 변환 (P(n))은 아니다.

카메라 모션(camera motion), 예컨대, 사용자의 핸드 지터(hand jitter)에 의해 발생하는 카메라 모션을 지시하는 주요 변환(주요 인터-프레임(inter-frame) 변환; P(n))은 하나 이상의 관심 있는 점들("특징점들")을 감지함에 따라 계산되고 선택된다. 연속적인 프레임들 사이의 특징점들의 모션 벡터들은 비디오 압축의 분야에서 채택되는 다양한 검색 방법들을 이용해 계산될 수 있다. 특정한 객체와 관련된 다수의 특징점 모션 벡터들은 아핀 방정식에 따라 그것의 감지된 모션을 정의하는 그 객체의 아핀 변환을 계산하도록 사용된다.

이미지를 안정화하기 위해, 언스테디 카메라(unsteady camera)에 의해 야기된 주요 모션(principal motion)은 장면 내의 이동 객체들로부터 구분된다. 만약 지터(jitter; 카메라 궤적(camera trajectory))가 없으면, 실제적으로-정적인 객체들, 예컨대 바위의 모서리들, 산의 봉우리들의 각 감지된 특징점들은 2 이상의 연속적인 프레임들 각각 내의 같은 장소에서 발견될 것으로 예상될 것이다(또한, 그러한 모든 감지된 특징점들의 모션 벡터는 널(null)로서 측정될 것이다.).

만약 지터(카메라 궤적)가 있으면 실제적으로-정적인 객체들, 예컨대 바위의 모서리들, 산의 봉우리들의 각 감지된 특징점들은 2 이상의 연속적인 프레임들 각각 내의 서로 다른 장소에서 발견될 것으로 예상되고 그러한 모든 감지된 특징점들의 모션 벡터는 측정될 것이다. 그러나, 어떤 장면들에서, 지터(jittery) 모션에 비해 같거나, 작거나, 또는 큰 측정 가능한 모션 벡터를 가지는 큰 이동 객체, 예컨대, 지나가는 기차 또는 지나가는 트럭은 프레임을 입력하고 모든 장면을 커버(cover)할 때까지 프레임의 더 많은 영역을 점차적으로 커버할 수 있다. 전체 비디오 장면을 커버하는 큰 이동 객체는 종래의 DIS 방법들의 특정 과제로 남아있다. 상기 존재는 큰 이동 객체의 변환을 주요 변환(P(n))으로서 잘못 식별할 수 있는 종래의 DIS 회로를 혼란시킬 수 있다.

본 발명이 이루고자 하는 기술적인 과제는 실제(actual) 이동 객체들로부터 정적인 배경을 구분하기 위하여 타일 모션 벡터 그룹 변환들(tile motion vector group transforms)과 특징점 모션 벡터 그룹 변환들(feature point motion vector group transforms) 중에서 주요 변환(principal transform)을 선택하는 것에 기초하여 프레임(frame)의 정적인 배경을 식별하는 디지털 이미지 안정화(digital image stanilization(DIS)) 방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적인 과제는 특징점 모션 벡터(feature point motion vector(FP MV)) 그룹들의 복수의 변환들 각각의 스코어링(scoring)에 기초하여, 비디오 프레임(video frame)의 장면 내의 정적인/배경 객체를 나타내는 주요 변환 (P(n))를 선택하는 방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적인 과제는 타일 모션 벡터(Tile MV) 그룹들과 특징점 모션 벡터(FP MV) 그룹들의 복수의 변환들 각각의 스코어링에 기초하여, 비디오 프레임의 장면 내의 정적인/배경 객체를 나타내는 주요 변환(P(n))을 선택하는 방법을 제공하는 것이다.

본 발명 개념의 일면은 타일 모션 벡터(tile MV) 그룹들과 특징점 모션 벡터(FP MV) 그룹들의 다수의 변환들 각각의 스코어링(scoring)에 기초하여, 비디오 프레임의 장면 내의 정적인/배경 물체를 나타내는 주요 변환 P(n)를 선택하는 단계, 및 상기 정적인(배경) 그룹의 히스토리(history)와 상기 복수의 모션 벡터 그룹들 각각의 히스토리에 기초하여 큰 이동 객체들을 제외하는 단계를 포함하는 디지털 이미지 안정화 방법을 제공한다.

본 발명 개념의 다른 일면은 정적인(배경) 그룹의 히스토리와 다수의 모션 벡터 그룹들 각각의 히스토리에 기초하여 전체 비디오 프레임을 가릴 수 있는 큰 이동 객체들을 제외하는 단계를 포함하는 디지털 이미지 안정화 방법을 제공한다.

본 발명 개념의 일면은 본 명세서에 개시된 DIS 방법을 수행하기에 적합한 디지털 이미지 안정화 회로를 제공한다. 연속적인 비디오 프레임들 사이의 카메라 궤적을 추정하고 비디오 프레임들의 시퀀스로부터 카메라의 궤적에 의해 야기되는 지터(jitter)를 필터링하도록(filter out) 하는 방법 또는 회로는 비디오 카메라 자체에 포함될 수 있고, 캡쳐된 비디오 프레임들의 저장에 앞서, 예컨대, 만약 비디오 카메라가 실시간 MPEG 인코더(encoder)를 포함하면 MPEG 인코딩(encoding) 전 또는 도중에 실시간으로 상기 지터를 제거하도록(remove) 작동될 수 있다. 대체적으로 연속적인 비디오 프레임들 사이의 카메라 궤적를 추정하고 비디오 프레임들의 저장된 시퀀스로부터 지터를 필터링하도록 하는 DIS 회로는 디지털 이미지 안정화(DIS) 방법을 구현하는 소프트웨어에 의해 제어되는 일반적인 목적의 마이크로컴퓨터(microcomputer)일 수 있고, ASIC(application specific integrated circuit) 내에 구현된 MEPG 비디오 인코더와 같이 디지털 이미지 안정화(DIS) 방법을 수행하도록 활용되는 전용 하드웨어(dedicated hardware)일 수 있다.

본 발명 개념의 일 실시 예의 요점(feature)은 T_i(n) 중에서 각 모션 벡터 그룹의 변환를 평가하고(evaluate) (정적인) 배경을 나타내기 위한 최선의 변환(P(n))을 선택하기 위한 연속적인 스코어링 함수들(scoring functions)을 적용하는 방법이다. 상기 방법은 주요 변환(P(n))을 선택할 때 변환 히스토리(transform history), 변환 모션(transform motion), 변환 특징들(transform features), 및 (수직의 또는 수평의) 변환 규모(transform extent)의 함수들(상기 함수들은 여기에 한정되지 않는다.)을 포함하는 성분 함수들을 동시에 고려한다. 이러한 특징들(characteristics) 각각은 스코어링 성분(scoring component)에 기여한다. 이러한 스코어링 성분들의 총체(ensemble)는 각 변환 후보(transform candidate; T_i(n))에 대한 전체 스코어(total score; Q_i(n))를 준다. 최상의 전체 스코어(Q_i(n))을 갖는 인터-프레임(inter-frame) 변환 후보는 주요 인터-프레임 변환(principal inter-frame transform; P(n))으로서 선택되고 DIS 방법의 직후의 보상 단계들(subsequent compensation steps)에서 사용된다.

본 발명의 실시 예에 따른 비디오 데이터 처리 방법(method of processing video data)은 스코어링 함수들(scoring functions)을 이용해 제1사이즈를 갖는 픽셀 블록들(pixel blocks)의 모션 벡터들(motion vectors)의 제1그룹들의 변환들 중에서 선택함으로써 장면의 변환의 제1주요 변환을 식별하는(identify) 단계를 포함하며, 상기 스코어링 함수들은 변환-특징 개수 스코어들(transform-feature numebers scores)과 변환-규모 스코어들(transform-extent scores) 중 적어도 하나를 포함한다.

상기 비디오 데이터 처리 방법은 상기 스코어링 함수들을 이용해 제2사이즈를 갖는 픽셀 블록들의 모션 벡터들의 제2그룹들의 변환들 중에서 선택함으로써 상기 장면의 제2주요 변환을 식별하는 단계를 더 포함할 수 있고, 상기 제2사이즈를 갖는 상기 픽셀 블록들은 타일들(tiles)이고, 모션 벡터들의 상기 제1그룹들은 T_i(n) 중에서 변환들 FP-T_i(n)을 갖는 특징점 모션 벡터들(feature point motion vectors)의 그룹들이고, 모션 벡터들의 상기 제2그룹들은 T_i(n) 중에서 변환들 TV-T_i(n)을 갖는 겹치지 않는(non-overlapping) 타일 모션 벡터들의 그룹들이며, T_i(n)은 i(i는 시연속적인 특징을 나타낸다)번째 변환이다.

상기 스코어링 함수들은 변환-히스토리 스코어들(transform-history scores), 및 변환-모션 스코어들(transform-motion scores), 변환-특징 개수 스코어들 및 변환-규모 스코어들 중 적어도 하나를 포함할수 있고, 상기 변환-히스토리 스코어링 함수는 |T_i(n) - P(n-k)|의 차이에 기초하여 T_i(n)과 P(n-k) 사이의 코릴레이션(correlation; H_i _{, k}(n))을 계산하는 단계를 포함할 수 있고, T_i(n)의 변환-히스토리 스코어(H_i(n))은 1과 상기 변환-히스토리의 소정의 길이(HL) 사이의 모든 i에 대한 H_i _{, k}(n)의 가중 합(weighted sum)인 전체 코릴레이션일 수 있다.

상기 스코어링 함수들은 변환-모션 스코어들, 및 변환-히스토리 스코어들, 변환-특징 개수 스코어들 및 변환-규모 스코어들 중에서 적어도 하나를 포함할 수 있고, 상기 변환-모션 스코어링 함수는 상기 변환의 수평의 선형 이동인 T_i(n)의 변환-모션 스코어(M_i(n))을 계산하는 단계를 포함할 수 있으며, 변환-모션 스코어(M_i(n))은 연속적인 범위 [0,1] 내에서 비-선형적으로 표준화될(normalized) 수 있다.

상기 스코어링 함수들은 변환-특징 개수 스코어들, 및 변환-히스토리 스코어들, 변환-모션 스코어들 및 변환-규모 스코어들 중 적어도 하나를 포함할 수 있고, 상기 변환-특징 스코어링 함수는 상기 변환들과 관련된 특징점들의 개수인 T_i(n)의 변환-특징 스코어(F_i(n))을 계산하는 단계를 포함할 수 있으며, 변환-특징 스코어(F_i(n))은 [0,1]의 범위 내에서 비-선형적으로 표준화될 수 있다.

상기 스코어링 함수들은 변환-규모 스코어들, 및 변환-히스토리 스코어들, 변환-모션 스코어들, 및 변환 특징 개수 스코어들 중 적어도 어느 하나를 포함할 수 있고, 변환-규모의 상기 함수는 T_i(n)의 변환-규모 스코어(E_i(n))은 상기 변환 내의 상기 특징들에 의해 커버되는 영역일 수 있으며, 변환-규모 스코어(E_i(n))은 [0,1]의 범위 내에서 비-선형적으로 표준화될 수 있다.

상기 스코어링 함수들은 변환-히스토리 스코어(H_i(n)), 변환-모션 스코어(M_i(n)), 변환-특징 개수 스코어(F_i(n)), 및 변환-규모 스코어(E_i(n))을 포함할 수 있으며, 상기 스코어링 함수들(H_i(n), M_i(n), F_i(n) 및 E_i(n)) 중 적어도 2개의 가장 높은 조합을 갖는 상기 변환(T_i(n))은 상기 주요 변환(P(n))으로서 선택될 수 있다.

상기 비디오 데이터 처리 방법은 상기 주요 변환(P(n))을 카메라 움직임에 대해 보상하도록 처리하는 단계를 더 포함할 수 있다.

상기 비디오 데이터 처리 방법은 상기 장면 내의 대형 이동 객체를 식별하는 단계, 및 상기 대형 이동 객체와 대응하는 주요 변환(P(n))을 제외하는(exclude) 단계를 더 포함할 수 있다.

상기 대형 이동 객체를 식별하는 단계는 각 T_i(n)에 대해 존재하는 모션 그룹(existed motion group)의 히스토리와 존재하는 정적인 그룹의 장면 히스토리를 비교하는 단계를 포함할 수 있다.

상기 비디오 데이터 처리 방법은 T_i(n)의 계산된 변환 품질(Q_i(n))이 소정의(preset) 문턱값(threshold)보다 작으면 TV-T_i(n) 중에서 상기 주요 변환(P(n))을 선택하는 단계를 더 포함할 수 있으며, 상기 변환 품질(Q_i(n))은 상기 변환 점 그룹 내의 변환 점들의 개수와 FP-T_i(n)의 상기 변환 점 그룹의 상기 규모에 기초할 수 있다.

본 발명의 실시 예에 따른 이미지 처리 회로는 제1사이즈(size)를 갖는 픽셀 블록들에 기초하여 장면의 모션 벡터들의 제1그룹들을 저장하고 제2사이즈를 갖는 픽셀 블록들에 기초하여 상기 장면의 모션 벡터들의 제2그룹들을 저장하는 제1 메모리, 및 비디오 데이터 처리 방법을 수행하는 프로세서에 의해 실행되는 저장된 프로그램을 갖는 제2메모리를 포함하며, 상기 비디오 데이터 처리 방법은 변환-히스토리 스코어들, 변환-모션 스코어들, 변환-특징 개수 스코어들, 및 변환-규모 스코어들 중에서 적어도 2개를 포함하는 스코어링 함수들을 이용해 상기 제1모션 벡터 그룹들의 상기 변환들 중에서 선택함으로써 제1주요 변환을 식별하는 단계, 및 상기 스코어링 함수들을 이용해 제2사이즈를 갖는 픽셀 블록들의 모션 벡터들의 제1 그룹들의 상기 변환들 중에서 선택함으로써 제2주요 변환을 식별하는 단계를 포함한다.

상기 제2사이즈를 갖는 상기 픽셀 블록들은 타일들이고, 모션 벡터들의 상기 제1그룹들은 T_i(n) 중에서 변환들 FP-T_i(n)을 갖는 특징점 모션 벡터들의 그룹들이고, 모션 벡터들의 상기 제2그룹들은 T_i(n) 중에서 변환들 TV-T_i(n)을 갖는 겹치지 않는 타일 모션 벡터들의 그룹들이며, T_i(n)은 i(n은 시연속적인 성질을 의미한다.)번째 변환이다.

변환-히스토리의 상기 함수는, 차이 |T_i(n)-P(n-k)|에 기초하여 T_i(n)과 P(n-k)사이의 코릴레이션(H_i,k(n))을 계산하는 단계를 포함할 수 있으며, T_i(n)의 변환-히스토리 스코어(H_i(n))은 1과 상기 변환-히스토리의 소정의 길이(HL) 사이의 모든 i에 대한 H_i _{, k}(n)의 가중 합인 전체 코릴레이션일 수 있다.

상기 변환-모션 스코어링 함수는 상기 변환의 상기 수평적인 선형 이동인 T_i(n)의 변환-모션 스코어(M_i(n)), 및 상기 범위 [0,1] 내에서 모션 스코어(M_i(n))은 비-선형적으로 표준화될 수 있다.

상기 변환-특징 스코어링 함수는 상기 변환과 관련된 변환 점들의 개수인 T_i(n)의 변환-특징 스코어(F_i(n))를 계산하는 단계를 포함할 수 있고, 변환-특징 스코어(F_i(n))은 상기 범위 [0,1] 내에서 비-선형적으로 표준화될 수 있다.

상기 변환-규모 스코어링 함수는 상기 변환 내의 상기 특징에 의해 커버되는 상기 영역인 T_i(n)의 변환-규모 스코어(E_i(n))를 계산하는 단계를 포함할 수 있으며, 변환-규모 스코어(E_i(n))은 상기 범위 [0,1] 내에서 비-선형적으로 표준화될 수 있다.

상기 스코어링 함수들(H_i(n), M_i(n), F_i(n) 및 E_i(n)) 중 적어도 2개의 가장 높은 조합을 갖는 상기 변환(T_i(n))은 상기 주요 변환(P(n))으로서 선택될 수 있다.

상기 이미지 처리 회로는 상기 주요 변환(P(n))을 카메라 움직임에 대한 보상을 하도록 처리하는 단계를 더 포함할 수 있다.

상기 이미지 처리 회로는 상기 장면 내의 대형 이동 객체를 식별하는 단계, 및 상기 대형 이동 객체와 대응하는 주요 변환(P(n))을 제외하는(exclude) 단계를 더 포함할 수 있다.

상기 대형 이동 객체를 식별하는 단계는 각 T_i(n)에 대해 존재하는 모션 그룹의 히스토리와 존재하는 정적인 그룹의 장면 히스토리를 비교하는 단계를 포함할 수 있다.

상기 이미지 처리 회로는 FP-T_i(n)의 변환을 갖는 특징점 그룹 내의 특징점들의 개수에 기초하고 FP-T_i(n)의 변환들을 갖는 상기 특징점 그룹의 상기 규모에 기초한 신뢰(confidence) 스코어가 소정의 문턱값보다 작으면, TV-T_i(n) 중에서 상기 주요 변환(P(n))을 선택하는 단계를 더 포함할 수 있다.

연속적인 정적인 모션 벡터 그룹 존재가 주로 정적인 배경(mostly stationary background)을 포함하는 존재하는 장면(existed scene)을 지시하면 주요 변환은 제외되고, 객체는 상기 장면 안으로 움직이는 것으로 감지되고, 시간 n에서 연속적인 유사한-속도의(similar-speed) 모션 벡터 그룹들은 상기 전체 장면을 커버하고, 상기 정적인 모션 벡터 그룹은 존재하는 것을 그만둔다.

본 발명의 실시 예에 따른 카메라는 제1타임과 제2타임에서 장면의 이미지들을 캡쳐하고 상기 캡쳐된 이미지를 이미지 데이터의 제1 및 제2 프레임들로 변환하는 이미지 센서 회로, 이미지 처리 회로를 포함하며, 상기 이미지 처리 회로는 제1사이즈를 갖는 픽셀 블록들에 기초하여 상기 장면의 모션 벡터들의 제1그룹들을 저장하고 제1사이즈를 갖는 픽셀 블록들에 기초하여 상기 장면의 모션 벡터들의 제2그룹들을 저장하는 제1메모리, 및 비디오 데이터 처리 방법을 수행하는 프로세서에 의해 실행되는 저장된 프로그램을 갖는 제2메모리를 포함하며, 상기 비디오 데이터 처리 방법은, 변환-히스토리 스코어들, 변환-모션 스코어들, 변환-특징 개수 스코어들, 및 변환-규모 스코어들 중에서 적어도 2개를 포함하는 스코어링 함수들을 이용해 상기 제1모션 벡터 그룹들의 상기 변환들 중에서 선택함으로써 제1주요 변환을 식별하는 단계, 및 상기 스코어링 함수들을 이용해 상기 제2모션 벡터 그룹들의 상기 변환들 중에서 선택함으로써 제2주요 변환을 식별하는 단계를 포함한다.

상기 스코어링 함수들은 연속적인 함수들일 수 있다.

본 발명의 실시 예에 따른 스코어링 및 선택 방법은 인터-프레임 변환들(inter-frame transforms)의 마이너한 섭동들(minor perturbations)에 민감하지 않다. 따라서, 상기 방법은 이러한 마이너한 섭동에 매우 민감한 종래의 멀티-레벨 애드-혹 이진 결정 루틴(multi-level as-hoc binary decision routines)보다 뛰어나다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 디지털 이미지 안정화(DIS) 회로의 블럭도이다.
도 2는 타일 벡터 그룹들의 아핀(affine) 변환들을 계산하는 도 1의 DIS 회로 내의 감지 유닛의 블럭도이다.
도 3은 타일 그룹 변환들과 특징 그룹 변환들 T_i(n)의 스코어링에 기초하여 주요 (정적인/배경) 변환 P(n)을 선택하는 도 1의 DIS 회로의 궤적 유닛의 블럭도이다.
도 4a는 도 1의 DIS 회로의 DIS 방법 내의 단계를 수행하는 그룹 변환 스코어링 및 선택 회로(group transform scoring and selection circuit)의 일 실시 예의 블록도이다.
도 4b는 히스토리 스코어 계산 유닛(history score calculation unit)의 일 실시 예의 블록도이다.
도 5는 콜렉티브 변환 스코어링 및 선택 회로(collective transform scoring and selection circuit)의 일 실시 예의 블록도이다.
도 6은 이동 객체 제외 회로(moving object exclusion circuit)의 일 실시 예를 나타내는 블록도이다.
도 7은 본 발명의 개념의 실시 예에 따른 프로세스 단계들을 나타내는 플로우 차트이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

본 발명의 일 실시 예에 따라, 각 캡쳐된 비디오 프레임(captured video frame)은 디지털 이미지 안정화에 적합하도록 좋은 특징점 분포(feature point distribution)를 제공하는 특징점을 알고리즘적으로(algorithmically) 선택하기 위한 목적으로, 적은 수의 겹치지 않는 타일들(전형적으로 표준 화질(standard definition)을 위한 4×4 타일들 및 고화질(high definition)을 위한 6×6 타일들)로 나누어진다. 상기 이미지의 다른 부분들은 적합한 특징점들의 다른 밀도를 가질 수 있다. 극단적인 경우, 예컨대, 어떤 구름도 없는 파란 하늘의 경우에 프레임의 부분은 어떠한 적합한 특징점들을 가지지 않을 수 있다. 다른 부분들에서, 잠재적인 특징점들은 매우 조밀할 수 있다.

얻어진 특징점 분포는 비디오 프레임, 예컨대, 겹치지 않는 타일들의 작은 부분에 기초하고, 각 타일 내의 특징점들의 개수가 상기 타일의 발광 이미지 데이터의 분산 σ²에 따라 선형적으로 증가한다. 더 관심 있는 이미지 데이터의 타일과 그에 따른 더 많은 특징점에 대한 요구는 더 높은 분산 σ²를 갖도록 예측된다. 동시 계류중인 출원 번호 8729-357("디지털 이미지 완정화 장치 및 방법") 을 보면, 동시에 단지 작은 로컬 상태 정보만을 요구함에도 불구하고 각 타일에 포함된 특징점들 사이의 최소 거리(MIN_DIST)를 설정함으로써 하드웨어 구현 비용을 감소시키는 과정이 묘사되어 있다. 상기 8729-357의 공개 문헌은 참고 문헌으로 여기에 포함된다.

만약 장면이 저광 조건(low light condition)에서 캡쳐되면, 그것은 상대적으로 더 많은 노이즈(noise)를 가질 것이고, 특징점들의 픽셀들의 개수는 타일(tile) 내의 픽셀들의 개수보다 훨씬 적기 때문에, 노이즈 효과는 타일들보다 특징점들에 더 크게 작용한다. 상기 타일 내의 픽셀들의 더 큰 개수는 노이즈 소거 효과(noise cancellation effect)를 제공하고 이러한 경우에 다운 샘플링된(downsampled) 타일 기반 모션 벡터(tile-based motion vector)가 더 정확하다.

비록 장면이 저광 조건에서 캡쳐되지 않더라도, 만약 장면이 너무 플랫 (flat)하면, 타일 기반 모션 벡터는 더 정확할 수 있다. 만약 타일 장면(tile scene)이 구름 낀 하늘 또는 푸른 하늘과 같이 매우 플랫하면, 약간의 특징점들이 있을 수 있고 플랫 타일 내의 이러한 특징점들은 다음 프레임 내의 많은 장소 내의 매칭 점들과 유사한 레벨들을 발견할 수 있다. 그러나, 타일-기반 매칭은 작은 특징-점 탐색 영역에만 의존하는 것이 아니고, 타일의 모든 패턴들이 타일 매칭 프로세스에 공헌할 수 있다. 결과적으로, 타일-기반 모션 벡터들은 장면이 플랫할 때 더 신뢰할 수 있다.

특징점 모션 벡터 그룹의 가장 높은 스코어가 주어진 문턱값(threshold)보다 작을 때, 우리는 특징-점 기반 모션 벡터들(feature-point based motion vectors) 대신에 타일-기반 모션 벡터들을 사용하도록 결정하고, 이러한 전략은 높은 노이즈 또는 플랫(flat)한 장면들에서 효과적으로 작동한다.

본 발명의 개념의 실시 예에 따라, 우리는 배경과 큰 객체의 움직임을 나타내는 추정된 모션 벡터들을 선택하는 반면, 더 작은 물체들은 그것들과 관련된 정확한 모션 벡터를 가질 필요가 없다. 더 작은 객체에 대한 어떠한 부정확한 벡터들은 DIS 알고리즘의 이후 단계에서 제거될 수 있다.

글로벌 움직임 또는 카메라 움직임 때문에 의미가 있는(of significance) 큰 정적인 물체의 특징점들은 일관성 있는 경로(coherent way)로 이동할 것이 예측된다. 우리는 독립적으로 움직이는 충분하게 큰 물체들은 적어도 하나의 타일의 대부분(majority)을 커버하는 것을 인지하고, 따라서 작은 물체의 모션이 타일 자체의 모션 벡터로 적은 효과를 가지는 한, 그들의 모션은 타일 자체의 우세(predominate) 모션으로서 추정될 수 있다.

우리는 최저의 해상도에서 블럭 매칭(block matching)을 이용해 타일별 하나의 모션 벡터를 얻는다. 타일-기반 모션 벡터들은 높은 노이즈 또는 플랫 장면 비디오들과 같은 특별한 경우에서의 카메라 궤적 결정(camera trajectory decision)을 위해 사용될 수 있다.

주어진 타일에 대한 모션 벡터는 절대 차이의 합(SAD)을 최소로 하는 것이다. 그리고, 각 타일 내의 특징점들의 모션 벡터들을 계산하는 프로세스(process)는 계층적 모션 추정 알고리즘(hierarchical motion estimation algorithm)을 사용함으로써 그리고 타일의 모션 벡터를 시작 벡터로서 사용하여 로컬 움직임 상의 타일 움직임을 취하여(preffering) 계산량 (computations)을 줄이도록 변경될 수 있다.

적어도 하나의 타일의 대부분을 커버하는 충분히 큰 물체는 인접한 타일들로 확장할 수 있기 때문에, 각 타일 내의 몇몇의 특징점들은 그들이 발견된 타일의 모션 벡터보다 인접한 타일의 모션 벡터에 더욱 강하게 관련될 수 있다.

따라서, 모든 인접한 타일들의 모션 벡터들을 어떤 주어진 타일의 특징점들의 모션 벡터에 대한 블록 매칭 탐색의 멀티플 시작 벡터들(multiple start vectors)로서 사용하는 것이 효과적일 수 있다. 따라서 선택된 특징점들의 모션 벡터들을 얻기 위해 사용되는 시작 벡터들은, 그것이 존재한다면, 네 방향의 직접적인 이웃들(상측 타일, 좌측 타일, 우측 타일, 하측 타일)에 속하는 모션 벡터들과 마찬가지로 특징점이 속하는 타일의 모션 벡터들이다.

사용되는 각 시작 벡터들마다, 우리는 단지 특징점 모션 벡터들에 대한 로컬 탐색(local search)을 위해 매우 작은 범위을 사용한다. 여기의 목적은 각각의 그리고 모든 특징점에 대한 정확한 벡터들을 결정하는 것이 아니다(배드(bad) 모션 벡터들은 DIS 프로세싱 체인(chain) 내에서 나중에 분류될 것이다).

오히려, 관심 있는 특징점들은 단지 배경 또는 큰 객체들에 속하는 것들이다. 그런 특징점들에 대해, 타일 모션 벡터들 중 하나는 좋거나, 관심 있는 특징점들의 모션 벡터에 가까워야 것이고, 그에 따라, 각 선택된 타일 모션 벡터들에 대한 작은 로컬 탐색은 충분하다. 작은 로컬 블록 매칭 탐색(local block matching search)은 타일 내의 모든 선택된 특징점에 대한 시작 벡터들의 집합(set) 각각 주변의 고-해상도 도메인(이것은 오리지널 비디오 해상도(original video resolution), 또는 2 또는 4의 f_s3 요소에 의해 부표본화된(subsampled) 것일 수 있다.)에서 수행된다.

도 1은 본 발명의 개념의 실시 예와 관련된 DIS 방법을 수행하는 디지털 이미지 안정화(DIS) 회로의 블럭도이다. 상기 DIS 회로는 수신된 저키 비디오(jerky video)를 분석하고 인터-프레임 변환(inter-frame transforms; T_i(n))을 출력하는 감지 유닛(detection unit; 2000), 상기 인터-프레임 변환들(T_i(n)) 중에서 선택된 주요 변환/보상 변환(P(n))을 출력하는 궤적 유닛(trajectory unit; 4000), 및 상기 선택된 주요 변환/보상 변환 (P(n))을 이용해 상기 저키 비디오를 수정하여 안정화된 비디오를 출력하는 보상 유닛(compensation unit; 6000)을 포함한다.

감지 유닛(2000)은 비디오 데이터의 수신된 프레임 내의 특징점들(FP)의 인터-프레임 모션 벡터들과 겹치지 않는 타일들(타일 벡터들)의 인터-프레임 모션 벡터들을 추정한다. 감지 유닛(2000)은 FP 모션 벡터 그룹 변환들(FP motion vector group transforms)과 타일 벡터 그룹 변환들(T_i(n))을 더 출력한다.

궤적 유닛(4000)은 인터-프레임 변환들(T_i(n)) 중 하나를 주요 변환(P(n))으로서 선택하고, 따라서, 작은 이동 객체들과 움직이고 전체 프레임을 커버할 수 있는 큰 이동 객체들의 인터-프레임 변환들을 제거한다.

도 2는 도 1의 DIS 회로의 DIS 방법의 단계로서 타일 벡터 그룹들의 아핀 (affine) 변환들을 계산하는 도 1의 DIS 회로 내의 감지 유닛의 블럭도이다. 감지 유닛(2000)은 특징점 회로(feature point circuit; 3000), 모션 벡터(MV) 그룹화 회로(motion vector(MV) grouping circuit; 1300), 및 모션 벡터(MV) 그룹 아핀 변환 계산기(motion vector(MV) group affine transform claculator; 2010)를 포함한다.

특징점 회로(3000)는 비디오 데이터의 각 프레임을 수신하고, 각 비디오 프레임을 겹치지 않는 타일들의 작은 숫자 j×k로 나눈다. 타일들의 개수 j×k는 SD 비디오(standard definition video)를 위한 4×4로부터 HD 비디오(High-definition video)를 위한 6×6까지의 범위를 가질 수 있고, (4..8)×(4..8) 의 범위 내의 다른 숫자들 또한 가능하고, 유리할 수 있다. 상기 타일 사이즈는 독립적으로 움직이는 충분히 큰 물체들이 적어도 하나의 타일의 대부분을 커버(cover)할 수 있도록 선택되고, 작은 객체들의 모션은 무시될 수 있는 반면, 충분히 큰 객체들의 모션은 DIS 목적에 따라 캡쳐될 수 있다. 특징점 회로(3000)는 수신된 비디오 프레임 내의 특징점들(SFPs)를 식별하여 선택하고, 특징점들 과 타일들의 모션 벡터들(SFP MVs and Tile MVs)을 출력한다.

특징점 회로(3000)는 특징점 선택기(feature point selector)와 모션-벡터 계산기(motion-vector calaulator)와 공유된 RAM 메모리(350)를 포함한다. 상기 특징점 선택기는 해리스-코너 특징점 후보 식별기(Harris-Corner feature point candidate identifier), 및 특징점 후보 분류기(feature point candidate sorter)를 더 포함한다. 컴퓨터 파워(computational power)를 절약하고 요구되는 복수의 동작들(operations)의 개수를 감소시키기 위해, 특징점 회로(3000)는 루마(luma) 데이터에만 동작하고, 하나 이상의 다운샘플러들(downsamplers) 및 계층적 블럭-매칭 탐색 유닛(hierarchical block-matching search unit)을 포함한다.

특징점 회로(3000)는 모든 타일에 대한 하나의 모션 벡터를 추정한다. 타일 모션 벡터(Tile MV) 추정은 입력 이미지의 중앙을 커버하는 겹치지 않는 타일들(예컨대, 특징점 분류 알고리즘(feature point sorting algorithm) 내에 사용될 수 있는 같은 동일한 타일들)에 기초하여 수행된다. 타일들 각각에 대하여, 풀 블럭매칭 탐색(full blockmatching search)은 깊게 다운샘플링된 이미지에 수행된다. 풀-탐색 블록 매칭(full-search block matching)은 모든 타일에 대하여 수행되고, 타일 모션 벡터(Tile MV)는 이후의 사용, 예를 들어, 특징점들(352에 저장된 SFP MV)의 모션 벡터들을 얻기 위하거나 정적인-객체 감지를 위한 계층적 블록-매칭 탐색 유닛 내에서 시작 벡터로서의 사용을 위해 저장된다(356).

특징점 회로(3000)는 보다 바람직하게 비디오 프레임의 타일들이라고 일컫는 작은 부분들(타일들)에 기초한 분포를 갖는 특징점들의 리스트(352)를 제공한다. 타일별 특징점들의 최대 개수는 타일의 발광 이미지 데이터(luminance image data)의 분산 σ² 에 따라 선형적으로 증가한다. DIS 방법을 위한 좋은 특징점들은 적합한 모션 추정 알고리즘이 적용될 때 애매하지 않은(non-ambiguous) 모션 벡터들을 산출하는 점들이다. 이미지 내의 특징점들을 식별하기 위해, 해리스 코너 감지 알고리즘(Harris Corner detection algorithm)은 이러한 픽셀이 특징점으로서 얼마나 적합한지 측정하기 위해 비디오 프레임의 픽셀들에 적용된다. 이미지의 서로 다른 부분들(타일들)은 식별된 특징점 후보들의 서로 다른 밀도를 가질 수 있다.

특징점 회로(3000)은 가급적으로 각 타일의 모션 벡터를 계산하기 위한 타일-벡터 계산기(tile-vector calculator)의 함수를 수행하는 모션-벡터 계산기(motion-vector calculator) 및 각 선택된 특징점(selected feature point; SFP)의 모션 벡터를 결정하고 출력하기 위한 계층적 블락-매칭 검색 유닛(hierarchical block-matching search unit)을 포함한다. 타일-벡터 계산기는 현재 프레임(F_t)의 깊게 다운샘플링 된 루마 데이터를 사용하여 각 타일의 모션 벡터를 계산한다. 계층적 블락-매칭 검색 유닛은 최대-해상도의 또는 두개의 연속된 프레임들의 다운 샘플링된 루마 데이터를 이용하여 선택된 특징점들 각각의 모션 벡터를 결정하고, 타일 벡터들을 시작 벡터들로서 사용할 수 있다.

데이터에 관련된 모든 특징점과 타일은 다음 DIS 블럭, 구체적으로 모션 벡터 그룹화 회로(motion vector grouping circuit; 1300)로 전달된다.

모션 벡터 그룹화 회로(1300)는 FP 모션 벡터들과 타일 모션 벡터들에 대해 그룹화 알고리즘을 수행한다. 모션 벡터 그룹화 회로(1300)는 페어링 알고리즘 컨트롤러(pairing algorithm controller; 1302)에 의해 선택된 벡터들의 각 쌍을 비교함으로써 그룹화 결정들(grouping decisions)을 수행하는 모션 벡터 비교기(motion vector comparator; 1310)을 포함한다.

특징점 그룹화 회로(feature point grouing circuit; 1300)는 연속적인 비디오 프레임들 사이에서 객체의 인지된(perceived) 관련 동작들에 기초하여 FP 모션 벡터들을 장면 내의 객체들과 함께 선택된 특징점들(SFPs)의 모션 벡터들로 관련되도록 그룹화한다. 특징점 그룹화 회로(1300)는 또한 연속적인 비디오 프레임들 사이에서 객체의 인지된 관련 동작들에 기초하여 타일 모션 벡터들을 장면 안의 객체들과 관련되도록 그룹화한다.

특징점 그룹화 회로(1300)는 RAM 메모리(350)를 특징점 회로(3000)와 공유한다. 메모리(350)의 SPF MV 리스트(SPF MV list; 352) 부분는 선택된 특징점들(SFPs)의 위치들과 모션 벡터들의 리스트를 포함한다. 메모리(350)의 타일 MV 리스트(tile MV list; 356) 부분은 겹치지 않는 타일들의 위치들과 모션 벡터들의 리스트를 포함한다.

페어링 알고리즘 컨트롤러(pairing algorithm controller; 1302)는 어떤 특징점들과 타일들(모션 벡터들)이 어떤 다른 것들과 이전에 페어(pair)되었는지, 어떤 것이 언페어(unpair)로 남았는지, 및 어떤 것들이 전체적으로 그룹화에서 제외될 것인지에 대한 트랙을 유지한다. 페어링 알고리즘은 반복적으로 모션 벡터들의 쌍들(벡터 A & 벡터 B)을 MV 비교기(1310)로의 입력들로서 제공한다.

특징점 그룹화 회로(1300) 내의 페어링 알고리즘 컨트롤러(1302)는 SPF MV 리스트(352)와 타일 MV 리스트(356)에 액세스하고 모션 벡터 비교기(1310) 내의 비교를 위한 벡터들 A와 벡터들 B를 선택한다. 일련의 벡터A-벡터B 비교 결과 하나 이상의 벡터들의 그룹, 예컨대, 선택된 특징점들의 그룹과 타일들의 그룹인 경우, 페어링 알고리즘 컨트롤러(1302)는 그룹화된 모션 벡터들 또는 그것의 기술적인 리스트(descriptive list)를 메모리(350)의 FP MV 그룹 인벤토리(inventories; 354) 부분과 타일 MV 그룹 인벤토리(358) 부분으로 라이트(write)한다.

모션 벡터(MV) 그룹 아핀 변환 계산기(2010)는 특징점 모션 벡터들의 각 그룹의 인터-프레임 변환을 계산하고, 타일 모션 벡터들의 각 그룹의 인터-프레임 변환을 계산하고, 그것들 모두를 T_i(n)으로서 출력한다.

도 3은 도 1의 DIS 회로의 DIS 방법의 단계들과 관련된, 타일 그룹 변환들과 특징 그룹 변환들(T_i(n))의 스코어링 방법에 기초하여 주요 (정적인/배경) 변환 P(n)을 선택하기 위한 도 1의 DIS 회로의 궤적 유닛(TU; 4000)의 블록도이다.

궤적 유닛(trajectory unit; 도 3의 4000)은 타일 그룹 변환 스코어링 및 선택 회로(tile group transform scoring and selection circuit; 4100-1 또는 도 4a의 4100), 특징 그룹 변환 스코어링 및 선택 회로(feature group transform scoring and selection circuit; 4100-2, 도 4a의 4100), 콜렉티브 그룹 선택 회로(collective group selection circuit; 도 5의 4200), 이동 객체 제외 회로(moving object exclusion circuit; 도 6의 4400), 및 적응적 보상 필터(adaptive compensation filter; 도 10 및 도 11의 8000)를 포함한다.

궤적 유닛(4000)은 장면 내의 이동 객체들을 무시하는 반면 언스테디(unsteady) 카메라에 의해 야기되는 주요 모션(P(n))을 식별하고, 선택된 주요 변환 P(n)을 필터링하고, 보상 변환(compensation transform; C(n))을 출력한다. 궤적 유닛(4000)은 수신된 인터-프레임 변환들 T_i(n) 중에서 주요 변환(P(n))을 선택하도록 다수의 연속적인 스코어링 함수들을 사용한다.

도 4a는 도 1의 DIS 회로의 궤적 유닛(4000)의 그룹 변환 스코어링 및 선택 회로(group transform scoring and selection circuit; 4100)의 블럭도이다. 그룹 변환 스코어링 및 선택 회로(4100)는 변환 스코어 계산기(transform score calculator; 4150), 변환 품질 계산기(transform quality claculator; 4160), 및 도 1의 DIS 회로의 DIS 방법의 단계를 수행하는 그룹 변환 및 품질 선택기(group transform and quality selector; 4170)을 포함한다. 그룹 변환 스코어링 및 선택 회로(4100)는 타일 그룹 인터-프레임 변환(tile group inter-frame transform; T_Tile,i(n))으로부터 타일 그룹 주요 변환(tile group principal transform; GP_Tile(n))을 출력하고(4100-1), FP 인터-프레임 변환(FP inter-frame transform; T_FP,i(n))으로부터 특징 그룹 주요 변환(feature group principal transform; GPFP(n))을 출력한다(4100-2).

도 4b는 도 4의 그룹 변환 스코어링 및 선택 회로(4100) 내의 히스토리 스코어 계산 유닛(history score calculation unit; 4110-1)의 일 실시예의 블록도이다.

도 4a 및 4b를 참조하면, 그룹 변환 스코어링 및 선택 회로(4100)는 히스토리 스코어 계산 유닛(4110)(예컨대, 4110-1), 모션 스코어 계산 유닛(4120), 특징 스코어 계산 유닛(4130)에 더하여 규모 스코어 계산 유닛(4140), 변환 스코어(S_i(n)) 계산기(4150), 변환 품질(Q_i(n)) 계산기(4160), 및 그룹 변환 및 품질 선택기(4170, 예컨대 4170-1)를 포함한다.

도 4a의 그룹 변환 스코어링 및 선택 회로(4100)의 그룹 변환 및 품질 선택기(4170)는 전체 변환 스코어 계산기(4150)로부터 수신된 (각 인터-프레임 변환(T_i(n)) 의) 전체 변환 스코어(S_i(n))에 기초하여 (작은 이동 객체들의 인터-프레임 변환들을 배제시킴으로써) 인터-프레임 변환들(T_i(n)) 중 하나를 그룹 주요 변환(GP(n))으로서 선택하고, 그룹 주요 변환(GP(n))과 그것에 연관된 품질(Q(n))을 출력한다.

T_i(n)을 감지 유닛(2000)으로부터 수신된 모든 수신된 변환 후보들(transform candidates) 중 i번째 변환이라고 한다. 여기서, n은 프레임과 시연속적인 성질(time sequence nature)을 나타낸다. GP(n)은 프레임 시간 n에서의 선택된 그룹 주요 변환(selected group principal transform)이라고 한다. 즉, 선택된 i에 대해서 GP(n)=T_i(n)이다.

각 T_i(n)에 대해서, 전체 변환 스코어(S_i(n)) 계산기(4150)는 히스토리 스코어 계산 유닛(4110, 예컨대 4110-1)으로부터 히스토리 스코어(H_i(n))를 수신하고, 모션 스코어 계산 유닛(4120)으로부터 모션 스코어(M_i(n))를 수신하고, 특징 스코어 계산 유닛(4130)으로부터 특징 스코어(F_i(n))를 수신하고, 규모 스코어 계산 유닛(4140)으로부터 규모 스코어(E_i(n))를 수신하고, 전체 변환 스코어(S_i(n))를 아래의 식에 기초하여 계산한다.

S_i(n) = H_i(n)* M_i(n)* F_i(n) * E_i(n).

각 T_i(n)에 대해서, 변환 품질(Q_i(n)) 계산기(4160)은 특징 스코어 계산 유닛(4130)으로부터 특징 스코어(F_i(n))를 수신하고, 규모 스코어 계산 유닛(4140)으로부터 규모 스코어(E_i(n))을 수신하고, 아래의 식에 기초하여 변환 품질(Q_i(n))을 계산한다.

Q_i(n)=F_i(n)+E_i(n).

가장 큰 값(S_i(n))을 가지는 T_i(n)은 도 4a의 그룹 변환 스코어링 및 선택 회로(4100)의 그룹 변환 선택기(4170)에 의해 그룹 주요 변환(GP(n))으로서 선택될 수 있다. 따라서, 실시 예에 따라, 도 1의 DIS 회로의 DIS 보상 유닛(6000) 내에서, 가장 높은 스코어(S_i(n))을 갖는 인터-프레임 변환 후보(T_i(n))은 그룹 주요 변환(GP(n))으로서 선택되고 지터(jittery) 카메라 모션을 보상하기 위한 보상 변환(C(n))을 생산하기 위해서 적응적으로 필터링된다.

히스토리 스코어 계산 유닛(4110, 예컨대 4110-1)은 그룹 주요 변환(GP(n))의 히스토리를 저장하고, 그룹 주요 변환(GP(n))의 저장된 히스토리의 소정의 길이(HL)에 기초하여 각 T_i(n)에 대한 히스토리 스코어(H_i(n))를 계산, 예컨대 감지 유닛(2000)으로부터 각 T_i(n)이 수신된 순서대로 계산한다. 상기 HL은 선행 프레임들의 소정의 개수를 나타내는 정수이다. 들어오는 T_i(n)은 수학적으로 이전에-선택된 그룹 주요 변환들(GP(n-1)...GP(n-k))을 저장하는 HL 각각과 비교된다. 여기서, 상기 k는 1(직전 프레임:n-1 을 의미한다)부터 HK(시간적으로 더 먼 프레임:n-HK)까지의 범위를 가지는 인테그랄 프레임-타임 인덱스(integral frame-time index)이다. T_i(n)의 변환들은 이전에-선택된 그룹 주요 변환들(GP(n-1) 부터 GP(n-HL))을 저장하는 HL과 더 높은 코릴레이션(correlation)를 가질수록 더 높은 히스토리 스코어(H_i(n))를 가진다.

T_i(n)과 각 GP(n-k) 사이의 코릴레이션(H_i,k(n))은 범위 [0,1]내에서 1에서 정규화된 놈(normalized norm)을 뺀 값(1-|T_i(n)-GP(n-k)|)이고, 1과 같은 H_i _,k(n)의 값은 가장 높은 코릴레이션를 지시한다.

각 코릴레이션(H_i _,k(n)(1-| T_i(n)-|GP(n-k)|))의 공헌은 상응하는 히스토리-웨이트(history-weight; HW(k))에 의해 웨이팅된다(weighted).

히스토리 스코어(H_i(n))은 전체 코릴레이션이고, H_i _,k(n)의 합에 웨이팅된 HW(n-k)이다. 여기서 1< k< HL 이고, 상기 HL은 히스토리의 길이(이전 프레임들의 개수)이다. 따라서,

웨이트들(weights) HW(n-HL)에서 HW(n-1))은 그들의 합이 1과 같고, 히스토리 스코어(H_i(n)) 출력이 비선형적으로 정규화되고, 연속적인 범위([0,1])를 갖도록 선택된다.

도 4b에 도시된 히스토리 스코어 계산 유닛(4110)의 하드웨어 구현 예(4110-1)는 저장된 콘텐츠들을 비교기(4114)로 출력하기 위해 (n-1에서 n-HL에 대한) HL 탭들(HL taps)을 갖는 HL을 이전에-선택된 그룹 주요 변환(GP(n-1) 내지 GP(n-HL))에 저장하기 위한 FIFO(first-in-first-out) 메모리 버퍼(memory buffer)를 포함한다. 비교기(4114)는 전류(T_i(n))을 이전에-선택된 그룹 주요 변환들(GP(n-1) 내지 GP(n-HL))에 저장된 HL 각각과 비교하고, 히스토리 웨이트들(HW(n-1) 내지 HW(n-HL))에 의해 웨이팅된 각 비교 결과를, 연속 구간 [0,1]에서 전체 코릴레이션을 전체 히스토리 스코어(H_i(n))로서 출력하는 전체 히스토리 스코어 계산기(4116)로 출력한다..

모션 스코어 계산 유닛(motion score calculation unit; 4120)은 각 T_i(n)을 수신하고, 오직 T_i(n)에만 기초하여 그것의 모션 스코어(M_i(n))를 계산한다. 다른 실시 예에 따라, 모션 스코어 계산 유닛(4120)은 모션 스코어(M_i(n))를 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신할 수 있다. 작은 모션에 대한 변환들은 높은 모션 스코어(M_i(n))을 가지고, 그룹 주요 변환(GP(n))이 되기가 더 좋다. T_i(n) 중에서 각 인터-프레임 변환에 대하여, 모션 스코어 계산 유닛(4120)은 모션 스코어(M_i(n))을 계산한다.

M_i(n)은 작은 모션에 대응하여 큰 값을 가지고, 큰 모션에 대응하여 작은 값을 가진다. 모션(M_i(n))은 변환의 수평, 수직, 또는 전체 선형 이동에 기초할 수 있다. 모션 스코어(M_i(n))은 선형 이동에 반대로 연관되고, 보다 적절하게 연속 구간[0,1]을 갖도록 비선형적으로 표준화된다.

특징 스코어 계산 유닛(4130)은 각 T_i(n)을 수신하고, 오직 T_i(n)에만 기초하여 그것의 특징 스코어(F_i(n))을 계산한다. 다른 실시 예에 따라, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))을 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신할 수 있다. T_i(n) 중의 각 인터-프레임 변환에 대해서, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))을 계산한다. 특징 스코어(F_i(n))는 T_i(n) 중에서 각 인터-프레임 변환에 의해 표현되는 특징점 그룹을 만들기 위해 함께 그룹화된 특징점들의 개수와 관련된다. T_i(n) 중의 변환들은 그룹별 특징점들을 더 많이 가질수록 더 높은 특징 스코어(F_i(n))을 가진다. 특징 스코어(F_i(n))은 보다 적절하게 연속 구간 [0,1]을 갖도록 비선형적으로 표준화된다.

규모 스코어 계산 유닛(extent score calculation unit; 4140)은 각 T_i(n)을 수신하고, 오직 T_i(n)에 기초하여 그것의 규모 스코어(E_i(n))를 계산한다. 다른 실시 예에 따라, 규모 스코어 계산 유닛(4140)은 규모 스코어(E_i(n))을 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신할 수 있다. T_i(n) 중에서 각 인터-프레임 변환에 대해, 규모 스코어 계산 유닛(4140)은 규모 스코어(E_i(n))을 계산한다. 넓은 영역을 커버하는 특징점들을 갖는 T_i(n) 중의 변환들은 커버하는 영역이 클수록 더 높게 스코어링 된다. 규모 스코어(E_i(n))은 더 넓은 영역을 커버하는 것에 대응하여 더 큰 값을 가지고, 반대로 더 좁은 영역을 커버하는 것에 대응하여 더 작은 값을 가진다. 규모 스코어(E_i(n))은 변환의 그룹의 모든 특징점들을 포함하는 직사각형 영역의 높이와 폭의 곱에 관련된다. 규모 스코어(E_i(n))은 보다 적절하게 연속 구간 [0,1]을 갖도록 비선형적으로 표준화된다.

본 발명의 개념에 따른 다양한 실시 예들은 제외시키지 않으면 비디오 안정화에 원하지 않는 결과들을 야기시키는 전체 장면을 가로질러 움직이는 큰 객체들을 제외하기 위하여 장면 히스토리 분석을 사용한다. 적절한 장면 히스토리 분석이 없다면, 주요 변환 선택기는 큰 이동 객체 (특히 그것이 전체 화면을 커버한다면)에 대응되는 변환 후보를 선택하게 될 것이다. 우리는 큰 객체가 가로질러 움직이고 전체 장면을 채우는 경우 변환 후보들(T_i(n))은 언스테디 카메라에 대응하는 주요 변환(P(n))을 포함하지 않는다고 알 것이다.

도 5는 도 1의 DIS 회로의 궤적 유닛(4000)의 콜렉티브 변환 스코어링 및 선택 회로(collective transform scoring and selection circuit; 4200)의 일 실시 예의 블럭도이다. 콜렉티브 변환 스코어링 및 선택 회로(4200)는 콜렉티브 판정 (collective decision; CD(n))을 계산하는 콜렉티브 판정 계산기(collective decision calculator; 4250)와 도 1의 DIS 회로의 DIS 방법의 단계들로서 콜렉티브 주요 변환(collective principal transform; CP(n))을 출력하는 콜렉티브 변환 선택기(collective transform selector; 4260)를 포함한다.

도 5의 콜렉티브 판정 계산기(4250)는 특징 그룹 변환 품질(feature group transform quality; Q_FP(n)), 타일 그룹 변환 품질(tile group transform quality; Q_Tile(n)), 및 감지 유닛(2000)으로부터 수신된 특징 그룹 변환 후보들(feature group transform candidates; K_FG(n))의 개수로부터 콜렉티브 판정(CD(n))을 산출한다.

실시 예에 따라, 콜렉티브 판정 계산기(4250)는 특징 그룹들의 개수(K_FG(n))로부터 비선형적으로 표준화된 프래그멘테이션 메져(fragmentation measure;Θ_F(n))를 계산하며, Θ_F(n)는 K_FG(n)이 작을 때 0이고, Θ_F(n)는 K_FG(n)이 클 때 1이다. 따라서 Θ_F(n) 값이 1에 가까운 것은 비디오 장면의 모든 특징점들이 많은 특징 그룹들로 분열된 것을 나타내고, 반대로 Θ_F(n) 값이 0에 가까운 것은 비디오 장면의 모든 특징점들이 적은 특징 그룹들로 분열된 것을 나타낸다.

콜렉티브 판정 계산기(4250)는 Q_F(n) 과 Θ_F(n)*Q_T(n)을 비교함으로써 콜렉티브 판정(CD(n))을 출력하고, 만약 Q_F(n)>Θ_F(n)*Q_T(n)이면 컬렉티브 판정(CD(n))은 특징 그룹을 선택하도록 설정된다. 그리고 만약 Q_F(n)<=Θ_F(n)*Q_T(n)이면, 컬렉티브 판정(CD(n))은 타일 그룹을 선택하도록 설정된다. 이 공식에서, 만약 특징 그룹들이 분열되지 않았다면 Θ_F(n) 값이 0에 가깝고, 상기 특징 그룹은 더 선택되기 쉽다. 반면에 만약 특징 그룹들이 분열되었다면 Θ_F(n) 값이 1에 가깝고, 타일 그룹 변환 품질 (Q_Tile(n))은 특징 그룹 변환 품질(Q_FP(n))과 대등한 입장에서 비교된다.

콜렉티브 변환 선택기(4260)는 특징 그룹 주요 변환(GP_FP(n))과 타일 그룹 주요 변환(GP_Tile(n)) 사이에서 선택을 수행한다. 콜렉티브 변환 선택기(4260)는 콜렉티브 판정(CD(n))에 의해서 제어되어, 출력 콜렉티브 주요 변환(CP(n))은 CD(n)이 특징 그룹으로 설정될 때 특징 그룹 주요 변환(GP_FP(n))으로 설정되고, 그렇지 않은 경우 타일 그룹 주요 변환(GP_Tile(n))으로 설정된다.

이 실시 예에서, 콜렉티브 변환 스코어링 및 선택 회로(4200)는 특징 그룹 변환 품질(Q_FP(n)) 및 타일 그룹 변환 품질(Q_Tile(n))에 기초하여 선택들을 수행한다. 이러한 그룹 변환 품질들은 특징 스코어 계산 유닛(4130)과 규모 스코어 계산 유닛 (4140)으로부터의 입력들을 수신하는 도 4a의 변환 품질 계산기(4160)에 의해 계산된다.

특징 스코어 계산 유닛(feature score calculation unit; 4130)은 그것의 특징-기반(feature-based)과 타일-기반(tile-based) 변환(T_i(n))의 특징 스코어 (F_i(n))를 계산한다. 이 실시 예에서, 특징 스코어 계산 유닛(4130)은 특징 스코어 (F_i(n))를 계산하는 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신한다.

T_i(n) 중에서 각 인터-프레임 변환에 대해서, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))를 계산한다. 하나의 그룹의 더 많은 특징점들 또는 하나의 그룹의 더 많은 타일들의 변환들(T_i(n))은 더 높은 특징 스코어(F_i(n))를 가질 것이고, 이는 특징 그룹 변환 품질(Q_FP(n)) 또는 타일 그룹 변환 품질(Q_Tile(n)) 각각이 더 높아지도록 할 것이다. 실시 예에 따라 타일별 특징점들의 개수는 특징-기반 변환들(T_i(n))의 스코어 특징 스코어(F_i(n))를 지배할 수 있다. 다른 실시 예에 따라, 타일들의 개수는 타일-기반 변환들(T_i(n))의 스코어 특징 스코어(F_i(n))를 지배할 수 있다. 타일별 특징점들의 개수, 및/또는 타일 벡터들의 각 그룹 내의 타일들의 개수는 감지 유닛(2000)으로부터 직접 얻어질 수 있다.

규모 스코어 계산 유닛(4140)은 특징-기반 및 타일-기반 변환들(T_i(n))의 규모 스코어(E_i(n))를 계산한다. 이 실시 예에서, 특징 스코어 계산 유닛(4130)은 특징 스코어(F_i(n))을 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 정보를 수신한다. 특징점들 또는 타일들의 변환들은 더 넓은 영역에 걸칠수록 더 높게 스코어링 될 수 있다. 특징점의 개수와 타일 벡터들의 각 그룹 내의 타일들의 차원들은 감지 유닛(2000)으로부터 직접 얻어질 수 있다. 이와 유사하게 특징-기반 모션 벡터들의 각 그룹의 수평 및 수직 방향의 규모는 감지 유닛(2000)으로부터 직접 얻어질 수 있다. 특징 그룹들 또는 타일 그룹은 더 넓은 영역에 걸칠수록 더 높은 규모 스코어(E_i(n))를 가질 것이고, 그 결과 특징 그룹 변환 품질(Q_FP(n)) 또는 타일 그룹 변환 품질(Q_Tile(n)) 각각은 더 높아진다. 이 실시 예에서, 규모 스코어 계산 유닛(4140)은 규모 스코어(E_i(n))를 계산하기 위한 목적으로 감지 유닛(2000)으로부터 저장된 규모 정보를 수신한다.

콜렉티브 주요 변환(CP(n))이 콜렉티브 변환 스코어링 및 선택 회로(4200)에 의해서 선택되고 난 후, 대형 객체 제외 하드웨어(large object exclusion hardware)는 선택된 콜렉티브 주요 변환(CP(n))이 전체 장면에서 움직이고 전체 장면을 커버하는 대형 이동 객체인지 여부를 판단한다. 상기 제외(exclusion)가 효과적인 경우 단위 변환(unity transform; UT)이 대체물로 생성되고, DIS 시스템의 보상 회로를 위해 선택된 주요 변환(P(n))으로서 제공되어, 안정화된 비디오는 부정확하게 또는 불필요하게 대형 이동 객체의 변환을 하지 않을 것이다.

실시 예에 따라, 이동 객체 제외 방법은 두 가지 관측에 기초하여 활성화된다. 여기서 상기 두가지 관측은 이미 존재하는 정적인 배경(P(n)의 히스토리에 의해 지시되는)과, 정적인 배경과 대형 이동 객체의 공존의 시간-주기이다.

이동 객체 제외 방법은 아래의 시나리오를 다루는데 아주 효과적일 수 있다. 장면이 대부분 이동 객체가 있거나 없는 정적인 배경이다; 대형 이동 객체는 장면으로 진입하고 점차적으로 더 큰 영역을 커버한다; 상기 대형 이동 객체는 전체 장면을 커버한다; 상기 대형 이동 객체는 장면을 떠나기 시작하고, 배경이 다시 나타나기 시작한다; 상기 대형 이동 객체는 마침내 사라진다

상기 이동 객체 분석기(moving object anlayzer)는 제외 시나리오(IF)를 감지한다:

연속적으로 정적인 MV 그룹의 존재는 대부분 정적인 배경으로 된 장면을 지시한다.

연속적으로 유사한-속도의 MV 그룹들의 카운트 증가는 장면 안으로 움직여 들어오는 객체를 지시한다.

상기 추세(trend)가 계속되고, 시간 n에서 연속적으로 유사한-속도의 MV 그룹들이 전체 장면을 커버하고 정적인 MV 그룹이 없어지면 상기 제외 시나리오가 검출된다.

제외 판정(ED(n))은 제외 변환 선택기로 보내진다. 제외 변환 선택기는 ED(n)이 제외 시나리오를 지시하지 않으면 콜렉티브 주요 변환(CP(n))을 선택하고, 그 시나리오 안에서 주요 변환(P(n))은 기준 변환으로 설정된다. 따라서, 대형 이동 객체가 전체 장면을 커버할 때에도 안정화된 비디오는 부정확하게 대형 이동 객체를 따르지 않을 것이다.

도 6은 도 1의 DIS 회로의 궤적 유닛(4000)의 이동 객체 제외 회로(4400)의 일 실시예의 블록도이다. 이동 객체 제외 회로(4400)는 이동 객체 분석기(4470) 및 도 1의 DIS 회로의 DIS 방법 내의 단계를 수행하는 제외 변환 선택기(4480)를 포함한다.

이동 객체 제외 회로(4400)는 장면의 히스토리를 저장하기 위한 복수의 그룹 히스토리 회로들(4410, 4420, 4430, 및 4440), 및 이동 객체 분석기(4470)를 포함한다. 어느 때라도, 단지 하나의 지정된 정적인 그룹(G₀)가 있으나, 0 또는 그 이상의 현재(existing) 모션 그룹들 G_K(k＞0)가 있을 수 있다. 또한 다음 프레임 동안 k(예컨대, k(n+1)=k(n)+1) 현재 모션 그룹들 G_k 중 하나가 될 수 있는 새로운 모션 그룹 G_N이 있을 수 있다.

정적인 그룹(G₀)은 관련된 그룹 히스토리 GH₀를 가진다. k 현재 모션 그룹들(G_k)는 관련된 모션 벡터(M_k) 뿐만 아니라, 관련된 그룹 히스토리(GH_k)도 가진다. 각 현재 모션 그룹(G_K)는 기본적으로 프레임 n까지 시간이 지남에 따라 유사한-속도의 T_i(n) 각각에 대해 저역-통과 필터된(low-pass filtered) |T_i(n)|인 모션 벡터(M_k)를 갖는다.

각 새로운 모션 그룹(G_N)은 그것의 생성(creation)의 시간에 초기화된 관련된 그룹 히스토리(GH_N(n))을 가진다. 이동 객체 분석기(4470)는 복수의 그룹 히스토리들(GH₀(n), GH₁(n),...GH_J(n)), 및 GH_K(n)을 포함하는 장면 히스토리와 GH_N(n)을 수신하고, 그것들로부터 제외 판정(exclusion decision; ED(n))을 계산한다.

제외 변환 선택기(exclusion transform selector; 4480)는 단위 변환(UT)과 콜렉티브 주요 변환(CP(n)) 사이의 선택을 수행한다. 제외 변환 선택기(4480)는 제외 판정(ED(n))에 의해 제어되어 ED(n)이 활성화되었을 때 출력 주요 변환(P(n))은 단위 변환(UT)로 설정되고, 그렇지 않은 경우 콜렉티브 주요 변환(CP(n))으로 설정된다. 단위 변환(UT)은 보상 유닛이 보상 동안 아무것도 하지 않도록 야기시킬 것이다. 따라서, 이동 객체 분석기(4470)가 "대형 이동 객체" 시나리오를 감지하고 제외 판정(ED(n))을 활성화할 때, 그렇지 않은 경우 주요 변환(P(n))으로서 선택될 수 있는 대형 이동 객체의 변환은 선택된 주요 변환(P(n))이 되는 것으로부터 제외된다. 효과에서, 대형 이동 객체의 변환은, 감지될 때, 도 1의 보상 유닛(6000)에 의해 수행되는 보상으로부터 제외된다.

도 7은 도 6의 이동 객체 제외 회로(4400) 내의 모션 그룹 히스토리 회로의 일 실시 예에서 수행되는 단계들을 자세히 설명하는 혼합된 블록 다이어그램 - 플로우 차트이다. 이동 객체 제외 회로(4400)는 도 1의 DIS 회로의 DIS 방법의 단계들을 수행한다. 도 7은 정적인 그룹(G₀), 현재 모션 그룹(G_K), 및 새롭게 생성된 모션 그룹(G_N ₊₁)에 각각 대응하는 대표적인 그룹 히스토리 회로(4410, 4430, 및 4440)를 상세히 도시한다.

도 6의 이동 객체 제외 회로(4400)의 이동 객체 분석기(4470)에 의해 그룹 히스토리 회로들(예컨대, 4410)로부터 수신된 그룹 히스토리들(예컨대, H₀(n))은 각 그룹과 관련된 두 종류의 히스토리 데이터, 선택-히스토리(예를 들어, SH₀(n))와 현재-히스토리(Existence-History, 예컨대, EH₀(n)) 를 포함한다.

이동 객체 분석기(moving objet analyzer; 4470)는 다음과 같이 제외 시나리오를 감지한다. 정적인 변환(G₀(n))의 그룹 히스토리(GH₀) 내에서 지시된 연속적인 존재(existence) 및 선택들은 많은 수의 프레임 동안 존재한 대부분의 정적인 배경의 장면(scene)을 지시한다; 구체적인 모션 그룹(G_K)의 그룹 히스토리(GH_K)내의 연속하는 존재들의 점차적으로 증가하는 숫자는 객체가 장면(scene) 안으로 들어온다는 것을 나타낸다; 만약 존재들 및 모션의 현 추세가 지속되면, 그리고 시간(n)에서 선택된 변환 P(n)이 G_K에 결합하는 것을 제외하고 정적인 변환이 G₀에 속하지 않으면, 대형 이동 객체 시나리오가 감지되고, 활성화된 제외 판정(ED(n))이 주요 변환 선택기(4160-2)로 보내진다. 만약 ED(n)이 대형 객체 제외 시나리오(large object exclusion scenario)를 지시한다면, 주요 변환(P(n))은 단위 변환으로 설정되고, 그렇지 않은 경우, 주요 변환(P(n))은 T_i(n)의 어떤 스코어링(scoring) 함수에 따라 선택된다.

그룹 히스토리 회로(4410, 4420, 4430, 및 4440) 각각은 수신된 인터-프레임 변환들(T_i(n)) 중 하나에 관련된 각 그룹에 대한 히스토리 정보의 3가지 종류들의 저장 및 처리를 수행한다. 그룹 히스토리의 상기 3가지 종류는 선택 히스토리, 현재-히스토리(existence-history), 및 모션-히스토리이다. 정적인 그룹 G₀는 영상 안정화 시작시 비어있는 히스토리와 함께 생성된다. 정적인 그룹 G₀의 모션 히스토리는 생략될 수 있고, 널(null)로 추정될 수 있다. 모션 그룹 (G₁,...,G_K,...,G_N)은 DIS 비디오 프로세싱의 코스 동안 다이내믹하게(dynamically) 생성되거나 삭제될 수 될 수 있다.

도 7을 참조하면 정적인 그룹(G₀), N 현재 모션 그룹(G_k), 및 새롭게 생성된 모션 그룹(G_N ₊₁)에 각각 대응하는 그룹 히스토리 회로들(4410, 4430, 및 4440)은 그룹 히스토리들(GH₀, GH_K, 및 GH_N ₊₁)을 제공한다.

모션 그룹(Go)의 그룹 히스토리 회로(4410)은 선택-히스토리(SH₀)와 존재-히스토리(EH₀)의 저장을 위한 히스토리 메모리를 포함한다. 존재-히스토리(EH₀)는 인터-프레임 변환들(T_i(n))이 이전 프레임들 내의 모션 그룹(G₀)에 결합되었는지 여부를 지시하는 과거 프레임 값별 1-비트이다. 선택-히스토리(SH₀)는 모션 그룹(G₀)에 결합된 인터-프레임 변환(T_i(n))이 이전 프레임들 내의 주요 변환(P(n))으로서 선택되었는지 여부를 지시하는 과거 프레임 값별 1-비트이다.

그룹(G₀)은 정적으로 여겨지기 때문에, 선택된 주요 변환(P(n))을 포함하는 어떤 T_i(n)이 정적인 그룹(G₀)에 속하는지 여부의 판정(판정 단계 dS4418)은 T_i(n)을 다양한 히스토리에-근거한 모션 벡터(M₀)보다 문턱 값(thd₀)와 비교하는 것에 의존하기 때문에 정적인 그룹(G₀)의 그룹 히스토리 회로(4410)은 모션-히스토리(M₀)를 생략한다. 정적인 그룹(G₀)은 비디오 안정화 시작시에 비어있는 히스토리와 함께 만들어진다.

만약 프레임 n동안 T_i(n)이 |T_i(n)|＜thd₀ 를 만족하면, (판정 단계 dS4418의 YES 브랜치(branch)):

이 T_i(n)은 G₀에 속한다;

존재-히스토리(EH₀)는 프레임 n에서 정적인 변환의 존재를 지시하기 위해 업데이트 된다;

만약 P_i(n) = 상기 T_i(n) 라면, 선택-히스토리(SH₀)는 상기 T_i(n) 선택을 지시히기 위해 업데이트 된다.

그렇지 않은 경우, (판정 단계 dS4418의 NO 브랜치), 프레임 동안 |T_i(n)|＜thd₀를 만족시키지 않으면, T_i(n)은 존재 모션 그룹(G₁~G_N) 각각 내의 그룹 히스토리와 비교된다.

모션 그룹(G_K)의 그룹 히스토리 회로(4430)은 선택-히스토리(SH_K), 및 존재-히스토리(EH_K), 및 모션-히스토리(M_K)의 저장을 위한 히스토리_K 메모리를 포함한다. 존재-히스토리(EH_K)는 인터-프레임 변환(T_i(n))이 이전 프레임들 내의 모션 그룹(G_K)에 속하는지 여부를 지시하는 과거 프레임 값 별 1-비트이다. 선택-히스토리(SH_K)는 모션 그룹(G_K)에 속한 인터-프레임 변환(T_i(n))이 이전 프레임들 내의 주요 변환(P(n))으로서 선택되었는지 여부를 지시하는 지난 프레임 값마다 1-비트이다.

T_i(n)은 G_J에 속한다,

모션-히스토리(M_J)는 새롭게 속한 T_i(n)을 반영하도록 조정된다;

현재-히스토리(EH_J)는 프레임 n에서 모션 그룹(G_J)의 존재를 지시하기 위해 업데이트 된다;

만약 P(n) = 상기 T_i(n) 이라면, 선택-히스토리(SH_J)는 상기 T_i(n)=P(n)의 선택을 지시하기 위해 업데이트 된다.

반면에, 만약 판정 단계 dS4438이 T_i(n) 및 모든 존재하는 모션 그룹(G₁~G_N)을 위해 반복되어 왔고 M_K 중 아무것도 |T_i(n)-M_K|＜thd₁ 을 만족시키지 못했다면 (판정 단계 dS4438의 NO 브랜치), 상기 T_i(n)은 새롭게 형성된 모션 그룹(G_N+1)에 속한다(S4449 단계). 만약 이 T_i(n)이 새롭게 형성된 모션 그룹(G_N ₊₁)에 속한다면(S4449 단계):

T_i(n)은 새롭게 형성된 모션 그룹(G_N ₊₁)에 속한다;

모션-히스토리(M_N+1)은 이 T_i(n)의 모션 벡터로 설정된다;

존재-히스토리(EH_N+1)은 프레임 n에서 새로운 모션 그룹(G_N ₊₁)의 존재를 지시하기 위해 초기화된다;

만약 P(n) = 상기 T_i(n) 이라면, 선택-히스토리(SH_N+1)은 상기 T_i(n)=P(n)의 선택을 지시하기 위해 업데이트 된다.

시간의 확장된 주기(프레임들)에 참여하는 어떤 T_i(n) 없는 어떠한 모션 그룹(G₀~G_J 중의)은 삭제될 것이다.

앞서 개시된 발명들은 실시 예로서 고려된 것이므로, 제한되어 해석되어서는 안되고, 첨부된 청구항들은 발명의 사상에 따라 변형, 첨가, 및 다른 실시 예까지 포함하는 것으로 이해되어야 한다. 따라서, 뒤따르는 청구항 및 그 균등물의 최대한의 해석에 의해 발명의 보호 범위는 법에 의해 허용되는 최대의 내용까지 결정되어야 하며, 앞서 말한 상세한 설명에 의해 제한 해석되어서는 안된다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

2000 : 감지 유닛
4000 : 궤적 유닛
4400 : 이동 객체 제외 회로
6000 : 보상 유닛
8000 : 적응적 보상 필터

Claims

스코어링 함수들(scoring functions)을 이용해 제1사이즈(size)를 갖는 픽셀 블록들(pixel blocks)의 모션 벡터들(motion vectors)의 제1그룹들의 변환들 중에서 선택함으로써 장면의 변환의 제1주요 변환을 식별하는 단계를 포함하며,
상기 스코어링 함수들은 변환-특징 개수 스코어들(transform-feature number score)과 변환-규모 스코어들(transform-extent scores) 중 적어도 하나를 포함하는 비디오 데이터 처리 방법.
제1항에 있어서, 상기 비디오 데이터 처리 방법은,
상기 스코어링 함수들을 이용해 제2사이즈를 갖는 픽셀 블록들의 모션 벡터들의 제2그룹들의 변환들 중에서 선택함으로써 상기 장면의 제2주요 변환을 식별하는 단계를 더 포함하며,
상기 제2사이즈를 갖는 상기 픽셀 블록들은 타일들(tiles)이고,
모션 벡터들의 상기 제1그룹들은 T_i(n) 중에서 변환들 FP-T_i(n)을 갖는 특징점 모션 벡터들(feature point motion vectors)의 그룹들이고, 모션 벡터들의 상기 제2그룹들은 T_i(n) 중에서 변환들 TV-T_i(n)을 갖는 겹치지 않는 타일 모션 벡터들(tile motion vectors)의 그룹들이며,
T_i(n)은 i(i는 시연속적인 특징(time sequence nature)을 나타낸다)번째 변환인 비디오 데이터 처리 방법.
제2항에 있어서,
상기 스코어링 함수들은 변환-히스토리 스코어들(transform-history scores), 및 변환-모션 스코어들(fransform-motion scores), 변환-특징 개수 스코어들(transform-feature number scores) 및 변환-규모 스코어들(transform-ectent scores) 중 적어도 하나를 포함하고,
상기 변환-히스토리 스코어링 함수는 |T_i(n) - P(n-k)|의 차이에 기초하여 T_i(n)과 P(n-k) 사이의 코릴레이션(correlation; H_{i, k}(n))을 계산하는 단계를 포함하며,
Ti(n)의 변환-히스토리 스코어(H_i(n))는 1과 상기 변환-히스토리의 소정의 길이(HL) 사이의 모든 i에 대한 H_i _{, k}(n)의 가중 합(weighted sum)인 전체 코릴레이션인 비디오 데이터 처리 방법.
제2항에 있어서,
상기 스코어링 함수들은 변환-모션 스코어들, 및 변환-히스토리 스코어들, 변환-특징 개수 스코어들 및 변환-규모 스코어들 중에서 적어도 하나를 포함하고,
상기 변환-모션 스코어링 함수는 상기 변환의 수평의 선형 이동인 T_i(n)의 변환-모션 스코어(M_i(n))을 계산하는 단계를 포함하며,
변환-모션 스코어(M_i(n))은 연속적인 범위 [0,1] 내에서 비-선형적으로 표준화된(normalized) 비디오 데이터 처리 방법.
제2항에 있어서,
상기 스코어링 함수들은 변환-특징 개수 스코어들, 및 변환-히스토리 스코어들, 변환-모션 스코어들 및 변환-규모 스코어들 중 적어도 하나를 포함하고,
상기 변환-특징 스코어링 함수는 상기 변환들과 관련된 특징점들의 개수인 T_i(n)의 변환-특징 스코어(F_i(n))을 계산하는 단계를 포함하며,
변환-특징 스코어(F_i(n))은 [0,1]의 범위 내에서 비-선형적으로 표준화된 비디오 데이터 처리 방법.
제2항에 있어서,
상기 스코어링 함수들은 변환-규모 스코어들, 및 변환-히스토리 스코어들, 변환-모션 스코어들, 및 변환 특징 개수 스코어들 중 적어도 어느 하나를 포함하고,
변환-규모의 상기 함수는 T_i(n)의 변환-규모 스코어(E_i(n))은 상기 변환 내의 상기 특징들에 의해 커버되는 영역이며,
변환-규모 스코어(E_i(n))은 [0,1]의 범위 내에서 비-선형적으로 표준화된 비디오 데이터 처리 방법.
제1항에 있어서,
상기 스코어링 함수들은 변환-히스토리 스코어(H_i(n)), 변환-모션 스코어 (M_i(n)), 변환-특징 개수 스코어(F_i(n)), 및 변환-규모 스코어(E_i(n))를 포함하며,
상기 스코어링 함수들(H_i(n), M_i(n), F_i(n) 및 E_i(n)) 중 적어도 2개의 가장 높은 조합을 갖는 상기 변환(T_i(n))은 상기 주요 변환(P(n))으로서 선택되는 비디오 데이터 처리 방법.
제7항에 있어서, 상기 비디오 데이터 처리 방법은,
상기 주요 변환(P(n))을 카메라 움직임에 대해 보상하도록 처리하는 단계를 더 포함하는 비디오 데이터 처리 방법.
제1항에 있어서, 상기 비디오 데이터 처리 방법은,
상기 장면 내의 대형 이동 객체를 식별하는 단계; 및
상기 대형 이동 객체와 대응하는 주요 변환(P(n))을 제외하는(exclude) 단계를 더 포함하는 비디오 데이터 처리 방법.
제9항에 있어서, 상기 대형 이동 객체를 식별하는 단계는,
각 T_i(n)에 대해 존재하는 모션 그룹(existed motion group)의 히스토리와 존재하는 정적인 그룹의 장면 히스토리를 비교하는 단계를 포함하는 비디오 데이터 처리 방법.
제2항에 있어서, 상기 비디오 데이터 처리 방법은,
T_i(n)의 계산된 변환 품질(Q_i(n))이 소정의(preset) 문턱값(threshold)보다 작으면 TV-T_i(n) 중에서 상기 주요 변환(P(n))을 선택하는 단계를 더 포함하며,
상기 변환 품질(Q_i(n))은 상기 변환 점 그룹 내의 변환 점들의 개수와 FP-T_i(n)의 상기 변환 점 그룹의 상기 규모에 기초한 비디오 데이터 처리 방법.
제1사이즈를 갖는 픽셀 블록들에 기초하여 장면의 모션 벡터들의 제1그룹들을 저장하고 제2사이즈를 갖는 픽셀 블록들에 기초하여 상기 장면의 모션 벡터들의 제2그룹들을 저장하는 제1 메모리; 및
비디오 데이터 처리 방법을 수행하는 프로세서에 의해 실행되는 저장된 프로그램을 갖는 제2메모리를 포함하며,
상기 비디오 데이터 처리 방법은,
변환-히스토리 스코어들, 변환-모션 스코어들, 변환-특징 개수 스코어들, 및 변환-규모 스코어들 중에서 적어도 2개를 포함하는 스코어링 함수들을 이용해 상기 제1모션 벡터 그룹들의 상기 변환들 중에서 선택함으로써 제1주요 변환을 식별하는 단계; 및
상기 스코어링 함수들을 이용해 제2사이즈를 갖는 픽셀 블록들의 모션 벡터들의 제1 그룹들의 상기 변환들 중에서 선택함으로써 제2주요 변환을 식별하는 단계를 포함하는 이미지 처리 회로.
제12항에 있어서,
상기 제2사이즈를 갖는 상기 픽셀 블록들은 타일들이고,
모션 벡터들의 상기 제1그룹들은 T_i(n) 중에서 변환들 FP-T_i(n)을 갖는 특징점 모션 벡터들의 그룹들이고,
모션 벡터들의 상기 제2그룹들은 T_i(n) 중에서 변환들 TV-T_i(n)을 갖는 겹치지 않는 타일 모션 벡터들의 그룹들이며,
T_i(n)은 i(n은 시연속적인 성질을 의미한다.)번째 변환인 이미지 처리 회로.
제13항에 있어서,
변환-히스토리의 상기 함수는, 차이 |T_i(n)-P(n-k)|에 기초하여 T_i(n)과 P(n-k)사이의 코릴레이션(H_i,k(n))을 계산하는 단계를 포함하며,
T_i(n)의 변환-히스토리 스코어(H_i(n))은 1과 상기 변환-히스토리의 소정의 길이(HL) 사이의 모든 i에 대한 H_i _{, k}(n)의 가중 합인 전체 코릴레이션인 이미지 처리 회로.
제13항에 있어서,
상기 변환-모션 스코어링 함수는,
상기 변환의 상기 수평적인 선형 이동인 T_i(n)의 변환-모션 스코어(M_i(n)); 및
상기 범위 [0,1] 내에서 모션 스코어(M_i(n))은 비-선형적으로 표준화된 이미지 처리 회로.
제13항에 있어서,
상기 변환-특징 스코어링 함수는,
상기 변환과 관련된 변환 점들의 개수인 Ti(n)의 변환-특징 스코어(F_i(n))를 계산하는 단계를 포함하고,
변환-특징 스코어(F_i(n))은 상기 범위 [0,1] 내에서 비-선형적으로 표준화된 이미지 처리 회로.
제13항에 있어서,
상기 변환-규모 스코어링 함수는,
상기 변환 내의 상기 특징에 의해 커버되는 상기 영역인 T_i(n)의 변환-규모 스코어(E_i(n))를 계산하는 단계를 포함하며,
변환-규모 스코어(E_i(n))은 상기 범위 [0,1] 내에서 비-선형적으로 표준화된 이미지 처리 회로.
제12항에 있어서,
상기 스코어링 함수들(H_i(n), M_i(n), F_i(n) 및 E_i(n)) 중 적어도 2개의 가장 높은 조합을 갖는 상기 변환(T_i(n))은 상기 주요 변환(P(n))으로서 선택되는 이미지 처리 회로.
제18항에 있어서, 상기 이미지 처리 회로는,
상기 주요 변환(P(n))을 카메라 움직임에 대한 보상을 하도록 처리하는 단계를 더 포함하는 이미지 처리 회로.
제12항에 있어서, 상기 이미지 처리 회로은,
상기 장면 내의 대형 이동 객체를 식별하는 단계; 및
상기 대형 이동 객체와 대응하는 주요 변환(P(n))을 제외하는(exclude) 단계를 더 포함하는 이미지 처리 회로.
제20항에 있어서, 상기 대형 이동 객체를 식별하는 단계는,
각 T_i(n)에 대해 존재하는 모션 그룹의 히스토리와 존재하는 정적인 그룹의 장면 히스토리를 비교하는 단계를 포함하는 이미지 처리 회로.
제13항에 있어서, 상기 이미지 처리 회로는,
FP-T_i(n)의 변환을 갖는 특징점 그룹 내의 특징점들의 개수에 기초하고 FP-T_i(n)의 변환들을 갖는 상기 특징점 그룹의 상기 규모에 기초한 신뢰(confidence) 스코어가 소정의 문턱값보다 작으면, TV-T_i(n) 중에서 상기 주요 변환(P(n))을 선택하는 단계를 더 포함하는 이미지 처리 회로.
제20항에 있어서,
연속적인 정적인 모션 벡터 그룹 존재가 주로 정적인 배경(mostly stationary background)을 포함하는 존재하는 장면(existed scene)을 지시하면 주요 변환은 제외되고,
객체는 상기 장면 안으로 움직이는 것으로 감지되고,
시간 n에서 연속적인 유사한-속도의(similar-speed) 모션 벡터 그룹들은 상기 전체 장면을 커버하고,
상기 정적인 모션 벡터 그룹은 존재하는 것을 그만두는 이미지 처리 회로.
제1타임과 제2타임에서 장면의 이미지들을 캡쳐하고 상기 캡쳐된 이미지를 이미지 데이터의 제1 및 제2 프레임들로 변환하는 이미지 센서 회로;
이미지 처리 회로를 포함하며,
상기 이미지 처리 회로는,
제1사이즈를 갖는 픽셀 블록들에 기초하여 상기 장면의 모션 벡터들의 제1그룹들을 저장하고 제1사이즈를 갖는 픽셀 블록들에 기초하여 상기 장면의 모션 벡터들의 제2그룹들을 저장하는 제1메모리; 및
비디오 데이터 처리 방법을 수행하는 프로세서에 의해 실행되는 저장된 프로그램을 갖는 제2메모리를 포함하며,
상기 비디오 데이터 처리 방법은,
변환-히스토리 스코어들, 변환-모션 스코어들, 변환-특징 개수 스코어들, 및 변환-규모 스코어들 중에서 적어도 2개를 포함하는 스코어링 함수들을 이용해 상기 제1모션 벡터 그룹들의 상기 변환들 중에서 선택함으로써 제1주요 변환을 식별하는 단계; 및
상기 스코어링 함수들을 이용해 상기 제2모션 벡터 그룹들의 상기 변환들 중에서 선택함으로써 제2주요 변환을 식별하는 단계를 포함하는 카메라.
제24항에 있어서,
상기 스코어링 함수들은 연속적인 함수들인 카메라.