KR20080016696A - 이미지 처리를 위한 변환 파라미터들의 계산 - Google Patents

이미지 처리를 위한 변환 파라미터들의 계산 Download PDF

Info

Publication number
KR20080016696A
KR20080016696A KR1020077030811A KR20077030811A KR20080016696A KR 20080016696 A KR20080016696 A KR 20080016696A KR 1020077030811 A KR1020077030811 A KR 1020077030811A KR 20077030811 A KR20077030811 A KR 20077030811A KR 20080016696 A KR20080016696 A KR 20080016696A
Authority
KR
South Korea
Prior art keywords
vector field
axis
projection
parameters
vector
Prior art date
Application number
KR1020077030811A
Other languages
English (en)
Inventor
웨이 피. 리
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37125174&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20080016696(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20080016696A publication Critical patent/KR20080016696A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

발명은 변환 파라미터들을 획득하기 위한 방법에 관한 것이다. 카메라 움직임은 추정된 움직임 벡터들을 기술하는 움직임 벡터들의 벡터 필드를 제공하고, 적어도 하나의 축에 벡터 필드를 투사하고, 벡터 필드들의 투사로부터 변환 벡터 파라미터들을 도출함으로써 모델화될 수 있다. 카메라 움직임은 병진, 스케일 및 회전에 의해 모델화될 수 있기 때문에, 축 상에 벡터 필드의 투사들이 사용될 수 있다.
변환 벡터 파라미터, 벡터 필드, 병진 파라미터, 추정된 움직임 벡터, 회전 파라미터

Description

이미지 처리를 위한 변환 파라미터들의 계산{Calculating transformation parameters for image processing}
본 발명은 일반적으로 변환 파라미터들(transformation parameters)을 획득하기 위한 방법에 관한 것이다.
본 발명은 또한 변환 파라미터들을 획득하기 위한 컴퓨터 프로그램 및 컴퓨터 프로그램 제품에 관한 것이다. 또한, 본 발명은 변환 파라미터들을 획득하기 위한 디바이스, 및 비디오 압축 시스템들(video compression systems)에서 움직임 벡터 변환 파라미터들(motion vector transformation parameters)을 획득하기 위한 방법의 사용에 관한 것이다.
움직임 추정(motion estimation)은 이미지 처리의 많은 분야들에서 중요하다. 예를 들면, 비디오 압축 동안에, 연속적인 비디오 프레임들에서 화소 값들을 예측하는 것이 필요하다. 예측은 화소값들을 전송 채널을 통해 전송하지 않고 수신기에서 화소 값들을 계산하게 한다. 예측의 목적은 수신기가 최상의 가능한 이미지를 계산하게 하기 위해서 실제 화소값들과의 전체 차이가 최소화되는 것이다. 예측된 화소 값들에서 최소화된 전체 차이로, 현저하게 감소된 데이터량이 코딩되고 원 프레임의 재구성을 위해 전송되어야 한다.
이미지 데이터는 벡터 필드들 및 오차 또는 잔여량에 의해 예측된 값들을 포함한다. 잔여분의 량은 벡터 필드의 정확성에 좌우된다. 벡터 필드는 화소 값들의 움직임 모델의 디스크립션(description)이다.
벡터 필드를 획득하는 것은, de Haan, Biezen, "Sub-pixel motion estimation with 3-D recursive search block-matching", Signal Processing: Image Communications 6, 1994, pp. 229-239에 기술되어 있다.
그러나, 벡터 필드들로부터 변환 파라미터들을 획득하는 것은 계산 작업 면에서 고가이다.
그러므로, 본 발명의 하나의 목적은 감소된 계산 작업에 의해 변환 파라미터들을 획득하는 것을 제공하는 것이다. 본 발명의 다른 목적은 움직임 예측을 위한 최적화된 움직임 모델을 제공하는 것이다. 본 발명의 다른 목적은 이미지들의 개선된 압축을 제공하는 것이다.
본 발명의 이들 및 다른 목적들은 벡터 필터를 적어도 하나의 축 상에 투사하고, 상기 벡터 필드의 상기 투사로부터 상기 변환 파라미터들을 도출하여, 상기 벡터 필드로부터 변환 파라미터들을 획득하기 위한 방법에 의해 해결된다.
예를 들면, 이미지, 특히 비디오 이미지에서 추정된 움직임 벡터들을 기술하는 벡터 필드는 일반적인 움직임 예측 방법을 사용하여 획득될 수 있다. 변환 파라미터들로서, 예를 들면, 병진(translation), 스케일, 및 회전은 적어도 하나의 축 상에 벡터 필드를 투사함으로써 획득될 수 있다. 벡터 필드는 벡터들로 구성될 수 있다. 벡터들은 적어도 두 개의 성분들로서, 예를 들면, x-성분 및 y-성분으로 구성될 수 있다. x-성분은 y-성분에 수직일 수 있다. 벡터 필드는 대응 축들을 가지고, 좌표계 내에서 기술될 수 있다. 한 축은 x축일 수 있고, 다른 축은 y축일 수 있다. 이외 다른 좌표계들도 가능하다. 변환 파라미터들은 움직임 모델 파라미터들(motion model parameters)을 기술할 수 있다. 변환 파라미터들은 벡터 필드를 생성하는데 사용될 수 있다. 변환 파라미터들은, 벡터 필드가 축들 중 적어도 하나의 축에, 바람직하게는 두 축들에 투사될 때 쉽게 획득될 수 있다. 특히, 좌표계 내에 축들의 각각에 벡터 필드들 내 벡터들을 투사하고, 모든 도출된 함수들을 사용할 때, 변환 파라미터들이 쉽게 획득될 수 있다.
벡터들은 각 축마다 하나씩, 적어도 2개의 성분들로 구성될 수 있다. 성분들 각각은 좌표계 하나의 축에 평행일 수 있다. 그러면, 축들에의 투사는 벡터 필드 내 벡터들의 각각의 성분들을 획득할 수 있게 한다.
적어도 하나의 축에 벡터 필드를 투사함으로써, 변환 파라미터들은 분리될 수 있다. 예를 들면, 스케일 파라미터(scale parameter), 병진 파라미터(translation parameter), 및 회전 파라미터(rotation parameter)는 투사를 사용하여 분리될 수 있다. 이들 투사들 내에서 승수값들(multiplier values), 및 평균(mean) 값들이 획득할 수 있고, 이것은 대응하여, 이득, 예를 들면 스케일 파라미터, 또는 회전 파라미터, 및/또는 오프-셋, 예를 들면 병진 파라미터를 계산하는데 사용될 수 있다.
예를 들면, 애플리케이션들에서, 예를 들면, 자작 비디오 시퀀스가 안정화(stabilized)되어야 할 때, 움직임 모델 파라미터들을 취급하기가 더 쉬울 수 있다. 이것은 병진, 및 회전 파라미터들의 지식을 요구할 수 있다. 이들 파라미터들을 계산한 후에, 전체로서 이미지가 병진 및 회전될 수 있다. 이것은 개별적으로 벡터들을 취급하는 것보다 더 나은 결과들에 이르게 할 수 있다.
또한, 이와 같은 움직임 벡터 필드는 항시 정확한 것은 아닐 수 있고, 따라서, 실시예들에 따라 움직임 모델 파라미터들을 발견하는 것은 오차들로서, 예를 들면 편차들 및/또는 이상치들(outliers)을 평균할 수도 있을 것이다. 움직임 벡터 필드가 정확할 때, 시퀀스 내 객체들은 카메라 중 하나와는 다른 움직임을 가질 수도 있고, 이는 복잡한 움직임 벡터 필드가 될 것이다. 객체들의 움직임이 충분히 작다면, 앞서 언급한 바와 같은 이유로, 이들 객체들의 움직임이 애버리지가 취해질 수 있다. 일반적으로, 실시예들에 따른 움직임 모델 파라미터들은 전역 움직임(global motion)을 나타낼 수 있다.
투사들로부터, 총 변환 파라미터들이 획득할 수 있다. 예를 들면, 실시예들에 따라서, 모든 축들에 벡터들의 모든 투사들을 사용하여 변위 식이 계산될 수 있다. 변환 식의 행렬들은 미지의 원소들을 가지지만, 이들 원소들은 삼각 방정식(trigonometry equation)에 의해 획득할 수 있다. 예를 들면, 벡터 필드들의 투사들의 승수들, 및 평균 값들은 예를 들면, 이 라인까지의 거리의 최소 제곱 오차에 기초하여 선 부합(line fit)을 계산함으로써 곡선 부합 방법으로부터, 또는 다항식 부합 방법(polinominal fit method) 또는 지수함수적 부합 방법(exponential fit method)으로부터 획득할 수 있다. 이것은 이득 및 오프-셋 즉 스케일/회전 및 병진을 계산할 수 있게 할 수 있다. 이러한 실시예는 복잡성에 대해 최적화된, 즉 구현이 간단하고 실행이 고속인 예이다. 실시예의 출력은 오프-셋 및 이득일 수 있다.
다른 실시예들에 따라서, 이들 값들은 투사들의 프리미티브 함수(primitive function)를 사용하여 획득할 수 있다. 프리미티브 함수들은 실시예들에 따라 오일러 방법(Euler method)을 사용하여 얻어질 수 있다.
프리미티브 함수들을 사용하여 투사의 면적이 계산될 수 있고, 이것은 승수에 관계된다. 평균값 또는 병진 파라미터가 무시된다면, 투사의 총 면적은 프리미티브 함수의 극값에 관계된다. 프리미티브 함수의 극값은 이 함수의 도함수가 제로인 점 상에 놓일 수 있다. 일단 프리미티브 함수의 극값이 발견되면, 승수 값이 계산될 수 있다.
움직임은 흔히 병진, 스케일, 및 회전에 의해 모델화되고 이 움직임은 대부분 카메라 움직임에 의해 유발되므로, 병진 파라미터들은, 실시예들에 따라, 카메라 움직임의 전역 모델을 나타낸다.
또한, 실시예들에 따라, 순환(recursive) 방법도 가능할 수 있다. 벡터 변환 파라미터들에 기초한 벡터 필드는 재구성될 수 있고, 벡터 필드를 계산하기 위한 초기 움직임 추정에 피드백될 수 있다.
다른 실시예는 순환 계산을 사용하여 변환 파라미터들을 계산하는 것을 제공할 수 있다. 변환 파라미터들은 위에 기술된 바와 같은 실시예들을 사용하여 얻어질 수도 있을 것이다. 그러면, 이들 파라미터들은 벡터 필드를 재구성하는데 사용될 수 있다. 이 재구성된 벡터 필드 내에서, 원 벡터 필드에서 아웃라이너들(outliners)이 확인될 수 있다. 이들 아웃라이너들은 마스킹될 수 있다. 벡터 필드에 마스킹된 이상치들로, 새로운 벡터 변환 파라미터들이 계산되어 더 나은 결과들을 얻을 수 있다.
본 발명의 다른 양태는 프로세서가 동작되었을 때, 상기 프로세서가, 벡터 필드를 획득하고, 상기 벡터 필드를 적어도 하나의 축에 투사하고, 상기 벡터 필드의 상기 투사로부터 상기 변환 파라미터들을 도출함으로써 변환 파라미터들을 얻도록 동작하는, 컴퓨터 프로그램이다.
본 발명의 다른 양태는 프로세서가 동작되었을 때, 상기 프로세서가, 벡터 필드를 획득하고, 상기 벡터 필드를 적어도 하나의 축에 투사하고, 상기 벡터 필드의 상기 투사로부터 상기 변환 파라미터들을 도출함으로써 변환 파라미터들을 획득하도록 동작하는 컴퓨터 프로그램을 구비한, 컴퓨터 프로그램 제품이다.
본 발명의 다른 양태는 벡터 필드를 획득하도록 구성된 추정 수단, 적어도 하나의 축에 상기 벡터 필드를 투사하게 구성된 투사 수단, 및 상기 벡터 필들의 상기 투사로부터 상기 변환 파라미터들을 도출하게 구성된 계산 수단을 포함하는, 변환 파라미터들을 획득하도록 구성된 디바이스이다.
본 발명의 다른 양태는 비디오 압축에 청구항 1에 따른 방법을 사용하는 것이다.
발명의 이들 및 다른 양태들은 다음 도면들로부터 명백할 것이며 이들을 참조로 설명될 것이다.
도 1은 실시예들에 따른 발명의 방법의 흐름도.
도 2는 실시예들에 따른 발명의 방법을 제공하기 위한 디바이스를 도시하는 도면.
도 3은 x축 및 y축 상의 벡터 x-성분들의 투시도.
도 4는 x축 및 y축 상의 벡터 y-성분들의 투시도.
도 5는 벡터 필드의 스케일 변환의 예시도.
도 6은 벡터 필드의 회전 변환의 예시도.
도 7은 이득과 투사 함수간의 관계의 예시도.
도 1은 비디오 이미지들로부터 변환 파라미터들을 획득하기 위한 방법의 흐름도를 도시한다.
대다수의 화소 움직임은 카메라 이동들에 의해 야기된다. 그러므로, 움직임 추정을 개선하는 하나의 방법은 카메라의 전역 움직임 모델을 제공하는 것이다.
이 움직임은 병진 값, 스케일 값 및 회전 값에 의해 모델링될 수 있다. 병진, 스케일 및 회전은 이하 설명될 수학적 모델들에 의해 기술될 수 있다. 다음에서, 변수들은 다음과 같다:
vq(bx, by) : 위치(bx, by) 상의 벡터의 q-성분
pvq(r) : r의 함수로서 벡터들의 q-성분의 투사
bq: 벡터 필드에 벡터 인덱스
Nbq: q 방향으로 벡터들의 수
q 및 r: 이것은 x 또는 y이다.
x: 벡터 필드의 x-축 성분
y: 벡터 필드의 y-축 성분
x': 움직임 추정 후에 벡터 필드의 변환된 x-성분
y': 움직임 추정 후에 벡터 필드의 변환된 y-성분
Θ : 회전 각
s: 스케일 파라미터
t: 병진 파라미터
축의 원점이 이미지 프레임의 중심에 있다고 하면, 병진은 다음과 같이 기술될 수 있다.
Figure 112007094524386-PCT00001
스케일 변환은 다음과 같이 기술될 수 있다.
Figure 112007094524386-PCT00002
특히 비디오 처리 분야에서 스케일 파라미터는 흔히, 카메라들의 광학적 특성들 및 1인 화소 애스펙트 비(pixel aspect ratio)에 의해 정의될 수 있다. 이 경우, 스케일 파라미터 s는 단일 파라미터일 수 있다. 그러면, 위의 식은 다음 식 으로 된다.
Figure 112007094524386-PCT00003
카메라의 회전은 다음 식에 의해 기술될 수 있다.
Figure 112007094524386-PCT00004
전체 변환은 다음 식에 따라, 회전, 스케일 및 병진에 의해 기술될 수 있다.
Figure 112007094524386-PCT00005
변환 파라미터들을 계산하기 위해서, 움직임 추정된 벡터들의 벡터 필드가 필요하다. 그러므로, 이 벡터 필드는 일반적으로 공지된 방법들에 따라 계산된다(100). 이러한 벡터 필드로, x-축 상에 벡터 필드의 x-성분의 투사(102)가 수행된다. 이 투사는 다음과 같이 기술될 수 있다.
Figure 112007094524386-PCT00006
벡터 필드의 x-성분은 또한 투사가 다음과 같이 기술될 수 있는 y-축(104)에 투사될 수 있다.
Figure 112007094524386-PCT00007
축들 상에 x-성분들의 투사가 도 3에 도시되었다. 추정된 움직임 벡터들 V(x,y)(302)과 함께 벡터 필드(300)가 도시되었다. 각각의 벡터 V(x,y)(302)는 x- 성분들(302a) 및 y-성분들(302b)로 분할될 수 있다. 이미지는 열들(304) 및 행들(306)로 구획될 수 있다.
각 열(304)은 x축에 투사될 수 있다. 열들(304) 각각에 모든 벡터들의 벡터 x-성분들의 평균은 투사 pvx(열)로서 간주된다. 모든 열들에 대한 투사는 투사 함수 pvx(x)(308)이 된다.
각 행(306)은 y축에 투사될 수 있다. 행들(306) 각각에 모든 벡터들의 벡터 x-성분들의 평균은 투사 pvx(행)로서 간주된다. 모든 행들에 대한 투사는 투사 함수 pvx(y)(310)이 된다.
결과적인 투사 함수들 pvx(x)(308), 및 pvx(y)(310)은 움직임 추정된 벡터 필드(300)에서 벡터들의 x-성분들의 평균값들을 나타낸다.
벡터 필드의 x-성분들 외에도, 벡터 필드의 y-성분들도 또한 투사될 수 있다. x-축 상에 투사(106)는 다음과 같이 기술될 수 있다.
Figure 112007094524386-PCT00008
그리고 y-축 상에 투사(108)는 다음 식에 의해 기술될 수 있다.
Figure 112007094524386-PCT00009
축들 상에 y-성분들의 투사가 도 4에 도시되었다. 동일 참조부호는 동일 요소들을 지칭하며, 예를 들면 400은 300을 지칭하는 것 등이다.
벡터 필드(400)가 추정된 움직임 벡터들 V(x,y)(402)로 도시되었다. 각각의 벡터 V(x,y)(402)는 x-성분들(402a) 및 y-성분들(402b)로 분할될 수 있다. 이미지는 열들(404) 및 행들(406)로 구획될 수 있다.
각 열(404)은 x축에 투사될 수 있다. 열들(404) 각각에 모든 벡터들의 벡터 y-성분들의 평균은 투사 pvy(열)로서 간주된다. 모든 열들에 대한 투사는 투사 함수 pvy(x)(408)이 된다.
각 행(406)은 y축에 투사될 수 있다. 행들(306) 각각에 모든 벡터들의 벡터 y-성분들의 평균은 투사 pvy(행)로서 간주된다. 모든 행들에 대한 투사는 투사 함수 pvy(y)(410)이 된다.
결과적인 투사 함수들 pvx(x)(308), 및 pvy(y)(310)은 벡터 필드(300)에서 벡터들의 x-성분들의 평균값들을 나타낸다.
벡터 필드에 스케일 변환 및 병진을 적용할 때, 다음과 같이 다시 쓸 수 있다.
Figure 112007094524386-PCT00010
x축 상의 스케일 및 병진된 x-성분의 투사는 다음과 같이 기술될 수 있다.
Figure 112007094524386-PCT00011
이것은 x의 1차 함수이고, 스케일 파라미터 s는 승수이며 병진 tx은 평균값과 같다.
또한, y축 상에 벡터 필드의 x-성분의 투사는 다음 식을 나타낼 수 있다.
Figure 112007094524386-PCT00012
여기서, 병진 tx은 상수이다. 또한, x축 상에 벡터 필드의 y성분의 투사는 다음 식을 나타낼 수 있다.
Figure 112007094524386-PCT00013
여기서, 병진 ty은 상수이다. 결국, y축 상에 벡터 필드의 y성분의 투사는 다음 식을 나타낼 수 있다.
Figure 112007094524386-PCT00014
이것은 y의 1차 함수이다. 여기서, 스케일 파라미터 s는 승수이고 병진 ty는 평균 값과 같다. 위의 식들은 병진 및 스케일 파라미터들이 축들 상의 벡터 필드의 투사들의 특성들로부터 도출될 수 있음을 보여준다. 이득/승수(tanφ)는 스케일 파라미터 또는 회전 파라미터에 관계되고, 투사 함수의 평균값은 병진을 나타낼 수 있다.
병진 및 스케일 변환 외에도, 카메라 회전도 기술될 수 있다. 회전에 기인한 벡터 필드의 변위는 다음 식에 의해 기술될 수 있다.
Figure 112007094524386-PCT00015
R은 회전 행렬에 관계되고, I은 단위 행렬 및 T는 병진이다.
x축 상의 벡터 필드의 x-성분의 투사는 다음 식에 의해 기술될 수 있다.
Figure 112007094524386-PCT00016
y축 상에 벡터 필드의 x-성분의 투사는 다음 식에 의해 기술될 수 있다.
Figure 112007094524386-PCT00017
x축 상에 벡터 필드의 y-성분의 투사는 다음 식에 의해 기술될 수 있다.
Figure 112007094524386-PCT00018
그리고 y축 상에 벡터 필드의 y-성분의 투사는 다음 식에 의해 기술될 수 있다.
Figure 112007094524386-PCT00019
이상으로부터, 벡터 필드의 투사의 특성들에 의해 회전이 결정될 수 있는 것이 명백하다. 투사들 각각은 변환 파라미터로서 승수 및 회전으로 구성된다.
전체 변환은 다음 변위 식에 의해 기술될 수 있다.
Figure 112007094524386-PCT00020
변환 행렬의 원소들 s 및 θ은 다음과 같이 나타낼 수 있다.
Figure 112007094524386-PCT00021
이들 파라미터들은 삼각 방정식으로부터 결정될 수 있다.
Figure 112007094524386-PCT00022
축 상에 벡터 성분들의 투사들을 계산한 후에, 투사들의 승수 및 평균 값들은 변환 파라미터들을 획득하기 위해 계산될 수 있다(110).
투사 함수들에 스케일 병진의 관련성이 도 5에 도시되었다. 이미지가 줌잉(zooming)을 통해 스케일 병진된 벡터 필드(500)가 도시되었다. x축에 x-성분들의 투사 함수 pvx(x), 및 y축에 y-성분들의 투사 함수 pvy(y)로부터 알 수 있는 바와 같이, 스케일 팩터 s는 투사 함수의 각 φ에 밀접히 관계되어 있다. 관계는 tanφ=(s-l)이다. 스케일링은 x축에 y-성분들의 투사 함수 pvy(x), 및 y축에 x-성분들의 투사 함수 pvx(y)에 영향을 미치지 않는다.
투사 함수들에 회전 병진의 관련성이 도 6에 도시되었다. 이미지가 각 θ만 큼 회전 병진된 벡터 필드(600)가 도시되었다. 회전으로부터 알 수 있듯이 x축에 x-성분의 투사 함수 pvx(x)의 각 φ1, 및 x축에 y-성분의 투사 함수 pvy(y)의 각 φ2에 밀접히 관계되어 있다. 또한, 회전은 y축에 x-성분의 투사 함수 pvx(y)의 각 φ2, 및 y축에 y-성분의 투사 함수 pvy(y)의 각 φ1에 밀접히 관계되어 있다. 관계는 tanφ1=cosθ-1 및 tanφ2=sinθ이다.
이들 이득 및 승수 값들은 투사들의 프리미티브 함수를 사용함으로써 획득될 수 있다. 프리미티브 함수로, 승수에 관계된 투사 면적이 결정될 수 있다. 평균 값 또는 병진 파라미터를 무시하는 것은 투사의 총 면적이 프리미티브 함수의 극값에 관계되는 결과가 된다.
투사 함수들에서 평균값들을 감하면, 프리미티브 함수들의 극점들이 얻어질 수 있고, 이것은 이득 및 승수를 계산할 수 있게 한다. 예를 들면, 도 7은 투사 함수와 이득/승수간 관계를 도시한 것이다. x축 상에 x-성분들의 투사 함수 pvx(x)이 도시되었다(700). 먼저, 평균값 tx이 병진을 나타내기 때문에, 이 값이 소거될 수 있다. 결과적인 함수(702)는 이득만을 나타낼 수도 있다.
함수(702)의 면적은 이득에 관계될 수 있다. 순환 가산기(recursive adder)에 의해 오일러 방법을 사용하여 함수(702)를 적분하면 프리미티브 함수(704)가 될 수 있다. 함수(702)의 최대는 이득에 관계될 수 있다.
이를 항들에 넣으면, 예를 들면, x축에 투사된 벡터 필드의 x-성분만을 고찰 하였을 때, 다음과 같이 되고,
Figure 112007094524386-PCT00023
여기서, bsx는 벡터들의 연관된 블록 크기이다. 프리미티브 함수의 극값은 이의 도함수가 제로인 점 상에 있다. 이 경우, 이것은 제로이다. 점 제로에서, 프리미티브 함수는 다음과 같다.
Figure 112007094524386-PCT00024
이것은 일단 프리미티브 함수의 극값이 발견되면, 위의 식에 의해 승수가 계산될 수 있음을 의미한다. 다른 축들에 투사들은 모든 다른 값들을 얻는데 사용될 수 있다.
도 2는 병진 파라미터의 계산을 수행하기 위한 디바이스를 도시한 것이다. 입력 비디오 신호는 단자(200)에 입력된다. 움직임 추정 회로(202) 내에서, 움직임 벡터들이 추정된다. 움직임 벡터 추정은 입력 비디오 신호의 연속한 프레임들에 수행될 수 있다. 예를 들면, 연속한 3개의 이미지들을 사용함으로써 2개의 연 속한 프레임들에 대한 화소들의 움직임 벡터가 결정될 수 있다. 추정된 움직임 벡터들을 사용하여, 움직임 추정기(202)는 화소들의 움직임을 기술하는 벡터 필드를 출력한다. 이 출력은 투사 회로(204)에 공급된다. 투사 회로(204)는 움직임 벡터들의 성분들을 좌표시스템의 축들에 투사한다. 투사 회로(204)의 출력은 각각의 축 상에 움직임 벡터들의 대응하는 투사들의 값들이다. 이 투사는 병진 파라미터들을 얻기 위해서 계산 회로(206) 내에서 사용된다. 계산 회로(206)에서, 벡터 필드들의 투사들의 승수들 및 평균 값들이 계산된다. 이것은 다항식 부합 방법 또는 투사의 프리미티브 함수를 사용하여 행해질 수 있다. 이것은 오일러 방법을 사용하여 행해질 수도 있다. 계산 회로(206)의 출력은 카메라 움직임의 움직임 모델을 기술하기 위한 변환 파라미터들이다.
변환 모델의 정확성은 벡터 필드의 정확성에 달려있다. 또한, 벡터 필드의 일관성에도 의존한다. 변환 모델의 정확성은 카메라 움직임이 아닌 이동하고 있는 프레임 내 객체들에 의해 감소한다.
파라미터들은 출력 단자(208)에서 출력된다.

Claims (18)

  1. 벡터 필드로부터 변환 파라미터들을 획득하는 방법에 있어서,
    상기 벡터 필터를 적어도 하나의 축 상에 투사하는 단계,
    상기 벡터 필드의 상기 투사로부터 상기 변환 파라미터들을 도출하는 단계를 포함하는, 변환 파라미터 획득 방법.
  2. 제 1 항에 있어서,
    상기 벡터 필드는 이미지 내 움직임을 기술하는 추정된 움직임 벡터들에 의해 기술되는, 변환 파라미터 획득 방법.
  3. 제 1 항에 있어서,
    상기 벡터 필드는 적어도 하나의 제 1 성분 및 적어도 하나의 제 2 성분을 갖는 벡터들을 포함하고, 상기 제 1 성분은 제 1 축에 평행하고 상기 제 2 성분은 제 2 축에 평행한, 변환 파라미터 획득 방법.
  4. 제 3 항에 있어서,
    적어도 하나의 축에 적어도 하나의 성분을 투사하는 것은 적어도 스케일 파라미터를 분리하는, 변환 파라미터 획득 방법.
  5. 제 4 항에 있어서,
    상기 스케일 파라미터는 적어도 하나의 축 상에 투사(들)의 적어도 하나의 승수로부터 계산되는, 변환 파라미터 획득 방법.
  6. 제 3 항에 있어서,
    상기 적어도 하나의 축 상에 적어도 하나의 성분을 투사하는 것은 적어도 병진 파라미터를 분리하는, 변환 파라미터 획득 방법.
  7. 제 6 항에 있어서,
    상기 병진 파라미터는 하나의 축 상에 상기 투사의 평균값으로부터 계산되는, 변환 파라미터 획득 방법.
  8. 제 3 항에 있어서,
    적어도 하나의 축 상에 적어도 하나의 성분을 투사하는 것은 적어도 회전 파라미터를 분리하는, 변환 파라미터 획득 방법.
  9. 제 8 항에 있어서,
    상기 회전 파라미터는 적어도 하나의 축 상에 투사(들)의 적어도 하나의 승수로부터 계산되는, 변환 파라미터 획득 방법.
  10. 제 1 항에 있어서,
    상기 변환 파라미터들은 상기 투사들에 적용되는 곡선 부합 알고리즘(curve fit algorithm)으로부터 획득되는, 변환 파라미터 획득 방법.
  11. 제 1 항에 있어서,
    상기 변환 파라미터들은 상기 투사들의 프리미티브 함수들(primitive functions)로부터 획득되는, 변환 파라미터 획득 방법.
  12. 제 11 항에 있어서,
    상기 프리미티브 함수는 오일러 함수(Euler function)인, 변환 파라미터 획득 방법.
  13. 제 11 항에 있어서,
    적어도 하나의 파라미터는 상기 프리미티브 함수의 극값으로부터 계산되는, 변환 파라미터 획득 방법.
  14. 제 1 항에 있어서,
    상기 병진 파라미터들은 카메라 움직임의 전역 모델을 나타내는, 변환 파라미터 획득 방법.
  15. 프로세서가 동작되었을 때, 상기 프로세서가 변환 파라미터들을 획득하게 하도록 동작가능한 컴퓨터 프로그램에 있어서,
    상기 프로세서는,
    벡터 필드를 획득하고,
    상기 벡터 필드를 적어도 하나의 축에 투사하고,
    상기 벡터 필드의 상기 투사로부터 상기 변환 파라미터들을 도출함으로써 상기 변환 파라미터들을 획득하게 하는, 컴퓨터 프로그램.
  16. 프로세서가 동작되었을 때, 상기 프로세서가 변환 파라미터들을 획득하게 하도록 동작하는 컴퓨터 프로그램을 구비한 컴퓨터 프로그램 제품에 있어서,
    상기 프로세서는,
    벡터 필드를 획득하고,
    상기 벡터 필드를 적어도 하나의 축에 투사하고,
    상기 벡터 필드의 상기 투사로부터 상기 변환 파라미터들을 도출함으로써 상기 변환 파라미터들을 획득하게 하는, 컴퓨터 프로그램 제품.
  17. 변환 파라미터들을 획득하도록 구성된 디바이스에 있어서,
    벡터 필드를 획득하도록 구성된 추정 수단,
    적어도 하나의 축에 상기 벡터 필드를 투사하도록 구성된 투사 수단, 및
    상기 벡터 필들의 상기 투사로부터 상기 변환 파라미터들을 도출하도록 구성 된 계산 수단을 포함하는, 변환 파라미터들을 획득하도록 구성된 디바이스.
  18. 비디오 압축에 제 1 항에 따른 방법의 사용.
KR1020077030811A 2005-05-31 2006-05-19 이미지 처리를 위한 변환 파라미터들의 계산 KR20080016696A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05104670.4 2005-05-31
EP05104670 2005-05-31

Publications (1)

Publication Number Publication Date
KR20080016696A true KR20080016696A (ko) 2008-02-21

Family

ID=37125174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077030811A KR20080016696A (ko) 2005-05-31 2006-05-19 이미지 처리를 위한 변환 파라미터들의 계산

Country Status (7)

Country Link
US (1) US8442118B2 (ko)
EP (1) EP1891809B1 (ko)
JP (1) JP2008542896A (ko)
KR (1) KR20080016696A (ko)
CN (1) CN101189878B (ko)
RU (1) RU2407058C2 (ko)
WO (1) WO2006129224A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477009B1 (ko) * 2008-02-22 2014-12-29 삼성전자 주식회사 고속 움직임 추정 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1891809B1 (en) 2005-05-31 2016-11-23 Entropic Communications, Inc. Calculating transformation parameters for image processing
EP2867861B1 (en) * 2012-06-27 2017-02-22 Koninklijke Philips N.V. Motion parameter estimation
KR102264840B1 (ko) 2014-11-27 2021-06-15 삼성전자주식회사 비디오 프레임 인코딩 회로, 그것의 인코딩 방법 및 그것을 포함하는 비디오 데이터 송수신 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2222500A (en) * 1988-09-05 1990-03-07 Philips Electronic Associated Picture motion measurement
RU2096927C1 (ru) 1994-10-05 1997-11-20 Самарский государственный технический университет Устройство измерения параметров движения объектов
JPH1098729A (ja) * 1996-09-20 1998-04-14 Hitachi Ltd フレーム間予測画像の合成方法
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
EP0897247A3 (de) * 1997-08-14 2001-02-07 Philips Patentverwaltung GmbH Verfahren zur Berechnung von Bewegungsvektoren
JPH11331851A (ja) * 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 低ビットレート動画符号化装置
US6298144B1 (en) 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
GB9920256D0 (en) 1999-08-26 1999-10-27 Wave Limited M Motion estimation and compensation in video compression
US6809758B1 (en) 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
JP2002042120A (ja) * 2000-07-24 2002-02-08 Mitsubishi Electric Corp 画像処理装置
JP4452012B2 (ja) 2002-07-04 2010-04-21 ヒューレット・パッカード・カンパニー 文書の特有性評価方法
US20040160974A1 (en) * 2003-02-13 2004-08-19 Read Christopher Jensen Method and system for rapid channel change within a transport stream
EP1891809B1 (en) 2005-05-31 2016-11-23 Entropic Communications, Inc. Calculating transformation parameters for image processing
US8713195B2 (en) * 2006-02-10 2014-04-29 Cisco Technology, Inc. Method and system for streaming digital video content to a client in a digital video network

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477009B1 (ko) * 2008-02-22 2014-12-29 삼성전자 주식회사 고속 움직임 추정 방법 및 장치

Also Published As

Publication number Publication date
JP2008542896A (ja) 2008-11-27
US20080205525A1 (en) 2008-08-28
WO2006129224A1 (en) 2006-12-07
RU2407058C2 (ru) 2010-12-20
EP1891809A1 (en) 2008-02-27
CN101189878A (zh) 2008-05-28
EP1891809B1 (en) 2016-11-23
CN101189878B (zh) 2010-10-27
RU2007144502A (ru) 2009-06-10
US8442118B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
Hoetter Differential estimation of the global motion parameters zoom and pan
US6285711B1 (en) Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
EP0902395B1 (en) Linear estimation method for three-dimensional position with affine camera correction
US7227896B2 (en) Method and apparatus for global motion estimation
US10453207B2 (en) Method and system for global motion estimation and compensation
WO2010080168A1 (en) One step sub-pixel motion estimation
KR20080029080A (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
US20040057520A1 (en) System and method for predictive motion estimation using a global motion predictor
JP2007502053A (ja) 動き推定方法及び装置
JP4887376B2 (ja) ステレオビジョンにおいて密な視差場を求める方法
US7333133B2 (en) Recursive least squares approach to calculate motion parameters for a moving camera
EP1925160A2 (en) Integrated spatial-temporal prediction
JPH1125277A (ja) 画像間対応検出方法およびその装置
JP2005513929A5 (ko)
KR20080016696A (ko) 이미지 처리를 위한 변환 파라미터들의 계산
KR20090065214A (ko) 스테레오 비전 시스템 및 이의 영상 처리 방법
US9369707B2 (en) Global motion vector estimation
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
JP4052588B2 (ja) 動き予測情報検出装置
Park et al. Estimating camera parameters from motion vectors of digital video
JPH07244735A (ja) ３次元形状復元方法および装置
KR101477009B1 (ko) 고속 움직임 추정 방법 및 장치
Nakazawa et al. A simple cue-based method for camera calibration and 3-D shape measurement with a single moving camera
Pushpa et al. Iterative affine transform (IAT) based block matching motion estimation
US20130243336A1 (en) Method for coding and reconstructing a pixel block and corresponding devices

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid