KR19980079373A - 옵티컬 플로우를 예측하는 국부 이장 방법 - Google Patents

옵티컬 플로우를 예측하는 국부 이장 방법 Download PDF

Info

Publication number
KR19980079373A
KR19980079373A KR1019970047795A KR19970047795A KR19980079373A KR 19980079373 A KR19980079373 A KR 19980079373A KR 1019970047795 A KR1019970047795 A KR 1019970047795A KR 19970047795 A KR19970047795 A KR 19970047795A KR 19980079373 A KR19980079373 A KR 19980079373A
Authority
KR
South Korea
Prior art keywords
equation
optical flow
frame
poisson equation
predicting
Prior art date
Application number
KR1019970047795A
Other languages
English (en)
Other versions
KR100243137B1 (ko
Inventor
김종대
박계호
박동식
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Publication of KR19980079373A publication Critical patent/KR19980079373A/ko
Application granted granted Critical
Publication of KR100243137B1 publication Critical patent/KR100243137B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 옵티컬 플로우(Optical flow)을 예측하는 국부 이장 방법이 개시된다. 푸아송 방정식을 이용하여 옵티컬 플로우(Optical flow) 예측하는 국부 이장 방법은 상기 푸아송 방정식을 시간변화에 따라 Gx = Ex + b와 같은 선형 매트릭스 형태로 지정하는 과정; 상기 지정된 푸아송 방정식의 속도 결합항을 분리하는 과정; 및 상기 속도 결합항이 분리된 푸아송 방정식에 시간적인 변화도인 대치된 프레임차를 적용하는 과정을 포함한다.
따라서, 본 발명에 의하면, 종래의 옵티컬 플로우의 예측방법에 비해 빠른 수렴 속도를 가지며, 대치된 프레임 차 개념을 적용할 경우 수렴값이 정확하며, 픽셀마다 동작 예측이 가능하므로 정확한 동작예측을 하면서 동시에 화질을 향상시킬 수 있으며, 계층적인 비디오 부호화에 적용시 종래의 표준화는 달리 동작 벡터의 일부만 즉, 로우 밴드(low band)의 동작벡터를 이용함으로써 압축 이득을 얻는 효과를 갖는다.

Description

옵티컬 플로우를 예측하는 국부 이장 방법
본 발명은 옵티컬 플로우(Optical flow)를 예측하는 국부 이장 방법(Local Relaxation method ; 이하 LR 이라 함)에 관한 것으로서, 더욱 상세하게는 푸아송 방정식(Poisson equation)의 분리(이하 분리로 표기한다.)를 통해 옵티컬 플로우(Optical flow)를 예측하는 국부 이장 방법에 관한 것이다.
최근 옵티컬 플로우를 예측하는 국부 이장 방법의 적용은 Gauss-Seidel 방법보다 더 낮은 수행력을 갖는 것으로 나타난다. 그러나 LR의 직접적인 적용은 옵티컬 플로우 예측문제갚으로 된 푸아송 방정식이 결합되어 있기 때문에 상대적으로 낮은 수렴도를 갖는다. 국부 이장 알고리즘(LR)은 연속적인 영사 프레임에 있어서, 휘도패턴의 뚜렷한 속도분야인 옵티컬 플로우를 예측에 대해 좋은 수행력을 갖는다. LR은 조정 파라메터에 민감하지 않는 멀티스케일(Multiscale) 접근방법을 이용한 새로운 조정 방법에도 적용될 수 있다. LR은 공간적으로 연속변환하는 이장 파라메터를 갖는 연속적인 오버 이장(SOR)의 일종으로서, 옵티컬 플로우 예측에 적용함에 있어 Gauss-Seidel(GS) 이장보다 낫다. 그러나, LR의 옵티컬 플로우 필드의 두 속도 성분이 본질적으로 푸아송 방정식에 한 식으로 결합되어 있기 때문이다. 이 푸아송 방정식을 분리하는 것은 결합된 각각의 속도 성분이 국부 이장요인을 보다 잘 선택하기 위한 Jacobi 이장의 항으로 어떻게 표현할 수 있느냐에 따라 명백하게 될 것이다.
LR은 이 문제가 경계치 문제로 공식화되었다면, 옵티컬 플로우에 적용될 수 있다. 이 공식화는 국부 휘도 패턴이 연속적인 영상 프레임의 시간 인터벌 동안에 변화되지 않음을 가정한 다음의 수학식 1에 나타낸 휘도 강제 방정식(Brightness constraint equation)으로부터 시작된다.
[수학식 1]
I( x+δx, y+δy, t+δt) = I(x, y, t)
수학식 1 은 이미지 포인트(x, y)주변의 밀도 패턴이 그것의 패턴 변화없이 시간 인터벌 δt동안, (δx, δy)의 양에 의해 이동됨을 의미한다. 수학식 1 의 우측항을 전개하고 고차항을 무시하면 다음의 수학식 2 와 같은 수학식으로 표현할 수 있다.
[수학식 2]
I( x+δx, y+δy, t+δt) = I(x, y, t) + δx Ix+ δy Iy+ δt It
여기서, Ix, Iy및 It는 시간 t에서 위치(x, y) 의 밀도 패턴의 수평변화도, 수직변화도 및 시간적인 변화도를 각각 나타낸다.
수학식 1 과 수학식 2 을 결합하고, 결합된 수학식을 δt로 나누면, 밀도 패턴의 변화도와 속도간의 선형 관계 방정식은 다음의 수학식 3과 같이 표현된다.
[수학식 3]
Ixu + Iyv + It= 0
여기서, u, v 는 수평방향 속도와 수직방향 속도를 각각 나타낸다. 수학식 3은 국부 속도 벡터를 추정하는데 이용된다. 그러나, 휘도 강제 방정식은 잘 알려진 바와 같은 틈새기(aperture) 문제 때문에 일반적인 연속 이미지에 대한 바람직하지 않은 형태이다. 바람직하지 않는 형태를 공식화하기 위하여, 다음의 최적화 방정식이 갖는 평탄 강제(smoothness constraint)을 도입한 Horn과 Schunk가 찾아낸 방법을 다음의 수학식 4와 같이 나타낸다.
[수학식 4]
수학식 4의 2차항은 속도 분야의 평탄으로부터 편향을 어렵게 하고, 상수 α2는 두 강제(constraint)사이의 일치를 위한 것이다.
수학식 4 의 최적화 방정식으로부터 직접적으로 다음의 결합 푸아송 방정식이 생성된다.
[수학식 5]
여기서, α는 상수이며, 이와 같은 수학식 5를 옵티컬 플로우를 찾는 푸아송 방정식(Poisson equation)이라 하며, 결합된 푸아송 방정식의 각각은 Jacobi 이장(JR), Gayss Seidel 이장(GS), 연속적인 오버 이장(SOR)과 같은 대 선형 시스템의 역함수 문제에 대해, 반복적인 방법을 통해 해결될 수 있다. 수학식 4는 우측항에 공간 변화도로 인해 공간적으로 변화하는 계수를 갖고 있기 때문에 SOR에서 최적의 이장 파라메터를 정의하기는 어렵다. 이 경우 이 방정식을 해결하기 위해 반복적으로 LR을 적용한다.
수학식 5는 LR에 적용하기 전에 이 결과적인 방정식 중의 하나가 상수 이장계수를 갖는다는 사실에 의해 보다 낮은 수행력을 얻기 위한 단일 변환식(unitary transform)을 이용하여 분리할 수 있다. 이 방법은 비분리 방법과 유사한 수행력을 갖는다. 왜냐하면, 수학식 5의 결합항들은 최적의 평탄 상수 α이 매우 클 때 매우 작기 때문이다. 그 상수는 일반적으로 동작 강제(motion constraint)로부터 사실적인 동작 필드의 편향이 평탄강제로부터의 동작필드의 편향보다 더 크기 때문에 크다. 만약 동작 강제 에러를 축소하기 위해서 대치된 프레임 차를 사용한다면, 원하는 최적의 평탄 강제는 더욱 작아져서 분리의 효과는 무시될 수 없다.
이어서, 국부 이장 방법에 대해 설명한다. 수평, 수직 방향의 전진방향 쉬프트 연산자와 후진방향 쉬프터 연산자를 각각 Ex와 Ex -1(Ex와 Ex -1)라고 정의하면, 다음의 수학식 6과 같다.
[수학식 6]
여기서, h는 이산거리(discretization distance)를 나타낸다.
또한, 중복 쉬프트 연산자 E를 정의하면 다음의 수학식 7과같다.
[수학식 7]
수학식을 단순화시키기 위한 평탄(Smoothness) 상수에 의해 정규화된 변화도를 다음의 수학식 8과 같이 정의한다.
[수학식 8]
쉬프트 연산자 E 와 정규화된 변화도를 혼합하면, 수학식 5 는 다음의 수학식 9와 같이 표현된다.
[수학식 9]
수학식 9 의 결합항 즉, u 분야에 대한 rxryv을 무시하면, 수학식 9을 해결하기 위한 Jacobi 이장(JR)은 다음의 수학식 10과 같이 표현된다.
[수학식 10]
이 경우에, 각 요소의 Jacobi 연산자, Ju, Jv는 다음의 수학식 11과 같이 표현된다.
[수학식 11]
또한, 국부 스펙트럼 반경(local spectral radius)은 다음의 수학식 12와 같다.
[수학식 12]
여기서, 이미지의 크기가 M×N이면, pE는 다음의 수학식 13과 같이 표현된다.
[수학식 13]
수학식 13에 의해, 수평 동작속도 u는 수평변화도가 수직변화도보다 크거나 그 반대인 경우 수직 동작 속도보다 빠르게 수렴한다. Jacobi 연산자의 스펙트럼 반경범위가, 공간적 변화도에 따라 변하기 때문에, LR은 다음의 수학식 14와 같은 결과를 얻을 수 있다.
[수학식 14]
여기서, 국부 이장 파라메터는 다음의 수학식 14과 같이 주어진다.
[수학식 15]
상술한 바와 같이, 속도변수 u 와 v 및 t 가 서로 결합되어 있기 때문에 수학식 9에 국부이장방법(LR)의 직접적인 적용은 어떤값에 대한 수렴 속도가 늦어지는 단점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 푸아송 방정식(Poisson equation)의 속도 결합항을 분리한 후에 LR에 적용하여 빠른 수렴 속도를 가지면서 옵티컬 플로우(Optical flow)을 예측하는 국부 이장 방법을 제공하는 것을 그 목적으로 한다.
도 1 은 본 발명에 Ek른 푸아송 방정식을 이용하여 옵티컬 플로우(Optical flow)를 예측하는 국부 이장 방법을 설명하기 위한 흐름도이다.
도 2 는 평탄 압박(smoothness onstraint)에 따른 반복적인 특성을 나타낸 그래프이다.
도 3a 내지 도 3b는 인공적인 이미지 연속물 사인파의 첫번째 프레임과 그것의 인공적인 동작필드를 각각 나타낸 도면이다.
도 4a 내지 도 4b 는 도 3b 에 도시된 인공적인 동작필드를 갖는 실제 이미지 화면을 나타낸 도면으로서, 도 4a는 실제 구성 이미지 Pebbles를 나타내고, 도 4b는 도 3b에 도시된 동작필드를 갖는 이미지 Pebbles에 삽입된 두번째 프레임을 나타낸다.
도 5a 내지 도 5b는 평탄 상수에 의한 평균절대 에러를 나타낸 도면으로서,
도 5a 는 사인파 연속화면에 대한 결과를, 도 5b는 Pebbles 연속화면에 대한 결과를 나타낸다.
도 6a 내지 도 6b 는 인공적인 화면에 대한 각 방법에 대한 수렴속도를 나타낸 도면으로서, 도 6a 는 사인파 연속화면에 대한 결과를, 도 6b 는 Pebbles 연속화면에 대한 결과를 각각 나타낸다.
도 7a 내지 도 7b 는 자동차 연속화면 (car sequence)의 311번째 프레임과 312번째 프레임에서 얼굴 주변의 64×64을 분리한 화면을 각각 나타낸 도면이다.
도 8a 내지 도 8b 는 자동차의 연속화면의 얼굴 부분에 대한 결과를 나타낸 도면으로서, 도 8a 는 대치된 프레임 차의 MAE와 동작벡터변화도의 크기(실선곡선)간의 관계곡선과 그 곡률(점선곡선)의 상대적인 크기를, 도 8b의 추정된 동작필드 고정상태로의 수렴도를 각각 나타내는 그래프이다.
도 9a 내지 도 9f 는 얼굴부분에 대한 고정상태 동작 필드의 증명을 나타낸 도면으로서, 도 9a 는 311번째 프레임을, 도 9b 는 312프레임에 오버레이된 동작분야를, 도 9c 는 고정상태 동작 필드를 갖는 311번째 프레임으로부터 삽입된 프레임을, 도 9d 는 312번째 프레임과 312번째 프레임간의 프레임차을, 도 9f는 312번째 프레임과 삽입된 프레임간의 차이를 각각 나타낸다.
도 10a 내지 도 10b 는 자동차의 연속적인 화면의 311번째 프레임과 312번째 프레임의 창문 주변의 64×64 부분을 오려낸 부분을 각각 나타낸 도면이다.
도 11a 내지 도 11b 는 자동차 연속화면의 창부분에 대한 결과를 나타낸 도면으로서, 도 11a 는 대치된 프레임 차의 MAE와 동작벡터변화도의 크기(실선곡선)간의 관계곡선과 그 곡률(점선곡선)의 상대적인 크기를, 도 11b는 추정된 동작필드 고정상태로의 수렴도를 각각 나타낸다.
도 12a 내지 도 12f 는 창문부분에 대한 고정상태 동작 필드의 증명을 나타낸 도면으로서, 도 12a 는 311번째 프레임을, 도 12b는 312 프레임에 오버레이된 동작분야를, 도 12c 는 고정상태 동작 필드를 갖는 311번째 프레임으로부터 삽입된 프레임을, 도 12d는 312번째 프레임을, 도12e 는 311번째 프레임과 312번째 프레임간의 프레임 차를, 도 12f 는 312번째 프레임과 삽입된 프레임간의 차이를 각각 나타낸다.
도 13 은 본 발명에 따른 옵티컬 플로우 예측을 위한 옵티컬 플로우를 예측회로를 포함하는 DPCM 코더를 나타낸다.
도 14 는 본 발명에 따른 옵티컬 플로우 예측을 위한 옵티컬 플로우 예측회로를 포함하는 충돌 경보시스템을 나타낸다.
상기의 목적을 달성하기 위한 본 발명에 따른 푸아송 방정식을 이용하여 옵티컬 플로우(Optical flow)을 예측하는 국부 이장 방법은 상기 푸아송 방정식을 시간변화에 따라 Gx = Ex + b와 같은 선형 매트릭스 형태로 지정하는 과정; 상기 지정된 푸아송 방정식의 속도 결합항을 분리하는 과정; 및 상기 속도 결합항이 분리된 푸아송 방정식에 시간적인 변화도인 대치된 프레임차를 적용하는 과정을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 분리과정은 단일 변환함수를 이용함을 특징으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 비디오 데이터 코딩 장치는 이미지 연속화면의 비디에 데이터 표본의 프레임들을 둘 이상 받아들이는 입력수단; 및 상기 푸아송 방정식을 시간변화에 따라 Gx = Ex + b와 같은 선형 매트릭스 형태로 지정하는 수단, 상기 지정된 푸아송 방정식의 속도 결합항을 분리하는 수단, 상기 속도 결합항이 분리된 푸아송 방정식에 시간적인 변화도인 대치된 프레임 차를 적용하는 과정을 포함하는 옵티컬 플로우를 예측하는 수단을 포함하며, 상기 입력 수단에 결합되어 푸아송 방정식을 사용하여 비디에 데이터의 상기 프레임 안에서 옵티컬 플로우를 예측하는 옵티컬 플로우 예측 회로를 포함한다.
상기의 목적을 달성하기 위한 본 발명에 따른 충돌 경보 시스템은 이미지 연속화면의 비디에 데이터 표본의 프레임들을 둘 이상 받아들이는 입력 수단; 상기 푸아송 방정식을 시간변화에 따라 Gx = Ex + b와 같은 선형 매트릭스 형태로 지정하는 수단, 상기 지정된 푸아송 방정식의 속도 결합항을 분리하는 수단, 상기 속도 결합항이 분리된 푸아송 방정식에 시간적인 변화도인 대치인 프레임 차를 적용하는 과정을 포함하는 옵티컬 플로우를 예측하는 수단을 포함하며, 상기 입력 수단에 결합되어 푸아송 방정식을 사용하여 비디에 데이터의 상기 프레임 안에서 옵티컬 플로우를 예측하는 옵티컬 플로우 예측 회로; 상기 옵티컬 플로우 예측 회로의 출력과 결합되어 상기 이미지 연속 화면 안에서 하나 이상의 움직이는 물체의 구조를 추출해내는 구조 분석 회로; 상기 옵티컬 플로우 예측 회로의 출력과 결합되어 상기 이미지 연속 화면 안에서 상대적인 움직임을 지정하는 동작 분석 회로; 및 상기 구조 분석 회로와 동작 분석 회로의 출력과 결합되어 적어도 두 물체들 사이에 충돌이 생기려고 하는지 여부를 결정하고 그에 따라 충돌 경보 신호를 출력하는 추정 회로를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명한다.
옵티컬 플로우 예측을 위한 국부 이장 방법에 관한 본 발명은 DPCM 코더나 충돌 경보 시스템과 같은 비디에 의존 응용분야에 사용되는 비디에 데이터 코딩에 적용할 수 있다. 옵티컬 플로우의 예측은 다량의 데이터를 효과적으로 처리하고 많은 반복 단계들이 필요할 때 높은 계산력을 제공하는 데 있어서 필수적이다. 여기에 개시된 빠른 전환 알고리듬은 그러한 응용분야에 적합하다.
예를 들어, 도 13 은 비디에 디코딩에서 옵티컬 플로우 예측에 이용되는 기본적인 DPCM 코더를 나타낸다. 그 코더는 코드릴 이미지 연속 화면의 현재 프레임과 같은 입력을 받아들인다. 그 입력은 감산기(10)에 인가되는데, 감산기의 출력은 공간 코더(20)의 입력에 결합되어 있다. 공간 코더(20)의 출력은 비디에 디코더(도시되지 않음)와 공간 디코더(30)의 입력에 인가된다. 그 입력은 또한 아래에서 좀더 자세히 설명된 대로 본 발명에 따라 작동하도록 구성되어 있는 옵티컬 플로우 예측 회로(90)에 입력된다.
옵티컬 플로우 예측 회로(90)의 출력은 옵티컬 플로우 코더(80)에 인가되는데, 옵티컬 플로우 코더(80)의 출력은 비디에 디코더(도시되지 않음)와 옵티컬 플로우 디코더(70)에 인가된다. 옵티컬 플로우 디코더(70)의 출력은 동작 보상 회로(60)에 결합되어 있다. 동작 보상 회로(60)의 출력은 감산기(10)를 거쳐 상기 입력에서 감산되고 누적기(40)에 의해서 공간 디코더(30)의 출력에 합산된다. 누적기(40)의 출력은 프레임 메모리(50)에 인가되는데, 프레임 메모리(50)의 출력은 동작 보상 회로(60)와 옵티컬 플로우 예측 회로(90)의 입력에 결합된다.
도 13 을 참조하면, 현재의 프레임은 블록 동작 알고리듬(BMA) 이나 옵티컬 플로우 같은 동작 정보에 의해서 왜곡될 수 있는 재 구성된 전 프레임들에 의해 예상 가능하다. 동작 보상 회로(60)는 현재 프레임을 예상하기 위하여 재 구성된 전 프레임을 프레임 메모리(50)에서 왜곡시킨다. 예상된 프레임은 원래 입력된 프레임 보다 엔트로피가 적은 예상 에러 신호를 산출하는 감산기 예를 들어, 공간 코더(20)는 불연속 코사인 변형 discrete cosine transform(DCT)이나 파 변형 wavelet(10)에서 입력된 현재 프레임에서 감산된다. 상기 예상 에러 신호는 본 발명에서 잘 알려진 몇몇 알고리듬들 중 하나를 수행하는 공간 코더(20)에 의해서 압축된다.
드된 에러 신호는 현재의 프레임을 재구성하기 위하여, 디코드된 후 누적기(40)에서 왜곡된 전 프레임에 합산된다.
도 14 는 본 발명이 관련된 또 다른 실용적인 응용예를 나타낸다. 구체적으로, 도 14는 자동차에서 사용되는 충돌 감지 시스,템에서 옵티컬 플로우가 예측되는 충돌 경보 시스템을 나타낸다. 비디오에 데이터 연속화면이 옵티컬 플로우 예측회로(11)에 입력된다. 예측된 옵티컬 플로우는 구조 분석 회로(21)에 인가되고 움직이는 물체(예를들어, 차량)의 구조를 추출해내는데 이용된다. 각 물체의 움직임은 옵티컬 플로우 예측 회로(11)와 구조 분석 회로(21)의 출력과 결합되어 있는 동작 분석 회로(31)에서 분석된다. 주어진 장면과 동작에서 물체의 구조를 분석하는 동안, 구조 분석 회로(21)와 동작 분석 회로(31)는 서로 통신한다. 분석된 정보는 충돌 경보 신호를 출력하는 추정 회로(41)와 함께 충돌 경보 신호로 출력된다.
도 1 은 본 발명에 따른 푸아송 방정식을 이용하여 옵티컬 플로우(Optical flow)을 예측하는 국부 이장 방법을 설명하기 위한 도면이다.
먼저, 수학식 9 에 표현된 푸아송 방정식을 매트릭스 형태로 지정하여 속도 결합항을 전개한다.(S10단계) x =(u, v)t로서 속도요소에 의해 수학식 9 는 다음의 수학식 16과 같은 매트릭스 형태로 나타낼 수 있다.
[수학식 16]
Gx = Ex + b
여기서, 2×2 매트릭스 E, G 및 입력 벡터 b는 다음의 수학식 17과 같다.
[수학식 17]
여기서, 만약 공간 변화도가 둘 모두 제로이면, 다시 말해 실질적으로 α2보다 매우 낮으면, 각 요소의 고유함수는 정확하게 사인곡선이 되고 최종적인 Jacobi 이장 연산자는 하챦은 E 가 된다.
전개된 푸아송 방정식의 속도 결합항을 단일변환 함수를 이용하여 분리한다.(S12단계) 즉, 두 공간 변화도가 제로가 아니라고 가정하면, 매트릭스 G를 대각선화할 수 있는 단일 변환 매트릭스 U를 다음의 수학식 18과 같이 나타낼 수 있다.
[수학식 18]
여기서,이다.
그리고 벡터 x와 b는 다음의 수학식 19와 같이 변환된다.
[수학식 19]
수학식 19에서 변환된 동작벡터의 각 요소는 엣지 방향에 대등한 요소 xp와 보통의 요소 xN으로서 물리적인 의미를 갖는다.
단일변환U의 적용에 있어, 분리된 Jacobi 이장 방정식은 다음의 수학식 20과 같이 공식화된다.
[수학식 20]
만약, 속도 분야가 평탄화되어 국부영역에 선형적으로 접근된다면, 복잡한 쉬프트 연산자 매트릭스 UEUt는 분석 매트릭스의 요소가 복합 연산자 E로서 접근된다. 그 이유는 주변 픽셀을 통해 실제적으로 평균 처리를 하는 혼합 쉬프트 연산자에 의한 결합 영향이 직접적인 속도 요소에 의해 처리되는 결합 영향이 더 적기 때문이다. 결국적으로, 각 요소는 다음의 수학식 21를 만족한다.
[수학식 20]
수학식 21에서 속도의 병렬 요소는 동차 방정식(homegeneous difference equation)의 Jacobi 이상 연산자가 E가 되고, 정상요소에 대한 Jacobi 연산자가가 됨을 만족한다.
그러므로, 상수 최적의 이장 요징늘 갖는 SOR은 병렬적인 요소에 적용될 수 있고, LR은 공간적으로 변화하는 계수를 갖는 정상 요소에 적용될 수 있다.
[수학식 22]
여기서, 각 국부 이장 파라메터는 다음의 수학식 23과 같다.
[수학식 23]
각 벡터들이 각각으로부터 개별적인 변환이 될 수 있어, 벡터 (u, v)t의 에러 표준은 벡터 Ux의 에러 표준과 동일하기 때문에, 분리된 벡터 Ux의 에러를 최소화하기 위한 시도는 (u, v)t의 에러를 최소하시킨다. 따라서, 수학식 22를 가지고 반복적인 방법의 실행은 직접적으로 옵티컬 플로우 예측에 적용될 수 있다. 모든 픽셀에 대한 결과적인 벡터는 수평, 수직 요소, u, v가 요구되어질 때마다 단일 매트릭스에 의해 변환될 수 있다.
따라서, (u, v)t에 대한 표현이 공통 적용에서 매번의 반복시점에서 일반적으로 요구되기 때문에 수학식 22 는 더욱 더 전개될 수 있다. 벡터 개념에 의하면, 수학식 22 는 다음의 수학식 24와 같이 표현된다.
[수학식 24]
(u, v)t에 대한 벡터 Ux와 Ux을 재변환하는 것은 수학식 24의 양변에 배가되고 (muliplied), 벡터 필드 X = (u, v)t에 대한 새로운 LR 방정식은 다음의 수학식 25와 같다.
[수학식 25]
여기서, 국부 이장 파라메터 UWU-t는 다음의 수학식 26과 같은 대각선 매트릭스에 의해 접근된다.
[수학식 26]
국부이장 매트릭스 비대각선 항은 대각선 항에 비해 상대적으로 대단히 작으므로, 실질적으로 비대각선 항은 반복적 방법의 수렴에 영향을 미치지 않는다.
따라서, 수학식 25 는 각 속도 요소에 대해 다음의 수학식 27 과 같이 표현될 수 있다.
[수학식 27]
여기서,와는 Eu 와 Ev에 대한 각각의 단축된 개념이다.
수학식 27에서 마직막 중괄호된 항이 Horn과 Schunck에 의한 항과 정확하게 동일함을 알게 되는 것은 흥미로운 것이다.
본 발명에 의한 수학식 27의 형태는 이장을 통해 블럭방향(block-wise) 연속에 의해 또한 유도될 수 있다. 만약 (u1, v1, u2, v2, ..., uN, vN)t와 같이 전체 이미지 속도벡터의 열을 이룬 벡터를 구성한다면, 수학식 5의 푸아송 방정식은 블럭 대각선의 요소로서 가지는 시스템 매트릭스의 큰 선형 시스템을 형성한다. 이 2×2 대각선 블럭등을 갖는다면, 블럭 방향의 SOR을 적용할 수 있다. 따라서, 수학식 27 과 동일한 수학식은 최정의 이장 파라메터를 제외한 결과가 된다. 최적의 이장 파라메터는 열을 이룬 벡터의 모든 요소에 대해 고정되어 있다.
분리된 푸아송 방정식에 대치된 프레임차를 적용한다.(S14단계) 즉, 본 발명에 의한 수학식 27이 수학식 14 보다 더 나은 수렴 특성을 갖는다는 것을 이론적으로 증명하기는 어려운 일이다. 그러나, 두 수학식(14, 27)은 평탄상수가 대단히 클 때 고정상태 에러와 수렴도에 대해서 동일한 수행능력을 갖는 경향이 있다. 왜냐하면, 결합항 rxry는 rx 2또는 r2 x보다 작은 값이어서 그것의 영향은 무시될 수 있기 때문이다.
그러나, 만약 시간적인 변화도에 따라 대치된 프레임 차를 이용하여, 저장된 이미지 범위에서 변화도를 측정하면, 최적의 평탄 상수는 작아질려고 하는 경향이 있다. 평탄 상수는 동작강제 에러와 함축된 동작 필드의 공간적 변화 간의 비율에 상당한 관계가 있기 때문에 변화도의 고차 도함수 또는 동작필드의 뜻밖의 변화는 원하는 더 작은 상수값을 만들 수 있다.
이어서, 설명하는 대치된 프레임 차는 2 회이상의 반복적인 접근법을 생성하는 LR에 도입된다.
속도 분야의 종래 기술은 여러 가지 경우에서 얻을 수 있다. 이전에 계산된 값은 어떤 반복적인 접근법에 있어서, 종래 기술을 실현시킬 수 있고, 보다 높거나 또는 보다 낮은 레벨의 속도는 계층적인 접근방법에서 그것을 실현한다. 움직이는 엣지 동작이나 어떤 특징의 기본적인 접근방법과 같은 다른 방법에 의해 추정된 속도는 종래 기술의 속도로 얻을 수 있다.
LR 적용전에 요구되는 추정된 속도를 사용하는 경우, 휘도 보존은 다음의 수학식과 같이 표현된다.
[수학식 28]
I( x+xP+(δx - xP), y+yP+(δy-yP), r+δt) = I(x, y, t)
여기서, (xP, yP)는 종래의 추정된 치환값이다.
천이된 위치 (x +xP, y+yP) 근처에서 Tayler의 연속물에 의해 수학식 28을 추정하면, 다음의 수학식 29가 만족된다.
[수학식 29]
I( x+xP, y+yP, t+δt) + (δxP- xP)Ix' + (δy-yP)Iy' = I(x, y, t)
수학식 29을 다시 정리하면 다음의 수학식 30이 된다.
[수학식 30]
[I( x+xP, y+yP, t+δt) - I(x, y, t)-xPIx' - yPIy'] + δXix'+δYiy' = 0
수학식 30 은 저장된 변화도를 갖는 휘도 강제 방정식으로 간주된다. 수학식 30 의 첫 번째 중괄호에 있는 두 개의 항은 대치된 프레임 차(displace frame difference)를 형성하고, 그 중괄호의 항들은 미지 변수치를 외삽법에 의해 추정된 프레임 차의 한 종류로 간주된다. 공간적인 변화도들은 천이된 위치에서 측정되고, 실질적으로 다음 프레임의 보상된 평균 동작에 의해 얻어진다.
평탄 상수를 갖는 표준화에 의해, 저장된 변화도를 갖는 휘도 강제를 갖는다.
[수학식 31]
rx'u+ry'v+rt=0
여기서, rt'=dfd-rx'uP=ry'vP이다.
이 변화도를 사용하면, 각 변화도를 새로운 변화도로 대치할 수 있다. 따라서, 수학식 14 는 옵티컬 플로우를 예측하기 위한 새로운 변화도를 가지고 사용된다.
본 발명에 의한 수학식 22에 새로운 변화도를 적용함으로써 또 다른 반복적인 수학식을 전개할 수 있다. 그러나, 이 경우, 보다 밀집된 형태는 만약 이전에 계산된 값의 주변 평균이 종래의 속도 즉, (up, vp) = (,)로 사용된다면 유도될 수 있다.
[수학식 32]
수학식 32의 마지막 중괄호된 항은 적용된 평탄 강제를 고려한 것을 제외한 Nagel과 Enkelmann에 의해 제안된 항들과 동일한다.
이어서, 본 발명에 따른 실시예를 설명한다.
최적의 평탄 상수는 보통의 변화도와 저장된 변화도를 채용한 것에 따라 조정된다. 그것은 이미지와 함축된 속도 필드에 변환된다. 다시 말해서, 실제 속도필드와 추정된 속도 필드 간의 에러는 평탄 강제에 근거한 고정상태와 수렴도에 대해 다른 특성을 보여준다.
도 2 은 평탄 압박(smoothness constraint)에 따른 반복적인 특성을 나타낸 파형도이다. 평탄 상수로 인한 막연함을 가진 다른 반복 방법을 비교하기 위해, 다양한 평탄 상수값을 가진 고정 상태 에러를 분석하고, 최소의 고정상태 에러를 주는 상수를 선택한다.
인공적인 이미지 연속화면의 두 종류에 대한 4가지 방법을 비교한다. 그 첫번째 인공적인 동작 필드를 갖는 인공적인 이미지 화면을 고찰하고, 두 번째로 인공적인 필드를 갖는 또 다른 프레임을 만드는데 사용되는 실제 구성 이미지를 고찰한다.
도 3a는 첫번째 인공적인 이미지 연속화면, 즉 사인파를 나타낸 도면으로서, 이미지는 64×64의 크기를 가지며, 그것의 밀도는 다음의 수학식 33에 의해 발생된다.
[수학식 33]
사인파의 다음 프레임은 (1, 0) 픽셀에 의해 해석되고, 6° 단위로 회전되고, 1.1배 단위로 줌처리된다. 도 3b는 도 3a에 부합하는 인공적인 동작 필드를 나타내는 도면이다.
도 4a 내지 도 4b 는 도 3b 에 도시된 인공적인 동작 필드를 갖는 실제 이미지 연속화면을 나타낸 도면으로서, 도 4a 는 Pebbles 실제 구성 이미지를 나타내고, 도 4b 는 도 3b 에 도시된 동작필드를 갖는 이미지 Pebbles에 삽입된 두번째 프레임을 나타낸다. 도 4a 에 도시된 실제 구성 이미지와 도 3b에 도시된 동작 필드를 갖는 실제 구성으로부터 삽입된 다음 프레임은 더욱 사실적인 상황이 테스트된다. 이와 같이 생선된 화면은 페블(Pebbles)이라 부리운다. 도 4b에 도시된 두번째 프레임은 삽입에 의한 실제 구성 이미지로부터 생성되기 때문에 조금 흐리다.
평균 절대의 고정 상태 에러와 평탄 상수간의 관계를 얻기 위한 충분히 많은 평탄 상수들을 가진 동작 필드의 고정상태 에러가 첫번째로 검사된다. 그리고 그것은 최소 위치를 알아내기 위한 B-스플라인에 의해 삽입된다.
도 5a 내지 도 5b 는 평탄 상수에 의한 평균절대 에러를 나타낸 도면으로서, 두 도면에 있어서 상위 곡선은 정상적인 변화도를 이용한 결과를 나타내고, 하위 곡선은 저장된 변화도를 이용한 결과를 나타낸다. 또한, 곡선위의 점은 B-스플라인에 의해 삽입된 각 곡선의 최소위치를 나타낸다. 도 5a 는 사인파 연속화면에 대한 결과를 나타내고, 도 5b는 패블 연속화면에 대한 결과를 나타낸다.
본 발명에 의한 제안된 고정 상태 에러, 즉 분리후 방법의 고정상태에러는 비분리 방법의 고정상태 에러와 정확하게 동일하다. 결국적으로, 두 알고리즘에 대한 고정상태 에러는 동일하고 수렴 특성만이 다르다. 그러므로 비교된 4가지 방법들에도 불구하고 각 이미지 연속화면에 대한 오직 두 곡선들이 있다.
도 6a 내지 도 6b 는 인공적인 화면에 대한 각 방법에 대한 수렴속도를 나타낸 도면으로서, 도 6a 는 사인파 연속화면에 대한 결과를, 도 6b 는 Pebbles 연속화면에 대한 결고를 각각 나타낸다. 두 도면에 있어서 상위 곡선은 정상적인 변화도을 이용한 결과를 나타내고, 하위 두 곡선은 저장된 변화도를 이용한 결과를 나타낸다. 또한, 점선 곡선은 비분리 방법을 이용한 결과를 나타내고, 실선 곡선은 분리 후 방법을 이용한 결과를 나타낸다.
도 6 를 참조하면, 본 발명에 의한 분리 방법 후의 수렴 속도가 비분리 방법에 의해 약간 빠른 반면, 그것은 저장된 변화도를 갖는 비분리 방법보다 많이 빠름을 알 수 있다. 저장된 변화도를 이용한 고정상태의 에러는 정상적인 변화도를 이용한 에러보다 훨씬 적음을 알 수 있다.
이어서, 실제 이미지 영속화면에 대해 살펴보면, 실제 동작 필드가 정의될 수 없기 때문에 실제 이미지 연속화면에 대한 최적의 평탄 상수를 선택하기 위한 기준이 있어 한다. 최소의 고정상태의 에러를 갖는 상수를 선택하는 대신에 동작강제와 평탄 강제 간의 다소의 절충점을 주는 상수가 선택되어야 한다. 본 발명에서 L 곡선은 최적의 평탄화 강제를 선택하기 위해 사용된다.
먼저, 대치된 프레임 차의 평균 절대의 에러와 평탄 동작필드 표면으로부터의 편차간의 관계 즉, 속도 필드의 변화도 크기를 고찰한다. 여러 가지 평탄 상수들을 갖는 변화도를 계산하고, 평탄 곡선을 얻기 위해 평탄 상수들을 삽입한다. 곡선이 최소의 곡률을 갖는 위치가 선택되고 이에 상응하는 평탄 상수가 최적의 상수로 사용된다.
도 7a 내지 도 7b 는 자동차 연속화면의 311번째 프레임과 312번째 프레임에서 얼굴 주변의 64×64을 분리한 화면을 나타낸 도면으로서, 이 프레임들은 그것들 사이의 동작이 상대적으로 크기 때문에 선택된다. 이 프레임들은 두 프레임 간의 함축된 동작이 매우 크게 보이기 때문에 선택된다. 도 7a 는311번째 프레임의 결과를 도 7b는 312번째 프레임의 결과를 각각 나타낸다. 여기서, 311번째와 312번째 프레임은 실제 이미지 화면으로서 잘 알려진 자동차의 연속적인 화면(car sequence)으로부터 선택된다. 도 7a 내지 도 7b 에 도시된 선택된 프레임의 얼굴부분들은 비분리 방법과 저장된 변화도를 갖는 분리후의 방법를 비교하기 위해 검사된다. 이 두 프레임 사이 방향으로 그의 머리가 구부려져 있다.
도 8a 내지 도 8b 는 자동차의 연속화면의 얼굴 부분에 대한 결과를 나타낸 파형도면로서, 대치된 프레임 차의 평균 절대 에어러와 동작 벡터 변화도의 크기간의 관계를 나타낸다. 도 8a 는 대치된 프레임 차의 MAE와 동작벡터(실선 곡선)변화도의 크기간의 관계곡선과, 그 곡률(점선곡선)의 상대적인 크기를 나타내고, 원형의 점은 최대 곡률 위치를 나타낸다. 도 8b의 추정된 동작필드 고정상태로의 수렴도를 나타낸다. 실선 곡선은 중가하는 평탄 상수가 동작 벡터 필드를, 중가하는 평탄화 상수가 대치된 프레임 차가 더욱 크도록 만드는 동안, 더욱 평탄화 되도록 만든다. 도는 그 반대로 만든다. 그것은 L곡선이 말해주는 것처럼 정확하게 동일하다. 그러나, 평탄 상수가 매우 적을 때, 대치된 프레임차가 거의 변하지 않는 동안 평탄 상수의 약간의 증가에 의해 동작 필드의 평탄화에 대해 큰 이득을 얻는다. 그 사이에, 대단히 큰 평탄화 상수를 갖고 그 상수의 다소간의 변화는, 동작 필드의 평탄화가 변화되지 않는 상태를 유지하는 동안 큰 변화의 대치된 프레임 차를 제공한다. 그러므로 평탄화 동작 필드와 대치된 프레임 차 간에 일치함이 존재한다.
도 8a 에 도시된 실선 위에 표시된 원의 상술한 센스(sense)에서 일치된 점으로 보인다. 이 점은 곡선의 곡률을 계산함으로서 대체적으로 찾을 수 있다. 도 8 에 도시된 점선은 이 곡률의 상대적인 크기를 나타낸다. 이 원은 곡률의 피크점에 위치한다.
수렴 속도는 고정상태 동작필드로부터 각 스템에서 동작필드가 얼마나 큰 차로 계산되는지를 추적함으로써 계산될 수 있다. 이 방법은 고정상태에서 거의 동일한 동작에서의 결과 때문에 두 방법을 비교하는데 적용될 수 있다. 실제로 그들의 유크리드 기하학(Euclidean)의 거리는 0.05 픽셀/프레임 보다 못 미친다. 도 8 는 두방법이 고정상태 동작 필드에 수렴하는 것이 얼마나 빠른가를 보여준다. 이 점선 곡선은 비분리 방법에 의한 것이고, 실선 곡선은 분리 후 방법에 의한 것이다. 도면을 통해 분리후 방법이 비분리 방법보다 수렴도가 훨씬 빠름을 알 수 있다. 그것은 0.2 픽셀/프레임에 못미치는 상황에서 고정상태로부터 차에 대해 두배이상 빠르다.
도 9a 에 설명된 방법에 의해 선택된 평탄화 상수를 갖는 고정상태 동작필드는 도 8 에 도시된 결과와 일치한다. 도 9c 는 도 9d 에 도시된 312번째 프레임을 어둡게 한 동작 벡터의 고정상태 동작필드(도 9b)을 이용한 311번째 프레임(도 9a)으로부터 삽입된 프레임을 나타낸다. 삽입된 프레임과 312번째 프레임은 311번째 프레임과 312번째 프레임간의 휘도 변화로 인해 삽입된 프레임이 312 프레임보다 다소 밝다는 것을 제외하고는 매우 유사하다. 도 9e 는 311번째 프레임과 312번째 프레임간의 프레임차를 설명하기 위한 도면이다. 도 9f 는 312번째 프레임과 삽입된 프레임간의 차이를 설명하기 위한 도면이다. 이 두차 화면은 디스플레이 목적으로 요인 3 에 의해 감마보정된 값이다.
동작 경계치들을 갖는 실제 이미지 화면에 대한 방법들을 검사하기 위해, 311번째 프레임과 312번째 프레임의 윈도우 부분들은 도 10 에 도시된 방와 같이 검사된다. 이 부분들에 있어서, 자동차 밖의 광경은 자동차 프레임의 운동이 상대적으로 작은 동안 빠르다. 얼굴부분에 대해 동작되는 것과 동일한 순서가 윈도우 부분에서도 채용된다. 대치된 프레임 차와 평탄화 간의 유기적인 곡선은 도 11a의 실선과 같이 표현되고, 그것의 곡률은 점선과 같이 표현된다. 결국적으로 평탄화 상수는 곡률의 피크를 유도함으로써 선택된다. 여기서 원은 곡률의 피크를 표시한다. 수렴속도가 보다 빠른 것 보다는 동작의 경계로 인해 얼굴 이미지 화면의 경우인 동안, 수렴속도는 11b에 도시된 바와 같이 0.5픽셀/프레임 이하가 되는 고정상태 동작필드로부터의 차에 대한 70% 부근의 고정상태 이상 여전히 더 빠르다.
선택된 평탄 상수가 잘 동작되는지를 확인하기 위해, 고정상태 동작 필드, 동작필드와 차 이미지를 사용한 311번째 프레임으로부터의 삽입 이미지가 도 12에 도시된다. 삽입된 프레임은 도 12c의 우측으로부터 온 새로운 광경의 이미지의 우측 사이드를 제외하고는 312번째 프레임을 잘 묘사한다. 도 12b에 도시된 동작필드는 동작 경계를 명백하게 증명한다. 도 12e 와 도 12f 는 프레임 311과 그것의 삽입된 변형을 나타낸다. 차 화면은 팩터 2 에 의해 감마 보정되었다.
상술한 바와 같이 본 발명에서는 푸아송 방정식의 분리 후에, LR의 적용에 의해 유도된 새로운 방법이 제시되었다. 저장된 변화도는 비분리 방법과 분리 후의 방법에 도입되었다. 분리 후의 방법은 가공적 이미지 화면에 대해 비분리 방법보다 낫다. 그것의 수렴도는 저장된 변화도를 가지며 2 배 이상 빠르다.
저장된 변화도는 가즌 두가지 방법은 L-곡선을 사용한 평탄화 상수를 선택함으로써 실제 이미지 화면에 대해 비교되었다. 이상의 테스트 방법을 통해, 수렴도에 관해 푸아송 방정식의 분리 후의 적용방법이 비분리 방법도다 낫다는 것이 명백하다. 본 발명의 장점은 어떤 반복적인 옵티컬 플로우 예측방법에 적용될 수 있다. 예를 들면, 소정의 반복적인 방법이 어떤 계층적인 동작 예측에 있어서 요구되면, 일반적인 옵티컬 플로우예측 문제에 대한 푸아송 방정식을 분리한 후 LR에 적용할 수 있다. 또한, 작은 이미지 구획의 내부에 옵티컬 플로우 예측에 사용될 수도 있다. 왜냐하면, 만약 그 영상의 크기가 4×4와 같이 너무 작지 않으면 SOR과 LR은 GS 보다 빠르기 때문이다.
상술한 바와 같이 본 발명에 따른 옵티컬 플로우(Optical flow)을 예측하는 국부 이장 방법은 종래의 옵티컬 플로우의 예측방법에 비해 빠른 수렴 속도를 가지며, 대치된 프레임 차 개념을 적용할 경우 수렴값이 정확하며, 픽셀마다 동작 예측이 가능하므로 정확한 동작예측을 하면서 동시에 화질을 향상시킬 수 있으며, 계층적인 비디오 부호화에 적용시 종래의 표준화는 달리 동작 벡터의 일부만 즉, 로우 밴드(low band)의 동작벡터를 이용함으로써 압축 이득을 얻는 효과를 갖는다.

Claims (7)

  1. 푸아송 방정식을 이용하여 옵티컬 플로우(Optical flow)을 예측하는 국부 이장 방법에 있어서,
    상기 푸아송 방정식을 시간변화에 따라 Gx = Ex + b와 같은 선형 매트릭스 형태로 지정하는 과정;
    상기 지정된 푸아송 방정식의 속도 결합항을 분리하는 과정; 및
    상기 속도 결합항이 분리된 푸아송 방정식에 시간적인 변화도인 대치된 프레임차를 적용하는 과정을 포함하는 옵티컬 플로우(Optical flow)를 예측하는 국부 이장 방법.
  2. 제 1 항에 있어서, 상기 분리과정은 단일 변환함수를 이용함을 특징으로 하는 옵티컬 플로우(Optical flow)를 예측하는 국부 이장 방법.
  3. 비디오 데이터 코딩 장치에 있어서,
    이미지 연속화면의 비디에 데이터 표본의 프레임들을 둘 이상 받아들이는 입력수단; 및
    상기 푸아송 방정식을 시간변화에 따라 Gx = Ex + b와 같은 선형 매트릭스 형태로 지정하는 수단, 상기 지정된 푸아송 방정식의 속도 결합항을 분리하는 수단, 상기 속도 결합항이 분리된 푸아송 방정식에 시간적인 변화도인 대치된 프레임 차를 적용하는 과정을 포함하는 옵티컬 플로우를 예측하는 수단을 포함하며, 상기 입력 수단에 결합되어 푸아송 방정식을 사용하여 비디에 데이터의 상기 프레임 안에서 옵티컬 플로우를 예측하는 옵티컬 플로우 예측 회로를 포함하는 것을 특징으로 하는 비디오 데이터 코딩 장치.
  4. 제 3 항에 있어서, 상기 입력수단과 상기 옵티컬 플로우 예측 회로의 출력에 결합되어 비디에 데이터의 상기 프레임 안에서 동작을 보장하는 동작 예측 수단을 더 포함하는 비디오 데이터 코딩 장치.
  5. 제 4 항에 있어서, 상기 동작 예측 수단은,
    비디에 데이터의 현지 프레임에서 비디에 데이터의 전 프레임을 감산하고 그 차를 출력하는 감산기;
    상기 감산기의 출력에 결합되어 코드된 에러 신호를 산출하기 위하여 변형 코딩 알고리듬에 따라 상기 차를 코딩하는 공간 코더;
    상기 코드된 에러 신호를 디코딩 하는 공간 디코더;
    상기 현 프레임을 재 구성하기 위하여 상기 공간 디코더의 출력과 비디에 데이터 신호의 제 2 전 프레임을 합산하는 합산기;
    상기 재구성된 프레임을 저장하기 위한 프레임 메모리; 및
    상기 프레임 메모리의 출력과 결합되어 상기 제 1 전 프레임을 산출하여 상기 감산기로 출력하는 수단을 포함하는 것을 특징으로 하는 비디오 데이터 코딩 장치.
  6. 제 5 항에 있어서, 상기 변형 알고리듬은 불연속 코사인 변형(discrete cosine transform)과 파 변형 (wavelet transform)의 하나인 것을 특징으로 하는 비디오 데이터 코딩 장치.
  7. 충돌 경보 시스템에 있어서,
    이미지 연속화면의 비디에 데이터 표본의 프레임들을 둘 이상 받아들이는 입력 수단;
    상기 푸아송 방정식을 시간변화에 따라 Gx = Ex + b와 같은 선형 매트릭스 형태로 지정하는 수단, 상기 지정된 푸아송 방정식의 속도 결합항을 분리하는 수단, 상기 속도 결합항이 분리된 푸아송 방정식에 시간적인 변화도인 대치인 프레임 차를 적용하는 과정을 포함하는 옵티컬 플로우를 예측하는 수단을 포함하며, 상기 입력 수단에 결합되어 푸아송 방정식을 사용하여 비디에 데이터의 상기 프레임 안에서 옵티컬 플로우를 예측하는 옵티컬 플로우 예측 회로;
    상기 옵티컬 플로우 예측 회로의 출력과 결합되어 상기 이미지 연속 화면 안에서 하나 이상의 움직이는 물체의 구조를 추출해내는 구조 분석 회로;
    상기 옵티컬 플로우 예측 회로의 출력과 결합되어 상기 이미지 연속 화면 안에서 상대적인 움직임을 지정하는 동작 분석 회로; 및
    상기 구조 분석 회로와 동작 분석 회로의 출력과 결합되어 적어도 두 물체들 사이에 충돌이 생기려고 하는지 여부를 결정하고 그에 따라 충돌 경보 신호를 출력하는 추정 회로를 포함하는 것을 특징으로 하는 충돌 경보 시스템.
KR1019970047795A 1997-03-14 1997-09-19 옵티컬 플로우를 예측하는 국부 이장방법 KR100243137B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/818,982 1997-03-14
US8/818,982 1997-03-14
US08/818,982 US5912815A (en) 1997-03-14 1997-03-14 Local relaxation method for estimating optical flow

Publications (2)

Publication Number Publication Date
KR19980079373A true KR19980079373A (ko) 1998-11-25
KR100243137B1 KR100243137B1 (ko) 2000-02-01

Family

ID=25226929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970047795A KR100243137B1 (ko) 1997-03-14 1997-09-19 옵티컬 플로우를 예측하는 국부 이장방법

Country Status (6)

Country Link
US (1) US5912815A (ko)
JP (1) JP3073715B2 (ko)
KR (1) KR100243137B1 (ko)
CN (1) CN1084471C (ko)
DE (1) DE19753444C2 (ko)
GB (1) GB2325581B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2772136B1 (fr) * 1997-12-08 2000-01-07 Elf Exploration Prod Methode de detection d'une discontinuite geologique presente dans un milieu par utilisation du flux optique
FI108900B (fi) * 1999-12-28 2002-04-15 Martti Kesaeniemi Optinen vuo ja kuvan muodostaminen
US6862372B2 (en) * 2001-12-27 2005-03-01 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement using coding information and local spatial features
US7130745B2 (en) 2005-02-10 2006-10-31 Toyota Technical Center Usa, Inc. Vehicle collision warning system
US9063882B1 (en) * 2010-09-09 2015-06-23 Sas Ip, Inc. Matrix preconditioners for simulations of physical fields
US8891831B2 (en) * 2010-12-14 2014-11-18 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus for conservative motion estimation from multi-image sequences
EP3016383B1 (en) * 2014-11-03 2017-06-21 Axis AB Method, device, and system for pre-processing a video stream for subsequent motion detection processing
CN114399539A (zh) * 2022-01-14 2022-04-26 合肥英睿系统技术有限公司 运动目标的检测方法、设备以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5119323A (en) * 1990-01-16 1992-06-02 United Technologies Corporation Numerical processing of optical wavefront data
US5257209A (en) * 1990-06-26 1993-10-26 Texas Instruments Incorporated Optical flow computation for moving sensors
US5991459A (en) * 1992-01-22 1999-11-23 Eastman Kodak Company Method of modifying a time-varying image sequence by estimation of velocity vector fields
DE19514654B4 (de) * 1994-04-20 2009-07-09 Denso Corporation, Kariya Kollisionsalarmsystem für ein Kraftfahrzeug

Also Published As

Publication number Publication date
JP3073715B2 (ja) 2000-08-07
JPH10261092A (ja) 1998-09-29
CN1201144A (zh) 1998-12-09
GB2325581A (en) 1998-11-25
KR100243137B1 (ko) 2000-02-01
GB2325581B (en) 1999-04-14
DE19753444A1 (de) 1998-09-17
US5912815A (en) 1999-06-15
DE19753444C2 (de) 2000-06-29
GB9725701D0 (en) 1998-02-04
CN1084471C (zh) 2002-05-08

Similar Documents

Publication Publication Date Title
JP2801559B2 (ja) 動き大小に適応する動き補償符号化方法及びその装置
KR0171118B1 (ko) 비디오신호 부호화 장치
EP1639829B1 (en) Optical flow estimation method
US5760846A (en) Apparatus for estimating motion vectors for feature points of a video signal
KR101266638B1 (ko) 이동 객체 경계용 적응형 영향 영역 필터
EP0734178A2 (en) Method and apparatus for determining true motion vectors for selected pixels
JPH10285602A (ja) 映像データをエンコードするための動的なスプライト
KR20000076522A (ko) 직교 변환 영역의 블록 매칭을 사용한 모션 추정
JPH09139947A (ja) フレーム動ベクトル検出方法および装置
US6222882B1 (en) Adaptive motion estimation method of a luminance signal
JPH11511621A (ja) 階層的動き推定技術に基づいた最適動きベクトル決定方法及びその装置
US7894527B2 (en) Multi-stage linked process for adaptive motion vector sampling in video compression
US20060098886A1 (en) Efficient predictive image parameter estimation
KR100243137B1 (ko) 옵티컬 플로우를 예측하는 국부 이장방법
JPH05227525A (ja) 画像符号化装置
US5778100A (en) Method and apparatus for reducing the bit rate in a video object planes sequence coder
JP3681784B2 (ja) 映像信号符号化装置
KR100393063B1 (ko) 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
KR20110097868A (ko) 위상 평면 상관을 위한 적응형 주파수 도메인 필터링
Ebrahimi et al. Digital video codec for medium bitrate transmission
KR100440567B1 (ko) 움직임 탐색을 위한 이진 평면 구성방법 및 이를 이용한움직임 추정 장치
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
JPH11341445A (ja) フレ―ムフォ―マット変換方法
Li et al. Motion-adaptive quantization in transform coding for exploiting motion masking effect
JPH0837664A (ja) 動画像符号化／復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091029

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee