KR100857731B1 - 움직임 추정을 용이하게 하는 방법 및 장치 - Google Patents

움직임 추정을 용이하게 하는 방법 및 장치 Download PDF

Info

Publication number
KR100857731B1
KR100857731B1 KR1020027014094A KR20027014094A KR100857731B1 KR 100857731 B1 KR100857731 B1 KR 100857731B1 KR 1020027014094 A KR1020027014094 A KR 1020027014094A KR 20027014094 A KR20027014094 A KR 20027014094A KR 100857731 B1 KR100857731 B1 KR 100857731B1
Authority
KR
South Korea
Prior art keywords
error measure
image portion
error
image
image data
Prior art date
Application number
KR1020027014094A
Other languages
English (en)
Other versions
KR20030011311A (ko
Inventor
제이. 슈텐로베르트
케이. 리멘스아브라함
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030011311A publication Critical patent/KR20030011311A/ko
Application granted granted Critical
Publication of KR100857731B1 publication Critical patent/KR100857731B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

움직임 추정 방법에 있어서 복수의 후보 움직임 벡터들로부터 움직임 벡터의 다음의 선택을 용이하게 하기 위한 장치 및 방법이 개시된다. 상기 방법에서, 이미지 데이터 중 제 1, 제 2, 및 제 3의 연속적인 그룹들(10,20,30)의 비디오 이미지 데이터가 수신된다. 이미지 데이터(10)의 제 1 그룹의 제 1 이미지 부분(12), 이미지 데이터(20)의 제 2 그룹의 제 2 이미지 부분(22), 이미지 데이터(30)의 제 3 그룹의 제 3 이미지 부분(32)은 식별되며, 여기서 3개의 이미지 부분들(12,22,32)의 위치들이 후보 움직임 벡터에 의해 나타내어지는 움직임 궤적에 대응한다. 제 1 에러 측정치가 제 1 이미지 부분(12)과 제 3 이미지 부분(32) 사이의 차이들에 대해 검사함으로써 계산되고 제 1 에러 측정치로서 정량화된다. 제 2 에러 측정치는 제 1 이미지 부분(12)과 제 2 이미지 부분(22) 사이, 또는 제 2 이미지 부분과 제 3 이미지 부분 사이의 차이들에 대해 검사함으로써 계산되고 제 2 에러 측정치로서 정량화된다. 출력 에러 측정치가 그 후에 정량화되고, 여기서 출력 에러 측정치는 제 1 또는 제 2, 또는 에러 측정치들 모두의 조합으로부터 유도된다.
움직임 벡터, 에러, 페이더, 패리티, 인터레이스

Description

움직임 추정을 용이하게 하는 방법 및 장치{Facilitating motion estimation}
본 발명은 비디오 신호 상의 움직임 추정을 용이하게 하기 위한 장치 및 방법에 관한 것이다. 이러한 방법은, 배타적이지는 않지만, 특히 움직임 보상 비디오 포맷 변환(motion compensated video format conversion: MC-VFC로서 알려짐)의 분야에의 응용 및 3-D 순환 블록 매칭(recursive block matching) 기술들에서 찾을 수 있다.
움직임 추정은 일반적으로 다음의 단계들, 즉 1) 다수의 후보 움직임 벡터들을 얻는 단계와, 2) 이들 후보 움직임 벡터들 각각에 대한 에러 측정치를 계산하는 단계와, 3) 최상의 벡터를 선택하는 단계를 포함한다. 이 과정은 이미지의 모든 부분들에 적용된다. 이것은 일반적으로 매우 계산 집중적인 태스크(task)이므로, 많은 방법들 및 전략들이 여전히 계산된 움직임 벡터들의 높은 정확도 및 신뢰도를 유지하면서 후보들의 수를 제한하기 위해 제안되어 왔다.
MC-VFC에 적합한 특히 효과적인 검색 장치는 1993년 10월에 IEEE 회보. CSVT, 368-388 페이지의 "True motion estimation with 3-D recursive block-matching"에서 G.de Haan 등에 의해 설명된 3-D 순환 검색 블록 매처(3-D Recursive Search Block matcher: 3D-RS)에 이용된다.
필름 모드(film mode)에서의 주사율 변환(scan rate conversion)에 대한 움직임 추정은 두 개의 연속적인 프레임들 사이에서 유사도 영역들을 검출하기 위해 두 개의 프레임들(통상 이전 프레임 및 현재 프레임)의 이미지 블록들을 비교하는 것을 포함하고, 고도의 유사도가 존재하는 곳에서, 유사도 영역들의 위치들에서의 차이는 움직임 벡터를 나타낸다. 그 후, 비디오 포맷 변환에서, 이미지 데이터는 두 개의 원래의 연속적인 프레임들 사이에 시간적으로 위치되는 새로운(또한 이전에 존재하지 않았던) 데이터의 프레임을 구성하기 위해 움직임 벡터들의 일부분 상에 시프트(shift)된다.
일반적으로 비디오가 인터레이스된 포맷(1 프레임 = 2 필드들, 하나가 프레임의 홀수 라인들을 포함하고 그 다음은 프레임의 짝수 라인들을 포함함)에서의 방송이므로, 이러한 포맷 변환이 요구될 때, 비디오 신호들로 인해, 약간 더 복잡한 문제가 발생한다. 여기에서, 비디오 시퀀스는 수직으로 분할된 프레임의 홀수 라인들 또는 짝수 라인들을 포함하는 연속적인 프레임들을 포함한다. 이러한 인터레이스된 포맷은 이 라인들의 절반이 "미싱(missing)"이므로, 이미지 부분들간의 유사도 검출을 방해할 수 있다. 특히 이것은 두 개의 연속적인 필드들(즉, 홀수 라인들을 갖는 하나와 짝수 라인들을 갖는 하나)이 이미지의 서로 상이한 수직적인 위치들로부터 기원하므로 서로 직접 비교될 수 없기 때문에, "움직임 없음(no motion)"이 존재하는 영역들에 대해 진실이다.
상기 문제점에 대한 한가지 부분적인 해결책은 디인터레이싱 알고리즘(deinterlacing algorithm)을 이용함으로써 얻어질 수 있다. 이러한 알고리즘에서, 수신된 필드는 홀수와 짝수 라인들 모두를 포함하는 프레임을 구축하도록 전자적으로 처리(예컨대, 보간(interpolation)에 의해)될 수 있으며, 이어서 수신된 필드는 그후에 이러한 구축된 프레임의 대응하는 라인들과 비교될 수 있다. 하지만, 이러한 대응하는 라인들은 자연적으로 발생하기보다는, 계산의 결과이며, 디인터레이싱 알고리즘의 에러들은 움직임 추정기에서의 임의의 "움직임 없음" 검출의 품질에 영향을 미친다는 것을 이해할 것이다.
US-A-5,682,205(Eastman Kodak Company)는 복수의 연속하는 인터레이스된 이미지 필드들로부터 디인터레이스된 출력 이미지를 생성하기 위한 처리 및 장치를 개시한다. 이 특허에 따르면, 동일한 극성(즉, 짝수/짝수 또는 홀수/홀수)의 필드들은 항상 움직임을 추정하기 위해 서로 비교된다. 이것의 한가지 중요한 점은 비교되는 필드들이 항상 연속적이지 않기 때문에, 비교적 큰 "시간적인 거리(temporal distance)"가 존재한다는 것이다.
US-A-5,329,317(Matsushita Electric Corporation of America)은 인터레이스된 비디오 신호들에 대한 적응성 필드/프레임 필터를 개시한다. 이 개시에서, 정지 이미지(stationary image)가 존재하고 그 후에 프레임 필터링이 우선적으로 이용되며, 반면에 이미지들 또는 이미지들의 부분들을 이동시키기 위해, 필드 필터링이 선호된다. 이런 식으로, 필드와 프레임 필터링 모두가 행해지고, 그 결과들은 움직임 검출기의 출력에 의존하여 통합된다. 움직임 검출기는 항상 2개의 프레임 기초로 동작한다.
본 발명의 바람직한 실시예들의 목적은 필름 모드 추정에 사용되는 것과 같은 프레임 기반 움직임 추정기가 비교적 경제적인 방법으로 비디오 모드 추정에 사용하기 위해 적응될 수 있는 방법을 제공하는 것이다. 또 다른 목적은 움직임 벡터들의 다음의 선택을 용이하게 하기 위한 수단 및 방법을 제공하여, 종래 기술의 문제점들을 적어도 어느 정도 피하거나 해소하는 것이다. 이를 위해, 본 발명은 독립 청구항들에 정의되는 바와 같은 움직임 추정을 제공한다. 바람직한 실시예들이 종속 청구항들에 정의된다.
본 명세서에서, 이미지 데이터의 제 1 그룹은 인터레이스된 신호의 제 1 필드일 수 있으며, 제 2 그룹은 제 2 필드, 제 3 그룹은 제 3 필드일 수 있다. 바람직한 실시예들에서와 같이, 이것은 인터레이스된 타입의 신호이고, 제 1 및 제 3 필드들(또한 제 2 및 제 4 필드들 등)은 동일한 패리티(parity)(즉, 둘 모두가 화상의 홀수 라인을 나타내거나 또는 둘 모두가 화상의 짝수 라인들을 나타냄)로 구성된다.
본 발명의 바람직한 실시예에서, 후보 움직임 벡터들 중 하나는 0 벡터일 것이다. 0 벡터는 하나의 프레임에서 하나의 이미지 부분을 또 다른 프레임에서의 동일한 이미지 부분(즉, 동일한 위치)에 직접 매핑하는 벡터이다. 0 벡터는 그것이 본래의 비디오 시퀀스들 내에서 자주 발생하는 "움직임 없음"을 나타내므로, 매우 중요한 벡터이다. 이들 이미지 부분들의 이미지 데이터가 동일하면, 그 후에 그 이미지 부분에 대해 "움직임 없음" 상태가 존재하고, 그 0 벡터에 대한 제 1 에러 측정치는 바람직한 실시예들에서 0일 것이다. 하지만, 만약 그들 이미지 부분들의 이미지 데이터가 동일하지 않으면, 그 후, 정량화할 수 있는 영이 아닌 제 1 에러 측정치가 존재한다.
본 발명에 따른 이미지 데이터의 제 1 그룹과 제 3 그룹들을 비교함으로써, 인터레이스된 신호의 0 벡터는 동일한 패리티의 필드들 사이에서 항상 검사된다. 그 결과, 이미지 데이터의 제 1 그룹과 제 3 그룹들을 사용하여 계산되는 에러 측정치는 이미지 데이터의 제 1 그룹과 제 2 그룹들 또는 제 2 그룹과 제 3 그룹들을 사용함으로써와 같은 두 개의 연속적인 그룹들의 비유사한 패리티 필드들을 사용하여 계산되는 에러 측정치보다 훨씬 더 신뢰할 수 있는 것이다. 그러므로, 본 발명의 바람직한 실시예에서, 출력 에러 측정치는 기본적으로 또는 단지 이미지 데이터의 제 1 그룹과 제 3 그룹들로부터의 에러 측정치로부터 구성될 것이다. 하지만, 영이 아닌 후보 움직임 벡터들에 대해, 이미지 데이터의 제 1과 제 2 그룹들 또는 제 2 그룹와 제 3 그룹들을 사용하여 계산되는 에러 측정치는 이미지 데이터의 제 1 그룹과 제 3 그룹들을 사용하는 에러 측정치보다 더 신뢰할 수 있다. 그 결과, 출력 에러 측정치는 이미지 데이터의 제 1 그룹과 제 2 그룹들 또는 제 2 그룹과 제 3 그룹들로부터의 에러 측정치로부터 기본적으로 또는 단지 구성될 것이다.
주어진 이미지 부분에 대한 최상의 후보 움직임 벡터는 출력 에러 측정치들 중 가장 낮은 것과 관련된 후보 움직임 벡터일 수 있다.
제 1과 제 2 에러 측정치들로부터 출력 에러 측정치의 계산은 관련된 후보 움직임 벡터의 벡터 길이에 기초할 수 있다. 바람직하게는, 후보 움직임 벡터 길이는 0이고, 제 1 에러 측정치는 출력 에러 측정치로서 사용된다. 바람직하게는, 제 1 에러 측정치는 수직 움직임 벡터 성분이 짝수일 때마다 사용된다. 바람직하게는, 후보 움직임 벡터 길이가 최대 Vmax을 넘으면, 제 2 에러 측정치는 출력 에러 측정치로서 사용된다. 바람직하게는, 후보 움직임 벡터 길이가 0과 Vmax 사이에 있으면, 제 1과 제 2 에러 측정치들 모두는 조합된 출력 에러 측정치를 계산하는데 사용된다.
바람직하게는, 조합된 에러 측정치는 관련된 후보 움직임 벡터의 제 1 에러 측정치와 제 2 에러 측정치 사이에서의 페이드 오버(fade over)의 결과이다.
에러 측정치는 하나의 이미지 부분과 또 다른 이미지 부분을 비교하고 합산된 절대 차들의 계산을 행함으로써 후보 움직임 벡터에 대해 계산될 수 있다.
이미지 데이터의 제 1 그룹은 단일 필드(즉, 단지 홀수 또는 단지 짝수 비디오 라인들만을 포함하는, 제 1 또는 제 2 필드)만을 포함할 수 있으며, 또는 두 개의 필드 모드들로 구성된 완전한 프레임을 포함할 수 있다. 필름물(film material)로부터 기원한 비디오 시퀀스의 경우에, 두 개의 연속적인 필드들은 하나의 시간적인 위치로부터 기원할 수 있다. 이러한 경우에, 이미지 데이터의 제 1 그룹은 두 개의 연속적인 필드들을 조합함으로써 간단히 구성되는 프레임일 수 있다. 대안으로는, 프레임은 많은 알고리즘이 존재하는 보다 더 향상된 디인터레이스 계산에 의해 구성될 수 있다. 이미지 데이터의 제 1 그룹이 완전한 프레임인 경우에, 이미지의 수직 해상도는 증가되고, 단일 필드에 비교된다. 결국, 에러 측정치가 포함된 이미지 부분들의 유사성의 보다 정확한 표현일 수 있으며, 따라서 움직임 추정기의 결과들의 품질이 증가된다고 기대할 수 있다.
상기로부터 이해되는 바와 같이, 상기 방법을 구현하고, 그로 인해 움직임 보상을 용이하게 하기 위해, 본 발명의 방법은 3개의 데이터 필드들에 대해서만 저장을 요구한다. 이미지 데이터의 제 1 그룹이 하나의 프레임인 경우에, 총 하나의 프레임과 두 개의 필드들이 요구된다.
본 발명은 또한 후보 움직임 벡터 선택이 본 발명의 방법에 의해 용이해 지는 움직임 추정 방법을 이용하여 비디오 움직임 추정을 포함하는 비디오 처리 장치로 확장된다.
본 발명을 보다 잘 이해하기 위해, 그리고 그것의 실시예들이 어떻게 효과적으로 수행될 수 있는지를 보이기 위해, 이하, 첨부된 개략적인 도면에 대해 예로써 참조가 이루어진다.
도 1은 이미지 데이터의 3개의 그룹들 및 그 그룹들을 링크하는 후보 움직임 벡터를 개략적으로 보여주는 도면.
도 2는 본 발명의 실시예에 따른 에러 계산의 실행을 개략적으로 보여주는 도면.
도 3은 에러 데이터의 처리를 위한 페이더 유닛(fader unit)을 개략적으로 보여주는 도면.
도 4는 도 3의 페이더를 제어하는데 사용하기 위한 페이더 오버 알고리즘(fader over algorithm)을 보여주는 도면.
도 5는 본 발명의 방법을 구현하기 위한 장치를 보여주는 개략적인 블록도.
도 1은 제 1 필드(10)를 포함하는 이미지 데이터의 제 1 그룹과, 제 2 필드(20)를 포함하는 이미지 데이터의 제 2 그룹과, 제 3 필드(30)를 포함하는 이미지 데이터의 제 3 그룹을 보여준다.
제 1, 제 2 및 제 3 필드들은 예컨대, 인터레이스된 비디오 신호(interlaced video signal)의 연속적인 필드들을 나타내는 이전(N-2), 현재(N-1), 다음(N) 필드들일 수 있다. 제 1 필드(10)와 제 3 필드(30)는 동일한 패리티(즉, 그것들은 프레임의 짝수 라인들 또는 프레임의 홀수 라인들 둘 모두를 나타냄)를 가지며, 반면 제 2 필드(20)는 제 1 필드(10)와 제 3 필드(30)와는 상이한 패리티일 것이다.
도 1에는, 제 1 필드(10)의 제 1 이미지 부분(12)이 도시된다. 또한, 제 2 필드(20)의 제 2 이미지 부분(22)과 제 3 필드(30)의 제 3 이미지 부분(32)이 도시되어 있다.
본 발명의 실시예들에 따르면, 제 1 필드(10)의 이미지 부분은 제 1 에러 측정치를 계산하기 위해 제 3 필드(30)의 이미지 부분과 비교되고, 제 1 필드(10)의 동일하거나 거의 동일한 이미지 부분은 또한 제 2 에러 측정치를 계산하기 위해 제 2 필드(20)의 이미지 부분과 비교된다.
제 2 에러 측정치는 연속적인 이미지 그룹들의 임의 쌍으로부터 취해질 수 있으며, 따라서, 이 경우에 제 2 필드(20)의 제 2 이미지 부분(22)과 제 3 필드의 제 3 이미지 부분(32)을 비교함으로써 동일하게 계산됨을 이해할 것이다. 하지만, 하기에서 설명되는 특정 예는 제 2 에러 측정치가 제 1 및 제 2 이미지 부분들(12,22)간의 비교로부터 유도된다고 가정한다.
도 1에서, 제 1 이미지 부분과 제 2 이미지 부분 사이의 공칭 움직임 벡터(nominal motion vector)는 화살표 Vpc로 나타내고, 제 1 이미지 부분과 제 3 이미지 부분 사이의 확장된 움직임 벡터는 화살표 Vpn으로 나타내진다. 공칭 및 확장된 움직임 벡터 모두는 동일하거나 거의 동일한 물체 속도를 나타낸다. 여기에서, 이미지 부분은 예컨대, 화소들(예컨대, 블록 또는 라인)의 그룹과 같은 이미지 데이터를 나타내는 이미지 영역으로 이해될 수 있다. 에러 측정치는 합산된 절대 차들(summed absolute differences: SAD) 알고리즘을 이용함으로써 평가될 수 있다. 이러한 알고리즘은 당해 기술분야에 잘 알려져 있으며, 이 측정치의 계산을 위한 세부사항들은 본 명세서에서 논할 필요가 없다.
도 1에는, 단지 단일 후보 움직임 벡터는, 움직임 벡터가 계산될 필요가 있는 이미지의 단일 부분에 대해서만 도시된다. 바람직한 실시예에서, 이것은 이미지의 특정 부분에 대한 최상의 움직임 벡터의 선택에 이어지는, 후보 움직임 벡터들의 세트에 대한 유사한 계산들을 행하기 위해 일반적으로 사용된다. 또한, 이러한 과정은 일반적으로 이미지의 모든 부분들에 대해 반복되고, 이미지의 모든 위치에서 알려진 움직임 벡터를 야기한다.
일반적으로, 후보 움직임 벡터들 중 하나는 0 벡터일 것이다. 그 경우에, 이미지 부분들(12,32)은 이미지 내의 동일한 위치에 있으며, 그것들은 동일한 필드 패리티를 갖는다. 결국, 이들 두 개의 이미지 부분들 간의 비교는 이미지 콘텐츠들의 유사도의 신뢰할 수 있는 측정이다. 그러므로, 비교는 출력 에러 측정치(차후에 설명됨)로서 사용된다. 0 벡터 이외의 다른 후보 움직임 벡터들에 대해, 이미지 부분들(12, 22) 사이의 비교는 이미지 부분들 간의 유사도를 계산하기 위해 사용되며, 따라서 그 비교는 출력 에러 측정치를 산정하기 위해 사용된다.
이하, 도 2를 참조하면, 제 1 에러 블록 Error1(40)에서의 제 1 에러 측정치, 및 주어진 확장된 후보 움직임 벡터와 공칭 후보 움직임 벡터 각각에 대한 제 2 에러 블록 Error2 내의 제 2 에러 측정치를 산정하는 방법이 개략적으로 도시되어 있다.
절대 차들 계산의 제 1 합을 행할 수 있는 제 1 에러 블록 Error1(40)에서, 제 1 필드(10)의 이미지 부분(12)의 이미지 데이터 IP1previous와 제 3 필드(30)의 제 3 이미지 부분(32)의 이미지 데이터 IP2next 사이의 에러는 제 1 에러 측정치 Errorpn를 형성하기 위해 계산된다. 제 1 필드(10)의 제 1 이미지 부분(12)의 이미지 데이터 IP1previous와 제 2 필드(20)의 이미지 부분(22)의 이미지 데이터 IP3current 사이의 에러는 제 2 에러 측정치 Errorpc를 형성하기 위해 예컨대 절대 차들 블록의 제 2 합인, 제 2 에러 블록 Error2(50)에서 계산된다.
제 1 필드(10)의 특정 부분에 대한 최상의 후보 움직임 벡터를 찾기 위해서 복수의 Error1 유닛들(또는 계산들)이 요구되고, 후보 움직임 벡터들이 검사되는 만큼 제공된다. 유사하게는, 복수의 Error2 유닛들(또는 계산들)이 존재할 수 있다. 실제로, 복수의 유닛들(40,50)은 시간-다중화 방식에 이용되는 하나 이상의 유닛들이 될 수 있다.
도 3은 제 1 에러 측정치 Errorpn와 제 2 에러 측정치 Errorpc를 수신하는 적응성(adaptive) 페이더 유닛(60)을 보여준다. 적응성 페이더 유닛(60)에서, 출력 에러 측정치 Errorout는 제어 입력 k의 값에 따라 Errorpn, Errorpc, 또는 합성된 믹스 중간치(synthesized mix intermediate) Errorpn/Errorpc의 어느 하나가 되도록 선택될 수 있다.
도 4는 어떻게 믹싱 값 k가 결정될 수 있는지를 보여준다. 도 4에서, k는 후보 움직임 벡터의 주어진 벡터 길이(Vmax)에 대해 0부터 1까지의 선형 진행(linear progression)을 갖는 벡터 길이 VL의 함수인 것으로서 도시되어 있다. 특히, 여기에서 후보 움직임 벡터 길이는 0이고, k는 0이며, 벡터 길이는 값 Vmax 또는 그보다 크고, 그때 k는 1이다. 후보 움직임 벡터 길이들의 중간치 0과 Vmax에 대해, k는 선형적으로 삽입된다. 예컨대, Vmax = 1이면, 0.75의 벡터 길이에 대해, k = 0.75이다.
k의 도시된 진행에 기초한 간단한 믹싱 알고리즘은 다음의 수식으로써 주어 질 수 있다.
Figure 112002034407543-pct00001
제 1 및 제 2 에러 측정치를 조합하기 위한 보다 일반적인 수식이 유도될 수 있다. 예를 들어, 후보 움직임 벡터 길이가 L이라고 가정하면, 함수 f(L)는 L=0일 때 O으로 정의될 수 있으며, 입력이 O과 Vmax 사이에 있을 때 0에서 1로 상승한다. 그러므로 이러한 개념적인 함수로, 움직임 추정기(motion estimator)에 공급될 출력 에러 측정치 Errorout은 다음의 수식으로서 주어질 수 있다.
Figure 112002034407543-pct00002
상기로부터, 페이더 유닛(60)의 동작에 의해 출력 에러 측정치 Errorout가 Errorpc, Errorpn, 또는 페이드 오버(face over)의 결과인 중간값일 수 있음을 알 수 있다.
계산에서의 일부 절감이 달성될 수 있다는 것을 이해할 것이다. 페이더가 Errorpc만을 사용하는 경우들에서, Errorpn의 값은 계산될 필요가 없다. 유사하게는, 페이더가 Errorpn만을 사용하는 경우들에서, Errorpc의 값은 계산될 필요가 없다. 에러 측정치가 요구되지 않는 경우들에서, 또한 에러 측정치가 유도되는 이미지 데이터는 요구되지 않는다. 이것은 계산 시간, 전력, 또는 메모리 액세스들(즉, 메모리 대역폭)과 같은 몇몇 시스템 자원들을 절감시킬 수 있다.
비디오 시퀀스가 필름물로부터 기원하는 경우에, 두 개의 연속적인 필드들은 하나의 시간적인 위치로부터 기원할 수 있다. 이러한 경우에, 제 2와 제 3 이미지들 모두는 하나의 단일 원형 프레임으로부터 기원할 수 있다. 결국, 후보 움직인 벡터는 확장될 필요가 없으며, 공칭 및 확장된 움직임 벡터들 모두는 같다. 프레임 기반의 에러 측정치는 여전히 Errorpn과 Errorpc 모두의 계산을 행함으로써 얻어질 수 있다. 페이더(60)의 k 값이 0.5(후보 움직임 벡터 길이에 무관)에 강제되고, 이들 두 개의 에러 측정치들은 값 Errorout를 계산하기 위해 평균된다. 이 방식에서, 동일한 시스템(다양한 블록들의 제어에 있어 작은 적응들(adaptations)만을 갖는)은 완전한 프레임 에러 측정치를 계산하여, 출력 에러 측정치의 품질을 향상시킨다.
본 발명의 방법의 바람직한 실시예는 또한 제 3 이미지를 활성시키지 않고 사용될 수 있음을 또한 이해할 것이다. 명백히, 값 Errorpn은 이 경우에 계산될 수 없고, 따라서 페이더의 제어 파라미터 k는 1의 값에 강제될 필요가 있다. 결국, 메모리, 대역폭 및 전력과 같은 몇몇 시스템 자원들은 움직임 추정기의 품질의 감소를 희생하여 절감될 수 있다.
도 5를 참조하면, 움직임 추정 장치에 대한 후보 움직임 벡터들의 적합성에 관한 표시들을 제공하기 위한 장치가 개략적으로 도시되어 있다. 이 장치는 이미지 데이터의 3개의 연속적인 그룹들로부터 이미지 데이터를 수신 및 저장하기 위한 저장 수단(70)과, 움직임 추정 장치(90)의 벡터 선택 부분으로 보내진 후보 움직임 벡터들에 대한 에러 측정치들을 계산하기 위한 처리 수단(80)을 포함하고, 이들 성분들 각각은 텔레비전 세트, VCR 등과 같은 보다 큰 비디오 처리 장치(100)의 부분을 형성한다. 처리 수단은 도 1, 2, 3, 및 4에 의해 도시된 바와 같은 상술된 방법들에 따라 동작한다.
상기에서, 방법은 움직임 추정기 내의 후보 움직임 벡터들의 적합성을 나타내는 출력 에러 측정치를 생성하는 것에 관하여 설명되었다. 물론, 상기 방법은 모든 후보 움직임 벡터들 및 이미지의 모든 이미지 부분들에 대해 동일한 방식으로 적용되어, 완전한 이미지를 위한 출력 에러 측정치들 및 움직인 벡터들을 제공한다.
본 발명에서 설명되는 방법은 후보 움직임 벡터들의 수에 무관하며, 후보 움직임 벡터들의 소스와 관계가 없고, 후보 움직임 벡터들의 길이 상의 어떠한 잠재적인 제한과 관계가 없고, 후보 움직임 벡터들의 세트의 임의의 다른 특성과 관계가 없고, 개개의 후보 움직임 벡터들 자체의 임의의 다른 특성과 관계가 없다는 것을 이해할 것이다.
또한, 본 발명에서 설명되는 방법에서의 계산된 에러 측정치들이 움직임 추정기에 대한 유일한 선택 기준이 아니라는 것을 이해할 것이다.
에러 측정치들이 이미지 데이터의 제1/제3 및 제1/제2 그룹들의 이미지 부분들 내의 이미지 데이터 사이에서 매치(match)가 얼마나 가깝게 존재하는지를 나타내므로, 어떠한 포맷(format)이 전체 움직임 추정 방법에 의해 요구되더라도 이들 에러 측정치들이 제공될 수 있어, 구성될 프레임 내에서 행해지는 적합한 데이터 치환(data substitution)의 선택을 용이하게 한다는 것을 이해할 것이다. 이러한 생각으로, 본 발명의 방법은 많은 유형들의 움직임 추정 시스템 및 방법들에 적용될 수 있다.
또한, 본 발명의 교시들을 포함하는 몇몇 움직임 추정 방법들이 제 1 및 제 2 에러 측정치들과는 다른 에러 측정치들의 제공을 요구하지 않을 수 있으며, 그에 따라, 페이드 오버 알고리즘 및 방법이 최적일 수 있음을 이해할 것이다. 대안으로, 이것은 제 1 및 제 2 에러 측정치들 사이의 교환일 수 있음을 이해할 것이다.
상기의 설명은 이미지 데이터의 3개의 연속적인 그룹들이 어떻게 움직임 추정 시스템 및 방법의 부분으로서 이용될 수 있는지를 설명한다. 그 장치 및 방법은 이미지들 사이에 더욱 큰 시간적인 거리가 큰 벡터들보다는 작은 벡터들에 대해 사용되도록, 0 또는 작은 후보 벡터들이 큰 벡터들과 비교하여 상이하게 처리되는 강화된 시스템(enhanced system)을 제공한다. 바람직한 실시예들에서, 이미지 데이터의 단지 3개의 필드들만이 요구되므로, 상기 방법은 통상적으로 데이터의 2 프레임들에 대한 저장을 제공하는 주사율 변환을 위한 기존의 장치에서 쉽게 구현가능하다. 다른 바람직한 실시예들에서, 이미지 데이터의 제 1 그룹은 프레임일 수 있으며, 이미지 데이터의 다른 두 개의 그룹들은 두 개의 필드들일 수 있다. 이러한 경우에, 이미지 데이터의 총 4개의 필드들이 요구된다. 상기 방법이 필름 모드에 적용되는 경우에, 이들 4개의 필드들은 두 개의 원래 필름 프레임들을 포함할 수 있다.
상기 방법에서, 0 벡터의 적용가능성에 대한 간단한 검사가 인터레이스된 필드들의 경우에서조차 행해질 수 있다. 하나의 특정한 실시예에서, 상기 방법은 동일한 패리티의 이미지 데이터(필드들)의 그룹들에 대한 0 벡터의 검사만을 요구하는 반면, 다른 검사들은 인접한 비유사(non-like) 패리티 그룹들 사이에서 행해진다.
또한, 어떠한 하드웨어 특성들이 논의되든지, 이들은 소프트웨어 등가물들 및 그 역에 의해 교체될 수 있음을 이해할 것이다.
본 발명은 본 명세서에서 논의된 실시예들에 제한되지 않으며, 첨부된 청구범위에 의해서만 제한된다. 청구항들에서, 괄호 사이에 위치한 참조 기호들은 청구범위를 제한하기 위해 구성된 것이 아니다. 단어 "포함하는"은 청구범위에 열거된 것 이외의 요소들 및 단계들의 존재를 배제하지 않는다. 요소 앞의 관사 표현("a" 또는 "an")은 이러한 복수의 요소들의 존재를 배제하지 않는다. 본 발명은 여러 가지 개별적인 요소들을 포함하는 하드웨어에 의해, 그리고 적합하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 수단들을 열거하는 장치 청구항에서, 이들 수단들의 몇몇은 하드웨어 및 하드웨어의 동일한 아이템에 의해 구체화될 수 있다. 특정 측정치들이 서로 상이한 종속 청구항들에 인용된다는 것은 이들 측정치들의 조합이 이롭게 사용될 수 없다는 것을 나타내지 않는다.

Claims (12)

  1. 움직임 추정 방법에서 복수의 후보 움직임 벡터들로부터 움직임 벡터의 선택을 용이하게 하기 위한 방법에 있어서,
    이미지 데이터의 제 1, 제 2, 및 제 3의 연속적인 그룹들(10,20,30)로부터 비디오 이미지 데이터를 수신하는 단계와,
    상기 이미지 데이터의 제 1 그룹(10)의 제 1 이미지 부분(12)과, 상기 이미지 데이터의 제 2 그룹(20)의 제 2 이미지 부분(22)과, 상기 이미지 데이터의 제 3 그룹(30)의 제 3 이미지 부분(32)을 식별하는 단계로서, 상기 3개의 이미지 부분들(12,22,32)의 위치들은 후보 움직임 벡터에 의해 나타내어진 움직임 궤적에 대응하는, 상기 식별 단계와,
    상기 제 1 이미지 부분(12)과 상기 제 3 이미지 부분(32) 사이의 차이들에 대해 검사함으로써 제 1 에러 측정치를 계산하고, 상기 차이들을 상기 제 1 에러 측정치로서 정량화하는 단계와,
    상기 제 1 이미지 부분(12)과 상기 제 2 이미지 부분(22), 또는 상기 제 2 이미지 부분(22)과 상기 제 3 이미지 부분(32) 사이의 차이들에 대해 검사함으로써 제 2 에러 측정치를 계산하고, 상기 차이들을 상기 제 2 에러 측정치로서 정량화하는 단계와,
    출력 에러 측정치를 출력하는 단계로서, 상기 출력 에러 측정치는 상기 후보 움직임 벡터의 벡터 길이에 의존하여 상기 제 1 에러 측정치 및 상기 제 2 에러 측정치 중 적어도 하나로부터 유도되는, 상기 출력 단계를 포함하는, 움직임 벡터 선택을 용이하게 하는 방법.
  2. 제 1 항에 있어서,
    후보 움직임 벡터 길이가 최대 길이 Vmax를 넘으면, 상기 제 2 에러 측정치가 상기 출력 에러 측정치로서 선택되는, 움직임 벡터 선택을 용이하게 하는 방법.
  3. 제 1 항에 있어서,
    상기 후보 움직임 벡터의 벡터 길이가 0과 Vmax 사이에 있으면, 상기 출력 에러 측정치는 상기 제 1 에러 측정치와 상기 제 2 에러 측정치의 조합에 기초한 값인, 움직임 벡터 선택을 용이하게 하는 방법.
  4. 제 3 항에 있어서,
    상기 출력 에러 측정치는 다음의 수식에 의해 주어지고,
    Figure 112007002932063-pct00009
    여기서, Errorout은 상기 출력 에러 측정치이고, Errorpc는 상기 제 2 에러 측정치이며, Errorpn은 상기 제 1 에러 측정치이고, f(L)는 상기 벡터 길이가 Vmax보다 크거나 같을 때 1이고, 상기 벡터 길이가 0일 때 0인 상기 후보 움직임 벡터의 상기 벡터 길이의 함수인, 움직임 벡터 선택을 용이하게 하는 방법.
  5. 제 2 항에 있어서,
    Vmax보다 큰 벡터 길이를 갖는 후보 움직임 벡터들에 대해, 상기 제 3 이미지 부분(32)은 상기 출력 에러 측정치가 상기 제 2 에러 측정치만을 포함하는 경우에 사용되지 않고, 대응하는 상기 제 1 에러 측정치는 계산될 필요가 없는, 움직임 벡터 선택을 용이하게 하는 방법.
  6. 제 1 항에 있어서,
    상기 출력 에러 측정치는 상기 제 1 및 제 2 에러 측정치들의 가중된 합을 취함으로써 계산되는, 움직임 벡터 선택을 용이하게 하는 방법.
  7. 움직임 추정 장치에서 복수의 후보 움직임 벡터들로부터 움직임 벡터의 선택을 용이하게 하기 위한 장치에 있어서,
    이미지 데이터의 제 1, 제 2, 및 제 3의 연속적인 그룹들로부터 비디오 이미지 데이터를 수신 및 저장하기 위한 저장 수단(70)과,
    상기 이미지 데이터의 제 1 그룹(10)의 제 1 이미지 부분(12)과, 상기 이미지 데이터의 제 2 그룹(20)의 제 2 이미지 부분(22)과, 상기 이미지 데이터의 제 3 그룹(30)의 제 3 이미지 부분(32)을 식별하고, 상기 3개의 이미지 부분들(12,22,32)의 위치들은 후보 움직임 벡터에 의해 나타내지는 움직임 궤적에 대응하며; 상기 제 1 이미지 부분(12)과 상기 제 3 이미지 부분(32) 사이의 차이들에 대해 검사함으로써 제 1 에러 측정치를 계산하고, 상기 제 1 에러 측정치로서 상기 차이들을 정량화하고; 상기 제 1 이미지 부분(12)과 상기 제 2 이미지 부분(22), 또는 상기 제 2 이미지 부분(22)과 상기 제 3 이미지 부분(32) 사이의 차이들에 대해 검사함으로써 제 2 에러 측정치를 계산하고, 상기 제 2 에러 측정치로서 상기 차이들을 정량화하며; 출력 에러 측정치를 출력하고, 상기 출력 에러 측정치가 상기 후보 움직임 벡터의 벡터 길이에 의존하여 상기 제 1 에러 측정치 및 상기 제 2 에러 측정치 중 적어도 하나로부터 유도되는, 처리 수단(80)을 포함하는, 움직임 벡터 선택을 용이하게 하는 장치.
  8. 후보 움직임 벡터 선택이 청구항 1의 방법에 의해 용이하게 되는 움직임 추정 방법을 이용하는 비디오 움직임 추정을 포함하는 비디오 처리 장치(100).
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020027014094A 2001-02-21 2002-01-11 움직임 추정을 용이하게 하는 방법 및 장치 KR100857731B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01200623.5 2001-02-21
EP01200623 2001-02-21
PCT/IB2002/000068 WO2002067576A1 (en) 2001-02-21 2002-01-11 Facilitating motion estimation

Publications (2)

Publication Number Publication Date
KR20030011311A KR20030011311A (ko) 2003-02-07
KR100857731B1 true KR100857731B1 (ko) 2008-09-10

Family

ID=8179917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027014094A KR100857731B1 (ko) 2001-02-21 2002-01-11 움직임 추정을 용이하게 하는 방법 및 장치

Country Status (6)

Country Link
US (1) US7023920B2 (ko)
EP (1) EP1364528A1 (ko)
JP (1) JP4197434B2 (ko)
KR (1) KR100857731B1 (ko)
CN (1) CN1224246C (ko)
WO (1) WO2002067576A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1592255A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
EP1592258B1 (en) * 2004-04-30 2011-01-12 Panasonic Corporation Motion estimation employing adaptive spatial update vectors
KR100968642B1 (ko) * 2004-05-25 2010-07-06 엔엑스피 비 브이 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체
CN1333327C (zh) * 2004-05-26 2007-08-22 凌阳科技股份有限公司 用以判断轨迹行为的最佳相关匹配方法及系统
KR100763182B1 (ko) 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR101356734B1 (ko) * 2007-01-03 2014-02-05 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
US7982800B2 (en) * 2007-02-02 2011-07-19 Freescale Semiconductor, Inc. Video de-interlacer using motion residue compensation
JP4915317B2 (ja) * 2007-09-05 2012-04-11 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
WO2010035734A1 (ja) * 2008-09-24 2010-04-01 ソニー株式会社 画像処理装置および方法
WO2010046854A1 (en) * 2008-10-22 2010-04-29 Nxp B.V. Device and method for motion estimation and compensation
KR101498124B1 (ko) 2008-10-23 2015-03-05 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
WO2013007822A1 (en) * 2011-07-13 2013-01-17 Trident Microsystems, Inc. Method and apparatus for motion estimation in video image data
ITTO20110654A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Generatore di segnale test, segnale test per apparecchi
CN114640850A (zh) * 2022-02-28 2022-06-17 上海顺久电子科技有限公司 视频图像的运动估计方法、显示设备和芯片

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687097A (en) 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
US6011596A (en) 1991-05-24 2000-01-04 British Broadcasting Video image motion compensation using an algorithm involving at least two fields

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3682068D1 (de) * 1986-03-19 1991-11-21 British Broadcasting Corp Fernsehbild-bewegungsmessung.
US5237413A (en) * 1991-11-19 1993-08-17 Scientific-Atlanta, Inc. Motion filter for digital television system
US5412435A (en) 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
US5329317A (en) 1992-09-30 1994-07-12 Matsushita Electric Corporation Of America Adaptive field/frame filter for interlaced video signals
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
EP0697788A3 (en) 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
KR0171146B1 (ko) * 1995-03-18 1999-03-20 배순훈 특징점을 이용한 움직임 벡터 검출 장치
DE69609028T2 (de) 1995-04-11 2001-02-22 Koninkl Philips Electronics Nv Bewegungskompensierte bildfrequenzumwandlung
DE19609197A1 (de) * 1996-03-09 1997-09-11 Philips Patentverwaltung Schaltungsanordnung zur Störsignalbefreiung von Videosignalen
US6081606A (en) * 1996-06-17 2000-06-27 Sarnoff Corporation Apparatus and a method for detecting motion within an image sequence
DE69727911D1 (de) * 1997-04-24 2004-04-08 St Microelectronics Srl Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens
WO1999016251A1 (en) * 1997-09-23 1999-04-01 Koninklijke Philips Electronics N.V. Motion estimation and motion-compensated interpolation
JP2001507552A (ja) * 1997-10-29 2001-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 隠れた／露出した像部分の動きベクトル予測及び検知

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011596A (en) 1991-05-24 2000-01-04 British Broadcasting Video image motion compensation using an algorithm involving at least two fields
US5687097A (en) 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder

Also Published As

Publication number Publication date
JP4197434B2 (ja) 2008-12-17
EP1364528A1 (en) 2003-11-26
CN1224246C (zh) 2005-10-19
WO2002067576A1 (en) 2002-08-29
US7023920B2 (en) 2006-04-04
CN1461556A (zh) 2003-12-10
KR20030011311A (ko) 2003-02-07
JP2004519901A (ja) 2004-07-02
US20020126760A1 (en) 2002-09-12

Similar Documents

Publication Publication Date Title
KR100360893B1 (ko) 영상 움직임 보상 장치 및 방법
JP5877469B2 (ja) 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡
US7949205B2 (en) Image processing unit with fall-back
KR100857731B1 (ko) 움직임 추정을 용이하게 하는 방법 및 장치
KR20060121856A (ko) 폐쇄 검출에 기초한 픽셀의 시간적 보간
US6925124B2 (en) Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit
US20030081682A1 (en) Unit for and method of motion estimation and image processing apparatus provided with such estimation unit
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
JP4213035B2 (ja) オクルージョン領域を検出するオクルージョン検出器および方法
US8406302B2 (en) Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit
KR0166724B1 (ko) 반화소정확도를 갖는 동벡터추정방법 및 그 장치
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
US7881500B2 (en) Motion estimation with video mode detection
EP0647919B1 (en) Method and apparatus for correcting motion vectors
JPH08163573A (ja) 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置
US20070081096A1 (en) Motion vector fields refinement to track small fast moving objects
US20070036466A1 (en) Estimating an edge orientation
KR20020044715A (ko) 영상 움직임 보상 장치 및 방법
JPH09102955A (ja) 動きベクトル検出方法および動きベクトル検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120823

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130823

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140821

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee