KR100905880B1 - 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더 - Google Patents

움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더 Download PDF

Info

Publication number
KR100905880B1
KR100905880B1 KR1020047003717A KR20047003717A KR100905880B1 KR 100905880 B1 KR100905880 B1 KR 100905880B1 KR 1020047003717 A KR1020047003717 A KR 1020047003717A KR 20047003717 A KR20047003717 A KR 20047003717A KR 100905880 B1 KR100905880 B1 KR 100905880B1
Authority
KR
South Korea
Prior art keywords
image
motion
search area
video
offset
Prior art date
Application number
KR1020047003717A
Other languages
English (en)
Other versions
KR20040035777A (ko
Inventor
리에멘스아브라함케이.
스쿠텐로베르트제이.
케테니스제로엔엠.
오조올루카요데에이.
에이. 비세르스코르넬리스
Original Assignee
엔엑스피 비 브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8180917&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100905880(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엔엑스피 비 브이 filed Critical 엔엑스피 비 브이
Publication of KR20040035777A publication Critical patent/KR20040035777A/ko
Application granted granted Critical
Publication of KR100905880B1 publication Critical patent/KR100905880B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

비디오 이미지의 움직임 추정 및/또는 보상이 제공된다. 상기 움직임 추정 및/또는 보상에 있어서, 비디오 이미지의 이미지 세그먼트(B12)가 선택되고, 탐색 영역(S)이 이미지 세그먼트 주변에 규정되고, 상기 규정은 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하며, 상기 탐색 영역에 관련된 이미지 데이터가 검색된다. 탐색 영역은 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 규정된다.
비디오 이미지, 이미지 세그먼트, 탐색 영역

Description

움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더{MOTION ESTIMATION AND/OR COMPENSATION}
본 발명은 비디오 이미지에 있어서 움직임에 대한 보상 및/또는 추정 방법에 관한 것이다.
허베 베노이트(Herve Benoit): "디지털 텔레비전, MPEG-1, MPEG-2 및 DVB 시스템의 원리"(런던, 1997, 페이지 40-42)는 P 및 B 화상들이 움직임 추정을 이용하여 전후 화상들로부터 예측되는 구성을 개시하고 있다. 움직임 추정은 블록 매칭과 같은 공지된 기술을 사용하여, 제2 화상위의 '도착(arrival)' 지역과 제1 화상위의 '출발(departure)' 지역간의 상관을 보장하는 움직임 벡터를 규정하는 것으로 이루어진다. 이러한 것은 매크로블록 레벨 (16 X 16 픽셀)에서, 이전의 화상으로부터 미소 탐색 윈도우내의 현재 화상의 매크로블록을 이동시켜, 이를 상기 윈도우의 모든 가능한 매크로블록들과 비교하여 가장 유사한 것을 찾도록 함으로써 실행된다. 인코딩될 실제 블록과 매칭 블록간의 차 (또는 예측 에러)가 계산되고, I 화상의 블록들과 유사한 방식으로 인코딩된다. 이러한 처리를 움직임 보상이라 칭한다.
움직임 추정 및/또는 보상의 또 다른 응용은 비디오 스캔 레이트 변환이 되며, 여기에서, 비디오 신호 처리 시스템의 출력 이미지 레이트는 입력 이미지 레이트와는 다르다. 또한, 이러한 형태의 응용은 움직임 벡터들을 사용함으로써 이점을 가지며, 이러한 것은 게라드 데 한(Gerard de Haan) 등에 의한 "3-D 순환 탐색 블록 매칭에 의한 참(true)-움직임 추정"(비디오 기술에 대한 회로 및 시스템의 IEEE 보고서, Vol.3, No.5, 1993년 10월) 및 게라드 데 한에 의한 "움직임 보상된 디-인터레이싱, 노이즈 감소 및 화상 레이트 변환용 IC"(소비자 전자기기의 IEEE 보고서, Vol.45, NO.3, 1999년 8월)에 개시되어 있다.
그러한 인코딩 또는 스캔 레이트 변환 방법과 움직임 추정 및/또는 움직임 보상의 다른 실제적인 응용들에 대해, 움직임 벡터들의 결정은 통상 블록 매칭에 기초하며, 그에 의해, 인코딩된 이미지의 통상 16X16 또는 8X8 픽셀들을 포함하는 일반적으로 정사각인 선택된 화소 블록에 대해 통상 예컨대 88X40 픽셀들을 포함하는 주변 서브 영역이 규정되며, 그 중심에는 상기 픽셀 블록이 위치된다. 이러한 서브 영역은 탐색 영역으로서 적용되거나 이전 이미지의 동일 공간 위치에서 픽셀 블록 주변의 윈도우로서 적용되어, 선택된 픽셀 블록의 것과 매칭하는 비디오 신호 정보를 갖는 탐색 영역 또는 윈도우내에 위치된 픽셀 블록을 탐색하도록 한다. 또한, Hentschel, 'Video-Signalverarbeitung', B.G. Teubner Stuttgart 1998, pages 214-217,를 참조.
기존의 시스템들에 있어서, 이러한 탐색 영역 또는 윈도우의 이미지 데이터는 통상 로컬 버퍼에 저장되거나 온-칩 메모리에 저장되며, 다소 극단의 대역폭이 요구된다.
탐색 영역은 그 이미지 세그먼트에 대해 가능한 움직임 벡터 범위에 걸쳐 이동된 이미지 세그먼트(예컨대, 매크로블록)의 모든 가능한 위치들을 포함하는 영역 과 관련된다. 따라서, 탐색 영역의 사이즈와 움직임 벡터 범위들간에는 직접적인 관계가 있다. 보다 큰 탐색 영역은 일반적으로 움직임 추정 및/또는 보상을 개선한다. 하지만, 보다 큰 탐색 영역은 특히 버퍼 메모리 량에 있어 보다 많은 자원을 필요로 하며, 이는 실리콘 영역과 관련된다. 이러한 것은 품질과 제조 비용 모두를 만족시킬 수 없게 한다.
본 발명의 목적은, 개선된 움직임 추정 및/또는 보상을 제공하고자 하는 것이다.
이러한 목적을 달성하기 위해, 본 발명은 움직임 추정 및/또는 보상, 인코딩, 인코딩된 디지털 비디오 신호, 저장매체 제품, 분배 시스템 및 재생 장치를 제공하며, 이러한 것은 본원 독립 청구항들에 규정된 바와 같다. 유익한 실시예들은 종속 청구항들에 규정된다.
본 발명의 한 특징에 따라, 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 탐색 영역이 규정된다. 오프셋을 도입함으로써, 상기 탐색 영역은 바람직한 위치에 규정될 수 있다. 예컨대, 움직임이 주어진 방향으로 기대된다면, 기대된 움직임의 방향에서 가능한 보다 큰 움직임 벡터 범위로 되는 동일한 방향의 오프셋을 갖는 탐색 윈도우가 규정될 수 있다. 실제로, 반대 방향의 탐색 영역을 축소시킴으로써 원하는 방향에서의 탐색 윈도우가 확장된다. 탐색 영역 또는 윈도우의 중심을 8X8 픽셀 블록과 같이 실제로 처리되는 이미지 세그먼트 (선택된 이미지 세그먼트)의 중심으로부터 오프셋함으로써, 로컬 탐색 영역 또는 윈도우의 위치는 이미지 세그먼트에 대해 비대칭이 될 것이다. (글로벌(global)) 움직임 대신에, 다른 이미지 특징들이 또한 탐색 영역에 대한 오프셋을 규정하는데 이용될 수 있다. 본 발명의 이러한 특징은, 탐색 영역과 관련된 이미지 데이터가 이미지 메모리로부터 검색되는 응용들에서 특히 유익하며, 그러한 이미지 데이터는 버퍼 메모리에 일시적으로 기억된다.
실제의 실시예에 있어서는, 오프셋은 비디오 이미지의 수평 방향에서만 있게 된다. 이러한 것은 비디오에 있어서 수평 방향에서의 움직임이 거의 공통적인 것이므로 바람직하다.
실제의 실시예에 있어서, 오프셋은 글로벌 움직임 파라미터에 의해 결정된다. 이러한 파라미터는 이미지 시퀀스내의 글로벌 움직임으로부터 추출될 수도 있으며, 또는 이미지 일부에서의 움직임 특성들에 국부적으로 조정될 수도 있다. 글로벌 움직임의 방향에서 움직임 벡터들의 최대 범위는 증가하여, 글로벌 움직임의 보상이 제공될 것이다.
본 발명의 실시예들에 따른 움직임 추정 및/또는 보상은, 디지털 비디오 신호들의 인코딩/압축시의 움직임 보상된 예측, 노이즈 감소시의 움직임 보상된 필터링, 비디오 포맷 변환시의 움직임 보상된 보간(interpolation), 인터레이스된 비디오 신호들의 움직임 보상된 디-인터레이싱 등과 같은 움직임 추정 및/또는 움직임 보상의 사용을 수반하는 모든 디지털 비디오 신호 처리 기능들에 적용될 수도 있다.
다음에는, 첨부된 도면을 참조하여 더욱 상세하게 본 발명이 설명된다.
도 1은 종래 기술에 공지된 바와 같은 벡터 제한들을 갖는 탐색 영역을 도시하는 도면.
도 2는 본 발명의 실시예에 따라 글로벌 움직임에 대한 보상을 갖는 탐색 영역을 도시하는 도면.
도 3은 예컨대 비디오 주사 속도 변환에서 사용하기 위한 본 발명의 실시예에 따른 실행 가능한 움직임 추정기 아키텍처의 단순화된 블록 다이어그램.
도 4는 본 발명의 실시예에 따른 분배 시스템을 도시하는 도면.
도 5는 본 발명의 실시예에 따른 재생 장치를 도시하는 도면.
도 1에는 선행하는 이미지 시퀀스에 기초하여 연속적인 비디오 이미지 시퀀스에서 이미지의 보간에 움직임 벡터(V)를 적용한 예가 주어진다. 통상, 상기 보간은, 예를 들어, 50 Hz 로부터 100Hz 이미지 포맷으로의 비디오 주사 속도 변환에 사용된다.
각 움직임 벡터(V)는 제 1 이미지(P1)의 이미지 세그먼트(B1)와 제 2 이미지(P2)의 매칭 이미지 세그먼트(B2)간의 위치 차이를 나타낸다. 단방향 예측에 있어서, 제 2 이미지(P2)는 통상적으로 이전 이미지이지만, 제 2 이미지(P2)는 또한 후속 이미지일 수도 있다. 상기한 설명에 따르면, 움직임 벡터는 2차원 평면에서 규정되며 X 성분 및 Y 성분을 가진다.
실제 실시예에서, 이미지 세그먼트들(B1 및 B2)은 예컨대, 8X8 픽셀의 블록들이다. 움직임 벡터 결정은 당 기술분야에 공지된 소위 블록 매칭 기법(block matching technique)에 기초한다. 제 2 이미지(P2)에서, 선택된 블록(B12)은 제 1 이미지(P1)내의 선택된 블록(B1)에 대응하여 규정된다. 탐색 영역(S)은 B1/B12에 대해 가능한 움직임 벡터들의 범위들에 의존하여 블록(B12) 주변에 규정된다. 통상, 탐색 영역(S)은 수평 및 수직 방향으로 픽셀 블록(B12)을 둘러싸는 다수의 픽셀 블록들을 포함할 수 있으며, 8X8 픽셀의 블록들의 경우, 탐색 영역(S)의 크기는 예컨대, 88X40 픽셀일 수 있다. 블록(B1/B12)에 할당될 움직임 벡터(V)는 탐색 영역 혹은 윈도우(S)를 탐색함으로써 픽셀 블록(B1)에 최상으로 매칭하는 블록(B2)에 대해 결정된다.
블록 매칭 기법을 사용하는 것에 의해, 이러한 검색 방법은 움직임 추정의 실제 적용에 어느 정도 의존하여 변화하는 레벨의 복잡성으로 처리될 수 있지만, 예측 메모리에 저장된 소위 후보 벡터들의 세트로부터 최상 벡터의 전형적인 선택을 포함한다. 검색 방법의 상세한 설명은 본원에 설명되지 않지만, 전술된 바와 같이 게라드 데 한(Gerard de Haan) 등에 의한 제목 "True-motion Estimation with 3-D Recursive Search Block Matching"의 비디오 기술에 대한 회로 및 시스템의 IEEE 보고서, 제3권, 제5호, 1993년 10월 및 게라드 데 한에 의한 제목 "IC for Motion-compensated De-interlacing, Noise Reduction and Picture rate conversation"의 소비자 전자제품의 IEEE 보고서, 제45권, 제3호, 1999년 8월에 다양한 선정의 포괄적 분석이 주어진다.
상기 방법에서, 움직임 벡터들은 이미지(P1)의 모든 블록들에 대해 결정될 수도 있다. 상기 움직임 벡터들은 원하는 비디오 포맷 변환에서 얻기 위하여 이미 지들을 보간하는데 사용될 수도 있다.
움직임 벡터(V)의 최대 범위는 탐색 영역 또는 윈도우(S)의 크기에 관련되며, 실제 픽셀 블록이 탐색 영역 또는 윈도우의 중심에 있는 경우, 최대 움직임 벡터(V)의 수평 및 수직 성분들의 최대 범위는 8 및 5 픽셀 블록들에 각각 대응하는, 각 수평 및 수직 방향으로의 예컨대 40 및 16 픽셀들일 것이다.
도 2는 본 발명의 실시예에 따른 움직임 추정 및/또는 움직임 보상을 예시하며, 이미지(P2)내의 픽셀 블록(B12)에 할당된 탐색 영역 또는 윈도우(S)는, 그의 중심이 오프셋(CO)만큼 픽셀 블록(B12)의 위치로부터 오프셋된다. 상기 오프셋은 글로벌 움직임 파라미터에 의해 바람직하게 결정되며, 이 글로벌 움직임 파라메타는 예컨대, 패닝(panning) 또는 틸팅(tilting)의 형태의 카메라 이동에 의해 전형적으로 야기될 수 있는, 처리중인 이미지를 포함하는 이미지들의 시퀀스에서의 글로벌 움직임으로부터 추출된다. 그 때문에, 탐색 영역 및 윈도우(S)는 블록(B12)에 대하여 비대칭적으로 배치되고, 움직임 벡터의 결정을 위한 최대 범위는 한 수평 방향 및/또는 한 수직 방향으로 연장될 수 있다. 도 2의 예시에서, 탐색 영역 또는 윈도우(S)에 대한 중심 오프셋(CO)은 수평 방향으로 10 픽셀 및 수직 방향으로 8픽셀이며, 그 결과 최대 범위는 수평 방향으로(우측으로) 50 픽셀 및 수직 방향으로(위로) 24 픽셀이 된다.
블록(B12)에 대한 탐색 영역 또는 윈도우(S)의 비대칭 이동의 간단한 구현에 있어서, 중심 오프셋(CO)을 결정하는 글로벌 움직임 파라미터는 하나 또는 그 이상의 이전 이미지들에 대해 확립된 움직임 벡터들의 평균 벡터로부터 결정될 수 있다.
보다 향상된 시스템에서, 이전에 계산된 벡터 필드들의 통계치는 중심 오프셋(CO)을 결정하기 위하여 최대 벡터값들을 계산하는데 사용될 수 있다.
예컨대, 비디오 주사 속도 변환에도 사용할 수 있는 실행 가능한 움직임 추정기 아키텍처의 도 3의 간략화된 블록도에 있어서, 인입 이미지들은 이미지 메모리(1)에 공급되고, 그로부터 움직임 벡터들이 결정될 이미지 세그먼트들의 그룹들을 포함하는 실제 이미지 쌍(P1 및 P2)이 블록 매처(block matcher; 2)로 전달된다. 블록 매처(2)에서, 이미지(P1)내의 선택된 이미지 블록들에 매칭되는 이미지(P2)내의 블록들 또는 이미지 세그먼트 그룹들에 대한 탐색은 로컬 버퍼 또는 탐색 영역 메모리(3)로부터 블록-매처(2)로 전송된 탐색 영역(S)의 적용에 의해, 및 벡터 메모리(4)로부터 블록 매처(2)로 전송된 후보 움직임 벡터들(CV)의 세트를 사용하는 것에 의해 처리된다.
버퍼 메모리(3)에 임시 저장된 탐색 영역(S)은 이미지 메모리(1')에 저장되어 있는 이미지(P1)로부터 획득된다. 이미지 메모리들(1 및 1')은 한 이미지 메모리로 구현될 수 있다.
벡터 메모리(4)는 이미지(P1)에서 검색될 이미지 블록 및 제 2 이미지(P2)의 세그먼트 그룹들 또는 블록들에 대해 결정된 모든 움직임 벡터들을 저장하고, 후보 벡터들의 세트는 선행하는 이미지내에서 같은 위치를 갖는 이미지 블록 또는 실제 이미지내의 인접 이미지 블록에 대해 결정된 움직임 벡터들을 포함한다.
본 발명에 따르면, 탐색 영역(S)의 주어진 크기에 대해 가능한 움직임 벡터들의 범위의 확대는 조사중인 세그먼트 그룹 또는 블록의 이미지내의 위치로부터 그의 중심이 오프셋되도록 탐색 영역의 정의를 수정함에 의해 가능해진다.
간단한 구현에서, 상기 수정은 벡터 분석기(5)에서 벡터 메모리(4)로부터의 이전에 발견된 벡터들을 분석함에 의해 움직임 보상 파라미터(C)를 결정함으로써 예시된 바와 같이 실행될 수 있다.
블록 매처(2)에서 실행된 블록 매칭 프로세스는 본 분야에 공지되어 있으며, 후보 벡터들의 적용에 의해 국부화된 블록들의 매칭 또는 비교를 수반한다.
이러한 프로세스를 통해, 각 매치 에러(M)는 최대 매치를 선택하고, 장래의 움직임 벡터들의 결정에서 사용하기 위해 벡터 메모리(4)내의 대응하는 후보 벡터를 저장하는 벡터 선택기(6)에 전달된다.
도 3에 예시된 간단한 움직임 추정기 아키텍처는 본 발명의 구현에 대한 일예일 뿐이다. 대안의 가능성으로서, 이전에 처리된 이미지 블록들 또는 선행하는 이미지들로부터의 움직임 보상 파라미터들은 글로벌 움직임 추정 메모리에 저장될 수 있으며, 그로부터 실제 사용하기 위한 움직임 보상 파라미터는 적당한 선택 수단에 의해 취소될 수 있다.
도 4는 본 발명의 실시예에 따른 분배 시스템(10)을 도시한다. 분배 시스템(10)은 비디오 이미지들의 시퀀스를 얻기 위한 수단(100)을 포함한다. 상기 수단(100)은 카메라일 수 있지만, 또한 비디오 이미지들의 시퀀스를 실행하는 신호를 수신하기 위한 안테나 등의 입력 유닛일 수 있다. 상기 수단(100)은 또한 기록 캐리어를 위한 판독 유닛일 수 있다. 분배 시스템은 인코딩된 디지털 비디오 신호(S)를 얻기 위해 비디오 이미지들의 시퀀스를 인코딩하는 인코더(101)를 더 포함한다. 인코더(101)는 비대칭 탐색 영역은 사용하는 움직임 추정 및/또는 보상 장치, 예를 들어, 도 3의 장치를 포함한다. 분배 시스템(10)은 예컨대, 저장 제품(20) 상에 신호를 저장함으로써, 인코딩된 비디오 신호(S)를 출력하는 출력 유닛(102)을 포함한다. 바람직하게, 출력 유닛(102)은 인코딩된 비디오 신호(S)내에 예측 정보로서 비대칭 탐색 영역의 오프셋의 표시를 통합시킨다. 상기 오프셋은 신호에 명시적으로 포함될 수 있지만, 움직임 벡터 범위들내에 암시적으로 포함될 수도 있다.
도 5는 본 발명의 실시예에 따른 디지털 수신기 또는 텔레비전 등의 재생 장치(300)를 도시한다. 상기 재생 장치(300)는 인코딩된 비디오 이미지들의 시퀀스를 포함하는 인코딩된 디지털 비디오 신호를 획득하기 위해 입력 유닛(301)을 포함한다. 상기 입력 유닛(301)은 인코딩된 비디오 이미지들을 수신하도록 적절히 배열된 분배 시스템의 입력 유닛(101)과 유사할 수 있다. 인코딩된 비디오 이미지들의 시퀀스는 저장 제품(20')으로부터 획득될 수 있다. 재생 장치(30)는, 특히, 비대칭 탐색 영역을 사용하여 움직임 보상 및/또는 추정을 수행하는 처리기(302)를 더 포함한다. 또, 처리기(302)는 도 3에 도시된 같은 장치를 포함할 수 있다. 출력 유닛(303)(예컨대, 디스플레이)은 처리된 비디오 이미지들을 출력한다. 장치(302)에서 수행된 처리는 비대칭 탐색 영역으로 움직임 추정 및/또는 움직임 보상을 수행하는 주사 속도 변환일 수 있다. 재생 장치가 도 4의 분배 시스템으로부터 얻어진 신호(S)를 처리하는 경우, 탐색 영역은 신호(S)에 포함된 움직임 벡터 정보에 의해 결정될 수 있다.
상술된 실시예들이 본 발명을 제한하기 보다 예시하는 것이며, 본 기술분야 의 숙련자들은 첨부된 청구범위의 범위에서 벗어나지 않는 여러 대안의 실시예들을 설계할 수 있음에 주목해야 한다. 청구범위에서, 괄호들 사이에 위치한 소정의 참조 부호들은 청구범위를 제한하는 것으로 해석되지 않아야 한다. 단어 "포함하는"은 청구범위에 열거된 것들 외의 구성요소들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 몇몇의 명확한 구성요소들을 포함하는 하드웨어에 의해 그리고 적당히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇의 수단을 열거하는 장치 청구항에서, 몇몇의 상기 수단은 하나 및 동일 아이템의 하드웨어에 의해 구현될 수 있다. 소정의 방법이 서로 다른 종속항에 인용된다는 단순한 사실은 상기 방법의 조합이 유리하게 사용될 수 없는 것을 나타내지 않는다.

Claims (19)

  1. 제 1 비디오 이미지(P1)로부터 제 2 비디오 이미지(P2)로의 움직임을 추정하는 방법으로서:
    상기 제 1 비디오 이미지(P1)의 제 1 이미지 세그먼트(B1)를 선택하는 단계와,
    상기 제 2 비디오 이미지(P2)로부터 상기 제 1 이미지 세그먼트(B1)의 이미지 데이터와 가장 잘 매칭되는 제 2 이미지 세그먼트(B2)에 대한 이미지 데이터를 탐색하는 단계와,
    상기 제 1 이미지 세그먼트(B1)와 동일한 공간 위치를 가지며, 이미지 세그먼트 중심을 가진 상기 제 2 이미지(P2)내의 추가 이미지 세그먼트(B12)를 규정하는 단계와,
    상기 추가 이미지 세그먼트(B12)에 대한 가능한 움직임 벡터들(V)의 범위들에 기초하여, 상기 추가 이미지 세그먼트(B12) 주변에 탐색 영역 중심을 가진 탐색 영역(S)을 규정하는 단계와;
    상기 탐색 영역에 관련된 이미지 데이터를 검색(retrieve)하는 단계를 포함하되,
    상기 탐색 영역(S)은 상기 이미지 세그먼트(B12)의 중심으로부터의 중심 오프셋(CO)을 갖도록 규정되고, 상기 오프셋은 글로벌 움직임 파라메타에 의해 결정되며,
    상기 규정된 탐색 영역의 이미지 데이터는 상기 검색 단계에서 이미지 메모리로 부터 검색되어 블록 매처로 전송됨으로서, 상기 탐색 영역의 전송된 이미지 데이터를 이용하여 상기 탐색이 실행되는
    움직임 추정 방법.
  2. 제 1 항에 있어서,
    상기 오프셋은 상기 비디오 이미지의 수평 방향으로만 이루어지는
    움직임 추정 방법.
  3. 제 1 항에 있어서,
    상기 오프셋은 상기 비디오 이미지의 수직 방향으로만 이루어지는
    움직임 추정 방법.
  4. 제 1 항에 있어서,
    상기 오프셋은 상기 비디오 이미지내 상기 이미지 세그먼트의 위치에 의존하는,
    움직임 추정 방법.
  5. 제 1 항에 있어서,
    상기 오프셋은 상기 비디오 이미지내 상기 제 1 이미지 세그먼트의 모든 위치들에 대해 동일한 값을 갖는,
    움직임 추정 방법.
  6. 삭제
  7. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 글로벌 움직임 파라미터는 적어도 하나의 이전 비디오 이미지의 움직임 벡터 필드의 특성들에 의존하는,
    움직임 추정 방법.
  8. 제 7 항에 있어서,
    상기 글로벌 움직임 파라미터는 상기 움직임 벡터 필드내 움직임 벡터들의 최소 및 최대 값들에 의존하는,
    움직임 추정 방법.
  9. 제 7 항에 있어서,
    상기 글로벌 움직임 파라미터는 상기 움직임 벡터 필드내 움직임 벡터들의 평균값에 의존하는,
    움직임 추정 방법.
  10. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 글로벌 움직임 파라미터는 별개의 움직임 추정기에 의해 결정되는,
    움직임 추정 방법.
  11. 비디오 이미지 시퀀스를 인코딩하는 방법으로서,
    상기 인코딩 방법은 청구항 제1항의 방법을 포함하고,
    상기 탐색 영역의 오프셋의 표현을 인코딩된 비디오 신호내에 예측 정보로서 통합시키는 단계를 더 포함하는,
    비디오 이미지 시퀀스의 인코딩 방법.
  12. 제 1 비디오 이미지(P1)로부터 제 2 비디오 이미지(P2)로의 움직임을 추정하는 장치(101,301)로서,
    상기 제 1 비디오 이미지(P1)의 제 1 이미지 세그먼트(B1)를 선택하고, 상기 제 1 이미지 세그먼트(B1)와 동일한 공간 위치를 가지며, 이미지 세그먼트 중심을 가진 상기 제 2 비디오 이미지의 추가 이미지 세그먼트(B12)를 선택하는 수단(2,4)과,
    상기 제 2 비디오 이미지(P2)로부터 상기 제 1 이미지 세그먼트(B1)의 이미지 데이터와 가장 잘 매칭되는 제 2 이미지 세그먼트(B2)에 대한 이미지 데이터를 탐색하는 수단과,
    상기 추가 이미지 세그먼트(B12)에 대한 가능한 움직임 벡터들(V)의 범위들에 기초하여, 상기 추가 이미지 세그먼트(B12) 주변에 탐색 영역 중심을 가진 탐색 영역(S)을 규정하는 수단(2,3)과,
    상기 탐색 영역에 관련된 이미지 데이터를 검색하는 수단(2,3)을 포함하되,
    상기 규정하는 수단은, 상기 탐색 영역(S)은 상기 이미지 세그먼트(B12)의 중심으로부터의 중심 오프셋(CO)을 갖도록 상기 탐색 영역을 규정하는 수단을 포함하고,
    상기 오프셋은 글로벌 움직임 파라메타에 의해 결정되며,
    상기 검색하는 수단은, 상기 규정된 탐색 영역의 이미지 데이터를 이미지 메모리로 부터 검색하고, 상기 규정된 탐색 영역의 이미지 데이터를 블록 매처로 전송하도록 구성됨으로써, 상기 탐색 영역의 전송된 이미지 데이터를 이용하여 상기 탐색이 실행되는
    움직임 추정 장치.
  13. 비디오 이미지 시퀀스를 인코딩하는 인코더로서,
    상기 인코더는 청구항 제12항의 장치를 포함하고,
    상기 탐색 영역의 오프셋의 표현을 상기 인코딩된 비디오 신호내의 예측 정보로서 통합하는 수단을 더 포함하는
    인코더.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    비디오 이미지의 시퀀스가 인코딩된 비디오 신호로 인코딩되고,
    상기 오프셋의 표현을 상기 인코딩된 비디오 신호의 예측 정보로서 인코딩하는
    움직임 추정 방법.
  19. 제 12 항에 있어서,
    비디오 이미지의 시퀀스를 비디오 신호로 인코딩하는 인코더를 더 포함하고,
    상기 오프셋의 표현을 상기 인코딩된 비디오 신호의 예측 정보로서 통합하는 수단을 포함하는
    움직임 추정 장치.
KR1020047003717A 2001-09-12 2002-08-29 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더 KR100905880B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01203440 2001-09-12
EP01203440.1 2001-09-12
PCT/IB2002/003560 WO2003024116A1 (en) 2001-09-12 2002-08-29 Motion estimation and/or compensation

Publications (2)

Publication Number Publication Date
KR20040035777A KR20040035777A (ko) 2004-04-29
KR100905880B1 true KR100905880B1 (ko) 2009-07-03

Family

ID=8180917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047003717A KR100905880B1 (ko) 2001-09-12 2002-08-29 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더

Country Status (8)

Country Link
US (1) US7929609B2 (ko)
EP (1) EP1430724B1 (ko)
JP (1) JP4472986B2 (ko)
KR (1) KR100905880B1 (ko)
CN (1) CN1303818C (ko)
AT (1) ATE404019T1 (ko)
DE (1) DE60228101D1 (ko)
WO (1) WO2003024116A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US7386373B1 (en) * 2003-01-07 2008-06-10 Garmin International, Inc. System, method and apparatus for searching geographic area using prioritized spatial order
US6745115B1 (en) 2003-01-07 2004-06-01 Garmin Ltd. System, method and apparatus for searching geographic area using prioritized spacial order
US8131095B2 (en) * 2003-02-03 2012-03-06 Actimagine Process and device for the compression of portions of images
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
JP2005223631A (ja) * 2004-02-05 2005-08-18 Sony Corp データ処理装置およびその方法と符号化装置および復号装置
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US9495385B2 (en) 2004-10-01 2016-11-15 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US7812986B2 (en) 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
KR100714698B1 (ko) * 2005-08-29 2007-05-07 삼성전자주식회사 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
WO2007078800A1 (en) * 2005-12-15 2007-07-12 Analog Devices, Inc. Motion estimation using prediction guided decimated search
EP1841232A1 (en) * 2006-03-31 2007-10-03 Sony Deutschland Gmbh Method and apparatus to improve the convergence speed of a recursive motion estimator
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US7933452B2 (en) * 2006-12-11 2011-04-26 Florida Atlantic University System and methods of image retrieval
KR101356735B1 (ko) * 2007-01-03 2014-02-03 삼성전자주식회사 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법
WO2009034486A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
TW200937349A (en) * 2008-02-19 2009-09-01 Elan Microelectronics Corp Image displacement detection method
US8559518B2 (en) * 2008-06-30 2013-10-15 Samsung Electronics Co., Ltd. System and method for motion estimation of digital video using multiple recursion rules
US8144766B2 (en) * 2008-07-16 2012-03-27 Sony Corporation Simple next search position selection for motion estimation iterative search
US8462852B2 (en) * 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
GB2480422B (en) * 2010-02-25 2014-07-09 Imagination Tech Ltd Object tracking using graphics engine derived vectors in a motion estimation system
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
CN102986224B (zh) 2010-12-21 2017-05-24 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
RU2013106319A (ru) * 2013-02-13 2014-08-20 ЭлЭсАй Корпорейшн Основанная на характерных точках надежная регистрация трехмерного твердого тела
US20140254678A1 (en) * 2013-03-11 2014-09-11 Aleksandar Beric Motion estimation using hierarchical phase plane correlation and block matching
CN104301703A (zh) * 2013-07-16 2015-01-21 联咏科技股份有限公司 匹配搜寻方法与匹配搜寻系统
JP6527460B2 (ja) * 2015-12-25 2019-06-05 日本電信電話株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム
EP3220642B1 (en) 2016-03-15 2018-03-07 Axis AB Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame
WO2019084801A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 运动估计方法和装置
WO2022104678A1 (zh) * 2020-11-20 2022-05-27 深圳市大疆创新科技有限公司 视频编解码方法、装置、可移动平台和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69126930T2 (de) * 1990-09-03 1998-02-19 Philips Electronics Nv Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet
JPH05328333A (ja) 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
KR0148154B1 (ko) * 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
JPH10262258A (ja) 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
JP3226020B2 (ja) 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US6574370B1 (en) 1998-07-22 2003-06-03 Mitsubishi Denki Kabushiki Kaisha Image encoding system
EP0982952A3 (en) 1998-08-28 2000-05-17 Hitachi, Ltd. Moving picture recording/regenerating system
JP3939907B2 (ja) 1998-08-28 2007-07-04 株式会社ルネサステクノロジ 信号処理装置
US6876702B1 (en) * 1998-10-13 2005-04-05 Stmicroelectronics Asia Pacific (Pte) Ltd. Motion vector detection with local motion estimator
JP4280353B2 (ja) * 1999-03-19 2009-06-17 キヤノン株式会社 符号化装置、画像処理装置、符号化方法、及び記録媒体
CN1147159C (zh) * 1999-04-27 2004-04-21 三星电子株式会社 实时运动图像编码的高速运动估计方法及其装置
US7551673B1 (en) * 1999-05-13 2009-06-23 Stmicroelectronics Asia Pacific Pte Ltd. Adaptive motion estimator
ES2276696T3 (es) * 1999-09-21 2007-07-01 Koninklijke Philips Electronics N.V. Metodo de estimacion de movimiento global.
US7072398B2 (en) * 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US20050207663A1 (en) * 2001-07-31 2005-09-22 Weimin Zeng Searching method and system for best matching motion vector

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHOON-HOON "A New block-matching algoritmh based on adaptive search area adjustment"(1999.6.22-24) *
ISMAEIL "Efficient motion estimation using spatial and temporal motion vector prediction"(1999.10.24) *

Also Published As

Publication number Publication date
CN1554194A (zh) 2004-12-08
EP1430724A1 (en) 2004-06-23
CN1303818C (zh) 2007-03-07
JP2005503085A (ja) 2005-01-27
WO2003024116A1 (en) 2003-03-20
EP1430724B1 (en) 2008-08-06
DE60228101D1 (de) 2008-09-18
JP4472986B2 (ja) 2010-06-02
ATE404019T1 (de) 2008-08-15
KR20040035777A (ko) 2004-04-29
US7929609B2 (en) 2011-04-19
US20030063673A1 (en) 2003-04-03

Similar Documents

Publication Publication Date Title
KR100905880B1 (ko) 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
US6842483B1 (en) Device, method and digital video encoder for block-matching motion estimation
KR100515199B1 (ko) 트랜스코딩 방법
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
KR100287211B1 (ko) 양방향 움직임 추정방법 및 장치
JP3190529B2 (ja) 映像データ・ブロック変換システム
US8625673B2 (en) Method and apparatus for determining motion between video images
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
KR950009699B1 (ko) 움직임벡터 검출방법 및 장치
KR20060047595A (ko) 적응 시간적인 예측을 채용하는 움직임 벡터 추정
JP2001169288A (ja) 動きベクトル探索装置および方法
JPH09163380A (ja) 画像符号化装置及び動きベクトル検出方法
US20050180506A1 (en) Unit for and method of estimating a current motion vector
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
US5731851A (en) Method for determining feature points based on hierarchical block searching technique
JP2755851B2 (ja) 動画像符号化装置及び動画像符号化方法
KR19980036073A (ko) 움직임 벡터 검출 방법 및 장치
JPH08294129A (ja) 動きベクトル検出装置および検出方法
JP2007510213A (ja) 小さな高速移動物体を追跡するための動きベクトル場の改良
Braspenning et al. Efficient motion estimation with content-adaptive resolution
JPH09182077A (ja) 画像符号化方法および画像符号化装置
Huang et al. An adaptively refined block matching algorithm for motion compensated video coding
JP2883585B2 (ja) 動画像符号化装置及び動画像符号化方法
JP3824359B2 (ja) 動きベクトル検出方法および装置
JPH07147670A (ja) 画像データの補間装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130611

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140611

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee