KR20040035777A - 움직임 추정 및/또는 보상 - Google Patents
움직임 추정 및/또는 보상 Download PDFInfo
- Publication number
- KR20040035777A KR20040035777A KR10-2004-7003717A KR20047003717A KR20040035777A KR 20040035777 A KR20040035777 A KR 20040035777A KR 20047003717 A KR20047003717 A KR 20047003717A KR 20040035777 A KR20040035777 A KR 20040035777A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- motion
- search area
- video image
- offset
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
Abstract
비디오 이미지의 움직임 추정 및/또는 보상이 제공된다. 상기 움직임 추정 및/또는 보상에 있어서, 비디오 이미지의 이미지 세그먼트(B12)가 선택되고, 탐색 영역(S)이 이미지 세그먼트 주변에 규정되고, 상기 규정은 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하며, 상기 탐색 영역에 관련된 이미지 데이터가 검색된다. 탐색 영역은 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 규정된다.
Description
허베 베노이트(Herve Benoit): "디지털 텔레비전, MPEG-1, MPEG-2 및 DVB 시스템의 원리"(런던, 1997, 페이지 40-42)는 P 및 B 화상들이 움직임 추정을 이용하여 전후 화상들로부터 예측되는 구성을 개시하고 있다. 움직임 추정은 블록 매칭과 같은 공지된 기술을 사용하여, 제2 화상의 '도착(arrival)' 지역과 제1 화상의 '출발(departure)' 지역간의 상관을 보장하는 움직임 벡터를 규정하는 것으로 이루어진다. 이러한 것은 매크로블록 레벨 (16 X 16 픽셀)에서, 이전의 화상으로부터 미소 탐색 윈도우내의 현재 화상의 매크로블록을 이동시켜, 이를 상기 윈도우의 모든 가능한 매크로블록들과 비교하여 가장 유사한 것을 찾도록 함으로써 실행된다. 인코딩될 실제 블록과 매칭 블록간의 차 (또는 예측 에러)가 계산되고, I 화상의 블록들과 유사한 방식으로 인코딩된다. 이러한 처리를 움직임 보상이라 칭한다.
움직임 추정 및/또는 보상의 또 다른 응용은 비디오 스캔 레이트 변환이 되며, 여기에서, 비디오 신호 처리 시스템의 출력 이미지 레이트는 입력 이미지 레이트와는 다르다. 또한, 이러한 형태의 응용은 움직임 벡터들을 사용함으로써 이점을 가지며, 이러한 것은 게라드 데 한 등에 의한 "3-D 순환 탐색 블록 매칭에 의한 참(true)-움직임 추정"(비디오 기술에 대한 회로 및 시스템의 IEEE 보고서, Vol.3, No.5, 1993년 10월) 및 게라드 데 한에 의한 "움직임 보상된 디-인터레이싱, 노이즈 감소 및 화상 레이트 변환용 IC"(소비자 전자기기의 IEEE 보고서, Vol.45, NO.3, 1999년 8월)에 개시되어 있다.
그러한 인코딩 또는 스캔 레이트 변환 방법과 움직임 추정 및/또는 움직임 보상의 다른 실제적인 응용들에 대해, 움직임 벡터들의 결정은 통상 블록 매칭에 기초하며, 그에 의해, 인코딩된 이미지의 통상 16X16 또는 8X8 픽셀들을 포함하는 일반적으로 정사각인 선택된 화소 블록에 대해 통상 예컨대 88X40 픽셀들을 포함하는 주변 서브 영역이 규정되며, 그 중심에는 상기 픽셀 블록이 위치된다. 이러한 서브 영역은 탐색 영역으로서 적용되거나 이전 이미지의 동일 공간 위치에서 픽셀 블록 주변의 윈도우로서 적용되어, 선택된 픽셀 블록의 것과 매칭하는 비디오 신호 정보를 갖는 탐색 영역 또는 윈도우내에 위치된 픽셀 블록을 탐색하도록 한다. 또한, Hentschel, 'Video-Signalverarbeitung', B.G. Teubner Stuttgart 1998, pages 214-217,를 참조.
기존의 시스템들에 있어서, 이러한 탐색 영역 또는 윈도우의 이미지 데이터는 통상 로컬 버퍼에 저장되거나 온-칩 메모리에 저장되며, 다소 극단의 대역폭이 요구된다.
탐색 영역은 그 이미지 세그먼트에 대해 가능한 움직임 벡터 범위에 걸쳐 이동된 이미지 세그먼트(예컨대, 매크로블록)의 모든 가능한 위치들을 포함하는 영역과 관련된다. 따라서, 탐색 영역의 사이즈와 움직임 벡터 범위들간에는 직접적인 관계가 있다. 보다 큰 탐색 영역은 일반적으로 움직임 추정 및/또는 보상을 개선한다. 하지만, 보다 큰 탐색 영역은 특히 버퍼 메모리 량에 있어 보다 많은 자원을 필요로 하며, 이는 실리콘 영역과 관련된다. 이러한 것은 품질과 제조 비용 모두를 만족시킬 수 없게 한다.
본 발명은 비디오 이미지들에서의 움직임에 대한 보상 및/또는 추정 방법에 관한 것이다.
도 1은 종래 기술에 공지된 바와 같은 벡터 제한들을 갖는 탐색 영역을 도시하는 도면.
도 2는 본 발명의 실시예에 따라 전역 움직임에 대한 보상을 갖는 탐색 영역을 도시하는 도면.
도 3은 예컨대 비디오 주사 속도 변환에서 사용하기 위한 본 발명의 실시예에 따른 실행 가능한 움직임 추정기 아키텍처의 단순화된 블록 다이어그램.
도 4는 본 발명의 실시예에 따른 분배 시스템을 도시하는 도면.
도 5는 본 발명의 실시예에 따른 재생 장치를 도시하는 도면.
본 발명의 목적은, 개선된 움직임 추정 및/또는 보상을 제공하고자 하는 것이다.
이러한 목적을 달성하기 위해, 본 발명은 움직임 추정 및/또는 보상, 인코딩, 인코딩된 디지털 비디오 신호, 저장매체 제품, 분배 시스템 및 재생 장치를 제공하며, 이러한 것은 본원 독립 청구항들에 규정된 바와 같다. 유익한 실시예들은 종속 청구항들에 규정된다.
본 발명의 한 특징에 따라, 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 탐색 영역이 규정된다. 오프셋을 도입함으로써, 상기 탐색 영역은 바람직한 위치에 규정될 수 있다. 예컨대, 움직임이 주어진 방향으로 기대된다면, 기대된 움직임의 방향에서 가능한 보다 큰 움직임 벡터 범위로 되는 동일한 방향의 오프셋을 갖는 탐색 윈도우가 규정될 수 있다. 실제로, 반대 방향의 탐색 영역을 축소시킴으로써 원하는 방향에서의 탐색 윈도우가 확장된다. 탐색 영역 또는 윈도우의 중심을 8X8 픽셀 블록과 같이 실제로 처리되는 이미지 세그먼트 (선택된 이미지 세그먼트)의 중심으로부터 오프셋함으로써, 로컬 탐색 영역 또는 윈도우의 위치는 이미지 세그먼트에 대해 비대칭이 될 것이다. (전역(global)) 움직임 대신에, 다른 이미지 특징들이 또한 탐색 영역에 대한 오프셋을 규정하는데 이용될 수 있다. 본 발명의 이러한 특징은, 탐색 영역과 관련된 이미지 데이터가 이미지 메모리로부터 검색되는 응용들에서 특히 유익하며, 그러한 이미지 데이터는 버퍼 메모리에 일시적으로 기억된다.
실제의 실시예에 있어서는, 오프셋은 비디오 이미지의 수평 방향에서만 있게 된다. 이러한 것은 비디오에 있어서 수평 방향에서의 움직임이 거의 공통적인 것이므로 바람직하다.
실제의 실시예에 있어서, 오프셋은 전역 움직임 파라미터에 의해 결정된다. 이러한 파라미터는 이미지 시퀀스내의 전역 움직임으로부터 추출될 수도 있으며, 또는 이미지 일부에서의 움직임 특성들에 국부적으로 적합될 수도 있다. 전역 움직임의 방향에서 움직임 벡터들의 최대 범위는 증가하여, 전역 움직임의 보상이 제공될 것이다.
본 발명의 실시예들에 따른 움직임 추정 및/또는 보상은, 디지털 비디오 신호들의 인코딩/압축시의 움직임 보상된 예측, 노이즈 감소시의 움직임 보상된 필터링, 비디오 포맷 변환시의 움직임 보상된 보간(interpolation), 인터레이스된 비디오 신호들의 움직임 보상된 디-인터레이싱 등과 같은 움직임 추정 및/또는 움직임 보상의 사용을 수반하는 모든 디지털 비디오 신호 처리 기능들에 적용될 수도 있다.
다음에는, 첨부된 도면을 참조하여 더욱 상세하게 본 발명이 설명된다.
도 1에는 선행하는 이미지 시퀀스에 기초한 연속적인 비디오 이미지 시퀀스에서 이미지의 보간에 움직임 벡터(V)를 적용한 예가 주어진다. 통상, 상기 보간은 비디오 주사 속도 변환, 즉 50 Hz 내지 100Hz 이미지 포맷에서 사용된다.
각 움직임 벡터(V)는 제 1 이미지(P1)의 이미지 세그먼트(B1)와 매칭하는 제 2 이미지(P2)의 이미지 세그먼트(B2) 사이의 위치 차이를 나타낸다. 단방향 예측에 있어서, 제 2 이미지(P2)는 통상적으로 이전 이미지이지만, 제 2 이미지(P2)는 또한 후속 이미지일 수도 있다. 상기한 설명에 따르면, 움직임 벡터는 2차원 평면에서 규정되며 X 성분 및 Y 성분을 가진다.
실제 실시예에서, 이미지 세그먼트들(B1 및 B2)은 예컨대, 8X8 픽셀의 블록들이다. 움직임 벡터 결정은 당 기술분야 공지된 소위 블록 매칭 기법(blockmatching technique)에 기초한다. 제 2 이미지(P2)에서, 선택된 블록(B12)은 제 1 이미지(P1)내의 선택된 블록(B1)에 대응하여 규정된다. 탐색 영역(S)은 B1/B12에 대해 가능한 움직임 벡터들의 범위들에 의존하여 블록(B12) 주변에 규정된다. 통상, 탐색 영역(S)은 수평 및 수직 방향들에서 픽셀 블록(B12)을 둘러싸는 다수의 픽셀 블록들을 포함할 수 있으며, 8X8 픽셀의 블록들의 경우, 탐색 영역(S)의 크기는 예컨대, 88X40 픽셀일 수 있다. 블록(B1/B12)에 할당될 움직임 벡터(V)는 픽셀 블록(B1)에 최상으로 매칭하는 블록(B2)에 대해 탐색 영역 혹은 윈도우(S)를 탐색함으로써 결정된다.
블록 매칭 기법을 사용하는 것에 의해, 이러한 검색 방법은 움직임 추정의 실제 적용에 어느 정도 의존하여 변화하는 레벨의 복잡성으로 처리될 수 있지만, 예측 메모리에 저장된 소위 후보 벡터들의 세트로부터 최상 벡터의 전형적인 선택을 포함한다. 검색 방법의 상세한 설명은 본원에 설명되지 않지만, 전술된 바와 같이 게라드 데 한(Gerard de Haan) 등에 의한 제목 "True-motion Estimation with 3-D Recursive Search Block Matching"의 비디오 기술에 대한 회로 및 시스템상의 IEEE 트랜잭션, 제3권, 제5호, 1993년 10월 및 게라드 데 한에 의한 제목 "IC for Motion-compensated De-interlacing, Noise Reduction and Picture rate conversation"의 소비자 전자제품 상의 IEEE 트랜잭션, 제45권, 제3호, 1999년 8월에 다양한 선정의 포괄적 분석이 주어진다.
상기 방법에서, 움직임 벡터들은 이미지(P1)의 모든 블록들에 대해 결정될 수도 있다. 상기 움직임 벡터들은 원하는 비디오 포맷 변환에서 얻기 위하여 이미지들을 보간하는데 사용될 수도 있다.
움직임 벡터(V)의 최대 범위는 탐색 영역 또는 윈도우(S)의 크기에 관련되며, 탐색 영역 또는 윈도우 중심에 있는 실제 픽셀 블록에 있어서, 최대 움직임 벡터(V)의 수평 및 수직 성분들의 최대 범위는 8 및 5 픽셀 블록들에 각각 대응하는, 각 수평 및 수직 방향에서의 예컨대 40 및 16 픽셀들일 것이다.
도 2는 본 발명의 실시예에 따른 움직임 추정 및/또는 움직임 보상을 예시하며, 이미지(P2)에서 픽셀 블록(B12)에 할당된 탐색 영역 또는 윈도우(S)는 오프셋(CO)에 의한 픽셀 블록(B12)의 위치에서 중심 오프셋을 갖도록 규정된다. 상기 오프셋은 전역 움직임 파라미터에 의해 바람직하게 결정되며, 이 전역 움직임 파라미터는 예컨대, 패닝(panning) 또는 틸팅(tilting)의 형태로 통상 카메라 이동에 의해 야기될 수도 있기 때문에 처리중인 이미지를 포함하는 이미지들의 시퀀스에서 전역 움직임으로부터 추출된다. 그 때문에, 탐색 영역 및 윈도우(S)는 블록(B12)에 대하여 비대칭적으로 배치되고, 움직임 벡터를 결정하기 위한 최대 범위는 한 수평 방향 및/또는 한 수직 방향에서 연장될 수 있다. 도 2에 예시된 예에서, 탐색 영역 또는 윈도우(S)에 대한 중심 오프셋(CO)은 수평 방향에서(우측으로) 50 픽셀 및 수직 방향에서(위로) 24 픽셀의 최대 범위가 되는 수평 방향에서 10 픽셀 및 수직 방향에서 8 픽셀이다.
블록(B12)에 대한 탐색 영역 또는 윈도우(S)의 비대칭 변위의 간단한 구현에서, 중심 오프셋(CO)을 결정하는 전역 움직임 파라미터는 하나 또는 그 이상의 이전 이미지들에 대해 확립된 움직임 벡터들의 평균 벡터로부터 결정될 수 있다.
보다 향상된 시스템에서, 이전에 계산된 벡터 필드들의 통계치는 중심 오프셋(CO)을 결정하기 위하여 최대 벡터값들의 계산하는데 사용될 수 있다.
예컨대, 비디오 주사 속도 변환에서 사용하기 위한 실행 가능한 움직임 추정기 아키텍처의 도 3의 간략화된 블록 다이어그램에서, 인입 이미지들은 이미지 메모리(1)에 공급되고, 그로부터 움직임 벡터들이 결정될 이미지 세그먼트들의 그룹들을 포함하는 실제 이미지 쌍(P1 및 P2)은 블록 매처(2)에 전송된다. 블록 매처(2)에서, 이미지(P1)에서 선택된 블록들에 매칭하는 이미지(P2)에서의 블록들 또는 이미지 세그먼트 그룹들에 대한 검색은 로컬 버퍼 또는 탐색 영역 메모리(3)로부터 블록-매처(2)에 전송된 탐색 영역(S)의 적용에 의해 또한 벡터 메모리(4)로부터 블록 매처(2)에 전송된 후보 움직임 벡터들(CV)의 세트를 사용하는 것에 의해 처리된다.
버퍼 메모리(3)에 임시 저장된 탐색 영역(S)은 이미지(P2)로부터 얻고, 상기 이미지(P2)는 이미지 메모리(1')에 저장되어 있다. 이미지 메모리들(1 및 1')은 한 이미지 메모리에서 구현될 수 있다.
벡터 메모리(4)는 이미지(P1)에서 검색될 이미지 블록 및 제 2 이미지(P2)의 세그먼트 그룹들 또는 블록들을 위해 결정된 모든 움직임 벡터들을 저장하고, 후보 벡터들의 세트는 선행하는 이미지에서 같은 위치를 갖는 이미지 블록 또는 실제 이미지에서 인접 이미지 블록을 결정하기 위해 결정된 움직임 벡터들을 포함한다.
본 발명에 따르면, 탐색 영역(S)의 주어진 크기를 위해 가능한 움직임 벡터들의 범위의 확대는 조사 하의 세그먼트 그룹 또는 블록의 이미지의 위치에서 중심오프셋을 갖도록 탐색 영역의 한정의 수정에 의해 가능해진다.
간단한 구현에서, 상기 수정은 벡터 분석기(5)의 벡터 메모리(4)에서 이전에 발견된 벡터들의 분석에 의해 움직임 보상 파라미터(C)의 결정에 의해 예시된 바와 같이 처리될 수 있다.
블록 매처(2)에서 처리된 블록 매칭 방법은 본 기술에 공지되어 있으며, 후보 벡터들의 적용에 의해 국부화된 블록들의 매칭 또는 비교를 포함한다.
이러한 방법에 의해, 각 매치 에러(M)가 최대 매치를 선택하는 벡터 선택기(6)에 건네지고, 미래 움직임 벡터들의 결정에서 사용하기 위한 벡터 메모리(4)에서의 대응하는 후보 벡터를 저장한다.
도 3에 예시된 간단한 움직임 추정기 아키텍처는 본 발명의 구현에 대한 일예일 뿐이다. 대안의 가능성으로서, 실제 사용하기 위한 움직임 보상 파라미터가 적당한 선택 수단에 의해 취소될 수 있었던, 이전에 처리된 이미지 블록들 또는 선행하는 이미지들로부터의 움직임 보상 파라미터들은 전역 움직임 추정 메모리에 저장될 수 있었다.
도 4는 본 발명의 실시예에 따른 분배 시스템(10)을 도시한다. 분배 시스템(10)은 비디오 이미지들의 시퀀스를 얻기 위한 수단(100)을 포함한다. 상기 수단(100)은 카메라 및 비디오 이미지들의 시퀀스를 실행하는 신호를 수신하기 위한 안테나 등의 입력 유닛일 수 있다. 상기 수단(100)은 또한 기록 캐리어를 위한 판독 유닛일 수 있다. 분배 시스템은 인코딩된 디지털 비디오 신호(S)를 얻기 위한 비디오 이미지들의 시퀀스를 인코딩하는 인코더(101)를 더 포함한다. 인코더(101)는 비대칭 탐색 영역 예컨대, 도 3의 장치를 사용하는 움직임 추정 및/또는 보상 장치를 포함한다. 분배 시스템(10)은 예컨대, 저장 제품(20) 상의 신호를 저장함으로써, 인코딩된 비디오 신호(S)를 출력하는 출력 유닛(102)을 포함한다. 바람직하게, 출력 유닛(102)은 인코딩된 비디오 신호(S0의 예측 정보로서 비대칭 탐색 영역의 오프셋의 표시를 통합시킨다. 상기 오프셋은 신호에 명시적으로 포함될 수 있지만, 움직임 벡터 범위들에 암시적으로 포함될 수도 있다.
도 5는 본 발명의 실시예에 따른 디지털 수신기 또는 텔레비전 등의 재생 장치(300)를 도시한다. 상기 재생 장치(300)는 인코딩된 비디오 이미지들의 시퀀스를 포함하는 인코딩된 디지털 비디오 신호를 얻도록 입력 유닛(301)을 포함한다. 상기 입력 유닛(301)은 인코딩된 비디오 이미지들을 수신하도록 적절히 배열된 분배 시스템의 입력 유닛(101)과 유사할 수 있다. 인코딩된 비디오 이미지들의 시퀀스는 저장 제품(20')으로부터 얻을 수 있다. 재생 장치(30)는 비대칭 탐색 영역을 사용하여 움직임 보상 및/또는 추정을 수행하는 처리기(302)를 더 포함한다. 또, 처리기(302)는 도 3에 주어진 바와 같은 장치를 포함할 수 있다. 출력 유닛(303)(예컨대, 디스플레이)은 처리된 비디오 이미지들을 출력한다. 장치(302)에서 수행된 처리는 비대칭 탐색 영역에 대해 움직임 추정 및/또는 움직임 보상을 수행하는 주사 속도 변환일 수 있다. 이 경우에, 재생 장치는 도 4의 분배 시스템으로부터 얻어진 신호(S)를 처리하고, 탐색 영역은 신호(S)에 포함된 움직임 벡터 정보에 의해 결정될 수 있다.
상술된 실시예들이 본 발명을 제한하기 보다 예시하는 것이며, 본 기술분야의 숙련자들은 첨부된 청구범위의 범위에서 벗어나지 않는 여러 대안의 실시예들을 설계할 수 있음에 주목해야 한다. 청구범위에서, 괄호들 사이에 위치한 소정의 참조 부호들은 청구범위를 제한하는 것으로 해석되지 않아야 한다. 단어 "포함하는"은 청구범위에 열거된 것들 외의 구성요소들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 몇몇의 명확한 구성요소들을 포함하는 하드웨어에 의해 그리고 적당히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇의 수단을 열거하는 장치 청구항에서, 몇몇의 상기 수단은 하나 및 동일 아이템의 하드웨어에 의해 구현될 수 있다. 소정의 방법이 서로 다른 종속항에 인용된다는 단순한 사실은 상기 방법의 조합이 유리하게 사용될 수 없는 것을 나타내지 않는다.
Claims (17)
- 비디오 이미지들에서의 움직임을 추정 및/또는 보상하는 방법으로서,주어진 비디오 이미지(P2)의 이미지 세그먼트(B12)를 선택하는 단계와;상기 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위들에 기초하여, 상기 이미지 세그먼트 주변의 탐색 영역(S)을 규정하는 단계와;상기 탐색 영역에 관련된 이미지 데이터를 검색하는 단계를 포함하고,상기 탐색 영역(S)은 상기 이미지 세그먼트(B12)의 중심으로부터 그 중심 오프셋(CO)을 갖도록 규정되는 것을 특징으로 하는 움직임 추정 및/또는 보상 방법.
- 제1항에 있어서, 상기 오프셋은 상기 비디오 이미지의 수평 방향에서만 있는, 움직임 추정 및/또는 보상 방법.
- 제1항에 있어서, 상기 오프셋은 상기 비디오 이미지의 수직 방향에서만 있는, 움직임 추정 및/또는 보상 방법.
- 제1항에 있어서, 상기 오프셋은 상기 비디오 이미지내 상기 이미지 세그먼트의 위치에 의존하는, 움직임 추정 및/또는 보상 방법.
- 제1항에 있어서, 상기 오프셋은 상기 비디오 이미지내 상기 이미지 세그먼트의 모든 위치들에 대해 동일한 값을 갖는, 움직임 추정 및/또는 보상 방법.
- 제1항에 있어서, 상기 오프셋은 전역 움직임 파라미터에 의해 결정되는, 움직임 추정 및/또는 보상 방법.
- 제6항에 있어서, 상기 전역 움직임 파라미터는 적어도 하나의 이전 비디오 이미지의 움직임 벡터 필드의 특성에 의존하는, 움직임 추정 및/또는 보상 방법.
- 제7항에 있어서, 상기 전역 움직임 파라미터는 상기 움직임 벡터 필드내 움직임 벡터들의 최소 및 최대 값들에 의존하는, 움직임 추정 및/또는 보상 방법.
- 제7항에 있어서, 상기 전역 움직임 파라미터는 상기 움직임 벡터 필드내 움직임 벡터들의 평균값에 의존하는, 움직임 추정 및/또는 보상 방법.
- 제6항에 있어서, 상기 전역 움직임 파라미터는 별개의 움직임 추정기에 의해 결정되는, 움직임 추정 및/또는 보상 방법.
- 비디오 이미지 시퀀스를 인코딩(101)하는 방법으로서,상기 인코딩 방법은 움직임을 추정 및/또는 보상하는 단계를 포함하고, 상기 움직임 추정 및/또는 보상 단계는,주어진 비디오 이미지(P2)의 이미지 세그먼트(B12)를 선택하는 단계와;상기 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하여, 상기 이미지 세그먼트 주변의 탐색 영역(S)을 규정하는 단계와;상기 탐색 영역에 관련된 이미지 데이터를 검색하는 단계를 포함하고,상기 탐색 영역(S)은 상기 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 규정되고, 상기 오프셋의 표현은 인코딩된 비디오 신호에 예측 정보로서 통합되는 것을 특징으로 하는 비디오 이미지 시퀀스의 인코딩 방법.
- 비디오 이미지들에서의 움직임을 추정 및/또는 보상하는 장치(101,301)로서,주어진 비디오 이미지(P2)의 이미지 세그먼트(B12)를 선택하는 수단(2,4)과;상기 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하여, 상기 이미지 세그먼트 주변의 탐색 영역(S)을 규정하는 수단(2,3)과;상기 탐색 영역에 관련된 이미지 데이터를 검색하는 수단(2,3)을 포함하고,상기 규정 수단은 상기 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 상기 탐색 영역을 규정하는 수단을 포함하는 것을 특징으로 하는 움직임 추정 및/또는 보상 장치.
- 비디오 이미지 시퀀스를 인코딩하는 인코더(101)로서,상기 인코터는 움직임을 추정 및/또는 보상하는 수단을 포함하고, 상기 움직임 추정 및/또는 보상 수단은,주어진 비디오 이미지(P2)의 이미지 세그먼트(B12)를 선택하는 수단과;상기 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하여, 상기 이미지 세그먼트 주변의 탐색 영역(S)을 규정하는 수단과;상기 탐색 영역에 관련된 이미지 데이터를 검색하는 수단을 포함하고,상기 규정 수단은 상기 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 상기 탐색 영역을 규정하는 수단을 포함하고, 상기 인코더는 상기 오프셋의 표현을 인코딩된 비디오 신호에 예측 정보로서 통합하는 수단을 더 포함하는 것을 특징으로 하는 비디오 이미지 시퀀스의 인코딩 방법.
- 인코딩된 비디오 이미지 시퀀스 및 적어도 하나의 인접 비디오 이미지에 기초하여 적어도 주어진 비디오 이미지의 예측을 위한 움직임 벡터 정보를 포함하는 인코딩된 디지털 비디오 신호(S)로서,상기 주어진 비디오 이미지의 주어진 이미지 세그먼트에 대해 상기 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖는 탐색 영역을 규정하는 정보를 포함하는 것을 특징으로 하는 인코딩된 디지털 비디오 신호(S).
- 제14항에 청구된 바와 같은 인코딩된 디지털 비디오 신호를 포함하는 저장매체 제품.
- 분배 시스템(10)에 있어서,비디오 이미지 시퀀스를 얻기 위한 수단(100)과;인코딩된 디지털 비디오 신호(S)를 얻기 위해 상기 비디오 이미지 시퀀스를 인코딩하는 제13항에 청구된 인코더(101)와;상기 인코딩된 비디오 신호를 출력하는 출력 유닛(102)을 포함하는 분배 시스템(10).
- 재생 장치(300)에 있어서,인코딩된 비디오 이미지 시퀀스를 포함하는 인코딩된 디지털 비디오 신호를 얻기 위한 입력 유닛(300)과;처리된 비디오 이미지를 얻도록 적어도 주어진 비디오 이미지를 움직임 보상 및/또는 추정하는 제12항에 청구된 장치(301)와;상기 처리된 비디오 이미지를 출력하는 수단(302)을 포함하는, 재생 장치(300).
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01203440 | 2001-09-12 | ||
EP01203440.1 | 2001-09-12 | ||
PCT/IB2002/003560 WO2003024116A1 (en) | 2001-09-12 | 2002-08-29 | Motion estimation and/or compensation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040035777A true KR20040035777A (ko) | 2004-04-29 |
KR100905880B1 KR100905880B1 (ko) | 2009-07-03 |
Family
ID=8180917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020047003717A KR100905880B1 (ko) | 2001-09-12 | 2002-08-29 | 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7929609B2 (ko) |
EP (1) | EP1430724B1 (ko) |
JP (1) | JP4472986B2 (ko) |
KR (1) | KR100905880B1 (ko) |
CN (1) | CN1303818C (ko) |
AT (1) | ATE404019T1 (ko) |
DE (1) | DE60228101D1 (ko) |
WO (1) | WO2003024116A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100714698B1 (ko) * | 2005-08-29 | 2007-05-07 | 삼성전자주식회사 | 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치 |
WO2012105807A3 (ko) * | 2011-01-31 | 2012-12-13 | 한국전자통신연구원 | 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
US7386373B1 (en) * | 2003-01-07 | 2008-06-10 | Garmin International, Inc. | System, method and apparatus for searching geographic area using prioritized spatial order |
US6745115B1 (en) | 2003-01-07 | 2004-06-01 | Garmin Ltd. | System, method and apparatus for searching geographic area using prioritized spacial order |
US8131095B2 (en) * | 2003-02-03 | 2012-03-06 | Actimagine | Process and device for the compression of portions of images |
US7453940B2 (en) * | 2003-07-15 | 2008-11-18 | Lsi Corporation | High quality, low memory bandwidth motion estimation processor |
JP2005223631A (ja) * | 2004-02-05 | 2005-08-18 | Sony Corp | データ処理装置およびその方法と符号化装置および復号装置 |
US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
US9495385B2 (en) | 2004-10-01 | 2016-11-15 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US7812986B2 (en) | 2005-08-23 | 2010-10-12 | Ricoh Co. Ltd. | System and methods for use of voice mail and email in a mixed media environment |
US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
US10192279B1 (en) | 2007-07-11 | 2019-01-29 | Ricoh Co., Ltd. | Indexed document modification sharing with mixed media reality |
US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
US7702673B2 (en) | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
WO2007078800A1 (en) * | 2005-12-15 | 2007-07-12 | Analog Devices, Inc. | Motion estimation using prediction guided decimated search |
EP1841232A1 (en) * | 2006-03-31 | 2007-10-03 | Sony Deutschland Gmbh | Method and apparatus to improve the convergence speed of a recursive motion estimator |
US8494052B2 (en) * | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
US7933452B2 (en) * | 2006-12-11 | 2011-04-26 | Florida Atlantic University | System and methods of image retrieval |
KR101356735B1 (ko) * | 2007-01-03 | 2014-02-03 | 삼성전자주식회사 | 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법 |
WO2009034486A2 (en) * | 2007-09-10 | 2009-03-19 | Nxp B.V. | Method and apparatus for line-based motion estimation in video image data |
TW200937349A (en) * | 2008-02-19 | 2009-09-01 | Elan Microelectronics Corp | Image displacement detection method |
US8559518B2 (en) * | 2008-06-30 | 2013-10-15 | Samsung Electronics Co., Ltd. | System and method for motion estimation of digital video using multiple recursion rules |
US8144766B2 (en) * | 2008-07-16 | 2012-03-27 | Sony Corporation | Simple next search position selection for motion estimation iterative search |
US8462852B2 (en) * | 2009-10-20 | 2013-06-11 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
GB2480422B (en) * | 2010-02-25 | 2014-07-09 | Imagination Tech Ltd | Object tracking using graphics engine derived vectors in a motion estimation system |
US20110299597A1 (en) * | 2010-06-07 | 2011-12-08 | Sony Corporation | Image processing method using motion estimation and image processing apparatus |
CN102986224B (zh) | 2010-12-21 | 2017-05-24 | 英特尔公司 | 用于增强的解码器侧运动向量导出处理的系统及方法 |
US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
RU2013106319A (ru) * | 2013-02-13 | 2014-08-20 | ЭлЭсАй Корпорейшн | Основанная на характерных точках надежная регистрация трехмерного твердого тела |
US20140254678A1 (en) * | 2013-03-11 | 2014-09-11 | Aleksandar Beric | Motion estimation using hierarchical phase plane correlation and block matching |
CN104301703A (zh) * | 2013-07-16 | 2015-01-21 | 联咏科技股份有限公司 | 匹配搜寻方法与匹配搜寻系统 |
JP6527460B2 (ja) * | 2015-12-25 | 2019-06-05 | 日本電信電話株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
EP3220642B1 (en) | 2016-03-15 | 2018-03-07 | Axis AB | Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame |
WO2019084801A1 (zh) * | 2017-10-31 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 运动估计方法和装置 |
WO2022104678A1 (zh) * | 2020-11-20 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 视频编解码方法、装置、可移动平台和存储介质 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69126930T2 (de) * | 1990-09-03 | 1998-02-19 | Philips Electronics Nv | Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet |
JPH05328333A (ja) | 1992-05-15 | 1993-12-10 | Toshiba Corp | 動きベクトル検出装置 |
US6182069B1 (en) * | 1992-11-09 | 2001-01-30 | International Business Machines Corporation | Video query system and method |
US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
KR0148154B1 (ko) * | 1994-06-15 | 1998-09-15 | 김광호 | 움직임크기에 따른 동영상데이타의 부호화방법 및 장치 |
JPH10262258A (ja) | 1997-03-19 | 1998-09-29 | Sony Corp | 画像符号化装置及び方法 |
JP3226020B2 (ja) | 1997-05-28 | 2001-11-05 | 日本電気株式会社 | 動きベクトル検出装置 |
JP4083266B2 (ja) | 1997-10-07 | 2008-04-30 | 株式会社日立製作所 | 動きベクトルの生成方法および装置 |
US6285711B1 (en) * | 1998-05-20 | 2001-09-04 | Sharp Laboratories Of America, Inc. | Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences |
US6128047A (en) * | 1998-05-20 | 2000-10-03 | Sony Corporation | Motion estimation process and system using sparse search block-matching and integral projection |
US6574370B1 (en) | 1998-07-22 | 2003-06-03 | Mitsubishi Denki Kabushiki Kaisha | Image encoding system |
EP0982952A3 (en) | 1998-08-28 | 2000-05-17 | Hitachi, Ltd. | Moving picture recording/regenerating system |
JP3939907B2 (ja) | 1998-08-28 | 2007-07-04 | 株式会社ルネサステクノロジ | 信号処理装置 |
US6876702B1 (en) * | 1998-10-13 | 2005-04-05 | Stmicroelectronics Asia Pacific (Pte) Ltd. | Motion vector detection with local motion estimator |
JP4280353B2 (ja) * | 1999-03-19 | 2009-06-17 | キヤノン株式会社 | 符号化装置、画像処理装置、符号化方法、及び記録媒体 |
CN1147159C (zh) * | 1999-04-27 | 2004-04-21 | 三星电子株式会社 | 实时运动图像编码的高速运动估计方法及其装置 |
US7551673B1 (en) * | 1999-05-13 | 2009-06-23 | Stmicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
ES2276696T3 (es) * | 1999-09-21 | 2007-07-01 | Koninklijke Philips Electronics N.V. | Metodo de estimacion de movimiento global. |
US7072398B2 (en) * | 2000-12-06 | 2006-07-04 | Kai-Kuang Ma | System and method for motion vector generation and analysis of digital video clips |
JP3753578B2 (ja) * | 1999-12-07 | 2006-03-08 | Necエレクトロニクス株式会社 | 動きベクトル探索装置および方法 |
KR100683849B1 (ko) * | 2000-06-28 | 2007-02-15 | 삼성전자주식회사 | 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법 |
KR100727910B1 (ko) * | 2000-10-11 | 2007-06-13 | 삼성전자주식회사 | 하이브리드형 고속 움직임 추정 방법 및 그 장치 |
US20050207663A1 (en) * | 2001-07-31 | 2005-09-22 | Weimin Zeng | Searching method and system for best matching motion vector |
-
2002
- 2002-08-29 AT AT02760499T patent/ATE404019T1/de not_active IP Right Cessation
- 2002-08-29 JP JP2003528028A patent/JP4472986B2/ja not_active Expired - Fee Related
- 2002-08-29 EP EP02760499A patent/EP1430724B1/en not_active Expired - Lifetime
- 2002-08-29 KR KR1020047003717A patent/KR100905880B1/ko not_active IP Right Cessation
- 2002-08-29 WO PCT/IB2002/003560 patent/WO2003024116A1/en active IP Right Grant
- 2002-08-29 DE DE60228101T patent/DE60228101D1/de not_active Expired - Lifetime
- 2002-08-29 CN CNB028177827A patent/CN1303818C/zh not_active Expired - Fee Related
- 2002-09-09 US US10/237,814 patent/US7929609B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100714698B1 (ko) * | 2005-08-29 | 2007-05-07 | 삼성전자주식회사 | 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치 |
WO2012105807A3 (ko) * | 2011-01-31 | 2012-12-13 | 한국전자통신연구원 | 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치 |
KR101378888B1 (ko) * | 2011-01-31 | 2014-04-02 | 한국전자통신연구원 | 움직임 벡터를 이용한 영상 부호화 장치 |
US10244252B2 (en) | 2011-01-31 | 2019-03-26 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding/decoding images using a motion vector |
Also Published As
Publication number | Publication date |
---|---|
CN1554194A (zh) | 2004-12-08 |
KR100905880B1 (ko) | 2009-07-03 |
EP1430724A1 (en) | 2004-06-23 |
CN1303818C (zh) | 2007-03-07 |
JP2005503085A (ja) | 2005-01-27 |
WO2003024116A1 (en) | 2003-03-20 |
EP1430724B1 (en) | 2008-08-06 |
DE60228101D1 (de) | 2008-09-18 |
JP4472986B2 (ja) | 2010-06-02 |
ATE404019T1 (de) | 2008-08-15 |
US7929609B2 (en) | 2011-04-19 |
US20030063673A1 (en) | 2003-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100905880B1 (ko) | 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더 | |
KR101135454B1 (ko) | 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 | |
KR100973429B1 (ko) | 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체 | |
KR20060047595A (ko) | 적응 시간적인 예측을 채용하는 움직임 벡터 추정 | |
JPH07193823A (ja) | 映像データ・ブロック変換システム | |
JP2001169288A (ja) | 動きベクトル探索装置および方法 | |
US6996177B1 (en) | Motion estimation | |
US20050129124A1 (en) | Adaptive motion compensated interpolating method and apparatus | |
US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
WO2002071741A2 (en) | A device and method for performing half-pixel accuracy fast search in video coding | |
US20050195324A1 (en) | Method of converting frame rate of video signal based on motion compensation | |
KR100976718B1 (ko) | 필드 레이트 업변환을 위한 방법 및 장치 | |
US5731851A (en) | Method for determining feature points based on hierarchical block searching technique | |
JP2755851B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
KR19980036073A (ko) | 움직임 벡터 검출 방법 및 장치 | |
JP2007510213A (ja) | 小さな高速移動物体を追跡するための動きベクトル場の改良 | |
JPH08294129A (ja) | 動きベクトル検出装置および検出方法 | |
EP1128678A1 (en) | Motion estimation apparatus and method | |
JP2005045700A (ja) | 動画像補間用動き推定方法及び動画像補間用動き推定装置 | |
KR100208984B1 (ko) | 물체의 윤곽선을 이용한 움직임 벡터 추정 장치 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
JP3824359B2 (ja) | 動きベクトル検出方法および装置 | |
JP2758378B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
Al-Mualla et al. | Motion field interpolation for improved motion compensation and frame-rate conversion | |
JPH09139948A (ja) | 動画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130611 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140611 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |