KR20040035777A - 움직임 추정 및/또는 보상 - Google Patents

움직임 추정 및/또는 보상 Download PDF

Info

Publication number
KR20040035777A
KR20040035777A KR10-2004-7003717A KR20047003717A KR20040035777A KR 20040035777 A KR20040035777 A KR 20040035777A KR 20047003717 A KR20047003717 A KR 20047003717A KR 20040035777 A KR20040035777 A KR 20040035777A
Authority
KR
South Korea
Prior art keywords
image
motion
search area
video image
offset
Prior art date
Application number
KR10-2004-7003717A
Other languages
English (en)
Other versions
KR100905880B1 (ko
Inventor
리에멘스아브라함케이.
스쿠텐로베르트제이.
케테니스제로엔엠.
오조올루카요데에이.
에이. 비세르스코르넬리스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8180917&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20040035777(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040035777A publication Critical patent/KR20040035777A/ko
Application granted granted Critical
Publication of KR100905880B1 publication Critical patent/KR100905880B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

비디오 이미지의 움직임 추정 및/또는 보상이 제공된다. 상기 움직임 추정 및/또는 보상에 있어서, 비디오 이미지의 이미지 세그먼트(B12)가 선택되고, 탐색 영역(S)이 이미지 세그먼트 주변에 규정되고, 상기 규정은 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하며, 상기 탐색 영역에 관련된 이미지 데이터가 검색된다. 탐색 영역은 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 규정된다.

Description

움직임 추정 및/또는 보상{Motion estimation and/or compensation}
허베 베노이트(Herve Benoit): "디지털 텔레비전, MPEG-1, MPEG-2 및 DVB 시스템의 원리"(런던, 1997, 페이지 40-42)는 P 및 B 화상들이 움직임 추정을 이용하여 전후 화상들로부터 예측되는 구성을 개시하고 있다. 움직임 추정은 블록 매칭과 같은 공지된 기술을 사용하여, 제2 화상의 '도착(arrival)' 지역과 제1 화상의 '출발(departure)' 지역간의 상관을 보장하는 움직임 벡터를 규정하는 것으로 이루어진다. 이러한 것은 매크로블록 레벨 (16 X 16 픽셀)에서, 이전의 화상으로부터 미소 탐색 윈도우내의 현재 화상의 매크로블록을 이동시켜, 이를 상기 윈도우의 모든 가능한 매크로블록들과 비교하여 가장 유사한 것을 찾도록 함으로써 실행된다. 인코딩될 실제 블록과 매칭 블록간의 차 (또는 예측 에러)가 계산되고, I 화상의 블록들과 유사한 방식으로 인코딩된다. 이러한 처리를 움직임 보상이라 칭한다.
움직임 추정 및/또는 보상의 또 다른 응용은 비디오 스캔 레이트 변환이 되며, 여기에서, 비디오 신호 처리 시스템의 출력 이미지 레이트는 입력 이미지 레이트와는 다르다. 또한, 이러한 형태의 응용은 움직임 벡터들을 사용함으로써 이점을 가지며, 이러한 것은 게라드 데 한 등에 의한 "3-D 순환 탐색 블록 매칭에 의한 참(true)-움직임 추정"(비디오 기술에 대한 회로 및 시스템의 IEEE 보고서, Vol.3, No.5, 1993년 10월) 및 게라드 데 한에 의한 "움직임 보상된 디-인터레이싱, 노이즈 감소 및 화상 레이트 변환용 IC"(소비자 전자기기의 IEEE 보고서, Vol.45, NO.3, 1999년 8월)에 개시되어 있다.
그러한 인코딩 또는 스캔 레이트 변환 방법과 움직임 추정 및/또는 움직임 보상의 다른 실제적인 응용들에 대해, 움직임 벡터들의 결정은 통상 블록 매칭에 기초하며, 그에 의해, 인코딩된 이미지의 통상 16X16 또는 8X8 픽셀들을 포함하는 일반적으로 정사각인 선택된 화소 블록에 대해 통상 예컨대 88X40 픽셀들을 포함하는 주변 서브 영역이 규정되며, 그 중심에는 상기 픽셀 블록이 위치된다. 이러한 서브 영역은 탐색 영역으로서 적용되거나 이전 이미지의 동일 공간 위치에서 픽셀 블록 주변의 윈도우로서 적용되어, 선택된 픽셀 블록의 것과 매칭하는 비디오 신호 정보를 갖는 탐색 영역 또는 윈도우내에 위치된 픽셀 블록을 탐색하도록 한다. 또한, Hentschel, 'Video-Signalverarbeitung', B.G. Teubner Stuttgart 1998, pages 214-217,를 참조.
기존의 시스템들에 있어서, 이러한 탐색 영역 또는 윈도우의 이미지 데이터는 통상 로컬 버퍼에 저장되거나 온-칩 메모리에 저장되며, 다소 극단의 대역폭이 요구된다.
탐색 영역은 그 이미지 세그먼트에 대해 가능한 움직임 벡터 범위에 걸쳐 이동된 이미지 세그먼트(예컨대, 매크로블록)의 모든 가능한 위치들을 포함하는 영역과 관련된다. 따라서, 탐색 영역의 사이즈와 움직임 벡터 범위들간에는 직접적인 관계가 있다. 보다 큰 탐색 영역은 일반적으로 움직임 추정 및/또는 보상을 개선한다. 하지만, 보다 큰 탐색 영역은 특히 버퍼 메모리 량에 있어 보다 많은 자원을 필요로 하며, 이는 실리콘 영역과 관련된다. 이러한 것은 품질과 제조 비용 모두를 만족시킬 수 없게 한다.
본 발명은 비디오 이미지들에서의 움직임에 대한 보상 및/또는 추정 방법에 관한 것이다.
도 1은 종래 기술에 공지된 바와 같은 벡터 제한들을 갖는 탐색 영역을 도시하는 도면.
도 2는 본 발명의 실시예에 따라 전역 움직임에 대한 보상을 갖는 탐색 영역을 도시하는 도면.
도 3은 예컨대 비디오 주사 속도 변환에서 사용하기 위한 본 발명의 실시예에 따른 실행 가능한 움직임 추정기 아키텍처의 단순화된 블록 다이어그램.
도 4는 본 발명의 실시예에 따른 분배 시스템을 도시하는 도면.
도 5는 본 발명의 실시예에 따른 재생 장치를 도시하는 도면.
본 발명의 목적은, 개선된 움직임 추정 및/또는 보상을 제공하고자 하는 것이다.
이러한 목적을 달성하기 위해, 본 발명은 움직임 추정 및/또는 보상, 인코딩, 인코딩된 디지털 비디오 신호, 저장매체 제품, 분배 시스템 및 재생 장치를 제공하며, 이러한 것은 본원 독립 청구항들에 규정된 바와 같다. 유익한 실시예들은 종속 청구항들에 규정된다.
본 발명의 한 특징에 따라, 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 탐색 영역이 규정된다. 오프셋을 도입함으로써, 상기 탐색 영역은 바람직한 위치에 규정될 수 있다. 예컨대, 움직임이 주어진 방향으로 기대된다면, 기대된 움직임의 방향에서 가능한 보다 큰 움직임 벡터 범위로 되는 동일한 방향의 오프셋을 갖는 탐색 윈도우가 규정될 수 있다. 실제로, 반대 방향의 탐색 영역을 축소시킴으로써 원하는 방향에서의 탐색 윈도우가 확장된다. 탐색 영역 또는 윈도우의 중심을 8X8 픽셀 블록과 같이 실제로 처리되는 이미지 세그먼트 (선택된 이미지 세그먼트)의 중심으로부터 오프셋함으로써, 로컬 탐색 영역 또는 윈도우의 위치는 이미지 세그먼트에 대해 비대칭이 될 것이다. (전역(global)) 움직임 대신에, 다른 이미지 특징들이 또한 탐색 영역에 대한 오프셋을 규정하는데 이용될 수 있다. 본 발명의 이러한 특징은, 탐색 영역과 관련된 이미지 데이터가 이미지 메모리로부터 검색되는 응용들에서 특히 유익하며, 그러한 이미지 데이터는 버퍼 메모리에 일시적으로 기억된다.
실제의 실시예에 있어서는, 오프셋은 비디오 이미지의 수평 방향에서만 있게 된다. 이러한 것은 비디오에 있어서 수평 방향에서의 움직임이 거의 공통적인 것이므로 바람직하다.
실제의 실시예에 있어서, 오프셋은 전역 움직임 파라미터에 의해 결정된다. 이러한 파라미터는 이미지 시퀀스내의 전역 움직임으로부터 추출될 수도 있으며, 또는 이미지 일부에서의 움직임 특성들에 국부적으로 적합될 수도 있다. 전역 움직임의 방향에서 움직임 벡터들의 최대 범위는 증가하여, 전역 움직임의 보상이 제공될 것이다.
본 발명의 실시예들에 따른 움직임 추정 및/또는 보상은, 디지털 비디오 신호들의 인코딩/압축시의 움직임 보상된 예측, 노이즈 감소시의 움직임 보상된 필터링, 비디오 포맷 변환시의 움직임 보상된 보간(interpolation), 인터레이스된 비디오 신호들의 움직임 보상된 디-인터레이싱 등과 같은 움직임 추정 및/또는 움직임 보상의 사용을 수반하는 모든 디지털 비디오 신호 처리 기능들에 적용될 수도 있다.
다음에는, 첨부된 도면을 참조하여 더욱 상세하게 본 발명이 설명된다.
도 1에는 선행하는 이미지 시퀀스에 기초한 연속적인 비디오 이미지 시퀀스에서 이미지의 보간에 움직임 벡터(V)를 적용한 예가 주어진다. 통상, 상기 보간은 비디오 주사 속도 변환, 즉 50 Hz 내지 100Hz 이미지 포맷에서 사용된다.
각 움직임 벡터(V)는 제 1 이미지(P1)의 이미지 세그먼트(B1)와 매칭하는 제 2 이미지(P2)의 이미지 세그먼트(B2) 사이의 위치 차이를 나타낸다. 단방향 예측에 있어서, 제 2 이미지(P2)는 통상적으로 이전 이미지이지만, 제 2 이미지(P2)는 또한 후속 이미지일 수도 있다. 상기한 설명에 따르면, 움직임 벡터는 2차원 평면에서 규정되며 X 성분 및 Y 성분을 가진다.
실제 실시예에서, 이미지 세그먼트들(B1 및 B2)은 예컨대, 8X8 픽셀의 블록들이다. 움직임 벡터 결정은 당 기술분야 공지된 소위 블록 매칭 기법(blockmatching technique)에 기초한다. 제 2 이미지(P2)에서, 선택된 블록(B12)은 제 1 이미지(P1)내의 선택된 블록(B1)에 대응하여 규정된다. 탐색 영역(S)은 B1/B12에 대해 가능한 움직임 벡터들의 범위들에 의존하여 블록(B12) 주변에 규정된다. 통상, 탐색 영역(S)은 수평 및 수직 방향들에서 픽셀 블록(B12)을 둘러싸는 다수의 픽셀 블록들을 포함할 수 있으며, 8X8 픽셀의 블록들의 경우, 탐색 영역(S)의 크기는 예컨대, 88X40 픽셀일 수 있다. 블록(B1/B12)에 할당될 움직임 벡터(V)는 픽셀 블록(B1)에 최상으로 매칭하는 블록(B2)에 대해 탐색 영역 혹은 윈도우(S)를 탐색함으로써 결정된다.
블록 매칭 기법을 사용하는 것에 의해, 이러한 검색 방법은 움직임 추정의 실제 적용에 어느 정도 의존하여 변화하는 레벨의 복잡성으로 처리될 수 있지만, 예측 메모리에 저장된 소위 후보 벡터들의 세트로부터 최상 벡터의 전형적인 선택을 포함한다. 검색 방법의 상세한 설명은 본원에 설명되지 않지만, 전술된 바와 같이 게라드 데 한(Gerard de Haan) 등에 의한 제목 "True-motion Estimation with 3-D Recursive Search Block Matching"의 비디오 기술에 대한 회로 및 시스템상의 IEEE 트랜잭션, 제3권, 제5호, 1993년 10월 및 게라드 데 한에 의한 제목 "IC for Motion-compensated De-interlacing, Noise Reduction and Picture rate conversation"의 소비자 전자제품 상의 IEEE 트랜잭션, 제45권, 제3호, 1999년 8월에 다양한 선정의 포괄적 분석이 주어진다.
상기 방법에서, 움직임 벡터들은 이미지(P1)의 모든 블록들에 대해 결정될 수도 있다. 상기 움직임 벡터들은 원하는 비디오 포맷 변환에서 얻기 위하여 이미지들을 보간하는데 사용될 수도 있다.
움직임 벡터(V)의 최대 범위는 탐색 영역 또는 윈도우(S)의 크기에 관련되며, 탐색 영역 또는 윈도우 중심에 있는 실제 픽셀 블록에 있어서, 최대 움직임 벡터(V)의 수평 및 수직 성분들의 최대 범위는 8 및 5 픽셀 블록들에 각각 대응하는, 각 수평 및 수직 방향에서의 예컨대 40 및 16 픽셀들일 것이다.
도 2는 본 발명의 실시예에 따른 움직임 추정 및/또는 움직임 보상을 예시하며, 이미지(P2)에서 픽셀 블록(B12)에 할당된 탐색 영역 또는 윈도우(S)는 오프셋(CO)에 의한 픽셀 블록(B12)의 위치에서 중심 오프셋을 갖도록 규정된다. 상기 오프셋은 전역 움직임 파라미터에 의해 바람직하게 결정되며, 이 전역 움직임 파라미터는 예컨대, 패닝(panning) 또는 틸팅(tilting)의 형태로 통상 카메라 이동에 의해 야기될 수도 있기 때문에 처리중인 이미지를 포함하는 이미지들의 시퀀스에서 전역 움직임으로부터 추출된다. 그 때문에, 탐색 영역 및 윈도우(S)는 블록(B12)에 대하여 비대칭적으로 배치되고, 움직임 벡터를 결정하기 위한 최대 범위는 한 수평 방향 및/또는 한 수직 방향에서 연장될 수 있다. 도 2에 예시된 예에서, 탐색 영역 또는 윈도우(S)에 대한 중심 오프셋(CO)은 수평 방향에서(우측으로) 50 픽셀 및 수직 방향에서(위로) 24 픽셀의 최대 범위가 되는 수평 방향에서 10 픽셀 및 수직 방향에서 8 픽셀이다.
블록(B12)에 대한 탐색 영역 또는 윈도우(S)의 비대칭 변위의 간단한 구현에서, 중심 오프셋(CO)을 결정하는 전역 움직임 파라미터는 하나 또는 그 이상의 이전 이미지들에 대해 확립된 움직임 벡터들의 평균 벡터로부터 결정될 수 있다.
보다 향상된 시스템에서, 이전에 계산된 벡터 필드들의 통계치는 중심 오프셋(CO)을 결정하기 위하여 최대 벡터값들의 계산하는데 사용될 수 있다.
예컨대, 비디오 주사 속도 변환에서 사용하기 위한 실행 가능한 움직임 추정기 아키텍처의 도 3의 간략화된 블록 다이어그램에서, 인입 이미지들은 이미지 메모리(1)에 공급되고, 그로부터 움직임 벡터들이 결정될 이미지 세그먼트들의 그룹들을 포함하는 실제 이미지 쌍(P1 및 P2)은 블록 매처(2)에 전송된다. 블록 매처(2)에서, 이미지(P1)에서 선택된 블록들에 매칭하는 이미지(P2)에서의 블록들 또는 이미지 세그먼트 그룹들에 대한 검색은 로컬 버퍼 또는 탐색 영역 메모리(3)로부터 블록-매처(2)에 전송된 탐색 영역(S)의 적용에 의해 또한 벡터 메모리(4)로부터 블록 매처(2)에 전송된 후보 움직임 벡터들(CV)의 세트를 사용하는 것에 의해 처리된다.
버퍼 메모리(3)에 임시 저장된 탐색 영역(S)은 이미지(P2)로부터 얻고, 상기 이미지(P2)는 이미지 메모리(1')에 저장되어 있다. 이미지 메모리들(1 및 1')은 한 이미지 메모리에서 구현될 수 있다.
벡터 메모리(4)는 이미지(P1)에서 검색될 이미지 블록 및 제 2 이미지(P2)의 세그먼트 그룹들 또는 블록들을 위해 결정된 모든 움직임 벡터들을 저장하고, 후보 벡터들의 세트는 선행하는 이미지에서 같은 위치를 갖는 이미지 블록 또는 실제 이미지에서 인접 이미지 블록을 결정하기 위해 결정된 움직임 벡터들을 포함한다.
본 발명에 따르면, 탐색 영역(S)의 주어진 크기를 위해 가능한 움직임 벡터들의 범위의 확대는 조사 하의 세그먼트 그룹 또는 블록의 이미지의 위치에서 중심오프셋을 갖도록 탐색 영역의 한정의 수정에 의해 가능해진다.
간단한 구현에서, 상기 수정은 벡터 분석기(5)의 벡터 메모리(4)에서 이전에 발견된 벡터들의 분석에 의해 움직임 보상 파라미터(C)의 결정에 의해 예시된 바와 같이 처리될 수 있다.
블록 매처(2)에서 처리된 블록 매칭 방법은 본 기술에 공지되어 있으며, 후보 벡터들의 적용에 의해 국부화된 블록들의 매칭 또는 비교를 포함한다.
이러한 방법에 의해, 각 매치 에러(M)가 최대 매치를 선택하는 벡터 선택기(6)에 건네지고, 미래 움직임 벡터들의 결정에서 사용하기 위한 벡터 메모리(4)에서의 대응하는 후보 벡터를 저장한다.
도 3에 예시된 간단한 움직임 추정기 아키텍처는 본 발명의 구현에 대한 일예일 뿐이다. 대안의 가능성으로서, 실제 사용하기 위한 움직임 보상 파라미터가 적당한 선택 수단에 의해 취소될 수 있었던, 이전에 처리된 이미지 블록들 또는 선행하는 이미지들로부터의 움직임 보상 파라미터들은 전역 움직임 추정 메모리에 저장될 수 있었다.
도 4는 본 발명의 실시예에 따른 분배 시스템(10)을 도시한다. 분배 시스템(10)은 비디오 이미지들의 시퀀스를 얻기 위한 수단(100)을 포함한다. 상기 수단(100)은 카메라 및 비디오 이미지들의 시퀀스를 실행하는 신호를 수신하기 위한 안테나 등의 입력 유닛일 수 있다. 상기 수단(100)은 또한 기록 캐리어를 위한 판독 유닛일 수 있다. 분배 시스템은 인코딩된 디지털 비디오 신호(S)를 얻기 위한 비디오 이미지들의 시퀀스를 인코딩하는 인코더(101)를 더 포함한다. 인코더(101)는 비대칭 탐색 영역 예컨대, 도 3의 장치를 사용하는 움직임 추정 및/또는 보상 장치를 포함한다. 분배 시스템(10)은 예컨대, 저장 제품(20) 상의 신호를 저장함으로써, 인코딩된 비디오 신호(S)를 출력하는 출력 유닛(102)을 포함한다. 바람직하게, 출력 유닛(102)은 인코딩된 비디오 신호(S0의 예측 정보로서 비대칭 탐색 영역의 오프셋의 표시를 통합시킨다. 상기 오프셋은 신호에 명시적으로 포함될 수 있지만, 움직임 벡터 범위들에 암시적으로 포함될 수도 있다.
도 5는 본 발명의 실시예에 따른 디지털 수신기 또는 텔레비전 등의 재생 장치(300)를 도시한다. 상기 재생 장치(300)는 인코딩된 비디오 이미지들의 시퀀스를 포함하는 인코딩된 디지털 비디오 신호를 얻도록 입력 유닛(301)을 포함한다. 상기 입력 유닛(301)은 인코딩된 비디오 이미지들을 수신하도록 적절히 배열된 분배 시스템의 입력 유닛(101)과 유사할 수 있다. 인코딩된 비디오 이미지들의 시퀀스는 저장 제품(20')으로부터 얻을 수 있다. 재생 장치(30)는 비대칭 탐색 영역을 사용하여 움직임 보상 및/또는 추정을 수행하는 처리기(302)를 더 포함한다. 또, 처리기(302)는 도 3에 주어진 바와 같은 장치를 포함할 수 있다. 출력 유닛(303)(예컨대, 디스플레이)은 처리된 비디오 이미지들을 출력한다. 장치(302)에서 수행된 처리는 비대칭 탐색 영역에 대해 움직임 추정 및/또는 움직임 보상을 수행하는 주사 속도 변환일 수 있다. 이 경우에, 재생 장치는 도 4의 분배 시스템으로부터 얻어진 신호(S)를 처리하고, 탐색 영역은 신호(S)에 포함된 움직임 벡터 정보에 의해 결정될 수 있다.
상술된 실시예들이 본 발명을 제한하기 보다 예시하는 것이며, 본 기술분야의 숙련자들은 첨부된 청구범위의 범위에서 벗어나지 않는 여러 대안의 실시예들을 설계할 수 있음에 주목해야 한다. 청구범위에서, 괄호들 사이에 위치한 소정의 참조 부호들은 청구범위를 제한하는 것으로 해석되지 않아야 한다. 단어 "포함하는"은 청구범위에 열거된 것들 외의 구성요소들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 몇몇의 명확한 구성요소들을 포함하는 하드웨어에 의해 그리고 적당히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇의 수단을 열거하는 장치 청구항에서, 몇몇의 상기 수단은 하나 및 동일 아이템의 하드웨어에 의해 구현될 수 있다. 소정의 방법이 서로 다른 종속항에 인용된다는 단순한 사실은 상기 방법의 조합이 유리하게 사용될 수 없는 것을 나타내지 않는다.

Claims (17)

  1. 비디오 이미지들에서의 움직임을 추정 및/또는 보상하는 방법으로서,
    주어진 비디오 이미지(P2)의 이미지 세그먼트(B12)를 선택하는 단계와;
    상기 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위들에 기초하여, 상기 이미지 세그먼트 주변의 탐색 영역(S)을 규정하는 단계와;
    상기 탐색 영역에 관련된 이미지 데이터를 검색하는 단계를 포함하고,
    상기 탐색 영역(S)은 상기 이미지 세그먼트(B12)의 중심으로부터 그 중심 오프셋(CO)을 갖도록 규정되는 것을 특징으로 하는 움직임 추정 및/또는 보상 방법.
  2. 제1항에 있어서, 상기 오프셋은 상기 비디오 이미지의 수평 방향에서만 있는, 움직임 추정 및/또는 보상 방법.
  3. 제1항에 있어서, 상기 오프셋은 상기 비디오 이미지의 수직 방향에서만 있는, 움직임 추정 및/또는 보상 방법.
  4. 제1항에 있어서, 상기 오프셋은 상기 비디오 이미지내 상기 이미지 세그먼트의 위치에 의존하는, 움직임 추정 및/또는 보상 방법.
  5. 제1항에 있어서, 상기 오프셋은 상기 비디오 이미지내 상기 이미지 세그먼트의 모든 위치들에 대해 동일한 값을 갖는, 움직임 추정 및/또는 보상 방법.
  6. 제1항에 있어서, 상기 오프셋은 전역 움직임 파라미터에 의해 결정되는, 움직임 추정 및/또는 보상 방법.
  7. 제6항에 있어서, 상기 전역 움직임 파라미터는 적어도 하나의 이전 비디오 이미지의 움직임 벡터 필드의 특성에 의존하는, 움직임 추정 및/또는 보상 방법.
  8. 제7항에 있어서, 상기 전역 움직임 파라미터는 상기 움직임 벡터 필드내 움직임 벡터들의 최소 및 최대 값들에 의존하는, 움직임 추정 및/또는 보상 방법.
  9. 제7항에 있어서, 상기 전역 움직임 파라미터는 상기 움직임 벡터 필드내 움직임 벡터들의 평균값에 의존하는, 움직임 추정 및/또는 보상 방법.
  10. 제6항에 있어서, 상기 전역 움직임 파라미터는 별개의 움직임 추정기에 의해 결정되는, 움직임 추정 및/또는 보상 방법.
  11. 비디오 이미지 시퀀스를 인코딩(101)하는 방법으로서,
    상기 인코딩 방법은 움직임을 추정 및/또는 보상하는 단계를 포함하고, 상기 움직임 추정 및/또는 보상 단계는,
    주어진 비디오 이미지(P2)의 이미지 세그먼트(B12)를 선택하는 단계와;
    상기 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하여, 상기 이미지 세그먼트 주변의 탐색 영역(S)을 규정하는 단계와;
    상기 탐색 영역에 관련된 이미지 데이터를 검색하는 단계를 포함하고,
    상기 탐색 영역(S)은 상기 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 규정되고, 상기 오프셋의 표현은 인코딩된 비디오 신호에 예측 정보로서 통합되는 것을 특징으로 하는 비디오 이미지 시퀀스의 인코딩 방법.
  12. 비디오 이미지들에서의 움직임을 추정 및/또는 보상하는 장치(101,301)로서,
    주어진 비디오 이미지(P2)의 이미지 세그먼트(B12)를 선택하는 수단(2,4)과;
    상기 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하여, 상기 이미지 세그먼트 주변의 탐색 영역(S)을 규정하는 수단(2,3)과;
    상기 탐색 영역에 관련된 이미지 데이터를 검색하는 수단(2,3)을 포함하고,
    상기 규정 수단은 상기 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 상기 탐색 영역을 규정하는 수단을 포함하는 것을 특징으로 하는 움직임 추정 및/또는 보상 장치.
  13. 비디오 이미지 시퀀스를 인코딩하는 인코더(101)로서,
    상기 인코터는 움직임을 추정 및/또는 보상하는 수단을 포함하고, 상기 움직임 추정 및/또는 보상 수단은,
    주어진 비디오 이미지(P2)의 이미지 세그먼트(B12)를 선택하는 수단과;
    상기 이미지 세그먼트에 대한 가능한 움직임 벡터들(V)의 범위에 기초하여, 상기 이미지 세그먼트 주변의 탐색 영역(S)을 규정하는 수단과;
    상기 탐색 영역에 관련된 이미지 데이터를 검색하는 수단을 포함하고,
    상기 규정 수단은 상기 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖도록 상기 탐색 영역을 규정하는 수단을 포함하고, 상기 인코더는 상기 오프셋의 표현을 인코딩된 비디오 신호에 예측 정보로서 통합하는 수단을 더 포함하는 것을 특징으로 하는 비디오 이미지 시퀀스의 인코딩 방법.
  14. 인코딩된 비디오 이미지 시퀀스 및 적어도 하나의 인접 비디오 이미지에 기초하여 적어도 주어진 비디오 이미지의 예측을 위한 움직임 벡터 정보를 포함하는 인코딩된 디지털 비디오 신호(S)로서,
    상기 주어진 비디오 이미지의 주어진 이미지 세그먼트에 대해 상기 이미지 세그먼트의 중심으로부터 그 중심 오프셋을 갖는 탐색 영역을 규정하는 정보를 포함하는 것을 특징으로 하는 인코딩된 디지털 비디오 신호(S).
  15. 제14항에 청구된 바와 같은 인코딩된 디지털 비디오 신호를 포함하는 저장매체 제품.
  16. 분배 시스템(10)에 있어서,
    비디오 이미지 시퀀스를 얻기 위한 수단(100)과;
    인코딩된 디지털 비디오 신호(S)를 얻기 위해 상기 비디오 이미지 시퀀스를 인코딩하는 제13항에 청구된 인코더(101)와;
    상기 인코딩된 비디오 신호를 출력하는 출력 유닛(102)을 포함하는 분배 시스템(10).
  17. 재생 장치(300)에 있어서,
    인코딩된 비디오 이미지 시퀀스를 포함하는 인코딩된 디지털 비디오 신호를 얻기 위한 입력 유닛(300)과;
    처리된 비디오 이미지를 얻도록 적어도 주어진 비디오 이미지를 움직임 보상 및/또는 추정하는 제12항에 청구된 장치(301)와;
    상기 처리된 비디오 이미지를 출력하는 수단(302)을 포함하는, 재생 장치(300).
KR1020047003717A 2001-09-12 2002-08-29 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더 KR100905880B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01203440 2001-09-12
EP01203440.1 2001-09-12
PCT/IB2002/003560 WO2003024116A1 (en) 2001-09-12 2002-08-29 Motion estimation and/or compensation

Publications (2)

Publication Number Publication Date
KR20040035777A true KR20040035777A (ko) 2004-04-29
KR100905880B1 KR100905880B1 (ko) 2009-07-03

Family

ID=8180917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047003717A KR100905880B1 (ko) 2001-09-12 2002-08-29 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더

Country Status (8)

Country Link
US (1) US7929609B2 (ko)
EP (1) EP1430724B1 (ko)
JP (1) JP4472986B2 (ko)
KR (1) KR100905880B1 (ko)
CN (1) CN1303818C (ko)
AT (1) ATE404019T1 (ko)
DE (1) DE60228101D1 (ko)
WO (1) WO2003024116A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100714698B1 (ko) * 2005-08-29 2007-05-07 삼성전자주식회사 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
WO2012105807A3 (ko) * 2011-01-31 2012-12-13 한국전자통신연구원 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US7386373B1 (en) * 2003-01-07 2008-06-10 Garmin International, Inc. System, method and apparatus for searching geographic area using prioritized spatial order
US6745115B1 (en) 2003-01-07 2004-06-01 Garmin Ltd. System, method and apparatus for searching geographic area using prioritized spacial order
US8131095B2 (en) * 2003-02-03 2012-03-06 Actimagine Process and device for the compression of portions of images
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
JP2005223631A (ja) * 2004-02-05 2005-08-18 Sony Corp データ処理装置およびその方法と符号化装置および復号装置
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US9495385B2 (en) 2004-10-01 2016-11-15 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US7812986B2 (en) 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
WO2007078800A1 (en) * 2005-12-15 2007-07-12 Analog Devices, Inc. Motion estimation using prediction guided decimated search
EP1841232A1 (en) * 2006-03-31 2007-10-03 Sony Deutschland Gmbh Method and apparatus to improve the convergence speed of a recursive motion estimator
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US7933452B2 (en) * 2006-12-11 2011-04-26 Florida Atlantic University System and methods of image retrieval
KR101356735B1 (ko) * 2007-01-03 2014-02-03 삼성전자주식회사 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법
WO2009034486A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
TW200937349A (en) * 2008-02-19 2009-09-01 Elan Microelectronics Corp Image displacement detection method
US8559518B2 (en) * 2008-06-30 2013-10-15 Samsung Electronics Co., Ltd. System and method for motion estimation of digital video using multiple recursion rules
US8144766B2 (en) * 2008-07-16 2012-03-27 Sony Corporation Simple next search position selection for motion estimation iterative search
US8462852B2 (en) * 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
GB2480422B (en) * 2010-02-25 2014-07-09 Imagination Tech Ltd Object tracking using graphics engine derived vectors in a motion estimation system
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
CN102986224B (zh) 2010-12-21 2017-05-24 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
RU2013106319A (ru) * 2013-02-13 2014-08-20 ЭлЭсАй Корпорейшн Основанная на характерных точках надежная регистрация трехмерного твердого тела
US20140254678A1 (en) * 2013-03-11 2014-09-11 Aleksandar Beric Motion estimation using hierarchical phase plane correlation and block matching
CN104301703A (zh) * 2013-07-16 2015-01-21 联咏科技股份有限公司 匹配搜寻方法与匹配搜寻系统
JP6527460B2 (ja) * 2015-12-25 2019-06-05 日本電信電話株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム
EP3220642B1 (en) 2016-03-15 2018-03-07 Axis AB Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame
WO2019084801A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 运动估计方法和装置
WO2022104678A1 (zh) * 2020-11-20 2022-05-27 深圳市大疆创新科技有限公司 视频编解码方法、装置、可移动平台和存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69126930T2 (de) * 1990-09-03 1998-02-19 Philips Electronics Nv Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet
JPH05328333A (ja) 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
KR0148154B1 (ko) * 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
JPH10262258A (ja) 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
JP3226020B2 (ja) 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
US6574370B1 (en) 1998-07-22 2003-06-03 Mitsubishi Denki Kabushiki Kaisha Image encoding system
EP0982952A3 (en) 1998-08-28 2000-05-17 Hitachi, Ltd. Moving picture recording/regenerating system
JP3939907B2 (ja) 1998-08-28 2007-07-04 株式会社ルネサステクノロジ 信号処理装置
US6876702B1 (en) * 1998-10-13 2005-04-05 Stmicroelectronics Asia Pacific (Pte) Ltd. Motion vector detection with local motion estimator
JP4280353B2 (ja) * 1999-03-19 2009-06-17 キヤノン株式会社 符号化装置、画像処理装置、符号化方法、及び記録媒体
CN1147159C (zh) * 1999-04-27 2004-04-21 三星电子株式会社 实时运动图像编码的高速运动估计方法及其装置
US7551673B1 (en) * 1999-05-13 2009-06-23 Stmicroelectronics Asia Pacific Pte Ltd. Adaptive motion estimator
ES2276696T3 (es) * 1999-09-21 2007-07-01 Koninklijke Philips Electronics N.V. Metodo de estimacion de movimiento global.
US7072398B2 (en) * 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Necエレクトロニクス株式会社 動きベクトル探索装置および方法
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US20050207663A1 (en) * 2001-07-31 2005-09-22 Weimin Zeng Searching method and system for best matching motion vector

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100714698B1 (ko) * 2005-08-29 2007-05-07 삼성전자주식회사 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
WO2012105807A3 (ko) * 2011-01-31 2012-12-13 한국전자통신연구원 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치
KR101378888B1 (ko) * 2011-01-31 2014-04-02 한국전자통신연구원 움직임 벡터를 이용한 영상 부호화 장치
US10244252B2 (en) 2011-01-31 2019-03-26 Electronics And Telecommunications Research Institute Method and apparatus for encoding/decoding images using a motion vector

Also Published As

Publication number Publication date
CN1554194A (zh) 2004-12-08
KR100905880B1 (ko) 2009-07-03
EP1430724A1 (en) 2004-06-23
CN1303818C (zh) 2007-03-07
JP2005503085A (ja) 2005-01-27
WO2003024116A1 (en) 2003-03-20
EP1430724B1 (en) 2008-08-06
DE60228101D1 (de) 2008-09-18
JP4472986B2 (ja) 2010-06-02
ATE404019T1 (de) 2008-08-15
US7929609B2 (en) 2011-04-19
US20030063673A1 (en) 2003-04-03

Similar Documents

Publication Publication Date Title
KR100905880B1 (ko) 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
KR20060047595A (ko) 적응 시간적인 예측을 채용하는 움직임 벡터 추정
JPH07193823A (ja) 映像データ・ブロック変換システム
JP2001169288A (ja) 動きベクトル探索装置および方法
US6996177B1 (en) Motion estimation
US20050129124A1 (en) Adaptive motion compensated interpolating method and apparatus
US20050180506A1 (en) Unit for and method of estimating a current motion vector
WO2002071741A2 (en) A device and method for performing half-pixel accuracy fast search in video coding
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
KR100976718B1 (ko) 필드 레이트 업변환을 위한 방법 및 장치
US5731851A (en) Method for determining feature points based on hierarchical block searching technique
JP2755851B2 (ja) 動画像符号化装置及び動画像符号化方法
KR19980036073A (ko) 움직임 벡터 검출 방법 및 장치
JP2007510213A (ja) 小さな高速移動物体を追跡するための動きベクトル場の改良
JPH08294129A (ja) 動きベクトル検出装置および検出方法
EP1128678A1 (en) Motion estimation apparatus and method
JP2005045700A (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
KR100208984B1 (ko) 물체의 윤곽선을 이용한 움직임 벡터 추정 장치
JPH08242454A (ja) グローバル動きパラメタ検出方法
JP3824359B2 (ja) 動きベクトル検出方法および装置
JP2758378B2 (ja) 動画像復号化装置及び動画像復号化方法
Al-Mualla et al. Motion field interpolation for improved motion compensation and frame-rate conversion
JPH09139948A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130611

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140611

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee