KR20120112724A - 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램 - Google Patents

움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램 Download PDF

Info

Publication number
KR20120112724A
KR20120112724A KR1020127020437A KR20127020437A KR20120112724A KR 20120112724 A KR20120112724 A KR 20120112724A KR 1020127020437 A KR1020127020437 A KR 1020127020437A KR 20127020437 A KR20127020437 A KR 20127020437A KR 20120112724 A KR20120112724 A KR 20120112724A
Authority
KR
South Korea
Prior art keywords
motion vector
block
candidate reference
decoding
primary candidate
Prior art date
Application number
KR1020127020437A
Other languages
English (en)
Inventor
마사키 기타하라
아츠시 시미즈
마유코 와타나베
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20120112724A publication Critical patent/KR20120112724A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 벡터 예측 부호화에 있어서, 움직임 벡터의 예측 효율을 향상시키고 동화상의 부호화 효율을 향상시킨다. 부호화 완료한 참조 화상을 이용하여 부호화 대상 화상에서의 부호화 대상 블록의 움직임 탐색을 하여 움직임 벡터를 산출한다. 부호화 대상 화상에서의 부호화 대상 블록의 위치에 대해 미리 정해진 상대적인 위치에 있고, 부호화 대상 화상 중의 부호화 완료 블록 및 부호화 완료 화상에서의 부호화 완료 블록의 적어도 한쪽으로 이루어지는 복수개의 블록을 1차 후보 블록으로서 설정하며, 1차 후보 블록의 부호화에 이용한 움직임 벡터로부터 N개의 1차 후보 참조 움직임 벡터를 결정한다. 1차 후보 참조 움직임 벡터의 부호화 대상 블록에서의 움직임 벡터 예측에서의 유효성을 정량적으로 나타내는 신뢰도를 1차 후보 참조 움직임 벡터 각각에 대해 부호화 완료한 화상 정보를 이용하여 산출한다. 1차 후보 참조 움직임 벡터의 신뢰도가 큰 상위 M개의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 선출한다. 2차 후보 참조 움직임 벡터를 이용하여 부호화 대상 블록의 예측 움직임 벡터를 산출하고, 부호화 대상 블록의 움직임 탐색으로 구한 움직임 벡터와 예측 움직임 벡터의 잔차를 움직임 벡터의 부호화 정보로서 부호화한다.

Description

움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램{Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor}
본 발명은 움직임 벡터를 예측 부호화하는 동화상 부호화 기술에 관한 것이다. 특히, 본 발명은 움직임 벡터의 예측 효율을 향상시키고, 동화상의 부호화 효율을 향상시키기 위한 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램에 관한 것이다.
본원은 2010년 2월 9일에 일본 출원된 일본 특원 2010-026130호에 대해 우선권을 주장하고, 그 내용을 여기에 원용한다.
H.264에 대표되는 것과 같은 움직임 보상을 이용한 동화상 부호화 방식에서는, 움직임 벡터를 효율적으로 부호화하기 위해 움직임 벡터의 예측 부호화를 행한다.
도 11은 종래의 동화상 부호화 장치에서의 움직임 보상부의 구성예를 나타낸다. 종래의 동화상 부호화 장치에서의 움직임 보상부(100)는 움직임 탐색부(101), 움직임 벡터 메모리(102), 움직임 벡터 예측부(103), 예측 잔차(residual) 산출부(104)를 구비한다.
움직임 탐색부(101)는, 부호화 대상 블록의 영상 신호가 입력되면 부호화 완료한 참조 화상의 복호 신호와 조합(照合)함으로써 움직임 탐색을 하여 움직임 벡터를 산출하여 움직임 벡터 메모리(102)에 저장한다. 움직임 벡터 예측부(103)는 부호화 대상 블록의 근처에 있는 부호화 완료 블록의 부호화에 이용된 움직임 벡터를 움직임 벡터 메모리(102)로부터 독출하고, 그들을 참조 움직임 벡터로서 이용하여 예측 움직임 벡터를 산출한다. 예측 잔차 산출부(104)는, 움직임 탐색부(101)가 산출한 움직임 벡터와 움직임 벡터 예측부(103)가 산출한 예측 움직임 벡터의 잔차를 산출하여 움직임 벡터 예측 잔차를 출력한다. 이 움직임 벡터 예측 잔차가 부호화되어 움직임 벡터의 부호화 정보로서 출력되게 된다.
도 12는 종래의 동화상 복호 장치에서의 움직임 보상부의 구성예를 나타낸다. 종래의 동화상 복호 장치에서의 움직임 보상부(200)는 움직임 벡터 산출부(201), 예측 신호 작성부(202), 움직임 벡터 메모리(203), 움직임 벡터 예측부(204)를 구비한다.
움직임 벡터 산출부(201)는 부호화 스트림으로부터 복호된 움직임 벡터 예측 잔차와 움직임 벡터 예측부(204)가 예측한 예측 움직임 벡터를 가산하여 움직임 벡터를 생성하고, 이 움직임 벡터를 움직임 벡터 메모리(203)에 저장함과 동시에 예측 신호 작성부(202)에 출력한다. 예측 신호 작성부(202)는, 움직임 벡터에 따라 복호 완료한 참조 화상으로부터 복호 신호를 독출하여 복호 대상 블록의 예측 신호로서 출력한다. 움직임 벡터 예측부(204)는 복호 대상 블록의 근처에 있는 복호 완료 블록의 복호에 이용된 움직임 벡터를 움직임 벡터 메모리(203)로부터 독출하고, 그들을 참조 움직임 벡터로서 이용하여 예측 움직임 벡터를 산출한다.
이상과 같은 움직임 벡터 예측 부호화에 관한 기술로서 종래 이하와 같은 기술이 있다.
(a)메디안 예측 부호화(H.264 등)〔이하, 종래기술 a라고 함〕
(b)참조 움직임 벡터 지정에 의한 예측 부호화〔이하, 종래기술 b라고 함〕
도 13은 종래의 움직임 벡터의 예측 부호화 방식의 예를 설명하는 도면이다. 종래기술 a 및 종래기술 b에서는, 움직임 벡터를 부호화(복호도 동일)할 때에 도 13에 도시된 바와 같은 부호화 대상 블록의 근처의 부호화 완료 블록의 움직임 벡터(부호화 완료 움직임 벡터)를 참조 움직임 벡터로서 이용하여 예측을 하여 움직임 벡터의 부호화를 행한다.
구체적으로 종래기술 a에서는, 참조 움직임 벡터의 메디안을 예측 움직임 벡터로서 이용하여 부호화 대상 블록의 움직임 벡터와 예측 움직임 벡터의 오차(움직임 벡터 예측 잔차라고 함)를 부호화한다(비특허문헌 1 참조).
또한, 종래기술 b에서는, 참조 움직임 벡터 중에서 예측에 이용하는 움직임 벡터를 부호화 장치(인코더)가 선택하고, 움직임 벡터 예측 잔차와 함께 예측에 이용하는 참조 움직임 벡터의 식별자를 부호화한다(비특허문헌 2 참조).
또한, 종래 움직임 벡터 예측 잔차를 구해 움직임 벡터를 부호화하는 것이 아니라, 부호화 대상 블록의 움직임 벡터 그 자체를 예측하는 기술로서 템플릿 매칭에 의한 움직임 벡터 예측의 기술(이하, 종래기술 c라고 함)이 있다. 이 종래기술 c는 부호화 측에서 움직임 벡터를 부호화하지 않고 움직임 보상을 하기 위한 움직임 벡터 예측 방법이다(비특허문헌 3 참조).
도 14는 종래의 템플릿 매칭에 의한 움직임 벡터 예측을 설명하는 도면이다. 종래기술 c에서는, 부호화 대상 블록의 움직임 벡터를 예측함에 있어서 도 14에 역L자형의 영역으로서 나타나는 바와 같은 부호화 대상 블록의 근처에서, 또한 부호화 완료한 화소의 집합(이를 템플릿이라고 함)을 이용하여 참조 화상 상에서 소정의 탐색 범위에 대해 움직임 탐색을 행한다(이 처리를 템플릿 매칭이라고 함). 구체적으로 소정의 탐색 범위 내의 각 움직임 벡터에 대해, 참조 화상 상에서 템플릿과 같은 위치에 있는 영역을 움직임 벡터분만큼 어긋나게 한 영역(매칭 영역이라고 함)과 템플릿 사이에서 SAD(Sum of Absolute Differences) 등의 유사도를 구해 탐색을 한다. 이에 따라 얻어진 움직임 벡터를 이용하여 움직임 보상을 한다. 복호측에서도 복호 완료 화소의 집합인 템플릿에서 같은 처리가 가능하기 때문에, 움직임 벡터를 부호화하지 않고 움직임 보상이 가능한 이점이 있다.
비특허문헌 1: 가도노, 기쿠치, 스즈키, "개정 3판 H.264/AVC 교과서", 임프레스 R&D 발행, 2009, pp.123-125. 비특허문헌 2: T. Yamamoto, "A new scheme for motion vector predictor encoding", ITU-T SG16/Q6, 32nd VCEG Meeting, San Jose, April 2007. 비특허문헌 3: 고바야시, 스즈키, 분, 호리코시, "템플릿 매칭을 이용한 움직임 예측 방법에 따른 예측 정보량 삭감", 화상 부호화 심포지움 자료, 2005, pp.17-18.
전술한 종래기술 a, b에서는, 근처의 블록에 예측에 유효한 참조 움직임 벡터가 없는 경우에 움직임 벡터의 예측 효율이 저하된다. 부호화 대상 블록의 근처뿐만 아니라 보다 광범위하게 포함되는 다수의 블록의 참조 움직임 벡터를 예측에 이용하는 것도 생각할 수 있다. 그러나, 종래기술의 방법으로 이를 행한 경우, 예측 효율이나 부호화 효율의 악화를 초래한다.
도 15는 종래기술의 문제를 설명하는 도면이다. 도 15에 도시된 바와 같이, 부호화 대상 블록의 근처 블록이 피사체(Obj)의 경계인 경우와 어클루전(occlusion)이 있는 경우(참조 화상에 있어서 근처 블록의 대응점이 어떠한 피사체로 가려져 있는 경우), 또한 피사체가 강체가 아닌 경우에는, 그 근처 블록의 참조 움직임 벡터가 부호화 대상 블록의 움직임 벡터 예측에 적합하지 않거나 인트라 부호화가 행해져 참조 움직임 벡터 자체가 존재하지 않을 수 있다. 이러한 경우, 종래기술 a 및 종래기술 b 어느 것에서도 예측 효율이 나빠진다.
한편, 도 15에 점선으로 나타내는 블록과 같이, 후보에 포함되지 않는 블록의 움직임 벡터가 예측에 유효하게 되는 경우가 있다. 이러한 움직임 벡터를 예측에 이용하기 위해, 가장 근처의 블록만을 후보로 하는 것이 아니라 후보가 되는 블록을 많이 하는 것이 용이하게 유추할 수 있다. 그러나, 후보가 되는 블록을 많이 한 경우, 종래기술 a에서는 적절하지 않은 참조 움직임 벡터가 후보에 포함되어 예측 효율이 반대로 악화될 우려가 있다. 또한, 종래기술 b에서는 예측에 이용하는 참조 움직임 벡터의 식별자의 부호량의 증가를 초래하기 때문에 부호화 효율이 반대로 악화될 우려가 있다.
이에 대해, 종래기술 c는 부호화 측에서 움직임 벡터를 부호화하지 않고 움직임 보상을 하기 위한 움직임 벡터 예측 방법이다. 그래서, 이를 전술한 종래기술의 과제에 대해 응용하는 것을 생각한다. 즉, 종래기술 c의 템플릿 매칭을 이용하여 예측 움직임 벡터를 작성하고, 이것과 통상의 움직임 탐색에 의해 구한 부호화 대상 블록의 움직임 벡터로부터 움직임 벡터 예측 잔차를 구해 부호화하는 것을 생각한다. 이 경우, 다음의 문제가 있다.
종래기술 c에 의한 움직임 벡터 예측에서는, 종래기술 a나 종래기술 b와 달리 부호화 대상 블록의 근처 블록의 부호화 완료 움직임 벡터를 이용하지 않고 탐색을 할 수 있다. 이 때문에, 부호화 완료 움직임 벡터가 예측에 유효하지 않은 경우에도 유효한 예측 움직임 벡터를 작성할 수 있을 가능성이 있다. 그러나, 템플릿으로부터만 예측 움직임 벡터를 결정해 버리기 때문에, 부호화 대상 블록과는 무관한 영역을 가리키는 움직임 벡터를 예측 움직임 벡터로 하여 예측 효율이 악화되는 경우가 있다.
본 발명은 상기 과제의 해결을 도모하여 움직임 벡터의 예측 효율을 향상시키고 동화상의 부호화 효율을 향상시키는 것을 목적으로 한다. 여기서, 움직임 벡터의 예측 효율이란, 예측의 대상이 되는 움직임 벡터와 예측 움직임 벡터의 유사 정도를 의미한다. 구체적으로 이들 2개의 벡터의 차분 벡터의 길이가 작은 경우에 예측 효율이 높다고 한다.
본 발명의 개요는 이하와 같다. 본 발명은 부호화측 및 복호측의 각 블록에 대해 이하의 방법으로 움직임 벡터 예측을 한다.
(1)부호화 대상 화상 및 부호화 완료 화상의 적어도 한쪽에서 부호화 대상 블록의 위치에 따라 정해지는 부호화 완료한 다수(N개)의 1차 후보 블록의 움직임 벡터를 1차 후보 참조 움직임 벡터로서 이용한다.
(2)복호 측에서 부호화(복호) 대상 블록을 복호 개시하는 시점에서 이미 복호 완료한 정보만을 이용하여 각 1차 후보 참조 움직임 벡터가 어느 정도 예측에 적합한지를 나타내는 평가값(이하, 신뢰도)을 구한다.
(3)신뢰도에 따라 1차 후보 참조 움직임 벡터를 M(<N)개의 2차 후보 참조 움직임 벡터로 좁힌다.
(4)M개의 2차 후보 참조 움직임 벡터를 이용하여 예측 움직임 벡터를 작성한다.
자세하게는 본 발명에서는 종래와 같은 움직임 벡터 예측 부호화(하기의 처리 4)의 전처리로서 이하의 처리 1 내지 처리 3을 행한다.
[처리 1]부호화 대상 화상에서의 부호화 대상 블록의 위치에 대해 미리 정해진 상대적인 위치에 있고, 부호화 대상 화상 중의 부호화 완료 블록 및 부호화 완료 화상에서의 부호화 완료 블록의 적어도 한쪽으로 이루어지는 N개(N은 2이상의 정수)의 블록을 1차 후보 블록으로서 설정하며, 1차 후보 블록의 부호화에 이용한 움직임 벡터로부터 N개의 1차 후보 참조 움직임 벡터를 결정한다.
[처리 2]다음에, N개의 1차 후보 참조 움직임 벡터 각각에 대해, 부호화 대상 블록에서의 움직임 벡터 예측에서의 유효성을 정량적으로 나타내는 신뢰도를 부호화 완료 또는 복호 완료한 화상 정보를 이용하여 산출한다.
[처리 3]N개의 1차 후보 참조 움직임 벡터 중에서 신뢰도가 큰 상위 M개(M은 1이상 또한 N미만의 정수)의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 선출한다.
[처리 4]2차 후보 참조 움직임 벡터를 이용하여 부호화 대상 블록의 예측 움직임 벡터를 산출하고, 부호화 대상 블록의 움직임 탐색으로 구한 움직임 벡터와 예측 움직임 벡터의 잔차를 움직임 벡터의 부호화 정보로서 부호화한다. 2차 후보 참조 움직임 벡터를 이용하여 부호화 대상 블록의 예측 움직임 벡터를 산출하는 처리로서는, 예를 들면 M개의 2차 후보 참조 움직임 벡터의 중앙값을 선택하거나, M개의 2차 후보 참조 움직임 벡터 중에서 가장 예측 잔차가 작아지는 2차 후보 참조 움직임 벡터를 선택하고, 그 움직임 벡터의 식별자를 예측 잔차와 함께 부호화하는 등 종래 방법을 이용할 수 있다.
이상과 같이, 본 발명에서는 부호화 대상 블록의 근처 블록뿐만 아니라 부호화 대상 화상 및 부호화 완료 화상의 적어도 한쪽에서의 미리 정해진 범위의 다수의 1차 후보 블록의 움직임 벡터로부터 1차 후보 참조 움직임 벡터를 정한다. 그리고, 각각의 1차 후보 참조 움직임 벡터에 대해 부호화 완료한 정보 또는 복호 완료한 정보를 이용하여 신뢰도의 계산을 한다. 1차 후보 참조 움직임 벡터를 신뢰도에 따라 좁히고, 좁힌 결과를 2차 후보 참조 움직임 벡터로 한다. 이후의 처리는 2차 후보 참조 움직임 벡터를 입력으로 하여, 예를 들면 종래의 움직임 벡터 예측 부호화와 같은 방법을 이용하여 예측 움직임 벡터를 구하고, 예측 움직임 벡터와 움직임 벡터의 예측 잔차를 부호화한다.
본 발명에 의한 움직임 벡터 예측 복호의 경우에도 미리 정해진 다수의 1차 후보 블록의 움직임 벡터를 1차 후보 참조 움직임 벡터로 한다. 그리고, 각각의 1차 후보 참조 움직임 벡터에 대해 복호 완료한 정보를 이용하여 신뢰도의 계산을 한다. 1차 후보 참조 움직임 벡터를 신뢰도에 따라 좁히고, 좁힌 결과를 2차 후보 참조 움직임 벡터로 한다. 이후의 처리는 2차 후보 참조 움직임 벡터를 입력으로 하여, 종래의 움직임 벡터 예측 복호와 같은 방법을 이용하여 예측 움직임 벡터를 구하고, 복호한 예측 잔차에 예측 움직임 벡터를 가산하여 움직임 벡터를 산출한다.
신뢰도의 산출 방법으로서는, 예를 들면 부호화 대상 블록에 인접하는 부호화 완료 화소의 집합을 템플릿으로서 이용하여 참조 화상 상에서 템플릿과 공간적으로 같은 영역을 1차 후보 참조 움직임 벡터분만큼 어긋나게 한 영역인 매칭 대상 영역과 템플릿의 유사도를 산출하고, 그 유사도를 신뢰도라고 하는 방법을 이용할 수 있다. 또한, 각 1차 후보 참조 움직임 벡터를 산출하는 기초가 된 1차 후보 블록의 움직임 보상에서의 복호 예측 잔차 신호의 작음을 신뢰도의 지표로서 이용하여 신뢰도를 산출해도 된다.
본 발명에서는 상기 처리 1~3을 행함으로써 참조 움직임 벡터의 좁힘(narrowing down)을 행한다. 이 좁힘은 복호 측에서도 부호화 측으로부터의 부가 정보 없이 실현할 수 있고, 또한 2차 후보 참조 움직임 벡터에는 예측에 유효한 움직임 벡터가 포함된다. 이 때문에, 전술한 종래기술 a, b, c보다 예측 효율이 향상된다.
또한, 일반적으로 움직임 벡터의 예측 효율이 향상되면, 움직임 벡터 예측 잔차의 엔트로피가 감소하고 움직임 벡터의 부호량이 작아진다. 동화상의 부호화 데이터는 움직임 벡터의 부호량을 포함하기 때문에, 종래기술 a, b, c를 이용한 방식보다도 동화상의 부호화 효율이 향상된다.
또한, 다수의 1차 후보 블록으로부터 다양성이 있는 1차 후보 참조 움직임 벡터를 설정할 수 있고, 이들 1차 후보 참조 움직임 벡터는 부호화에 이용된 움직임 벡터이기 때문에, 동화상의 피사체의 움직임에 대응하고 있고, 움직임 벡터 예측에 유효한 움직임 벡터가 포함될 가능성이 높다. 본 발명에서는 이들 1차 후보 참조 움직임 벡터에 대해서만 신뢰도를 구하므로, 종래기술 c보다도 적은 연산량으로 높은 예측 효율을 실현할 수 있다.
도 1은 본 발명의 실시형태에 관한 동화상 부호화 장치의 구성예를 나타내는 도면이다.
도 2는 도 1에 도시된 움직임 보상부의 상세한 구성예를 나타내는 도면이다.
도 3은 본 발명의 실시형태에 관한 동화상 복호 장치의 구성예를 나타내는 도면이다.
도 4는 도 3에 도시된 움직임 보상부의 상세한 구성예를 나타내는 도면이다.
도 5는 움직임 벡터 예측 처리의 흐름도이다.
도 6a는 1차 후보 블록의 설정예를 설명하는 도면이다.
도 6b는 1차 후보 블록의 설정예를 설명하는 도면이다.
도 7은 1차 후보 참조 움직임 벡터의 설정예를 설명하는 도면이다.
도 8은 신뢰도 산출 처리의 일례를 나타내는 흐름도이다.
도 9는 템플릿 매칭을 이용한 신뢰도를 구하는 방법을 설명하는 도면이다.
도 10a는 참조 움직임 벡터 결정 처리의 흐름도이다.
도 10b는 다른 참조 움직임 벡터 결정 처리의 흐름도이다.
도 11은 종래의 동화상 부호화 장치에서의 움직임 보상부의 구성예를 나타내는 도면이다.
도 12는 종래의 동화상 복호 장치에서의 움직임 보상부의 구성예를 나타내는 도면이다.
도 13은 종래의 움직임 벡터의 예측 부호화 방식의 예를 설명하는 도면이다.
도 14는 종래의 템플릿 매칭에 의한 움직임 벡터 예측을 설명하는 도면이다.
도 15는 종래기술의 문제를 설명하는 도면이다.
이하, 도면을 이용하여 본 발명의 실시형태를 상세하게 설명한다.
도 1은 본 발명의 실시형태에 관한 동화상 부호화 장치의 구성예를 나타내는 도면이다. 본 실시형태의 동화상 부호화 장치(1)에 있어서, 특히 움직임 보상부(18)의 부분이 종래기술과 다른 부분이고, 다른 부분은 H.264 그 밖에서 인코더로서 이용되고 있는 종래의 일반적인 동화상 부호화 장치와 같다.
동화상 부호화 장치(1)는 부호화 대상의 영상 신호를 입력하고, 입력 영상 신호의 프레임을 블록으로 분할하여 블록마다 부호화하며, 그 부호화 데이터를 비트 스트림으로서 출력한다.
이 부호화를 위해, 예측 잔차 신호 산출부(10)는 입력 영상 신호와 움직임 보상부(18)의 출력인 예측 신호의 차분을 구하고, 그것을 예측 잔차 신호로서 출력한다. 직교 변환부(11)는, 예측 잔차 신호에 대해 이산 코사인 변환(DCT) 등의 직교 변환을 하여 변환 계수를 출력한다. 양자화부(12)는 변환 계수를 양자화하고, 그 양자화된 변환 계수를 출력한다. 정보원 부호화부(13)는 양자화된 변환 계수를 엔트로피 부호화하고, 비트 스트림으로서 출력한다.
한편, 양자화된 변환 계수는 역양자화부(14)에도 입력되고, 여기서 역양자화된다. 역직교 변환부(15)는 역양자화부(14)의 출력인 변환 계수를 역직교 변환하여 예측 잔차 복호 신호를 출력한다. 복호 신호 산출부(16)에서는 이 예측 잔차 복호 신호와 움직임 보상부(18)의 출력인 예측 신호를 가산하고, 부호화한 부호화 대상 블록의 복호 신호를 생성한다. 이 복호 신호는 움직임 보상부(18)에서의 움직임 보상의 참조 화상으로서 이용하기 위해 프레임 메모리(17)에 저장된다.
움직임 보상부(18)는, 부호화 대상 블록의 영상 신호에 대해 프레임 메모리(17)에 저장된 참조 화상을 참조하여 움직임 탐색을 하고 부호화 대상 블록의 예측 신호를 출력한다. 또한, 움직임 보상부(18)는, 움직임 탐색 결과의 움직임 벡터에 대해서도 예측 부호화하기 위해 부호화 완료한 정보를 이용하여 움직임 벡터의 예측을 하고, 움직임 탐색 결과의 움직임 벡터와 예측 움직임 벡터의 차분을 산출하여 결과를 움직임 벡터 예측 잔차로서 정보원 부호화부(13)에 출력한다.
여기서, 움직임 보상부(18)는 움직임 벡터의 예측에 있어서 단지 부호화 대상 블록의 근처에 있는 부호화 완료 블록의 움직임 벡터를 이용하는 것이 아니라, 부호화 대상 블록의 위치에 대해 미리 정해진 상대적인 위치에 있는 다수의 부호화 완료한 1차 후보 블록을 설정하고, 그 1차 후보 블록의 부호화에 이용한 움직임 벡터로부터 1차 후보 참조 움직임 벡터를 설정하며, 그 1차 후보 참조 움직임 벡터의 신뢰도를 부호화 완료한 정보로부터 산출하고, 신뢰도에 따라 소수의 2차 후보 참조 움직임 벡터로 좁히고 나서 2차 후보 참조 움직임 벡터를 이용하여 예측 움직임 벡터를 산출한다. 2차 후보 참조 움직임 벡터를 이용하여 예측 움직임 벡터를 산출하는 처리는 종래기술과 같은 움직임 벡터의 예측 수법을 이용하여 행할 수 있다.
도 2는 도 1에 도시된 움직임 보상부(18)의 상세한 구성예를 나타내는 도면이다. 움직임 보상부(18)는 도 2에 도시된 바와 같이 움직임 탐색부(181), 움직임 벡터 메모리(182), 1차 후보 블록의 움직임 벡터 독출부(183), 신뢰도 계산부(184), 참조 움직임 벡터 결정부(185), 움직임 벡터 예측부(186), 움직임 벡터 예측 잔차 산출부(187)를 구비한다.
부호화 대상 블록의 부호화에서의 움직임 보상에 있어서, 우선, 움직임 탐색부(181)는 입력 영상 신호의 부호화 대상 블록에 대해 이미 부호화 완료한 참조 화상의 복호 신호와 조합하는 움직임 탐색을 하여 예측 신호를 생성하여 출력함과 동시에 매칭 위치를 나타내는 움직임 벡터를 출력한다. 이 움직임 벡터는 움직임 벡터 메모리(182)에 저장되고, 또한 움직임 벡터 예측 잔차 산출부(187)에 출력된다.
1차 후보 블록의 움직임 벡터 독출부(183)는, 과거에 부호화되어 움직임 벡터 메모리(182)에 저장되어 있는 미리 정해진 위치에 있는 N개(N은 2이상의 정수)의 1차 후보 블록의 움직임 벡터를 독출하고, 이들 움직임 벡터를 1차 후보 참조 움직임 벡터로서 설정하여 신뢰도 계산부(184)에 통지한다.
신뢰도 계산부(184)는, N개의 1차 후보 참조 움직임 벡터 각각에 대해 부호화 완료한 화상 정보(복호 신호)를 이용하여 부호화 대상 블록에서의 움직임 벡터 예측에서의 유효성을 정량적으로 나타내는 신뢰도를 산출한다.
참조 움직임 벡터 결정부(185)는, 신뢰도 계산부(184)가 산출한 신뢰도가 큰 순서로 상위부터 M개(M은 1이상 또한 N미만의 정수)의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 선출한다.
움직임 벡터 예측부(186)는, 참조 움직임 벡터 결정부(185)가 선출한 2차 후보 참조 움직임 벡터를 이용하여 부호화 대상 블록의 예측 움직임 벡터를 산출한다. 이 움직임 벡터 예측부(186)에서의 예측 움직임 벡터의 산출 방법은 종래기술과 같아도 되고, 예를 들면 2차 후보 참조 움직임 벡터 중의 중앙값(메디안)을 예측 움직임 벡터로 한다. 또한, 2차 후보 참조 움직임 벡터 중에서 움직임 탐색부(181)가 구한 움직임 벡터와 가장 가까운 값을 갖는 것을 예측 움직임 벡터로 하고, 그 움직임 벡터를 나타내는 식별자를 부호화 대상에 덧붙여 복호 측에 통지하는 것과 같은 것도 가능하다.
움직임 벡터 예측 잔차 산출부(187)는 움직임 탐색부(181)가 산출한 움직임 벡터와 움직임 벡터 예측부(186)가 산출한 예측 움직임 벡터의 잔차를 산출하고, 산출된 잔차를 움직임 벡터 예측 잔차로서 출력한다.
도 3은 본 발명의 실시형태에 관한 동화상 복호 장치의 구성예를 나타내는 도면이다. 본 실시형태의 동화상 복호 장치(2)에 있어서, 특히 움직임 보상부(25)의 부분이 종래기술과 다른 부분이고, 다른 부분은 H.264 그 밖에서 디코더로서 이용되고 있는 종래의 일반적인 동화상 복호 장치와 같다.
동화상 복호 장치(2)는, 도 1에 도시된 동화상 부호화 장치(1)에 의해 부호화된 비트 스트림을 입력하여 복호함으로써 복호 화상의 복호 신호를 출력한다.
이 복호를 위해, 정보원 복호부(20)는 입력된 비트 스트림에 기초하여 복호 대상 블록의 양자화 변환 계수를 엔트로피 복호함과 동시에 움직임 벡터 예측 잔차를 복호한다. 역양자화부(21)는 양자화 변환 계수를 입력하고, 그것을 역양자화하여 복호 변환 계수를 출력한다. 역직교 변환부(22)는 복호 변환 계수에 역직교 변환을 실시하고, 복호 예측 잔차 신호를 출력한다. 복호 신호 산출부(23)에서는, 움직임 보상부(25)에서 생성된 예측 신호와 복호 예측 잔차 신호를 가산함으로써 복호 대상 블록의 복호 신호를 생성한다. 이 복호 신호는 표시 장치 등의 외부 장치에 출력됨과 동시에 움직임 보상부(25)에서의 움직임 보상의 참조 화상으로서 이용하기 위해 프레임 메모리(24)에 저장된다.
움직임 보상부(25)는 프레임 메모리(24)에 저장된 복호 완료한 정보를 이용하여 움직임 벡터의 예측을 하고, 그 예측 움직임 벡터와 정보원 복호부(20)가 복호한 움직임 벡터 예측 잔차를 가산하여 움직임 벡터를 산출하며, 그 움직임 벡터를 기초로 프레임 메모리(24)의 참조 화상을 참조하여 복호 대상 블록의 예측 신호를 생성한다.
여기서, 움직임 보상부(25)는 움직임 벡터의 예측에 있어서 단지 복호 대상 블록의 근처에 있는 복호 완료 블록의 움직임 벡터를 이용하는 것이 아니라, 복호 대상 블록의 위치에 대해 미리 정해진 상대적인 위치에 있는 다수의 복호 완료한 1차 후보 블록을 설정하고, 그 1차 후보 블록의 복호에 이용한 움직임 벡터로부터 1차 후보 참조 움직임 벡터를 설정한다. 또한, 움직임 보상부(25)는 그 1차 후보 참조 움직임 벡터의 신뢰도를 복호 완료한 정보로부터 산출하고, 신뢰도에 따라 소수의 2차 후보 참조 움직임 벡터로 좁히고 나서 2차 후보 참조 움직임 벡터를 이용하여 예측 움직임 벡터를 산출한다. 2차 후보 참조 움직임 벡터를 이용하여 예측 움직임 벡터를 산출하는 처리는 종래기술과 같은 움직임 벡터의 예측 수법을 이용하여 행할 수 있다.
도 4는 도 3에 도시된 움직임 보상부(25)의 상세한 구성예를 나타내는 도면이다. 움직임 보상부(25)는 도 4에 도시된 바와 같이 움직임 벡터 산출부(251), 예측 신호 작성부(252), 움직임 벡터 메모리(253), 1차 후보 블록의 움직임 벡터 독출부(254), 신뢰도 계산부(255), 참조 움직임 벡터 결정부(256), 움직임 벡터 예측부(257)를 구비한다.
복호 대상 블록의 복호에서의 움직임 보상에 있어서, 우선, 움직임 벡터 산출부(251)는 부호화 비트 스트림을 복호하여 얻어진 움직임 벡터 예측 잔차와 움직임 벡터 예측부(257)가 복호 완료한 정보를 이용하여 예측한 예측 움직임 벡터를 가산하여 복호에 이용하는 움직임 벡터를 출력한다. 이 움직임 벡터는 움직임 벡터 메모리(253)에 저장되고, 또한 예측 신호 작성부(252)에 출력된다. 예측 신호 작성부(252)는, 입력된 움직임 벡터가 나타내는 참조 화상 위치의 복호 신호를 독출하여 복호 대상 블록의 예측 신호로서 출력한다.
1차 후보 블록의 움직임 벡터 독출부(254)는, 과거에 복호되어 움직임 벡터 메모리(253)에 저장되어 있는 미리 정해진 위치에 있는 N개(N은 2이상의 정수)의 1차 후보 블록의 움직임 벡터를 독출하고, 이들 움직임 벡터를 1차 후보 참조 움직임 벡터로서 설정하여 신뢰도 계산부(255)에 통지한다.
신뢰도 계산부(255)는, N개의 1차 후보 참조 움직임 벡터 각각에 대해 복호 완료한 화상 정보(복호 신호)를 이용하여 복호 대상 블록에서의 움직임 벡터 예측에서의 유효성을 정량적으로 나타내는 신뢰도를 산출한다.
참조 움직임 벡터 결정부(256)는, 신뢰도 계산부(255)가 산출한 신뢰도가 큰 순서로 상위부터 M개(M은 1이상 또한 N미만의 정수)의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 선출한다.
움직임 벡터 예측부(257)는, 참조 움직임 벡터 결정부(256)가 선출한 2차 후보 참조 움직임 벡터를 이용하여 복호 대상 블록의 예측 움직임 벡터를 산출한다. 이 움직임 벡터 예측부(257)에서의 예측 움직임 벡터의 산출 방법은 종래기술과 같아도 되고, 예를 들면 2차 후보 참조 움직임 벡터 중의 중앙값(메디안)을 예측 움직임 벡터로 한다. 또는 부호화 측에서 예측에 이용하는 움직임 벡터의 식별자를 지정하고 있는 경우에는, 그 식별자가 나타내는 움직임 벡터를 예측 움직임 벡터로 한다.
다음에, 동화상 부호화 장치(1)에서의 움직임 보상부(18) 및 동화상 복호 장치(2)에서의 움직임 보상부(25)가 행하는 처리 중에서 본 발명에 관련되는 움직임 벡터 예측의 처리에 대해 도 5 내지 도 10b에 따라 설명한다. 이하에서는 주로 부호화측의 움직임 벡터 예측의 처리를 중심으로 설명하지만, 복호 측에서의 움직임 벡터 예측의 처리도 완전히 동일하다.
도 5는 움직임 벡터 예측 처리의 흐름도를 나타내고 있다.
[단계 S1의 처리]
처음에 1차 후보 블록의 움직임 벡터 독출부(183)(또는 254)는, N개의 1차 후보 블록의 움직임 벡터를 움직임 벡터 메모리(182)(또는 253)로부터 독출한다.
여기서, 1차 후보 블록의 설정예를 도 6a 및 도 6b에 따라 설명한다. 1차 후보 블록은 부호화(복호) 대상 픽처로부터 선택하여 설정할 수도 있고, 또한 부호화 완료 픽처로부터 선택하여 설정할 수도 있다.
도 6a는 부호화 대상 픽처(3) 내의 부호화 완료 블록을 1차 후보 블록으로서 설정하는 예를 나타내고 있다. 이 경우, 부호화 대상 블록(31)의 근처에 있는 다수(이 예에서는 10개)의 부호화 완료 블록(B1~B10)이 1차 후보 블록으로서 설정된다. 복호 측에서도 부호화 측에서 이용한 1차 후보 블록과 같은 위치에 있는 복호 완료 블록을 1차 후보 블록으로서 설정할 수 있다.
도 6b는 부호화 완료 픽처(30) 내의 부호화 완료 블록을 1차 후보 블록으로서 설정하는 예를 나타내고 있다. 예를 들면, 부호화 완료 픽처(30) 내에 있는 블록(B11)(대응 위치 블록)의 위치가 부호화 대상 픽처(3)에서의 부호화 대상 블록(31)의 위치와 같다고 하면, 그 블록(B11)과 그 주위의 몇 개의 블록(B12~B19)을 1차 후보 블록으로서 설정하고 있다.
1차 후보 블록군으로부터 가능한 한 다양성이 있는 1차 후보 참조 움직임 벡터를 설정하기 위해, 도 6a와 같이 부호화 대상 픽처(3)로부터 1차 후보 블록을 선택하는 방법과 도 6b와 같이 부호화 완료 픽처(30)로부터 1차 후보 블록을 선택하는 방법을 조합하는 것도 적합하다. 예를 들면, 부호화 대상 픽처(3)로부터 N1개의 부호화 완료 블록을 선택하고, 부호화 완료 픽처(30)로부터 N2개의 부호화 완료 블록을 선택하여 합계 N개(N=N1+N2)의 1차 후보 블록을 설정한다.
또, 1장의 부호화 완료 픽처의 블록을 1차 후보 블록으로서 설정할 뿐만 아니라 복수장의 부호화 완료 픽처의 블록을 1차 후보 블록으로서 설정하도록 해도 된다.
[단계 S2의 처리]
1차 후보 블록의 움직임 벡터 독출부(183)는, N개의 1차 후보 블록 각각에 대해 부호화 완료 픽처(또는 복호 완료 픽처)의 블록인지를 판정한다. 1차 후보 블록이 부호화 완료 픽처의 블록인 경우에는, 1차 후보 블록의 움직임 벡터 독출부(183)는 다음의 단계 S3을 실행한다.
[단계 S3의 처리]
1차 후보 블록이 부호화 완료 픽처이면, 그 부호화에 이용된 움직임 벡터 그 자체를 1차 후보 참조 움직임 벡터로 하는 것이 아니라 부호화 대상 픽처의 참조 화상에 대응하도록 움직임 벡터를 가공한다.
움직임 벡터의 가공은 예를 들면 다음과 같이 행한다. 부호화 대상 블록의 픽처의 시각을 Te라고 하고, 1차 후보 블록(부호화에 이용한 움직임 벡터는 Vc)을 포함하는 부호화 완료 픽처의 시각을 Tc라고 하며, 부호화 대상 블록이 참조하는 픽처의 시각을 Tr이라고 하고, 1차 후보 블록이 참조하는 픽처의 시각을 Tr2라고 했을 때, 이하의 식에 의해 가공한 1차 후보 참조 움직임 벡터(V)를 산출한다.
V=Vc×(Tr-Te)/(Tr2-Tc)
상기 픽처의 「시각」은 픽처의 표시 시각 정보나 H.264의 규격으로 정의되어 있는 POC(Picture Order Count) 등 픽처의 상대적인 시간 관계를 나타내는 것이면 어떠한 것으로도 된다.
도 7에 부호화 완료 픽처의 1차 후보 블록에 대한 1차 후보 참조 움직임 벡터의 설정예를 나타낸다. 부호화 완료 픽처는 인터 픽처(움직임 보상을 하여 부호화하는 픽처)이면 어떠한 픽처이어도 된다. 예를 들면, H.264에서의 B픽처의 경우, 전후의 P픽처를 이용할 수 있는 경우가 있다.
도 7의 예에서, P2가 부호화 대상 픽처(3)이고, P4가 1차 후보 블록이 존재하는 부호화 완료 픽처(30)라고 한다. 또한, P1~P4 중에서 P1과 P4가 P픽처이고, P2와 P3이 B픽처라고 한다. P2의 부호화 대상 픽처(3)는 P4의 부호화 완료 픽처(30)를 참조 화상으로 하고, P4의 부호화 완료 픽처(30)는 P1을 참조 화상으로 하고 있다.
P4의 부호화 완료 픽처(30)에서의 1차 후보 블록의 움직임 벡터(Vp4)(도면 중 점선의 화살표)는 P1의 부호화 완료 픽처에 대한 것이다. 따라서, P1과 P4 간의 시간적 거리(L1) 및 P2와 P4 간의 시간적 거리(L2) 및 참조의 방향성으로부터 1차 후보 참조 움직임 벡터(V)(도면 중 실선의 화살표)는 다음 식에 의해 산출된다.
V=-Vp4×L2/L1
즉, 전술한 1차 후보 참조 움직임 벡터(V)를 산출하는 식「V=Vc×(Tr-Te)/(Tr2-Tc)」에 맞추면, Vp4=Vc, 픽처(P2)의 시각이 Te, 픽처(P4)의 시각이 Tc=Tr, 픽처(P1)의 시각이 Tr2가 된다. 이 식에 의해, 1차 후보 블록의 움직임 벡터(Vp4)를 가공하여 1차 후보 참조 움직임 벡터(V)로서 이용할 수 있도록 한다.
[단계 S4의 처리]
1차 후보 블록의 움직임 벡터 독출부(183)(또는 254)는, 이상의 처리에 의해 N개의 1차 후보 블록으로부터 얻어진 움직임 벡터를 1차 후보 참조 움직임 벡터로서 설정하여 신뢰도 계산부(184)(또는 255)에 통지한다.
[단계 S5의 처리]
신뢰도 계산부(184)(또는 255)는, 설정된 N개의 1차 후보 참조 움직임 벡터 각각에 대해 부호화 완료한 정보를 이용하여 신뢰도를 산출한다. 여기서, 신뢰도는 부호화(복호) 대상 블록에서의 움직임 벡터 예측에서의 1차 후보 참조 움직임 벡터의 유효성을 정량적으로 표현한 것이다. 이 신뢰도는 N개의 1차 후보 참조 움직임 벡터에 대해 복호 측에서 부호화 대상 블록의 복호를 개시하는 시점에서 이미 복호 완료한 정보만을 이용하여 계산한다.
도 8은 신뢰도 산출 처리의 일례를 나타내는 흐름도이다. 또한, 도 9는 템플릿 매칭을 이용한 신뢰도를 구하는 방법을 설명하는 도면이다.
신뢰도를 구하는 방법의 일례로서 템플릿 매칭을 응용하는 방법에 대해 설명한다. 도 9의 부호화 대상 픽처(3)에 있어서, 부호화 대상 블록(31)의 예측 움직임 벡터를 구하는 것으로 한다. 템플릿(32)은 부호화 대상 블록(31)에 인접하는 부호화 완료 화소의 집합(이 예에서는 부호화 대상 블록(31)의 왼쪽과 위쪽의 화소군으로 구성되는 역L자형의 영역)이다. 또, 역L자형의 영역의 폭(두께)은 예를 들면 2화소 정도이지만 1화소 또는 3화소 이상이어도 된다. 참조 화상(4)은 부호화 완료 또는 복호 완료한 픽처이다. 참조 화상(4)에서의 대응 위치 블록(41)은 부호화 대상 픽처(3) 내의 부호화 대상 블록(31)의 위치와 같은 위치에 있는 블록이다.
도 8의 신뢰도 산출 처리에 있어서, 단계 S51에서는 참조 화상(4) 상에서 템플릿(32)과 공간적으로 같은 영역(대응 위치 블록(41)에 인접하는 역L자형의 영역)을 신뢰도를 계산하고자 하는 1차 후보 참조 움직임 벡터(Vi)분만큼 어긋나게 한 영역을 구하고, 이를 매칭 대상 영역(42)으로서 취득한다.
다음에, 단계 S52에서는, 부호화 대상 블록(31)의 템플릿(32)과 참조 화상(4)에서의 매칭 대상 영역(42)의 유사도를 산출하고, 이를 1차 후보 참조 움직임 벡터(Vi)의 신뢰도로서 설정한다.
유사도의 지표의 일례로서는 SAD(Sum of Absolute Differences)가 있다. SAD가 작을수록 해당 1차 후보 참조 움직임 벡터(Vi)는 부호화 대상 블록(31)의 움직임에 가까울 가능성이 높기 때문에, 신뢰도가 높은 참조 움직임 벡터로 간주한다. 신뢰도 계산부(184)에서 이용하는 신뢰도의 지표로서는 템플릿(32)과 매칭 대상 영역(42)의 유사도를 나타내는 것이면 다른 것이어도 된다. 전술한 SAD 이외에는 SSD(Sum of Squared Differences), SATD(Sum of Absolute Transformed Differences) 등을 이용할 수 있다. 이들은 모두 값이 작을수록 신뢰도가 높은 것을 나타내는 척도가 된다.
템플릿(32)은 부호화 대상 블록(31)의 화상 신호와 상관이 높기 때문에, 이에 의한 유사도를 이용하면 움직임 벡터 예측에 유효한 2차 후보 참조 블록을 특정할 수 있다.
또한, 신뢰도를 산출하는 다른 방법으로서 1차 후보 블록의 움직임 보상에서의 복호 예측 잔차 신호의 작음을 이용하는 방법을 이용할 수도 있다. 복호 예측 잔차 신호가 큰 경우, 그 1차 후보 블록은 피사체 경계일 가능성이 높고, 따라서 움직임 벡터 예측에 유효하지 않은 움직임 벡터일 가능성이 높다. 그래서, 복호 예측 잔차 신호가 작을수록 신뢰도가 높다고 한다. 복호 예측 잔차 신호의 작음의 지표로서는 복호 예측 잔차 신호의 절대값 합, 제곱 합 등을 이용할 수 있다.
[단계 S6의 처리]
다음에, 참조 움직임 벡터 결정부(185)(또는 256)에서 각 1차 후보 참조 움직임 벡터의 신뢰도 정보에 기초하여 N개의 1차 후보 참조 움직임 벡터를 M개(1≤M<N)의 2차 후보 참조 움직임 벡터로 좁힌다.
도 10a는 참조 움직임 벡터 결정 처리의 흐름도이다. 단계 S61에서는, 참조 움직임 벡터 결정부(185)는 신뢰도 계산부(184)에서 계산한 1차 후보 참조 움직임 벡터의 신뢰도를 하강순으로 나열하고, 신뢰도가 상위 M개의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 설정한다.
도 10b는 다른 참조 움직임 벡터 결정 처리의 흐름도로서, 1차 후보 참조 움직임 벡터의 수가 M개에 만족시키지 않는 경우를 고려했을 때의 참조 움직임 벡터 결정 처리의 예를 나타내고 있다.
예를 들면, 1차 후보 참조 움직임 벡터에 다수의 인트라 블록이 포함되는 경우 등 1차 후보 참조 움직임 벡터의 수가 소정수의 M개에 만족시키지 않는 경우가 있을 수 있다. 이 경우에는 다음과 같이 2차 후보 참조 움직임 벡터를 참조 움직임 벡터로서 결정한다.
우선, 단계 S62에서는 1차 후보 참조 움직임 벡터의 수(N)는 M보다 큰지를 판정한다. N이 M보다 큰 경우에는 처리가 단계 S63으로 진행되고, 전술한 단계 S61과 같이 신뢰도에 대해 상위 M개의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 설정한다. 실제로 이용할 수 있는 1차 후보 참조 움직임 벡터의 수(N)가 M보다 크지 않은 경우에는 처리가 단계 S64로 진행되고, N개의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 설정한다.
[단계 S7의 처리]
움직임 벡터 예측부(186)(또는 257)는, 참조 움직임 벡터 결정부(185)가 선출한 2차 후보 참조 움직임 벡터를 이용하여 부호화 대상 블록의 예측 움직임 벡터를 작성한다. 본 발명에 있어서 중요한 포인트는, 다수의 1차 후보 참조 움직임 벡터를 신뢰도에 의해 좁힘으로써, 신뢰도가 높은 2차 후보 참조 움직임 벡터를 이용하여 움직임 벡터 예측 잔차를 산출하기 위한 예측 움직임 벡터를 구하는 점에 있다. 따라서, 2차 후보 참조 움직임 벡터로부터 예측 움직임 벡터를 구하는 처리는 도 11이나 도 12에서 설명한 종래기술의 움직임 벡터 예측부(103)(또는 204)의 처리와 같아도 된다. 그러나, 반드시 종래기술과 같은 처리이어야 하는 것은 아니고, 다른 처리에 의해 예측 움직임 벡터를 구하여 본 발명을 실시할 수도 있다.
이상의 예에서는 N개의 1차 후보 블록으로부터 N개의 1차 후보 참조 움직임 벡터를 설정하는 예를 설명하였다. 그러나, 다음과 같이 1차 후보 참조 움직임 벡터를 설정할 수도 있다. 부호화 완료 블록의 움직임 벡터를 후보로 할 때에, 이들 움직임 벡터에 대해 소정 범위 내의 움직임 벡터에 대해서도 1차 후보 참조 움직임 벡터로 한다. 예를 들면, 어떤 부호화 완료 블록의 움직임 벡터를 (10,20)으로 하고, 소정 범위를 X, Y방향으로 각각 ±1의 범위로 한 경우, (10,20)의 움직임 벡터에 덧붙여 (9,20), (11,20), (10,19), (10,21), (9,19), (9,21), (11,19), (11,21)의 움직임 벡터도 후보가 된다. 즉, 하나의 부호화 완료 블록의 움직임 벡터에 대해 합계 9개의 1차 후보 참조 움직임 벡터가 후보가 된다. 처음에 후보에 넣는 부호화 완료 블록의 움직임 벡터를 K개로 하고, K개 모든 주변도 후보에 넣으면, 9×K개의 1차 후보 참조 움직임 벡터를 이용하게 된다. 단, 복호측과 공통이면, 모든 부호화 완료 블록의 움직임 벡터의 주변을 후보에 넣는 것이 아니라 일부분이어도 된다.
이러한 설정의 효과로서는, 부호화 완료 블록의 움직임 벡터의 주변도 고려에 넣음으로써 움직임 벡터의 예측 효율이 더욱 향상된다는 것을 들 수 있다.
이상 설명한 움직임 벡터 예측 부호화의 처리 및 움직임 벡터 예측 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있다. 또한, 그 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하는 것도 가능하고 네트워크를 통해 제공하는 것도 가능하다.
이상, 본 발명의 실시형태에 대해 도면을 참조하여 상술하였지만, 구체적인 구성은 이들 실시형태에 한정되는 것은 아니고, 본 발명의 요지를 벗어나지 않는 범위의 설계 등(구성의 부가, 생략, 치환 및 기타 변경)도 포함된다. 본 발명은 전술한 설명에 의해 한정되는 것은 아니고 첨부의 청구의 범위에 의해서만 한정된다.
본 발명은 예를 들면 움직임 벡터를 예측 부호화하는 동화상 부호화에 이용할 수 있다. 본 발명에 의하면, 움직임 벡터의 예측 효율이 향상되고 동화상의 부호화 효율이 향상된다.
1 동화상 부호화 장치
2 동화상 복호 장치
10 예측 잔차 신호 산출부
11 직교 변환부
12 양자화부
13 정보원 부호화부
14, 21 역양자화부
15, 22 역직교 변환부
16 복호 신호 산출부
17, 24 프레임 메모리
18, 25 움직임 보상부
181 움직임 탐색부
182, 253 움직임 벡터 메모리
183, 254 1차 후보 블록의 움직임 벡터 독출부
184, 255 신뢰도 계산부
185, 256 참조 움직임 벡터 결정부
186, 257 움직임 벡터 예측부
187 움직임 벡터 예측 잔차 산출부
20 정보원 복호부
23 복호 신호 산출부
251 움직임 벡터 산출부
252 예측 신호 작성부

Claims (14)

  1. 부호화 대상 화상을 블록으로 분할하고, 블록마다 움직임 보상을 이용하여 부호화하는 동화상 부호화 방식에서의 움직임 벡터 예측 부호화 방법에 있어서,
    부호화 완료한 참조 화상을 이용하여 상기 부호화 대상 화상에서의 부호화 대상 블록의 움직임 탐색을 하여 움직임 벡터를 산출하는 단계;
    상기 부호화 대상 화상에서의 상기 부호화 대상 블록의 위치에 대해 미리 정해진 상대적인 위치에 있고, 상기 부호화 대상 화상 중의 부호화 완료 블록 및 부호화 완료 화상에서의 부호화 완료 블록의 적어도 한쪽으로 이루어지는 복수개의 블록을 1차 후보 블록으로서 설정하며, 상기 1차 후보 블록의 부호화에 이용한 움직임 벡터로부터 N개(N은 2이상의 정수)의 1차 후보 참조 움직임 벡터를 결정하는 단계;
    상기 1차 후보 참조 움직임 벡터의 상기 부호화 대상 블록에서의 움직임 벡터 예측에서의 유효성을 정량적으로 나타내는 신뢰도를 상기 1차 후보 참조 움직임 벡터 각각에 대해 부호화 완료한 화상 정보를 이용하여 산출하는 단계;
    상기 N개의 1차 후보 참조 움직임 벡터 중에서 신뢰도가 큰 상위 M개(M은 1이상 또한 N미만의 소정의 정수)의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 선출하는 단계; 및
    상기 2차 후보 참조 움직임 벡터를 이용하여 상기 부호화 대상 블록의 예측 움직임 벡터를 산출하고, 상기 부호화 대상 블록의 움직임 탐색으로 구한 상기 움직임 벡터와 상기 예측 움직임 벡터의 잔차를 상기 움직임 벡터의 부호화 정보로서 부호화하는 단계;를 갖는 움직임 벡터 예측 부호화 방법.
  2. 제1항에 있어서,
    N개 설정해야 할 상기 1차 후보 참조 움직임 벡터가 상기 M개보다 작은 M′개만 설정할 수 있는 경우에, M′개의 1차 후보 참조 움직임 벡터를 상기 2차 후보 참조 움직임 벡터로서 선출하는 움직임 벡터 예측 부호화 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 1차 후보 참조 움직임 벡터의 신뢰도를 산출하는 단계에서는, 상기 부호화 대상 블록에 인접하는 부호화 완료 화소의 집합을 템플릿으로서 이용하고, 상기 참조 화상 상에서 상기 1차 후보 참조 움직임 벡터분만큼 상기 템플릿의 영역을 어긋나게 한 영역을 매칭 대상 영역으로서 설정하며, 상기 템플릿의 상기 부호화 완료 화소의 집합과 상기 매칭 대상 영역에서의 화소의 집합의 유사도를 상기 신뢰도로서 산출하는 움직임 벡터 예측 부호화 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 1차 후보 참조 움직임 벡터의 신뢰도를 산출하는 단계에서는, 상기 1차 후보 참조 움직임 벡터에 관한 1차 후보 블록의 움직임 보상에서의 복호 예측 잔차 신호의 작음을 신뢰도의 지표로서 상기 신뢰도를 산출하는 움직임 벡터 예측 부호화 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 1차 후보 참조 움직임 벡터를 결정하는 단계에서는, 상기 1차 후보 블록의 부호화에 이용한 상기 움직임 벡터와 이 움직임 벡터 각각을 기준으로 한 소정 범위 내의 움직임 벡터로부터 상기 1차 후보 참조 움직임 벡터를 결정하는 움직임 벡터 예측 부호화 방법.
  6. 블록으로 분할되어 부호화된 동화상의 복호 대상 화상을 블록마다 움직임 보상을 이용하여 복호하는 동화상 복호 방식에서의 움직임 벡터 예측 복호 방법에 있어서,
    복호 대상 블록의 움직임 벡터 예측 잔차를 복호하는 단계;
    상기 복호 대상 화상에서의 상기 복호 대상 블록의 위치에 대해 미리 정해진 상대적인 위치에 있고, 상기 복호 대상 화상 중의 복호 완료 블록 및 복호 완료 화상에서의 복호 완료 블록의 적어도 한쪽으로 이루어지는 복수개의 블록을 1차 후보 블록으로서 설정하며, 상기 1차 후보 블록의 복호에 이용한 움직임 벡터로부터 N개(N은 2이상의 정수)의 1차 후보 참조 움직임 벡터를 결정하는 단계;
    상기 1차 후보 참조 움직임 벡터의 상기 복호 대상 블록에서의 움직임 벡터 예측에서의 유효성을 정량적으로 나타내는 신뢰도를 상기 1차 후보 참조 움직임 벡터 각각에 대해 복호 완료한 화상 정보를 이용하여 산출하는 단계;
    상기 N개의 1차 후보 참조 움직임 벡터 중에서 신뢰도가 큰 상위 M개(M은 1이상 또한 N미만의 소정의 정수)의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 선출하는 단계; 및
    상기 2차 후보 참조 움직임 벡터를 이용하여 상기 복호 대상 블록의 예측 움직임 벡터를 산출하고, 상기 복호한 움직임 벡터 예측 잔차에 상기 예측 움직임 벡터를 가산하여 상기 복호 대상 블록의 움직임 벡터를 산출하는 단계;를 갖는 움직임 벡터 예측 복호 방법.
  7. 제6항에 있어서,
    N개 설정해야 할 상기 1차 후보 참조 움직임 벡터가 상기 M개보다 작은 M′개만 설정할 수 있는 경우에, M′개의 1차 후보 참조 움직임 벡터를 상기 2차 후보 참조 움직임 벡터로서 선출하는 움직임 벡터 예측 복호 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 1차 후보 참조 움직임 벡터의 신뢰도를 산출하는 단계에서는, 상기 복호 대상 블록에 인접하는 복호 완료 화소의 집합을 템플릿으로서 이용하고, 복호 완료한 참조 화상 상에서 상기 1차 후보 참조 움직임 벡터분만큼 상기 템플릿의 영역을 어긋나게 한 영역을 매칭 대상 영역으로서 설정하며, 상기 템플릿의 상기 복호 완료 화소의 집합과 상기 매칭 대상 영역에서의 화소의 집합의 유사도를 상기 신뢰도로서 산출하는 움직임 벡터 예측 복호 방법.
  9. 제6항 또는 제7항에 있어서,
    상기 1차 후보 참조 움직임 벡터의 신뢰도를 산출하는 단계에서는, 상기 1차 후보 참조 움직임 벡터에 관한 1차 후보 블록의 움직임 보상에서의 복호 예측 잔차 신호의 작음을 신뢰도의 지표로서 상기 신뢰도를 산출하는 움직임 벡터 예측 복호 방법.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 1차 후보 참조 움직임 벡터를 결정하는 단계에서는, 상기 1차 후보 블록의 복호에 이용한 상기 움직임 벡터와 이 움직임 벡터 각각을 기준으로 한 소정 범위 내의 움직임 벡터로부터 상기 1차 후보 참조 움직임 벡터를 결정하는 움직임 벡터 예측 복호 방법.
  11. 부호화 대상 화상을 블록으로 분할하고, 블록마다 움직임 보상을 이용하여 동화상을 부호화하는 동화상 부호화 장치에 있어서,
    부호화 완료한 참조 화상을 이용하여 상기 부호화 대상 화상에서의 부호화 대상 블록의 움직임 탐색을 하여 움직임 벡터를 산출하는 움직임 탐색부;
    상기 부호화 대상 화상에서의 상기 부호화 대상 블록의 위치에 대해 미리 정해진 상대적인 위치에 있고, 상기 부호화 대상 화상 중의 부호화 완료 블록 및 부호화 완료 화상에서의 부호화 완료 블록의 적어도 한쪽으로 이루어지는 복수개의 블록을 1차 후보 블록으로서 설정하며, 상기 1차 후보 블록의 부호화에 이용한 움직임 벡터로부터 N개(N은 2이상의 정수)의 1차 후보 참조 움직임 벡터를 결정하는 1차 후보 참조 움직임 벡터 결정부;
    상기 1차 후보 참조 움직임 벡터의 상기 부호화 대상 블록에서의 움직임 벡터 예측에서의 유효성을 정량적으로 나타내는 신뢰도를 상기 1차 후보 참조 움직임 벡터 각각에 대해 부호화 완료한 화상 정보를 이용하여 산출하는 신뢰도 계산부;
    상기 N개의 1차 후보 참조 움직임 벡터 중에서 신뢰도가 큰 상위 M개(M은 1이상 또한 N미만의 소정의 정수)의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 선출하는 참조 움직임 벡터 결정부; 및
    상기 2차 후보 참조 움직임 벡터를 이용하여 상기 부호화 대상 블록의 예측 움직임 벡터를 산출하고, 상기 부호화 대상 블록의 움직임 탐색으로 구한 상기 움직임 벡터와 상기 예측 움직임 벡터의 잔차를 상기 움직임 벡터의 부호화 정보로서 부호화하는 움직임 벡터 부호화부;를 구비하는 동화상 부호화 장치.
  12. 블록으로 분할되어 부호화된 동화상의 복호 대상 화상을 블록마다 움직임 보상을 이용하여 복호하는 동화상 복호 장치에 있어서,
    복호 대상 블록의 움직임 벡터 예측 잔차를 복호하는 정보원 복호부;
    상기 복호 대상 화상에서의 상기 복호 대상 블록의 위치에 대해 미리 정해진 상대적인 위치에 있고, 상기 복호 대상 화상 중의 복호 완료 블록 및 복호 완료 화상에서의 복호 완료 블록의 적어도 한쪽으로 이루어지는 복수개의 블록을 1차 후보 블록으로서 설정하며, 상기 1차 후보 블록의 복호에 이용한 움직임 벡터로부터 N개(N은 2이상의 정수)의 1차 후보 참조 움직임 벡터를 결정하는 1차 후보 참조 움직임 벡터 결정부;
    상기 1차 후보 참조 움직임 벡터의 상기 복호 대상 블록에서의 움직임 벡터 예측에서의 유효성을 정량적으로 나타내는 신뢰도를 상기 1차 후보 참조 움직임 벡터 각각에 대해 복호 완료한 화상 정보를 이용하여 산출하는 신뢰도 계산부;
    상기 N개의 1차 후보 참조 움직임 벡터 중에서 신뢰도가 큰 상위 M개(M은 1이상 또한 N미만의 소정의 정수)의 1차 후보 참조 움직임 벡터를 2차 후보 참조 움직임 벡터로서 선출하는 참조 움직임 벡터 결정부; 및
    상기 2차 후보 참조 움직임 벡터를 이용하여 상기 복호 대상 블록의 예측 움직임 벡터를 산출하고, 상기 복호한 움직임 벡터 예측 잔차에 상기 예측 움직임 벡터를 가산하여 상기 복호 대상 블록의 움직임 벡터를 산출하는 움직임 벡터 산출부;를 구비하는 동화상 복호 장치.
  13. 제1항 내지 제5항 중 어느 한 항에 기재된 움직임 벡터 예측 부호화 방법을 컴퓨터에 실행시키기 위한 움직임 벡터 예측 부호화 프로그램.
  14. 제6항 내지 제10항 중 어느 한 항에 기재된 움직임 벡터 예측 복호 방법을 컴퓨터에 실행시키기 위한 움직임 벡터 예측 복호 프로그램.
KR1020127020437A 2010-02-09 2011-02-08 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램 KR20120112724A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010026130 2010-02-09
JPJP-P-2010-026130 2010-02-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147015905A Division KR101528361B1 (ko) 2010-02-09 2011-02-08 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램

Publications (1)

Publication Number Publication Date
KR20120112724A true KR20120112724A (ko) 2012-10-11

Family

ID=44367741

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127020437A KR20120112724A (ko) 2010-02-09 2011-02-08 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
KR1020147015905A KR101528361B1 (ko) 2010-02-09 2011-02-08 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147015905A KR101528361B1 (ko) 2010-02-09 2011-02-08 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램

Country Status (11)

Country Link
US (1) US9497481B2 (ko)
EP (1) EP2536150B1 (ko)
JP (1) JP5367098B2 (ko)
KR (2) KR20120112724A (ko)
CN (1) CN102823249B (ko)
BR (1) BR112012019676A2 (ko)
CA (1) CA2788954A1 (ko)
ES (1) ES2652337T3 (ko)
RU (1) RU2519526C2 (ko)
TW (1) TWI450592B (ko)
WO (1) WO2011099468A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
BR112012019680A2 (pt) * 2010-02-09 2016-05-03 Nippon Telegraph & Telephone método de codificação preditiva de vetor de movimento, método de decodificação preditiva de vetor de movimento, aparelho de codificação de imagem em movimento, aparelho de decodificação de imagem em movimento e programas destes.
EP2536147A4 (en) * 2010-02-09 2017-03-15 Nippon Telegraph And Telephone Corporation Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
US20120294372A1 (en) * 2010-02-09 2012-11-22 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
CN103445152A (zh) * 2013-01-05 2013-12-18 胡素芳 一种萝卜汁加工方法
CN103248899B (zh) * 2013-05-21 2016-02-24 清华大学 多视点视频skip模式的运动矢量预测方法
JP6577852B2 (ja) * 2015-12-03 2019-09-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
KR102411337B1 (ko) 2017-10-09 2022-06-22 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
WO2019187096A1 (ja) 2018-03-30 2019-10-03 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
JP7088606B2 (ja) 2018-04-02 2022-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
WO2019234668A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Sub-block dmvr
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
WO1998042134A1 (en) 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6011870A (en) * 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
US5978048A (en) 1997-09-25 1999-11-02 Daewoo Electronics Co., Inc. Method and apparatus for encoding a motion vector based on the number of valid reference motion vectors
JP3540142B2 (ja) 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
US6058143A (en) * 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
BR0206305A (pt) 2001-11-06 2004-07-13 Matsushita Electric Ind Co Ltd Método de codificação de imagem em movimento e método de decodificação de imagem em movimento
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
JP4724351B2 (ja) 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
RU2338332C2 (ru) 2002-11-21 2008-11-10 Эл Джи Электроникс Инк. Способ предсказания блока изображения с использованием усовершенствованного режима прямого предсказания
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
US7336707B2 (en) 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal
KR20050078706A (ko) 2004-01-31 2005-08-08 삼성전자주식회사 메모리 액세스 방법 및 메모리 액세스 장치
US9088802B2 (en) 2005-01-07 2015-07-21 Nippon Telegraph And Telephone Corporation Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
US20060153300A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
WO2006109117A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Method, device and system for effectively coding and decoding of video data
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
JP2008171247A (ja) * 2007-01-12 2008-07-24 Sony Corp 動き検出装置、方法、及びプログラム
CN101682775B (zh) 2007-03-14 2015-04-01 日本电信电话株式会社 运动矢量搜索方法和装置
US20080225952A1 (en) 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
CN101796846B (zh) 2007-04-17 2013-03-13 诺基亚公司 基于反馈的可缩放视频编码
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
TW200905030A (en) 2007-07-31 2009-02-01 Chinese Professional Fabric Industry Co Ltd A manufacturing method of optical-excitation fabric
TW200910971A (en) 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8165210B2 (en) 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
KR20090094595A (ko) 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
TWI500308B (zh) * 2008-03-09 2015-09-11 Lg Electronics Inc 視訊訊號之編碼或解碼方法及其裝置
EP2266318B1 (en) 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
KR101364195B1 (ko) 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
JP2010026130A (ja) 2008-07-17 2010-02-04 Ricoh Co Ltd 画像形成装置、画像形成方法およびプリント媒体
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
US20120294372A1 (en) * 2010-02-09 2012-11-22 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
EP2536147A4 (en) * 2010-02-09 2017-03-15 Nippon Telegraph And Telephone Corporation Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
BR112012019680A2 (pt) * 2010-02-09 2016-05-03 Nippon Telegraph & Telephone método de codificação preditiva de vetor de movimento, método de decodificação preditiva de vetor de movimento, aparelho de codificação de imagem em movimento, aparelho de decodificação de imagem em movimento e programas destes.

Also Published As

Publication number Publication date
CN102823249B (zh) 2016-07-06
JP5367098B2 (ja) 2013-12-11
KR101528361B1 (ko) 2015-06-12
TW201210349A (en) 2012-03-01
KR20140092904A (ko) 2014-07-24
EP2536150B1 (en) 2017-09-13
ES2652337T3 (es) 2018-02-01
US9497481B2 (en) 2016-11-15
CN102823249A (zh) 2012-12-12
BR112012019676A2 (pt) 2016-05-03
CA2788954A1 (en) 2011-08-18
US20120294371A1 (en) 2012-11-22
RU2012133449A (ru) 2014-03-27
TWI450592B (zh) 2014-08-21
EP2536150A4 (en) 2014-06-04
WO2011099468A1 (ja) 2011-08-18
JPWO2011099468A1 (ja) 2013-06-13
EP2536150A1 (en) 2012-12-19
RU2519526C2 (ru) 2014-06-10

Similar Documents

Publication Publication Date Title
KR101528361B1 (ko) 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
JP5306486B2 (ja) 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
KR20120112723A (ko) 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
RU2523920C2 (ru) Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
JP5281596B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent