KR20120088488A - 시간적 움직임 벡터 저장 방법 및 그 장치 - Google Patents

시간적 움직임 벡터 저장 방법 및 그 장치 Download PDF

Info

Publication number
KR20120088488A
KR20120088488A KR1020110050853A KR20110050853A KR20120088488A KR 20120088488 A KR20120088488 A KR 20120088488A KR 1020110050853 A KR1020110050853 A KR 1020110050853A KR 20110050853 A KR20110050853 A KR 20110050853A KR 20120088488 A KR20120088488 A KR 20120088488A
Authority
KR
South Korea
Prior art keywords
motion vector
motion
stored
vector
dynamic range
Prior art date
Application number
KR1020110050853A
Other languages
English (en)
Inventor
임성창
김휘용
정세윤
조숙희
전동산
김종호
이하현
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46873758&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20120088488(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110065707A priority Critical patent/KR20120088494A/ko
Priority to US13/979,214 priority patent/US10244252B2/en
Priority to PL12742304T priority patent/PL2672708T3/pl
Priority to CN201711418703.6A priority patent/CN108124162B/zh
Priority to BR112013019495-2A priority patent/BR112013019495B1/pt
Priority to ES12742304T priority patent/ES2899990T3/es
Priority to DK12742304.4T priority patent/DK2672708T3/da
Priority to EP21176802.3A priority patent/EP3930332A1/en
Priority to CN201711419501.3A priority patent/CN107888927B/zh
Priority to CN201711419543.7A priority patent/CN107888916A/zh
Priority to BR122020015452-7A priority patent/BR122020015452B1/pt
Priority to CA3220287A priority patent/CA3220287A1/en
Priority to CN201711418799.6A priority patent/CN108174216A/zh
Priority to CN201711418151.9A priority patent/CN108124161B/zh
Priority to KR1020120010096A priority patent/KR101428030B1/ko
Priority to HUE12742304A priority patent/HUE056876T2/hu
Priority to PCT/KR2012/000770 priority patent/WO2012105807A2/ko
Priority to CA2826157A priority patent/CA2826157C/en
Priority to EP12742304.4A priority patent/EP2672708B1/en
Priority to CN201711418175.4A priority patent/CN108174220A/zh
Priority to CN201711418796.2A priority patent/CN108174221A/zh
Priority to BR122020015455-1A priority patent/BR122020015455B1/pt
Priority to SI201231970T priority patent/SI2672708T1/sl
Priority to PT127423044T priority patent/PT2672708T/pt
Priority to RU2013140464/08A priority patent/RU2586017C2/ru
Priority to CN201711419541.8A priority patent/CN107846596A/zh
Priority to CN201711418133.0A priority patent/CN108174219B/zh
Priority to BR122020015411-0A priority patent/BR122020015411B1/pt
Priority to CA3050903A priority patent/CA3050903C/en
Priority to CN201711418724.8A priority patent/CN108174215B/zh
Priority to JP2013551919A priority patent/JP5911890B2/ja
Priority to BR122014018140-0A priority patent/BR122014018140B1/pt
Priority to CN201280015709.8A priority patent/CN103583044B/zh
Publication of KR20120088488A publication Critical patent/KR20120088488A/ko
Priority to KR1020130082553A priority patent/KR101461499B1/ko
Priority to KR1020130082552A priority patent/KR101461498B1/ko
Priority to KR1020130082551A priority patent/KR101378888B1/ko
Priority to KR20140098242A priority patent/KR101477771B1/ko
Priority to JP2016021985A priority patent/JP6203878B2/ja
Priority to JP2017164566A priority patent/JP6550429B2/ja
Priority to HK18111297.7A priority patent/HK1251832A1/zh
Priority to HK18111299.5A priority patent/HK1251838A1/zh
Priority to US16/249,146 priority patent/US10645411B2/en
Priority to JP2019122135A priority patent/JP6783355B2/ja
Priority to US16/830,236 priority patent/US20200228822A1/en
Priority to JP2020171894A priority patent/JP7369679B2/ja
Priority to US17/538,797 priority patent/US20220086479A1/en
Priority to JP2022186903A priority patent/JP2023018075A/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명에서는 시간적 움직임 벡터를 효율적으로 저장하고 이용하는 방법을 제공한다.

Description

시간적 움직임 벡터 저장 방법 및 그 장치{method for storing temporal motion vector and apparatus using the same}
참조 영상의 움직임 벡터 저장 방법
HEVC(high efficiency video coding)에서는 AMVP(advanced motion vector prediction)에 기반한 움직임 벡터 예측(motion vector prediction) 방법을 사용한다.
AMVP에 기반한 움직임 벡터 예측 방법은 부호화/복호화 대상 블록(유닛)의 주변에서 복원된 블록의 움직임 벡터(motion vector; MV)뿐만 아니라, 부호화/복호화 대상 블록(유닛)과 동일한 위치 혹은 공간적으로 대응되는 위치에 존재하는 참조 영상(reference frame) 내 블록의 움직임 벡터를 이용할 수 있다. 이때, 부호화/복호화 대상 영상 내의 현재 블록과 동일한 위치에 존재하는 참조 영상 내 블록을 collocated block이라고 할 수 있으며, collocated block의 움직임 벡터를 collocated motion vector라고 정의한다. 이때, 참조 영상의 collocated motion vector를 시간적 움직임 벡터(temporal motion vector)라고 정의할 수 있다.
움직임 정보 병합(motion information merge) 방법은 참조 영상 색인, 움직임 벡터 등의 움직임 정보를 주변 복원된 블록뿐만 아니라 collocated block으로부터 유추하여 부호화 및 복호화 대상 블록의 움직임 정보로 이용한다. 이때, 움직임 정보는 화면간 예측 시에 필요한 움직임 벡터(motion vector), 참조 영상 색인(reference picture index), 단방향(uni-direction) 혹은 양방향(bi-direction) 등을 나타내는 화면간 예측 모드(inter prediction mode), 참조 영상 리스트(reference picture list) 중 하나 이상을 포함하는 정보이다.
부호화/복호화 대상 블록에서 예측된 움직임 벡터(predicted motion vector)는 블록과 공간적으로 인접한 주변 블록의 움직임 벡터뿐만 아니라, 시간적으로 인접한 블록의 움직임 벡터일 수 있다.
Figure pat00001
위의 그림에서 블록 X는 부호화/복호화 대상 영상 내의 블록을 나타내며, 블록 A, 블록 B, 블록 C, 블록 D, 블록 E는 해당 블록의 주변에 인접한 복원 블록들을 나타낸다. 그리고, 참조 영상 내의 블록 T는 부호화/복호화 대상 블록과 대응되는 collocated block이다.
부호화/복호화 대상 블록에서 어떠한 움직임 벡터를 예측된 움직임 벡터로 이용한지에 대해서는 움직임 벡터 예측기 색인(motion vector predictor index)을 통해서 구분할 수 있다.
Figure pat00002
위의 테이블과 같이 각 참조 영상 리스트(reference frame list)에 대한 움직임 벡터 예측기 색인(mvp_idx_l0, mvp_idx_l1)은 복호화기로 전송되며, 복호화기는 부호화기와 동일한 움직임 벡터를 예측된 움직임 벡터로 이용할 수 있다.
부호화/복호화 대상 영상과 공간적으로 인접한 주변 블록의 움직임 벡터는 부호화/복호화 대상 블록을 부호화 및 복호화 시, 상대적으로 작은 크기의 메모리(memory)에 저장하고 이용할 수 있다. 하지만 시간적 움직임 벡터의 경우 부호화/복호화 대상 영상을 부호화 및 복호화 할 때, 참조 영상의 움직임 벡터 전체를 메모리에 저장하고 이용해야 하므로 요구되는 메모리 공간이 증가 할 뿐만 아니라 메모리 접근 대역폭(memory access bandwidth)의 크기도 증가하게 된다. 따라서, 모바일 단말 등 메모리 공간이 크지 않거나, 전력의 소모를 최소화해야 하는 응용 환경에서는 시간적 움직임 벡터를 효율적으로 저장하고 이용하는 방법이 필요하다.
JCTVC-D072에서는 참조 영상의 움직임 벡터를 메모리에 효율적으로 저장하기 위해서, 움직임 벡터의 공간 해상도(resolution)을 낮추는 방법을 사용했다. 즉, 참조 영상의 움직임 벡터를 임의 비율의 크기로 줄여서 메모리에 저장하는 방법을 제안했다. 예를 들어, 4x4 블록 단위로 저장되는 움직임 벡터를 4x4 이상의 블록 단위에서 저장할 수 있게 저장되는 움직임 벡터의 개수를 줄일 수 있다. 이때, 저장되는 움직임 벡터의 블록 크기를 조정하기 위해 비율 정보가 전송된다. 여기서, 비율은 아래와 같이 SPS를 통해서 전송되어, 복호화기에서도 부호화기와 동일한 크기의 메모리에 참조 영상의 움직임 벡터를 저장할 수 있다.
Figure pat00003
motion _ vector _ buffer _ comp _ flag equals to 1 specifies the motion vector buffer compression process is applied.
motion _ vector _ buffer _ comp _ ratio specifies the compression ratio in the motion vector buffer compression process. When motion_vector_buffer_comp_ratio is not present, it shall be inferred to be equal to 0. The motion vector buffer compression ratio is specified as follows:
MVBufferCompRatio = 1<< motion_vector_buffer_comp_ratio_log2
종래 기술의 문제점
시간적 움직임 벡터는 필요한 메모리 공간의 크기를 증가시킬 뿐만 아니라, 해당 메모리에서 데이터를 저장하거나 가져올 때 메모리 접근 대역폭의 크기도 증가시킨다.
일 예로 1920x1080 (1080p)영상의 예로 4x4 블록 단위로 모두 다른 움직임 벡터를 가지고, 참조 영상 리스트가 2개, 각 리스트 당 참조 영상이 2개씩 사용된다고 할 때, 아래와 같이 시간적 움직임 벡터를 저장하기 위해 총 3.21Mbytes의 메모리 공간이 필요하게 된다.
움직임 벡터 당 26bits의 bit depth
움직임 벡터 X 성분의 다이내믹 레인지(dynamic range)는 -252 ~ 7676 (bit depth: 13 bits)
움직임 벡터 Y 성분의 다이내믹 레인지는 -252 ~ 4316 (bit depth: 13 bits)
이때, 움직임 벡터의 각 성분의 다이내믹 레인지는 영상 내 가장 첫번째 PU를 기준으로 계산되었다.
4x4 블록 단위로 모두 다른 움직임 벡터 값을 가질 경우 (480 x 270 = 129600블록)
하나의 블록에서 2개의 움직임 벡터를 사용
참조 영상 리스트 수: 2개
침저 양싱 리스트 당 참조 영상 수: 2개
26bits * 129600블록 * 2개의 움직임 벡터 * 2개 리스트 * 2개 참조 영상 = 26956800bits = 3.21 Mbytes
JCTVC-D072에서는 참조 영상의 움직임 벡터를 저장할 때, 임의 비율의 크기로 줄이는 방법을 제안했다. 이 방법은 움직임 벡터의 공간적인 상관성을 이용하여 필요한 메모리 공간의 크기 및 메모리 접근 대역폭을 줄였지만, 움직임 벡터의 다이내믹 레인지를 줄여서 필요한 메모리 공간의 크기 및 메모리 접근 대역폭을 줄이지는 못 했다.
위의 예에서 만약 메모리 공간의 크기를 1/4로 줄일 경우, 위의 예에서 약 0.8Mbytes로 줄어 들게 된다. 이때, 추가적으로 움직임 벡터의 다이내믹 레인지를 줄이거나 움직임 벡터가 저장될 때의 bit depth를 움직임 벡터의 각 성분 당 6 bits만 사용하게 하면 0.37Mbytes로 필요한 메모리 공간을 더욱 더 줄일 수 있다.
시간적 움직임 벡터가 필요한 메모리 공간의 크기를 증가시킬 뿐만 아니라, 해당 메모리에서 데이터를 저장하거나 가져올 때 메모리 접근 대역폭의 크기도 증가시키는 문제를 해결할 방법을 제공한다.
시간적 움직임 벡터 저장 방법 및 그 장치를 제공한다.
시간적 움직임 벡터가 필요한 메모리 공간의 크기를 증가시킬 뿐만 아니라, 해당 메모리에서 데이터를 저장하거나 가져올 때 메모리 접근 대역폭의 크기도 증가시키는 문제를 해결할 수 있다.
제안하는 방법
참조 영상의 움직임 벡터를 저장할 때, 움직임 벡터 다이내믹 레인지를 제약하여 움직임 벡터를 저장하는데 필요한 bit depth를 감소하여, 필요한 메모리 크기를 감소할 뿐만 아니라 메모리 접근 대역폭도 감소할 수 있다. 이때, 다이내믹 레인지는 0의 값을 기준으로 음의 움직임 벡터 성분이나 양의 움직임 벡터 성분이 가질 수 있는 최소값과 최대값 사이의 구간일 수 있다. 이때, bit depth는 움직임 벡터를 저장하는데 필요한 공간 크기를 나타내며, bit width를 의미할 수 있다.
다이내믹 레인지가 제약된 참조 영상의 움직임 벡터는 부호화/복호화 대상 블록에서 시간적 움직임 벡터로 이용할 수 있다.
일 예로 다이내믹 레인지로 움직임 벡터를 제약할 때, 움직임 벡터 각 성분의 값이 다이내믹 레인지를 벗어날 경우 해당 다이내믹 레인지의 최소값 혹은 최대값으로 움직임 벡터 각 성분을 표현할 수 있다. 만약 움직임 벡터 X 성분의 값이 312이고, 움직임 벡터 각 성분의 다이내믹 레인지의 최대값이 256일 경우, 움직임 벡터 X 성분의 값은 256으로 제약된다. 만약 움직임 벡터 각 성분의 bit depth가 16 bits이고 움직임 벡터의 값이 (-36, 24)일 때, 해당 움직임 벡터 각 성분의 bit depth를 6 bits로 제약할 경우, 움직임 벡터의 각 성분은 -32에서 31까지의 다이내믹 레인지를 가질 수 있다. 따라서, 해당 움직임 벡터는 다이내믹 레인지 내의 값인 (-32, 24)로 표현될 수 있다. 또한, 움직임 벡터 각 성분의 bit depth가 16 bits이고 움직임 벡터의 값이 (-49, 142)일 때, 해당 움직임 벡터 각 성분의 bit depth를 9 bits로 제약할 경우, 움직임 벡터의 각 성분은 -258에서 257까지의 다이내믹 레인지를 가질 수 있다. 따라서, 해당 움직임 벡터는 값의 변화 없이 (-49, 142)로 표현될 수 있다.
일 예로 아래와 같이 다이내믹 레인지가 -4096에서 +4095이고 메모리에 저장될 때 필요한 bit depth가 13 bits인 움직임 벡터의 다이내믹 레인지를 -128에서 +127로 제약하고 메모리에 저장될 때 필요한 bit depth를 8 bits로 제약할 수 있다.
Figure pat00004

시간적 움직임 벡터의 각 성분 값은 아래와 같은 식을 통해서 N bits의 bit depth로 메모리에 저장될수 있게 절삭(clip)될 수 있다.
Figure pat00005
여기서, MV _X와 MV _Y는 움직임 벡터의 X 성분 값과 Y 성분 값이고, min()은 두 가지의 파라미터 값 중 최소 값을 출력하는 연산, max()는 두 가지의 파라미터 값 중 최대 값을 출력하는 연산이다. clippedMV _X와 clipped _ MV _Y는 절삭된 시간적 움직임 벡터 성분 값이며, 이 값이 메모리에 저장되고 차후 부호화/복호화 대상 블록에서 시간적 움직임 벡터로 이용할 수 있다.
일 예로 아래 그림과 같이 메모리 크기가 48(16*3)byte일 경우 움직임 벡터의 각 성분 당 16 bits의 bit depth를 사용하게 될 경우, 총 12개의 움직임 벡터를 저장할 수 있지만, 움직임 벡터의 각 성분 당 8 bits의 bit depth를 사용하게 될 경우, 총 24개의 움직임 벡터를 저장할 수 있다.
Figure pat00006
Figure pat00007
즉, 영상 부호화기 및 복호화기에서 복원된 영상에 대해 디블록킹 필터(deblocking filter), 적응적 루프 필터(adaptive loop filter) 등의 루프 내 필터링(In-loop filtering)을 수행한 뒤, 필터링 된 복원 영상을 DPB(decoded picture buffer)에 저장할 때, 움직임 벡터의 다이내믹 레인지를 제약하여 다이내믹 레인지가 제약된 움직임 벡터로 참조 영상의 움직임 벡터를 저장할 수 있다.
참조 영상의 움직임 벡터를 저장하는 방법 1: 영상 버퍼와 움직임 벡터 버퍼를 함께 이용하는 방법. 움직임 벡터는 다이내믹 레인지가 제약되어 저장된다.
Figure pat00008

참조 영상의 움직임 벡터를 저장하는 방법 2: 영상 버퍼와 움직임 벡터 버퍼를 함께 이용하는 방법. 움직임 벡터는 해상도뿐만 아니라 다이내믹 레인지가 제약되어 저장된다.
Figure pat00009

참조 영상의 움직임 벡터를 저장하는 방법 3: 복원된 영상에 루프 내 필터링을 수행하고, 움직임 벡터의 다이내믹 레인지를 제약한 후, 영상 버퍼 및 움직임 벡터 버퍼에 영상과 움직임 벡터를 저장하는 방법. 움직임 벡터는 다이내믹 레인지가 제약되어 저장된다.
Figure pat00010

참조 영상의 움직임 벡터를 저장하는 방법 4: 복원된 영상에 루프 내 필터링을 수행하고, 움직임 벡터의 해상도를 감소하고, 움직임 벡터의 다이내믹 레인지를 제약한 후, 영상 버퍼 및 움직임 벡터 버퍼에 영상과 움직임 벡터를 저장하는 방법. 움직임 벡터는 해상도뿐만 아니라 다이내믹 레인지가 제약되어 저장된다. 이 때, "움직임 벡터의 해상도를 감소"와 "움직임 벡터의 다이내믹 레인지를 제약"의 순서는 변경될 수 있다.
Figure pat00011

메모리 접근 대역폭을 보다 감소시키기 위해서 움직임 벡터의 각 성분에 대한 다이내믹 레인지의 제약을 다르게 할 수 있다. 예를 들어, Y 성분의 다이내믹 레인지를 보다 제약하여 메모리 접근 대역폭을 감소할 수 있다.
움직임 벡터의 제약된 다이내믹 레인지는 sequence parameter set(SPS), picture parameter set(PPS), slice header 등에서 전송되어 sequence 내에서 시간적 움직임 벡터의 다이내믹 레인지에 대한 제약, picture 내에서 시간적 움직임 벡터의 다이내믹 레인지에 대한 제약, slice 내에서 시간적 움직임 벡터의 다이내믹 레인지에 대한 제약을 복호화기에서도 부호화기와 동일하게 수행할 수 있다. 이때, 다이내믹 레인지 내로 표현되는 움직임 벡터 값을 저장하는데 필요한 공간의 크기인 bit depth 정보가 전송 될 수 있다. 이때, 고정된 크기의 bit depth를 이용하여 움직임 벡터를 저장하지 않고, SPS, PPS, slice header 등에서 제약된 다이내믹 레인지를 전송하면 영상의 움직임 특성에 맞게 효율적으로 시간적 움직임 벡터를 저장할 수 있다.
움직임 벡터의 제약된 다이내믹 레인지는 영상 코덱의 level로 정의되어, SPS, PPS, slice header에서의 전송 없이 level 정보를 이용해서 부호화기 및 복호화기에서 움직임 벡터의 제약된 다이내믹 레인지를 판별하여 해당 다이내믹 레인지 내로 움직임 벡터가 표현되게 한 뒤 움직임 벡터를 메모리에 저장할 수 있다. level에서는 움직임 벡터의 X성분과 Y성분 각각에 대해서 다이내믹 레인지 혹은 bit depth를 달리 정해놓을 수 있고, 해당 성분들의 최소값 및 최대값을 정의할 수도 있다.
움직임 벡터의 제약된 다이내믹 레인지는 해당 정보의 전송 없이 영상 부호화기 및 복호화기에서 미리 약속된 고정된 값으로 정의될 수 있다. 또한, 움직임 벡터의 각 성분 값을 고정된 bit depth로 저장할 수 있다.
움직임 벡터는 양자화를 이용해서 양자화된 움직임 벡터로 저장될 수 있다. 즉, 움직임 벡터의 정밀도를 감소할 수 있다. 이때, 양자화의 스텝 사이즈(step size)는 부호화기와 복호화기에서 미리 약속된 고정된 값을 사용할 수 있고, SPS, PPS, slice header 등을 이용해서 부호화기에서 복호화기로 전송할 수 있다. 즉, 움직임 벡터의 정밀도를 감소한 뒤 움직임 벡터를 저장할 수 있다. 복호화기에서는 역양자화를 수행한 후 움직임 벡터 값을 이용할 수 있고, 양자화된 움직임 벡터 값을 이용할 수 있다. 이때, 양자화 방법으로 스텝 크기가 균등한 균등 양자화(uniform quantization), 스텝 크기가 균등하지 않은 비균등 양자화(non-uniform quantization) 등이 사용될 수 있다. 아래 그림은 양자화된 움직임 벡터 성분 값을 저장할 때 움직임 벡터 성분 값을 양자화하는 예이다.
Figure pat00012
움직임 벡터의 표현 해상도를 제약하여 저장될 수 있다. 이때, 움직임 벡터의 표현 해상도는 정수 화소 단위(1화소 단위), 분수 화소 단위(1/2화소 단위, 1/4화소 단위 등)를 의미한다. 예를 들어, 1/4화소 단위로 처리되는 움직임 벡터의 해상도를 정수 화소로 저장할 수 있다. 이때, 움직임 벡터의 해상도는 부호화기와 복호화기에서 미리 약속된 고정된 값을 사용할 수 있고, SPS, PPS, slice header 등을 이용해서 부호화기에서 복호화기로 전송할 수 있다.
메모리에 저장되는 시간적 움직임 벡터들 중 일부의 움직임 벡터들에 대해서만 움직임 벡터의 공간 해상도 감소, 다이내믹 레인지 감소, 정밀도 감소를 수행할 수 있다.
움직임 벡터의 공간 해상도를 감소하여 저장할 때, 저장하는 움직임 벡터의 블록 크기 정보를 추가하여 메모리에 저장한다. 예를 들어 저장하는 움직임 벡터의 블록 크기를 4x4로 할 경우 1의 플래그를 추가로 저장하고, 16x16로 할 경우 0의 플래그를 추가로 저장한다. 이때, 플래그 정보는 움직임 벡터를 저장할 때 함께 저장될 수도 있고, 움직임 벡터가 저장되는 메모리가 아닌 다른 메모리에 저장하여, 특정 움직임 벡터가 어떤 블록 크기로 저장되었는지에 대해서 알아낼 때 임의 접근 가능하게 할 수 있다. 또한, 일부 움직임 벡터가 어떤 블록 크기에 저장되는지에 대한 정보를 SPS, PPS, slice header 등에서 전송하여 복호화기에서 부호화기와 동일하게 동작하게 할 수 있다.
움직임 벡터의 다이내믹 레인지를 감소하여 저장할 때, 저장하는 움직임 벡터의 다이내믹 레인지 정보를 추가하여 메모리에 저장한다. 예를 들어 저장하는 움직임 벡터의 다이내믹 레인지를 -128 ~ +127까지 할 경우 1의 플래그를 추가로 저장하고, -32 ~ +31로 할 경우 0의 플래그를 추가로 저장한다. 이때, 플래그 정보는 움직임 벡터를 저장할 때 함께 저장될 수도 있고, 움직임 벡터가 저장되는 메모리가 아닌 다른 메모리에 저장하여, 특정 움직임 벡터가 어떤 다이내믹 레인지로 저장되었는지에 대해서 알아낼 때 임의 접근 가능하게 할 수 있다. 또한, 일부 움직임 벡터가 어떤 다이내믹 레인지로 저장되는지에 대한 정보를 SPS, PPS, slice header 등에서 전송하여 복호화기에서 부호화기와 동일하게 동작하게 할 수 있다.
움직임 벡터의 정밀도를 감소하여 저장할 때, 저장하는 움직임 벡터의 정밀도 정보를 추가하여 메모리에 저장한다. 예를 들어 저장하는 움직임 벡터가 양자화되어 저장될 때 양자화 스텝 크기를 4로 할 경우 1의 플래그를 추가로 저장하고, 양자화 스텝 크기를 1로 할 경우 0의 플래그를 추가로 저장한다. 이때, 플래그 정보는 움직임 벡터를 저장할 때 함께 저장될 수도 있고, 움직임 벡터가 저장되는 메모리가 아닌 다른 메모리에 저장하여, 특정 움직임 벡터가 어떤 스텝 크기로 양자화되어 저장되었는지에 대해서 알아낼 때 임의 접근 가능하게 할 수 있다. 또한, 일부 움직임 벡터가 어떤 스텝 크기로 양자화되어 저장되는지에 대한 정보를 SPS, PPS, slice header 등에서 전송하여 복호화기에서 부호화기와 동일하게 동작하게 할 수 있다.
- 움직임 정보를 메모리에 저장할 때, 움직임 벡터의 공간적 해상도(spatial resolution)를 감소해서 저장할 수 있다. 이때, 움직임 정보는 화면간 예측 시에 필요한 움직임 벡터(motion vector), 참조 영상 색인(reference picture index), 단방향(uni-direction) 혹은 양방향(bi-direction) 등을 나타내는 화면간 예측 모드(inter prediction mode), 참조 영상 리스트(reference picture list) 중 하나 이상을 포함하는 정보이다.
- 예를 들어, 특정 공간적 영역에 포함되는 다수의 움직임 정보 중에 예측 유닛(prediction unit)의 파티션(partition) 크기가 가장 큰 파티션의 움직임 정보를 대표 움직임 정보로 하여 메모리에 저장할 수 있다. 이때, 특정 공간적 영역이라 함은 부호화/복호화 대상 유닛 내의 하나 이상의 유닛을 포함하는 영역일 수 있고, 부호화/복호화 대상 유닛 내의 영역과 주변 유닛의 영역을 포함할 수도 있다. 또한, 영상 혹은 슬라이스 전체를 일정한 크기의 영역으로 분할했을 때, 움직임 정보를 저장할 유닛이 분할된 영역에 포함된다면, 해당 분할된 영역을 특정 공간적 영역이라고 할 수 있다.
- 예를 들어, 특정 공간적 영역에 포함되는 다수의 움직임 정보 중에 움직임 정보 병합 방법이나, 부호화 정보 생략 방법(skip mode) 등으로 부호화된 움직임 정보는 제외한 뒤, 대표 움직임 정보를 메모리에 저장할 수 있다.
- 예를 들어, 특정 공간적 영역에 포함되는 다수의 움직임 정보 중에 가장 자주 발생한 움직임 정보를 대표 움직임 정보로 하여 메모리에 저장할 수 있다. 이때, 유닛의 크기 별로 움직임 정보의 발생 통계 등을 계산할 수 있다.
- 예를 들어, 특정 공간적 영역에 포함되는 다수의 움직임 정보 중 특정 위치의 움직임 정보를 저장할 수 있다. 이때, 특정 위치는 특정 공간적 영역에 포함되는 위치로써, 영역 내에서 고정적인 위치가 사용될 수 있다. 또한, 특정 위치는 다수 개 중 하나의 위치로 선택할 수 있다. 다수 개의 위치가 사용된다며, 위치 별로 우선순위가 결정될 수 있으며, 우선순위에 따라 움직임 정보가 메모리에 저장될 수 있다.
- 예를 들어, 특정 공간적 영역에 포함되는 다수의 움직임 정보 중 하나의 움직임 정보를 메모리에 저장할 때, 화면내 모드(intra mode)로 부호화된 유닛, PCM(pulse coded modulation) 모드로 부호화된 유닛, 슬라이스(slice) 혹은 픽쳐(picture) 경계 밖 중 하나 이상이 특정 공간적 영역에 포함된다면, 이러한 위치에는 움직임 정보가 존재하지 않으므로 해당 위치의 움직임 정보를 메모리에 저장하지 않을 수 있다.
- 만약, 상기 예 중에서 특정 위치의 움직임 정보를 저장할 때, 해당 위치에서 움직임 정보가 존재하지 않는다면, 해당 위치의 움직임 정보로 collocated block의 움직임 정보 혹은 부호화 순서 상 이전 유닛의 움직임 정보 혹은 주변 유닛의 움직임 정보가 사용될 수 있다. 이때, 특정 위치라 함은 부호화/복호화 대상 유닛 내의 하나의 샘플 위치 혹은 하나의 유닛의 위치일 수 있고, 부호화/복호화 대상 유닛의 주변에 존재하는 유닛 내의 샘플 위치 혹은 유닛의 위치일 수 있다. 예를 들어, 특정 위치에서 움직임 정보가 존재하지 않을 경우, 해당 위치 주변 유닛들의 움직임 정보들 중 중간(median)값을 메모리에 저장할 수 있다. 예를 들어, 특정 위치에서 움직임 정보가 존재하지 않을 경우, 해당 위치 주변의 화면간 부호화된 유닛들의 움직임 정보들 중 중간(median)값을 메모리에 저장할 수 있다. 예를 들어, 특정 위치에서 움직임 정보가 존재하지 않을 경우, 해당 위치 주변 유닛들의 움직임 정보들의 평균(average)값을 메모리에 저장할 수 있다. 예를 들어, 특정 위치에서 움직임 정보가 존재하지 않을 경우, 해당 위치 주변의 화면간 부호화된 유닛들의 움직임 정보들의 평균(average)값을 메모리에 저장할 수 있다. 상기 중간(median)값 혹은 평균(average)값 계산 시에, 주변 유닛들의 움직임 정보가 참조 영상 리스트(reference picture list), 참조 영상 색인(reference picture index), 화면간 예측 모드(inter prediction mode) 중 하나 이상 다를 경우, 참조 영상 리스트, 참조 영상 색인, 화면간 예측 모드와 영상 디스플레이 순서(picture order count) 등에 따라 움직임 벡터(motion vector)에 대해 크기조정(scaling)을 수행할 수 있다.
- 상기 움직임 정보 방법들을 이용해서 메모리에 움직임 정보를 저장하고, 움직임 벡터 예측이나 AMVP, 혹은 움직임 정보 병합(motion information merge) 방법에서 참조 영상의 움직임 정보를 이용할 경우, 메모리에 저장된 움직임 정보를 가져올 수 있다.
- 예를 들어, 부호화/복호화 대상 유닛의 공간적인 위치와 대응되는 참조 영상 내의 위치에 해당하는 움직임 정보를 가져올 수 있다. 이때, 대응되는 참조 영상 내의 위치는 특정 공간적 영역 내에서 고정된 위치를 사용할 수 있고, 부호화/복호화 대상 유닛의 공간적인 위치에서 상대적인 위치를 사용할 수 있다.
- 예를 들어, 부호화/복호화 대상 유닛 내의 위치 중 좌상단 픽셀 위치와 대응되는 참조 영상 내의 위치에 해당하는 움직임 정보를 가져올 수 있다.
- 예를 들어, 부호화/복호화 대상 유닛 내의 위치 중 가운데 픽셀 위치와 대응되는 참조 영상 내의 위치에 해당하는 움직임 정보를 가져올 수 있다.
- 예를 들어, 부호화/복호화 대상 유닛 내의 위치 중 우하단 픽셀 위치와 대응되는 참조 영상 내의 위치에 해당하는 움직임 정보를 가져올 수 있다.
- 예를 들어, 부호화/복호화 대상 유닛 외의 위치와 대응되는 참조 영상 내의 위치에 해당하는 움직임 정보를 가져올 수 있다.
- 메모리에 저장된 움직임 정보(참조 영상의 움직임 정보)를 움직임 벡터 예측, AMVP, 움직임 정보 병합, 움직임 정보 병합 생략 (merge skip) 방법 등을 포함하는 움직임 정보 부호화/복호화 방법에서 사용할 수 있다.
- 상기 움직임 벡터 및 움직임 정보의 공간 해상도 감소, 움직임 벡터의 다이내믹 레인지 제약, 움직임 벡터의 양자화, 움직임 벡터의 표현 해상도 방법 중 최소 하나 이상을 이용하여 시간적 움직임 벡터를 메모리에 저장하고, 저장된 메모리의 움직임 벡터를 부호화/복호화 대상 블록의 움직임 벡터 예측 및 움직임 정보 병합에 이용할 수 있다.
proposed change
Syntax/Semantics (제안하는 방법의 syntax 및 semantic)
아래의 제안하는 방법의 syntax 및 semantics는 움직임 벡터의 다이내믹 레인지 혹은 bit depth가 부호화기에서 복호화기로 전송되는 방식 및 해당 값을 해석하는 방법의 예이다. 이러한 syntax 및 semantics를 이용해서 부호화기에서 시간적 움직임 벡터를 저장한 방법과 동일한 방법을 복호화기에서 사용할 수 있다.
참조 영상의 움직임 벡터를 제약하여 저장할 때 필요한 정보 전송 방법 1: 움직임 벡터는 해상도뿐만 아니라 다이내믹 레인지 혹은 bit depth가 제약되어 저장될 수 있다.
Figure pat00013

motion _ vector _ buffer _ comp _ flag equals to 1 specifies the motion vector buffer compression process is applied.
motion _ vector _ buffer _ comp _ ratio specifies the compression ratio in the motion vector buffer compression process. When motion_vector_buffer_comp_ratio is not present, it shall be inferred to be equal to 0. The motion vector buffer compression ratio is specified as follows:
MVBufferCompRatio = 1<< motion_vector_buffer_comp_ratio_log2
bit _ depth _ temporal _ motion _ vector _ constraint _ flagequals to 1 specifies the temporal motion vector bit depth constraint process is applied.
bit _ depth _ temporal _ motion _ vector _ minus8 specifies the bit depth of the temporal motion vector. When bit_depth_temporal_motion_vector_minus8 is not present, it shall be inferred to be equal to 0. The bit depth of temporal motion vector is specified as follows:
TMVBitDepth = bit_depth_temporal_motion_vector_minus8 + 8
참조 영상의 움직임 벡터를 제약하여 저장할 때 필요한 정보 전송 방법 2: 움직임 벡터는 다이내믹 레인지 혹은 bit depth가 제약되어 저장될 수 있다.
Figure pat00014

bit _ depth _ temporal _ motion _ vector _ constraint _ flagequals to 1 specifies the temporal motion vector bit depth constraint process is applied.
bit _ depth _ temporal _ motion _ vector _ minus8 specifies the bit depth of the temporal motion vector. When bit_depth_temporal_motion_vector_minus8 is not present, it shall be inferred to be equal to 0. The bit depth of temporal motion vector is specified as follows:
TMVBitDepth = bit_depth_temporal_motion_vector_minus8 + 8
참조 영상의 움직임 벡터를 제약하여 저장할 때 필요한 정보 전송 방법 3: 움직임 벡터는 다이내믹 레인지 혹은 bit depth가 제약되어 저장될 수 있다.
Figure pat00015

bit _ depth _ temporal _ motion _ vector _ minus8 specifies the bit depth of the temporal motion vector. When bit_depth_temporal_motion_vector_minus8 is not present, it shall be inferred to be equal to 0. The bit depth of temporal motion vector is specified as follows:
TMVBitDepth = bit_depth_temporal_motion_vector_minus8 + 8
참조 영상의 움직임 벡터를 제약하여 저장할 때 필요한 정보 전송 방법 4: 움직임 벡터의 성분 각각에 대해 다이내믹 레인지 혹은 bit depth가 제약되어 저장될 수 있다.
Figure pat00016

bit _ depth _ temporal _ motion _ vector _ constraint _ flagequals to 1 specifies the temporal motion vector bit depth constraint process is applied.
bit _ depth _ temporal _ motion _ vector _x_ minus8 specifies the bit depth of the temporal motion vector component x. When bit_depth_temporal_motion_vector_x_minus8 is not present, it shall be inferred to be equal to 0. The bit depth of temporal motion vector component x is specified as follows:
TMVXBitDepth = bit_depth_temporal_motion_vector_x_minus8 + 8
bit _ depth _ temporal _ motion _ vector _y_ minus8specifies the bit depth of the temporal motion vector component y. When bit_depth_temporal_motion_vector_y_minus8 is not present, it shall be inferred to be equal to 0. The bit depth of temporal motion vector component y is specified as follows:
TMVYBitDepth = bit_depth_temporal_motion_vector_y_minus8 + 8
참조 영상의 움직임 벡터를 제약하여 저장할 때 필요한 정보 전송 방법 5: 움직임 벡터는 해상도뿐만 아니라 다이내믹 레인지 혹은 bit depth가 제약되어 저장될 수 있다.
Figure pat00017

motion _ vector _ buffer _ comp _ flag equals to 1 specifies the motion vector buffer compression process is applied.
motion _ vector _ buffer _ comp _ ratio specifies the compression ratio in the motion vector buffer compression process. When motion_vector_buffer_comp_ratio is not present, it shall be inferred to be equal to 0. The motion vector buffer compression ratio is specified as follows:
MVBufferCompRatio = 1<< motion_vector_buffer_comp_ratio_log2
bit _ depth _ temporal _ motion _ vector _ minus8 specifies the bit depth of the temporal motion vector. When bit_depth_temporal_motion_vector_minus8 is not present, it shall be inferred to be equal to 0. The bit depth of temporal motion vector is specified as follows:
TMVBitDepth = bit_depth_temporal_motion_vector_minus8 + 8

Claims (1)

  1. 시간적 움직임 벡터 저장 방법 및 그 장치.
KR1020110050853A 2011-01-31 2011-05-27 시간적 움직임 벡터 저장 방법 및 그 장치 KR20120088488A (ko)

Priority Applications (47)

Application Number Priority Date Filing Date Title
KR1020110065707A KR20120088494A (ko) 2011-01-31 2011-07-01 시간적 움직임 벡터 저장 방법 및 그 장치
US13/979,214 US10244252B2 (en) 2011-01-31 2012-01-31 Method and apparatus for encoding/decoding images using a motion vector
PL12742304T PL2672708T3 (pl) 2011-01-31 2012-01-31 Sposób i urządzenie do kodowania/dekodowania obrazów z wykorzystaniem wektora ruchu
CN201711418703.6A CN108124162B (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
BR112013019495-2A BR112013019495B1 (pt) 2011-01-31 2012-01-31 Aparelho de decodificação de imagem
ES12742304T ES2899990T3 (es) 2011-01-31 2012-01-31 Método y aparato para codificar/decodificar imágenes usando un vector de movimiento
DK12742304.4T DK2672708T3 (da) 2011-01-31 2012-01-31 Fremgangsmåde og apparat til kodning/afkodning af billeder under anvendelse af en bevægelsesvektor
EP21176802.3A EP3930332A1 (en) 2011-01-31 2012-01-31 Apparatus for encoding/decoding images using a motion vector
CN201711419501.3A CN107888927B (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
CN201711419543.7A CN107888916A (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
BR122020015452-7A BR122020015452B1 (pt) 2011-01-31 2012-01-31 Aparelho de decodificação de imagem
CA3220287A CA3220287A1 (en) 2011-01-31 2012-01-31 Method and apparatus for encoding/decoding images using a motion vector
CN201711418799.6A CN108174216A (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
CN201711418151.9A CN108124161B (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
KR1020120010096A KR101428030B1 (ko) 2011-01-31 2012-01-31 움직임 벡터를 이용한 영상 복호화 장치
HUE12742304A HUE056876T2 (hu) 2011-01-31 2012-01-31 Eljárás és berendezés képek kódolására/dekódolására mozgásvektor használatával
PCT/KR2012/000770 WO2012105807A2 (ko) 2011-01-31 2012-01-31 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치
CA2826157A CA2826157C (en) 2011-01-31 2012-01-31 Method and apparatus for encoding/decoding images using a motion vector
EP12742304.4A EP2672708B1 (en) 2011-01-31 2012-01-31 Method and apparatus for encoding/decoding images using a motion vector
CN201711418175.4A CN108174220A (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
CN201711418796.2A CN108174221A (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
BR122020015455-1A BR122020015455B1 (pt) 2011-01-31 2012-01-31 Aparelho de decodificação de imagem
SI201231970T SI2672708T1 (sl) 2011-01-31 2012-01-31 Postopek in naprava za kodiranje/dekodiranje slik z uporabo vektorja gibanja
PT127423044T PT2672708T (pt) 2011-01-31 2012-01-31 Procedimento e aparelho para codificação/descodificação de imagens utilizando um vector de movimento
RU2013140464/08A RU2586017C2 (ru) 2011-01-31 2012-01-31 Способ и устройство для кодирования/декодирования изображений с использованием вектора движения
CN201711419541.8A CN107846596A (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
CN201711418133.0A CN108174219B (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
BR122020015411-0A BR122020015411B1 (pt) 2011-01-31 2012-01-31 Aparelho de decodificação de imagem
CA3050903A CA3050903C (en) 2011-01-31 2012-01-31 Method and apparatus for encoding/decoding images using a motion vector
CN201711418724.8A CN108174215B (zh) 2011-01-31 2012-01-31 图像解码/编码设备以及计算机可读记录介质
JP2013551919A JP5911890B2 (ja) 2011-01-31 2012-01-31 動きベクトルを利用する映像符号化／復号化方法及び装置
BR122014018140-0A BR122014018140B1 (pt) 2011-01-31 2012-01-31 Método de decodificação de imagem
CN201280015709.8A CN103583044B (zh) 2011-01-31 2012-01-31 用于使用运动向量来编码/解码图像的方法和设备
KR1020130082553A KR101461499B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 부호화 방법 및 및 컴퓨터로 판독 가능한 저장매체
KR1020130082552A KR101461498B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 복호화 방법 및 및 컴퓨터로 판독 가능한 저장매체
KR1020130082551A KR101378888B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 부호화 장치
KR20140098242A KR101477771B1 (ko) 2011-01-31 2014-07-31 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치
JP2016021985A JP6203878B2 (ja) 2011-01-31 2016-02-08 映像復号化装置、映像符号化装置および記録媒体
JP2017164566A JP6550429B2 (ja) 2011-01-31 2017-08-29 映像復号化装置、および映像符号化装置
HK18111297.7A HK1251832A1 (zh) 2011-01-31 2018-09-04 圖像解碼/編碼設備以及計算機可讀記錄介質
HK18111299.5A HK1251838A1 (zh) 2011-01-31 2018-09-04 圖像解碼/編碼設備以及計算機可讀記錄介質
US16/249,146 US10645411B2 (en) 2011-01-31 2019-01-16 Method and apparatus for encoding/decoding images using a motion vector
JP2019122135A JP6783355B2 (ja) 2011-01-31 2019-06-28 映像復号化装置、映像符号化装置およびビットストリームの送信方法
US16/830,236 US20200228822A1 (en) 2011-01-31 2020-03-25 Method and apparatus for encoding/decoding images using a motion vector
JP2020171894A JP7369679B2 (ja) 2011-01-31 2020-10-12 映像復号化装置、映像符号化装置および記録媒体
US17/538,797 US20220086479A1 (en) 2011-01-31 2021-11-30 Method and apparatus for encoding/decoding images using a motion vector
JP2022186903A JP2023018075A (ja) 2011-01-31 2022-11-22 映像復号化装置、映像符号化装置および記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110009636 2011-01-31
KR1020110009636 2011-01-31
KR1020110019166 2011-03-03
KR20110019166 2011-03-03

Publications (1)

Publication Number Publication Date
KR20120088488A true KR20120088488A (ko) 2012-08-08

Family

ID=46873758

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020110050853A KR20120088488A (ko) 2011-01-31 2011-05-27 시간적 움직임 벡터 저장 방법 및 그 장치
KR1020130082551A KR101378888B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 부호화 장치
KR1020130082552A KR101461498B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 복호화 방법 및 및 컴퓨터로 판독 가능한 저장매체
KR1020130082553A KR101461499B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 부호화 방법 및 및 컴퓨터로 판독 가능한 저장매체
KR20140098242A KR101477771B1 (ko) 2011-01-31 2014-07-31 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020130082551A KR101378888B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 부호화 장치
KR1020130082552A KR101461498B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 복호화 방법 및 및 컴퓨터로 판독 가능한 저장매체
KR1020130082553A KR101461499B1 (ko) 2011-01-31 2013-07-15 움직임 벡터를 이용한 영상 부호화 방법 및 및 컴퓨터로 판독 가능한 저장매체
KR20140098242A KR101477771B1 (ko) 2011-01-31 2014-07-31 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치

Country Status (16)

Country Link
US (4) US10244252B2 (ko)
EP (2) EP3930332A1 (ko)
JP (6) JP5911890B2 (ko)
KR (5) KR20120088488A (ko)
CN (11) CN108174219B (ko)
BR (5) BR122020015411B1 (ko)
CA (3) CA3220287A1 (ko)
DK (1) DK2672708T3 (ko)
ES (1) ES2899990T3 (ko)
HK (2) HK1251832A1 (ko)
HU (1) HUE056876T2 (ko)
PL (1) PL2672708T3 (ko)
PT (1) PT2672708T (ko)
RU (1) RU2586017C2 (ko)
SI (1) SI2672708T1 (ko)
WO (1) WO2012105807A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160023729A (ko) * 2013-06-21 2016-03-03 퀄컴 인코포레이티드 변위 벡터들을 이용한 예측 블록으로부터의 인트라 예측
CN110651474A (zh) * 2017-05-18 2020-01-03 联发科技股份有限公司 用于视频编解码的运动向量限制方法和装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
CN104704836B (zh) * 2012-10-03 2018-04-17 寰发股份有限公司 三维视频、多视图视频及可缩放视频的编码方法及装置
CN105874801B (zh) 2014-01-08 2019-11-08 索尼公司 解码设备和解码方法、以及编码设备和编码方法
KR102105606B1 (ko) 2014-06-02 2020-05-04 한국전자통신연구원 데이터 압축 장치
CA2961681C (en) * 2014-09-30 2022-08-09 Hfi Innovation Inc. Method of adaptive motion vetor resolution for video coding
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
KR20170058838A (ko) 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
CN106954074B (zh) * 2016-01-07 2019-12-20 青岛海信电器股份有限公司 一种视频数据处理方法和装置
KR102301352B1 (ko) 2016-02-09 2021-09-14 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
CN105744275B (zh) * 2016-02-22 2019-04-05 青岛海信电器股份有限公司 一种视频数据输入、输出方法和装置
US10827186B2 (en) * 2016-08-25 2020-11-03 Intel Corporation Method and system of video coding with context decoding and reconstruction bypass
CA3173525A1 (en) 2017-04-21 2018-10-25 Zenimax Media Inc. Systems and methods for game-generated motion vectors
EP3613014B1 (en) 2017-04-21 2023-10-18 Zenimax Media Inc. Player input motion compensation by anticipating motion vectors
KR102368621B1 (ko) 2018-02-28 2022-02-28 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN112055967B (zh) * 2018-04-02 2024-03-26 Lg电子株式会社 基于运动矢量的图像编码方法及其设备
US10873748B2 (en) * 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
CN110557641B (zh) 2018-06-04 2024-01-16 华为技术有限公司 获取运动矢量的方法和装置
TWI731358B (zh) 2018-06-29 2021-06-21 大陸商北京字節跳動網絡技術有限公司 改進的時域運動向量預測推導
WO2020006304A1 (en) * 2018-06-29 2020-01-02 Vid Scale, Inc. Adaptive control point selection for affine motion model based video coding
KR20200032021A (ko) * 2018-09-17 2020-03-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN112997494B (zh) * 2018-10-08 2023-05-09 北京达佳互联信息技术有限公司 用于视频编码的运动矢量存储
EP3881548B1 (en) 2018-11-16 2023-08-30 Sharp Kabushiki Kaisha Systems and methods for deriving a motion vector prediction in video coding
WO2020098808A1 (en) 2018-11-17 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Construction of merge with motion vector difference candidates
CN113228675A (zh) * 2018-12-21 2021-08-06 北京字节跳动网络技术有限公司 视频处理中的运动矢量比特深度
CN113196747B (zh) 2018-12-21 2023-04-14 北京字节跳动网络技术有限公司 当前图片参考模式下的信息信令通知
EP3844960A4 (en) 2018-12-29 2021-12-15 Huawei Technologies Co., Ltd. ENCODER, DECODER, AND RELATED METHODS USING COMPACT MOTION VECTOR STORAGE
WO2021026324A1 (en) * 2019-08-06 2021-02-11 Op Solutions Adaptive resolution management prediction rescaling
EP4011068A4 (en) 2019-08-06 2023-08-09 OP Solutions, LLC IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE
EP4011083A4 (en) 2019-08-06 2023-06-28 OP Solutions, LLC Block-based adaptive resolution management
JP2022544157A (ja) * 2019-08-06 2022-10-17 オーピー ソリューションズ， エルエルシー 適応分解能管理予測再スケーリング
BR112022008918A2 (pt) 2019-11-08 2022-08-02 Op Solutions Llc Métodos e sistemas para corte adaptável

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262854A (en) 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
US7206346B2 (en) * 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
DE69838281T2 (de) * 1997-06-25 2008-05-15 Nippon Telegraph And Telephone Corp. Bewegungsprädiktives bildkodierungsverfahren sowie speichermedium zur speicherung des entsprechenden programms
JP2914448B2 (ja) 1997-06-25 1999-06-28 日本電信電話株式会社 動きベクトル予測符号化方法および動きベクトル復号方法、予測符号化装置および復号装置、並びに、動きベクトルの予測符号化プログラムおよび復号プログラムを記録した記録媒体
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
ATE404019T1 (de) * 2001-09-12 2008-08-15 Nxp Bv Bewegungsschätzung und/oder kompensation
US20040105589A1 (en) 2001-12-25 2004-06-03 Makoto Kawaharada Moving picture compression/coding apparatus and motion vector detection method
US7177356B2 (en) * 2002-01-11 2007-02-13 Webtv Networks, Inc. Spatially transcoding a video stream
CN1666532A (zh) * 2002-07-02 2005-09-07 松下电器产业株式会社 图像编码方法和图像解码方法
US20040057521A1 (en) * 2002-07-17 2004-03-25 Macchina Pty Ltd. Method and apparatus for transcoding between hybrid video CODEC bitstreams
CN101090499A (zh) * 2002-07-17 2007-12-19 达丽星网络有限公司 在混合视频codec比特流之间进行码转换的方法和装置
PL375706A1 (en) * 2002-10-01 2005-12-12 Thomson Licensing S.A. Implicit weighting of reference pictures in a video decoder
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
BR0318528A (pt) * 2003-10-09 2006-09-12 Thomson Licensing processo de derivação de modo direto para encobrimento de erros
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8498336B2 (en) 2006-02-02 2013-07-30 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
JP2008067194A (ja) * 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
WO2008039857A2 (en) 2006-09-26 2008-04-03 Dilithium Networks Pty Ltd. Method and apparatus for compressed video bitstream conversion with reduced-algorithmic-delay
KR101365574B1 (ko) 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
CN101115200B (zh) * 2007-04-20 2010-05-19 西安交通大学 一种有效的运动矢量可伸缩编码方法
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
US8345763B2 (en) * 2007-11-27 2013-01-01 Mediatek Inc. Motion compensation method and integrated circuit utilizing the same
WO2009115901A2 (en) * 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
CN101873483B (zh) * 2009-04-24 2012-08-29 深圳市九洲电器有限公司 一种运动估计方法及采用运动估计方法的编码芯片、装置
JP5209572B2 (ja) * 2009-06-29 2013-06-12 三菱電機株式会社 画像符号化装置及び画像復号装置
JP5738549B2 (ja) 2009-07-22 2015-06-24 株式会社Sumco 包装済石英ガラスルツボ用クレーン装置およびこの装置を用いる包装済石英ガラスルツボの梱包方法
KR20110017302A (ko) 2009-08-13 2011-02-21 삼성전자주식회사 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
KR20110019166A (ko) 2009-08-19 2011-02-25 삼화주철공업 주식회사 소음 방지용 맨홀
KR101356613B1 (ko) * 2009-08-21 2014-02-06 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101074238B1 (ko) 2009-11-09 2011-10-14 부경대학교 산학협력단 초임계 처리를 이용한 오징어 및 고등어 내장에서의 단당류를 수득하는 방법
KR101418104B1 (ko) * 2010-03-08 2014-07-16 에스케이 텔레콤주식회사 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN101841712A (zh) * 2010-04-28 2010-09-22 广西大学 面向全景视频编码的b帧扩展直接模式
US8711940B2 (en) * 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
KR20120088488A (ko) 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
US9307239B2 (en) * 2011-03-14 2016-04-05 Mediatek Inc. Method and apparatus for derivation of motion vector candidate and motion vector prediction candidate
EP2687015A4 (en) * 2011-03-14 2014-12-17 Mediatek Inc METHOD AND DEVICE FOR OBTAINING PREDICTIONS FOR TEMPORARY MOTION VECTORS
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
JP5895469B2 (ja) * 2011-11-18 2016-03-30 富士通株式会社 動画像符号化装置、および動画像復号装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160023729A (ko) * 2013-06-21 2016-03-03 퀄컴 인코포레이티드 변위 벡터들을 이용한 예측 블록으로부터의 인트라 예측
CN110651474A (zh) * 2017-05-18 2020-01-03 联发科技股份有限公司 用于视频编解码的运动向量限制方法和装置
CN110651474B (zh) * 2017-05-18 2022-02-18 联发科技股份有限公司 用于视频编解码的运动向量限制方法和装置
US11700391B2 (en) 2017-05-18 2023-07-11 Hfi Innovation Inc. Method and apparatus of motion vector constraint for video coding

Also Published As

Publication number Publication date
CN107846596A (zh) 2018-03-27
JP2018011323A (ja) 2018-01-18
US20200228822A1 (en) 2020-07-16
CN108174215A (zh) 2018-06-15
BR122020015455B1 (pt) 2022-12-27
ES2899990T3 (es) 2022-03-15
JP2021007261A (ja) 2021-01-21
JP5911890B2 (ja) 2016-04-27
CN108174220A (zh) 2018-06-15
EP2672708B1 (en) 2021-11-17
SI2672708T1 (sl) 2022-01-31
BR112013019495A2 (ko) 2018-04-03
EP2672708A2 (en) 2013-12-11
CN108174219B (zh) 2020-11-24
JP2014509479A (ja) 2014-04-17
EP3930332A1 (en) 2021-12-29
RU2013140464A (ru) 2015-03-10
BR122014018140A2 (pt) 2019-04-30
CA3220287A1 (en) 2012-08-09
DK2672708T3 (da) 2021-12-13
JP6783355B2 (ja) 2020-11-11
JP2016129371A (ja) 2016-07-14
JP6203878B2 (ja) 2017-09-27
JP7369679B2 (ja) 2023-10-26
US20130294522A1 (en) 2013-11-07
CA3050903C (en) 2024-01-16
EP2672708A4 (en) 2015-01-21
CA2826157C (en) 2019-09-24
US10645411B2 (en) 2020-05-05
BR122014018140B1 (pt) 2022-06-07
CN107888916A (zh) 2018-04-06
CN107888927A (zh) 2018-04-06
CN108124161B (zh) 2020-11-24
KR20130084287A (ko) 2013-07-24
KR101461499B1 (ko) 2014-11-17
JP6550429B2 (ja) 2019-07-24
CN108124162B (zh) 2020-11-24
CA3050903A1 (en) 2012-08-09
KR20140102639A (ko) 2014-08-22
HK1251832A1 (zh) 2019-04-04
JP2019193298A (ja) 2019-10-31
KR20130084286A (ko) 2013-07-24
CA2826157A1 (en) 2012-08-09
JP2023018075A (ja) 2023-02-07
HUE056876T2 (hu) 2022-03-28
KR101477771B1 (ko) 2015-01-05
KR101461498B1 (ko) 2014-11-17
CN107888927B (zh) 2020-11-24
BR122020015452B1 (pt) 2024-01-30
US20190149837A1 (en) 2019-05-16
HK1251838A1 (zh) 2019-04-12
KR20130093057A (ko) 2013-08-21
RU2586017C2 (ru) 2016-06-10
CN103583044B (zh) 2018-01-26
CN108174216A (zh) 2018-06-15
KR101378888B1 (ko) 2014-04-02
BR122020015411B1 (pt) 2022-12-27
PL2672708T3 (pl) 2022-02-07
CN108174215B (zh) 2020-11-24
BR112013019495B1 (pt) 2022-05-17
CN108124162A (zh) 2018-06-05
CN108174219A (zh) 2018-06-15
WO2012105807A2 (ko) 2012-08-09
CN108124161A (zh) 2018-06-05
CN108174221A (zh) 2018-06-15
CN103583044A (zh) 2014-02-12
WO2012105807A3 (ko) 2012-12-13
US20220086479A1 (en) 2022-03-17
PT2672708T (pt) 2021-12-16
US10244252B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
KR20120088488A (ko) 시간적 움직임 벡터 저장 방법 및 그 장치
KR102310752B1 (ko) 슬라이스 레벨 인트라 블록 카피 및 기타 비디오 코딩 개선
KR101792041B1 (ko) 움직임 정보의 적응적 코딩 방법 및 장치
CN110839158A (zh) 变换矩阵选择的系数相关的编码
CA3138227A1 (en) Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system
KR20200077577A (ko) 조정된 인트라 모드 목록에 기초한 비디오 데이터를 코딩하기 위한 디바이스 및 방법
KR102609215B1 (ko) 비디오 인코더, 비디오 디코더, 및 대응하는 방법
KR20220003037A (ko) 인터 예측 방법 및 장치
KR101428030B1 (ko) 움직임 벡터를 이용한 영상 복호화 장치
KR20210111311A (ko) 비디오 인코더, 비디오 디코더 및 대응하는 방법
WO2022268207A1 (en) Device and method for partitioning blocks in video coding
WO2024008063A1 (en) On planar intra prediction mode
KR20120088494A (ko) 시간적 움직임 벡터 저장 방법 및 그 장치
WO2023069257A1 (en) Methods and devices for restriction on motion vector difference
WO2023091253A1 (en) Mvd scaling for joint mvd coding
WO2023107187A1 (en) Interpolation filters for adaptive motion vector difference resolution
WO2023091263A1 (en) Methods and devices for refining motion vector candidates
KR20120138430A (ko) 계층적인 화면 내 예측 모드의 부호화를 위한 장치 및 방법
GB2495501A (en) Image decoding method based on information predictor index