KR20140043828A - 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치 - Google Patents

이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치 Download PDF

Info

Publication number
KR20140043828A
KR20140043828A KR1020147005036A KR20147005036A KR20140043828A KR 20140043828 A KR20140043828 A KR 20140043828A KR 1020147005036 A KR1020147005036 A KR 1020147005036A KR 20147005036 A KR20147005036 A KR 20147005036A KR 20140043828 A KR20140043828 A KR 20140043828A
Authority
KR
South Korea
Prior art keywords
image
interpolation
reference image
motion vector
prediction
Prior art date
Application number
KR1020147005036A
Other languages
English (en)
Other versions
KR101597059B1 (ko
Inventor
다케시 츄조
도모오 야마카게
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20140043828A publication Critical patent/KR20140043828A/ko
Application granted granted Critical
Publication of KR101597059B1 publication Critical patent/KR101597059B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

본 발명은 이미지 부호화 동안에 메모리 대역폭을 줄이는 것을 목표로 한다. 이미지 부호화 방법은 획득 단계 및 생성 단계를 포함한다. 획득 단계는 참조 이미지를 획득하는 것을 포함한다. 생성 단계는 각각의 휘도 성분과 색차 성분마다 획득된 참조 이미지에 대해 움직임 벡터에 따른 보간을 수행함으로써 참조 이미지의 해상도보다 큰 해상도를 갖는 예측 이미지를 생성하는 것을 포함한다. 생성 단계는 보간의 단위로 지정된 블록의 크기가 미리 정해진 임계 값보다 작은 경우, 참조 이미지에서 액세스되는 픽셀 수가 많은 보간 처리를 의미하는 특정한 보간을 수행하지 않고 색차 성분을 갖는 예측 이미지를 생성하는 것을 포함한다.

Description

이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치{IMAGE CODING METHOD, IMAGE DECODING METHOD, IMAGE CODING APPARATUS, AND IMAGE DECODING APPARATUS}
본 발명의 실시예들은 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치에 관한 것이다.
비디오 부호화 및 복호화의 기술에서, 블록마다 움직임 보상 보간이 일반적으로 실행된다. 참조될 이미지 신호는 외부 메모리에 저장되므로, 비디오 부호화 및 복호화가 하드웨어로 구현되는 경우, 판독 데이터량에 제약이 생길 수 있다. 따라서, 메모리에 액세스하는 양이 증가하는 경우, 부호화 및 복호화 동작의 병목인 소위 메모리 대역폭이 문제가 된다.
블록마다의 움직임 보상 보간에서, 수평 방향과 수직 방향에서 FIR(Finite Impulse Response; 유한 임펄스 응답) 필터를 이용하는 보간 필터링 처리가 실행된다. 보간 필터링 처리에서, 블록 외부의 화소가 액세스되어야 한다. 블록 외부의 화소 수가 증가하는 경우, 화소 당 메모리 대역폭이 또한 증가한다.
종래에는, 화소 당 메모리 대역폭은 작은 크기의 블록에 짧은 탭 길이의 보간 필터를 적용함으로써 감소되었고, 이에 의해 블록 외부의 액세스 화소의 비율이 상대적으로 증가한다.
일본 특허 제4120301호
그러나, 종래 기술에서, 메모리 대역폭을 제대로 줄일 수 없었다. 예를 들어, 색차(색차 성분)의 화소 샘플의 수가 휘도(휘도 성분)에 대한 화소 샘플의 수보다 적고, 해상도가 낮은, 4:2:0 또는 4:2:2와 같은 색상 포맷의 경우에, 기준으로 정의된 휘도를 이용하여 색차가 크게 확대되는 방식으로 보간이 실행되어야 한다. 그러므로, 2 탭보다 긴 탭을 갖는 필터가 색차를 위한 보간에 이용되는 경우, 휘도 블록 단위마다의 처리가 변경되어도, 색차 신호의 처리는 제한될 수 없다.
실시예의 이미지 부호화 방법은 획득 단계와 생성 단계를 포함한다. 획득 단계는 참조 이미지를 획득하는 것을 포함한다. 생성 단계는 각각의 휘도 성분과 색차 성분마다 획득된 참조 이미지에 대해 움직임 벡터에 따른 보간을 수행함으로써 참조 이미지의 해상도보다 큰 해상도를 갖는 예측 이미지를 생성하는 것을 포함한다. 또한, 생성 단계는 보간의 단위로 지정된 블록의 크기가 미리 정해진 임계 값보다 작은 경우, 참조 이미지에서 액세스되는 픽셀 수가 많은 보간을 의미하는 특정한 보간을 수행하지 않고 색차 성분의 예측 이미지를 생성하는 것을 포함한다.
본 발명에 따르면, 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치를 제공하는 것이 가능하다.
도 1은 본 발명의 실시예에 따른 이미지 부호화 장치를 나타내는 블록도이다.
도 2는 색상 포맷 정보의 일례를 나타내는 도면이다.
도 3은 4:2:0 포맷의 색차 신호를 갖는 움직임 벡터의 도면이다.
도 4는 4:2:0 포맷의 휘도 신호를 갖는 움직임 벡터의 도면이다.
도 5는 4:2:2 포맷의 색차 신호를 갖는 움직임 벡터의 도면이다.
도 6은 4:2:2 포맷의 휘도 신호를 갖는 움직임 벡터의 도면이다.
도 7은 4:2:0 포맷으로 액세스되는 화소의 예를 나타내는 도면이다.
도 8은 4:2:0 포맷으로 액세스되는 화소의 예를 나타내는 도면이다.
도 9는 4:2:2 포맷으로 액세스되는 화소의 예를 나타내는 도면이다.
도 10은 이미지 부호화 장치에 대응하는 이미지 복호화 장치를 나타내는 블록도이다.
도 11은 예측 이미지 생성부를 나타내는 블록도이다.
도 12는 본 실시예에 따른 제어의 흐름도이다.
도 13은 메모리 대역폭을 줄이는 처리의 흐름도이다.
도 14는 메모리 대역폭을 줄이는 처리의 흐름도이다.
도 15는 메모리 대역폭을 줄이는 처리의 흐름도이다.
도 16은 본 실시예에 따른 장치의 하드웨어 구성을 나타내는 도면이다.
첨부 도면을 참조하여 본 발명에 따른 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치의 바람직한 실시예들을 이하에 상세히 설명할 것이다.
본 실시예에 따른 이미지 부호화 장치 및 이미지 복호화 장치는 색상 포맷 정보를 참조함으로써 제어를 행하고, 미리 정해진 크기보다 작은 크기를 갖는 블록에서 움직임 벡터에 의해 나타나는 화소 위치가 색차에 대한 보간의 대상이 되지 않도록 하여, 메모리 대역폭을 줄일 수 있다.
도 1은 본 실시예에 따른 이미지 부호화 장치(100)의 구성의 일례를 나타내는 블록도이다. 도 1에 예시된 바와 같이, 이미지 부호화 장치(100)는 감산부(102), 변환/양자화부(103), 역양자화/역변환부(104), 엔트로피 부호화부(105), 가산부(106), 프레임 메모리(108), 예측 이미지 생성부(110), 예측 제어부(112), 부호화 제어부(113) 및 움직임 벡터 탐색부(116)를 포함한다.
이미지 부호화 장치(100)는 입력 비디오 신호(101)로부터 부호화 데이터(120)를 생성한다. 예를 들어, 입력 비디오 신호(101)는 프레임 단위로 이미지 부호화 장치(100)에 입력된다. 입력 비디오 신호(101)는 매크로 블록과 같은 블록으로 분할된다.
감산부(102)는 예측 이미지 생성부(110)에 의해 생성된 예측 이미지 신호(111)와 입력 비디오 신호(101) 간의 차이인 예측 오차 신호를 출력한다.
변환/양자화부(103)는 예측 오차 신호를 이산 코사인 변환(discrete cosine transformation; DCT)으로 직교 변환을 실행한 후에 양자화를 실행하여 양자화 변환 계수 정보를 생성한다. 양자화 변환 계수 정보는 두 개로 나누어진다. 나누어진 정보 중 하나는 엔트로피 부호화부(105)에 입력된다. 다른 하나는 역양자화/역변환부(104)에 입력된다.
역양자화/역변환부(104)는 변환/양자화부(103)에 의해 실행된 처리의 반대의 처리로서, 양자화 변환 계수 정보에 대해 역양자화 및 역변환을 수행하여 예측 오차 신호를 재생한다.
가산부(106)는 예측 오차 신호와 예측 이미지 신호를 합산한다. 이 처리에 따라, 복호 이미지 신호(107)가 생성된다. 복호 이미지 신호(107)는 프레임 메모리(108)에 입력된다.
프레임 메모리(108)는 참조 이미지 신호를 그 안에 저장하는 메모리 유닛이다. 프레임 메모리(108)는 복호 이미지 신호(107)에 대해 필터링 처리 또는 다른 처리를 실행하고, 그 후에, 복호 이미지 신호(107)가 예측 이미지 생성부(110)에 입력되는 참조 이미지 신호(109)가 되도록 허용하기 위해서, 복호 이미지 신호 (107)를 저장할지의 여부를 결정한다. 참조 이미지 신호(109)는 예측 이미지 생성부(110)에 입력되고, 움직임 벡터 탐색부(116)에 입력된다.
움직임 벡터 탐색부(116)는 입력 비디오 신호(101)와 참조 이미지 신호(109)로부터 움직임 벡터 정보(117)를 생성한다. 움직임 벡터 정보(117)는 예측 이미지 생성부(110)에 입력되고, 또한 엔트로피 부호화부(105)에 전송된다.
예측 이미지 생성부(110)는 참조 이미지 신호(109), 예측 제어 정보(118), 및 움직임 벡터 정보(117)로부터 예측 이미지 신호(111)를 생성한다.
부호화 제어부(113)는 블록 크기 제한 정보(115)를 예측 제어부(112)에 입력하고, 프로파일/레벨 정보(119)를 엔트로피 부호화부(105)에 전송한다.
프로파일/레벨 정보(119)는 부호화 툴 그룹의 조합을 나타내는 프로파일 정보, 및 이미지 복호화 장치의 처리 능력에 따라 이미지 부호화 장치의 제한 정보인 레벨 정보를 포함한다. 레벨 정보는 시간 당 최대 매크로 블록 수, 프레임 당 최대 매크로 블록 수, 벡터의 최대 검색 범위, 및 2개의 연속하는 매크로 블록의 벡터 수의 제한 조합을 나타낸다.
예를 들어, H.264는 기본 프로파일, 메인 프로파일, 하이 프로파일과 같은 프로파일 정보를 지정한다. 또한, H.264는 16개의 레벨 정보를 지정한다.
본 실시예에서, 이 프로파일/레벨 정보를 이용하여 파라미터가 지정된다. 파라미터는 메모리 대역폭 감소 방법을 적용할지의 여부, 블록 크기 제한 값[블록 크기 제한 정보(115)] 및 제한 방법에 관해서 지정하는 파라미터를 포함한다. 이러한 파라미터는 프로파일/레벨 정보 이외의 정보를 이용함으로써 지정될 수 있다.
블록 크기 제한 정보(115)는 블록 크기의 결정에 이용되는 임계 값(블록 크기의 제한 값)을 지정하는 정보이다. 예를 들어, 부호화 제어부(113)가 프로파일/레벨 정보에 따라 상이한 블록 크기 제한 정보(115)를 설정한다. 블록 크기 제한 정보(115)는 프로파일/레벨 정보에 포함될 수 있다.
예측 제어부(112)는 부호화 제어부(113)로부터 입력되는 블록 크기 제한 정보(115), 입력 비디오 신호(101)의 색상 포맷 정보(114), 및 움직임 벡터 탐색부(116)로부터 입력되는 움직임 벡터 정보(117)에 따라 예측 이미지 생성부(110)에 의해 실행되는 예측 이미지 생성을 제어한다(자세한 것은 후술될 것이다). 예측 제어부(112)는 예측 이미지 생성의 제어에 이용되는 예측 제어 정보(118)를 생성한다. 예측 제어 정보(118)는 예측 이미지 생성부(110)에 입력되고, 또한 엔트로피 부호화부(105)에 전송된다.
엔트로피 부호화부(105)는 부호화 정보에 대해 엔트로피 부호화를 수행하여 규정된 문법에 따라 부호화 데이터(120)를 생성한다. 부호화 정보는 예를 들어, 변환/양자화부(103)로부터 입력되는 양자화 변환 계수 정보, 입력 비디오 신호의 색상 포맷 정보(114), 움직임 벡터 탐색부(116)로부터 입력되는 움직임 벡터 정보(117), 예측 제어부(112)로부터 입력되는 예측 제어 정보(118) 및 부호화 제어부(113)로부터 입력되는 프로파일/레벨 정보(119)를 포함한다.
여기서, 색상 포맷 정보(114)가 기술될 것이다. 색상 포맷 정보(114)는 입력 비디오 신호(101)의 색상 포맷을 나타내는 정보이다. 도 2는 색상 포맷 정보(114)의 일례를 나타내는 도면이다. 도 2는 H.264에서 이용되는 chroma_format_idc가 색상 포맷 정보(114)로 이용되는 예를 예시한다.
chroma_format_idc = 0 은 휘도만 있는 흑백 포맷을 나타낸다. chroma_format_idc = 1은 휘도에 대하여 색차가 수평 방향과 수직 방향의 1/2에 샘플링되는 4:2:0 포맷을 나타낸다. chroma_format_idc = 2는 휘도에 대하여 색차가 오직 수평 방향의 1/2에서만 샘플링되는 4:2:2 포맷을 나타낸다. chroma_format_idc = 3은 휘도 및 색차가 같은 화소 수를 갖는 4:4:4 포맷을 나타낸다.
휘도 신호의 예측 블록의 수평 크기는 nPSW로 정의되고, 수직 크기는 nPSH로 정의된다. 4:2:0 포맷의 경우, 색차 신호(Cb와 Cr)의 블록의 수평 크기는 nPSW/2이고, 수직 크기는 nPSH/2이다. 4:2:2 포맷의 경우, 색차 신호(Cb와 Cr)의 블록의 수평 크기는 nPSW/2이고, 수직 크기는 nPSH이다. 4:4:4 포맷의 경우, 색차 신호(Cb와 Cr)의 블록의 수평 크기는 nPSW이고, 수직 크기는 nPSH이다.
다음으로, 색상 포맷과 보간 간의 관계가 기술될 것이다.
도 3은 4:2:0 포맷에서 색차 신호의 1/8 화소 정밀도를 갖는 보간 이미지에서 움직임 벡터의 위치를 나타내는 도면이다. "B"는 색차 신호의 정수 화소 위치이며, 이는 보간이 필요 없는 움직임 벡터의 위치이다. 흰색 부분은 수평 방향으로만 또는 수직 방향으로만 색차 신호에 대해 1 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다. 얇은 음영 부분은 수평 방향 및 수직 방향 모두에서 색차 신호에 보간을 수행하는 2 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다.
도 4는 4:2:0 포맷에서 휘도 신호의 1/4 화소 정밀도를 갖는 보간 이미지에서 움직임 벡터의 위치를 나타내는 도면이다. "A"는 휘도 신호의 정수 화소 위치이며, 이는 보간이 필요 없는 움직임 벡터의 위치이다. "A"가 있는 흰색 부분은 휘도 신호 및 색차 신호 모두에 대해 보간이 필요 없는 움직임 벡터의 위치를 나타낸다. "A"가 있는 얇은 음영 부분은 휘도 신호에 대해 보간이 필요 없지만, 색차 신호에 대해 보간이 필요한 움직임 벡터의 위치를 나타낸다.
"A"가 없는 흰색 부분은 수평 방향으로만 또는 수직 방향으로만 색차 신호 및 휘도 신호에 대해 1 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다. "A"가 없는 얇은 음영 부분은 휘도 신호와 색차 신호에 대해 수평 방향 및 수직 방향 모두에서 보간 처리를 수행하는 2 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다. 짙은 음영 부분은 휘도 신호에 대해 수평 방향으로만 또는 수직 방향으로만 1 차원 보간이 필요하며, 색차 신호에 대해 수평 방향 및 수직 방향 모두에서 보간이 실행되는 2 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다.
도 5는 4:2:2 포맷에서 수평 방향으로 색차 신호의 1/4 화소 정밀도 및 수직 방향으로 색차 신호의 1/8 화소 정밀도를 갖는 보간 이미지에서 움직임 벡터의 위치를 나타내는 도면이다. "B"는 색차 신호의 정수 화소 위치이며, 이는 보간이 필요 없는 움직임 벡터의 위치이다. 흰색 부분은 수평 방향으로만 또는 수직 방향으로만 색차 신호에 대해 1 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다. 얇은 음영 부분은 수평 방향 및 수직 방향 모두에서 색차 신호에 보간을 수행하는 2 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다.
도 6는 4:2:2 포맷에서 휘도 신호의 1/4 화소 정밀도를 갖는 보간 이미지에서 움직임 벡터의 위치를 나타내는 도면이다. "A"는 휘도 신호의 정수 화소 위치이며, 이는 휘도 신호에 대해 보간이 필요 없는 움직임 벡터의 위치이다. "A"가 있는 흰색 부분은 휘도 신호 및 색차 신호 모두에 대해 보간이 필요 없는 움직임 벡터의 위치를 나타낸다. "A"가 있는 얇은 음영 부분은 휘도 신호에 대해 보간이 필요 없지만, 색차 신호에 대해 보간이 필요한 움직임 벡터의 위치를 나타낸다.
"A"가 없는 흰색 부분은 수평 방향으로만 또는 수직 방향으로만 색차 신호 및 휘도 신호에 대해 1 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다. "A"가 없는 얇은 음영 부분은 휘도 신호와 색차 신호에 대해 수평 방향 및 수직 방향 모두에서 보간을 수행하는 2 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다. 짙은 음영 부분은 휘도 신호에 대해 수평 방향으로만 1 차원 보간이 필요하며, 색차 신호에 대해 수평 방향 및 수직 방향 모두에서 보간이 실행되는 2 차원 보간이 필요한 움직임 벡터의 위치를 나타낸다.
다음으로, 색상 포맷과 보간에서 액세스되는 화소 간의 관계가 기술될 것이다.
도 7 및 도 8은 4:2:0 포맷에서, 블록 단위로 보간 이미지를 생성할 때 액세스되는 화소의 일례를 나타내는 도면이다.
도 7은 8 탭 보간 필터를 이용하여 휘도 신호에 대해 4X4 화소 블록의 보간 이미지를 생성하는 경우 액세스되어야 하는 최대 화소 수를 예시한다. 2 차원 보간의 경우, 4X4 화소 블록으로 보간 이미지를 생성하기 위해 화소 블록의 왼쪽과 위쪽의 3개의 외부 화소는 물론 화소 블록의 오른쪽과 아래의 4개의 외부 화소에 액세스되어야 한다. 특히, 11X11 화소가 전반적으로 액세스되어야 한다. 액세스되는 외부 화소 수는 탭 길이에 의존한다. 그러므로, 동일한 탭 길이를 갖는 보간 필터가 이용되는 경우, 화소 당 액세스 수는 작은 블록에서 더욱 증가한다.
도 8은 4 탭 보간 필터를 이용하여 휘도 신호에 대해, 색차 신호에 대해 4X4 화소 블록에 해당하는 2X2 픽셀 블록의 보간 이미지를 생성하는 경우 액세스되어야 하는 최대 화소 수를 예시한다. 2 차원 보간의 경우, 2X2 화소 블록으로 보간 이미지를 생성하기 위해 화소 블록의 왼쪽과 위쪽의 1개의 외부 화소는 물론 화소 블록의 오른쪽과 아래의 2개의 외부 화소에 액세스되어야 한다. 특히, 5X5 화소가 전반적으로 액세스되어야 한다.
도 9는 4:2:2 포맷에서, 블록 단위로 보간 이미지를 생성할 때 액세스되는 화소의 일례를 나타내는 도면이다. 4 탭 보간 필터를 이용하여 휘도 신호에 대해 4X4 화소 블록의 보간 이미지를 생성하는 경우 액세스되어야 하는 최대 화소 수는 도 7의 경우와 동일하므로 설명을 생략한다.
도 9는 4 탭 보간 필터를 이용하여 휘도 신호에 대해, 색차 신호에 대해 4X4 화소 블록에 해당하는 4X2 픽셀 블록의 보간 이미지를 생성하는 경우 액세스되어야 하는 최대 화소 수를 예시한다. 2 차원 보간의 경우, 4X2 화소 블록으로 보간 이미지를 생성하기 위해 화소 블록의 왼쪽과 위쪽의 1개의 외부 화소는 물론 화소 블록의 오른쪽과 아래의 2개의 외부 화소에 액세스되어야 한다. 특히, 5X7 화소가 전반적으로 액세스되어야 한다.
도 3 내지 도 6에 예시된 바와 같이, 색상 포맷 및 움직임 벡터에 따라 보간의 필요성은 다른다. 색상 포맷 및 움직임 벡터에 따라 1 차원 보간 및 2 차원 보간 중 어느 것이 필요한지가 다르다. 도 7 내지 도 9에 예시된 바와 같이, 색상 포맷에 따라 액세스되는 화소 수가 다르다.
본 실시예에서, 색상 포맷 및 움직임 벡터를 참조함으로써, 참조 이미지[참조 이미지 신호(109)]에 액세스되는 픽셀 수가 많은 특정한 보간이 실행되지 않도록 예측 이미지 생성이 제어된다. 특정한 보간은 양방향 예측 및 2 차원 보간을 이용하는 보간이다. 양방향 예측의 보간이 특정한 보간으로 정의될 수 있다. 특정한 보간을 실행하지 않도록 예측 이미지 생성을 제어하는 구체적인 방법이 후술될 것이다.
도 10은 이미지 부호화 장치(100)에 대응하는 이미지 복호화 장치(300)의 구성의 일례를 나타내는 블록도이다. 이미지 복호화 장치(300)는 엔트로피 복호화부(302), 역양자화/역변환부(303), 가산부(304), 프레임 메모리(306) 및 예측 이미지 생성부(110)를 포함한다.
이미지 복호화 장치(300)는 부호화 데이터(301)로부터 재생 비디오 신호(307)를 생성한다.
엔트로피 복호화부(302)는 규정된 문법에 따라 부호화 데이터(301)에 대해 엔트로피 복호화를 수행한다. 엔트로피 복호화부(302)는 부호화 데이터(301)을 복호화하여 양자화 변환 계수 정보, 예측 제어 정보(311), 움직임 벡터 정보(312) 및 프로파일/레벨 정보(313)를 획득한다. 복호화된 양자화 변환 계수 정보는 역양자화/역변환부(303)에 입력된다. 복호화된 예측 제어 정보(311), 움직임 벡터 정보(312) 및 프로파일/레벨 정보(313)는 예측 이미지 생성부(110)에 입력된다.
양자화 변환 계수 정보, 예측 제어 정보(311), 움직임 벡터 정보(312) 및 프로파일/레벨 정보(313)는 도 1의 이미지 부호화 장치(100)에 의해 부호화된 양자화 변환 계수 정보, 예측 제어 정보(118), 움직임 벡터 정보(117) 및 프로파일/레벨 정보(119)에 각각 대응한다.
역양자화/역변환부(303)는 양자화 변환 계수 정보에 대해 역양자화 및 역직교 변환을 실행하여, 예측 오차 신호를 재생한다.
가산부(304)는 예측 오차 신호와 예측 이미지 신호(310)를 합산하여 복호 이미지 신호(305)를 생성한다. 복호 이미지 신호(305)는 프레임 메모리(306)에 입력된다.
프레임 메모리(306)는 복호 이미지 신호(305)에 대해 필터링 처리를 실행하고, 재생 비디오 신호(307)로 그 결과를 출력한다. 프레임 메모리(306)는 예측 제어 정보(311)에 따라 필터링 처리를 겪은 복호 이미지 신호(305)를 저장할지의 여부를 결정한다. 저장된 복호 이미지 신호(305)는 참조 이미지 신호(308)로서 예측 이미지 생성부(110)에 입력된다.
예측 이미지 생성부(110)는 참조 이미지 신호(308), 예측 제어 정보(311), 및 움직임 벡터 정보(312)를 이용함으로써 예측 이미지 신호(310)를 생성한다.
도 11은 이미지 부호화 장치(100) 및 이미지 복호화 장치(300)에 구비되는 예측 이미지 생성부(110)의 구성의 일례를 나타내는 블록도이다. 예측 이미지 생성부(110)는 스위치(201), 양방향 예측부(202), 단방향 예측부(203)와, 및 인트라 예측부(204)를 포함한다. 예측 이미지 생성부(110)는 참조 이미지 신호(109), 예측 제어 정보(118), 및 움직임 벡터 정보(117)로부터 예측 이미지 신호(111)를 생성한다.
예측 제어 정보(118)는 예를 들어, 양방향 예측부(202), 단방향 예측부(203) 및 인트라 예측부(204) 중 어느 하나를 이용할지를 지정하는 정보(예측 모드)를 포함한다. 스위치(201)는 이 정보를 참조함으로써 양방향 예측부(202), 단방향 예측부(203) 및 인트라 예측부(204) 중 임의의 하나를 선택하도록 전환된다.
참조 이미지 신호(109)는 스위치(201)에 의해 선택된 양방향 예측부(202), 단방향 예측부(203) 및 인트라 예측부(204) 중 임의의 하나에 입력된다.
양방향 예측부(202)가 선택되는 경우, 양방향 예측부(202)는 복수의 참조 프레임으로부터의 참조 이미지 신호(109)와 움직임 벡터 정보(117)를 이용함으로써 움직임 보상 이미지 신호를 생성하고, 양방향 예측에 따라 예측 이미지 신호(111)를 생성한다. 양방향 예측부(202)는 예측 모드가 부호화 데이터로 명시적으로 양방향 예측으로 지정된 경우 뿐만 아니라, 양방향 예측이 스킵 모드, 다이렉트 모드 및 병합 모드와 같은 부호화 데이터에서 명시적 지정되지 않고 의미에서 암시적으로 양방향 예측의 동작이 지정되는 경우에도 선택된다.
단방향 예측부(203)가 선택되는 경우, 단방향 예측부(203)는 단일 참조 프레임으로부터의 참조 이미지 신호(109)와 움직임 벡터 정보(117)를 이용함으로써 움직임 보상 이미지 신호를 생성하고, 예측 이미지 신호(111)를 생성한다. 단방향 예측부(203)는 예측 모드가 부호화 데이터로 명시적으로 단방향 예측으로 지정된 경우 뿐만 아니라, 단방향 예측이 스킵 모드, 다이렉트 모드 및 병합 모드와 같은 부호화 데이터에서 명시적 지정되지 않고 의미에서 암시적으로 단방향 예측의 동작이 지정되는 경우에도 선택된다.
인트라 예측부(204)가 선택되는 경우, 인트라 예측부(204)는 화면의 참조 이미지 신호(109)를 이용함으로써 예측 이미지 신호(111)를 생성한다.
다음으로, 본 실시예를 따라 구성된 이미지 부호화 장치(100)의 메모리 대역폭 감소를 위한 제어가 도 12를 참조하여 기술된다. 도 12는 본 실시예의 제어의 전체 흐름을 나타내는 흐름도이다.
부호화 제어부(113)는 프로파일/레벨 정보(119)에 따라 블록 크기의 제한 값(nLPSW, nLPSH)을 설정한다(단계 S101). nLPSW는 휘도의 수평 방향의 예측 블록 크기의 제한 값이다. nLPSH는 휘도의 수직 방향의 예측 블록 크기의 제한 값이다.
예를 들어, 프로파일 정보가 특정한 프로파일(예컨대, H.264의 하이 프로파일)을 나타내는 경우, 또는 레벨 정보가 특정한 레벨(예컨대, 소정의 레벨 또는 그 이상의 레벨)을 나타내는 경우, 부호화 제어부(113)는 미리 정해진 블록 크기의 제한 값(nLPSW, nLPSH)을 설정한다. 부호화 제어부(113)는 프로파일 정보 및 레벨 정보 에 따라 단계적으로 블록 크기의 제한 값을 설정하도록 구성될 수 있다.
이하에 변수 RW는 1/RW 화소 정밀도로 표현되는 수평 방향의 움직임 벡터 정밀도인 것으로 한다. 또한 변수 RH는 1/RH 화소 정밀도로 표현되는 수직 방향의 움직임 벡터 정밀도인 것으로 한다. 변수 RW 및 변수 RH의 초기 값들은 휘도의 움직임 벡터 정밀도로서 정의된다. RW 및 RH에는 일반적으로 2의 거듭 제곱 값이 이용된다.
예측 제어부(112)는 색상 포맷 정보(chroma_format_idc)(114)가 1인지 아닌지의 여부를 결정한다(단계 S102). chroma_format_idc = 1인 경우(단계 S102: Yes), 예측 제어부(112)는 RW와 RH의 값을 각각 2 배로 설정한다(단계 S103). chroma_format_idc = 1은 휘도에 대하여 색차가 수평 방향과 수직 방향의 1/2에 샘플링되는 4:2:0 포맷을 의미하기 때문이다.
chroma_format_idc = 1이 아닌 경우(단계 S102: No), 예측 제어부(112)는 색상 포맷 정보(chroma_format_idc)(114)가 2인지 아닌지의 여부를 결정한다(단계 S104). chroma_format_idc = 2인 경우(단계 S104: Yes), 예측 제어부(112)는 RW의 값을 2 배로 설정한다(단계 S105). chroma_format_idc = 2는 휘도에 대하여 색차가 수평 방향으로만 1/2로 샘플링되는 4:2:2 포맷을 의미하기 때문이다.
chroma_format_idc 값이 다른 값인 경우(단계 S104: No), RW 및 RH의 값은 변경되지 않는다.
다음으로, 예측 제어부(112)는 메모리 대역폭이 제한되는지 아닌지의 여부를 나타내는 변수 L를 계산한다(단계 S106). 변수 L 값이 "true"일 때 메모리 대역폭 감소 방법이 적용되는 것을 의미하며, 변수 L 값이 "false"일 때 이 방법이 적용되지 않는 것을 의미한다.
전술 한 바와 같이, 예를 들어, 예측은 양방향 예측이고, 예측 블록ㅇㄴ 작고, 2개의 움직임 벡터는 색차에서 소수 정밀도인 경우, 픽셀 당 액세스되는 메모리 대역폭은 증가한다. 그러므로, 예측 제어부(112)는 다음 수학식(1)에 따라 변수 L을 계산한다.
Figure pct00001
처리될 블록의 목록 0의 수평 방향에서의 움직임 벡터의 값은 mvL0 [0]으로 정의되고, 수직 방향에서의 값은 mvL0 [1]로 정의된다. 또한 목록 1의 수평 방향에서의 움직임 벡터의 값은 mvL1 [0]으로 정의되고, 수직 방향에서의 값은 mvL1 [1]로 정의된다. PredMode는 예측 모드를 나타낸다. PredBi는 양방향 예측을 나타낸다. 아래의 설명에서, 목록 0 및 목록 1의 움직임 벡터를 이용하는 단방향 예측의 예측 모드는 각각 PredL0 및 PredL1로 나타난다.
수학식(1)의 예는 예측 모드 PredMode가 PredBi인 경우, 즉 양방향 예측부(202)가 선택되는 경우를 의미한다. (nPSW < = nLPSW) && (nPSH < = nLPSH)는 예측 블록 크기가 블록 크기 제한 정보보다 작거나 같은 조건을 의미한다. (mvL0 [0] & ( RW - 1 )) && (mvL0 [1] & ( RH - 1 )) && (mvL1 [0] & ( RW - 1 )) && (mvL1 [1] & ( RH - 1 ))에서, 2 개의 움직임 벡터(L0 및 L1)가 색차에 대해 2 차원 보간이 되지 않는지, 즉 움직임 벡터의 하위 비트가 소수점 이하의 정밀도를 표현하고 있는지가 체크된다. "&"는 C 언어의 표기법에 따라 비트 연산자를 의미하고, 비트 단위의 논리합(OR)을 표현한다.
변수 L을 계산하는 조건 식은 수학식(1)로 한정되는 것은 아니다. 예를 들어, 수학식(2)에와 같이 PredBi 이외의 예측(PredL0, PredL1)에 대해서도 개별적으로 결정될 수 있다.
Figure pct00002
수학식(3)에와 같이, 단방향 예측(PredL0 또는 PredL1)에 대한 블록 크기의 제한 값(nLPSW1, nLPSH1)이 별도로 설정될 수 있다. 구체적으로, 단방향 예측에서 제한되는 블록 크기 및 양방향 예측에서 제한되는 블록 크기는 서로 상이할 수 있다.
Figure pct00003
수학식(4)에서와 같이 예측 블록 크기가 블록 크기의 제한 값(nLPSW, nLPSH)보다 작거나 같은 경우, 양방향 예측 동안에 2개의 움직임 벡터가 색차에서 정수 화소에만 액세스하도록 제한될 수 있다.
Figure pct00004
움직임 벡터 값이 제한되는지 여부 또는 어떤 조건에서 움직임 벡터 값이 제한되는지가 프로파일/레벨 정보(119)에 의해 구별된다.
다음으로, 메모리 대역폭을 줄이는 구체적인 방법이 기술될 것이다. 도 13은 메모리 대역폭을 줄이는 처리의 일례를 나타내는 흐름도이다. 도 13은 메모리 대역폭을 줄이는 방법으로 움직임 벡터 값을 제한하는 방법의 일례를 나타낸다.
예측 제어부(112)는 변수 L이 "true"인지 아닌지의 여부를 결정한다(단계 S201). 변수 L이 "true"인 경우(단계 S201: Yes), 예측 제어부(112)는 2개의 움직임 벡터 값(L0 및 L1)을 수학식(5)와 같이 변환한다(단계 S202).
Figure pct00005
">>"는 C 언어의 표기법에 따라 산술 오른쪽 시프트를 나타낸다. "/"는 정수 연산에서 나누기를 나타낸다. "×"는 정수 연산에서 곱셈을 나타낸다. 2개의 움직임 벡터(L0 및 L1)의 색차 신호의 보간 정밀도에 대응하는 비트는 수학식(5)에 의해 반올림되어 0이 된다. 이러한 처리를 이용하면, 2 차원 보간이 실행되지 않으므로, 메모리 대역폭의 감소를 달성할 수 있다.
일반적인 반올림 방법이 여기에 기술되었다. 그러나, 다른 방법들이 이용될 수 있다. 예를 들어, 버림 방법, 올림 방법, 및 가장 가까운 짝수로의 반올림 방법이 이용될 수 있다.
값이 변경된 움직임 벡터 정보(117)는 엔트로피 부호화부(105)에서 부호화되어 부호화 데이터로 출력된다. 도 13의 방법은 움직임 벡터 값을 제한하여 움직임 벡터 정보(117)를 제어하고 메모리 대역폭을 증가시키는 부호화 데이터를 생성하지 않도록 한다.
대안적으로, 값이 변경되는 움직임 벡터 정보(117)를 엔트로피 부호화부(105)에서 부호화하는 대신에, 그 변경 전에 움직임 벡터 정보(117)는 엔트로피 부호화부(105)에 의해 부호화될 수 있다. 이 경우에, 이미지 복호화 장치(300)의 예측 이미지 생성부(110)는 메모리 대역폭 감소 방법이 도 12와 같은 처리에서 적용되는지 아닌지의 여부를 결정한다. 이것이 적용되는 경우, 이미지 복호화 장치(300)의 예측 이미지 생성부(110)는 도 13에서와 같은 방식으로 움직임 벡터를 제한한다.
움직임 벡터의 값의 변환 방법은 수학식(4)에서와 같이 색차의 보간 정밀도에 대응하는 값을 반올림하는 방법으로 한정되지 않는다. 값은 휘도 및 색차에 대해 별도로 반올림될 수 있다. 구체적으로, 휘도에 대한 보간 동안에, 휘도의 보간 정밀도에 대응하는 값이 반올림될 수 있고, 색차에 대한 보간 처리 동안에, 색차의 보간 정밀도에 대응하는 값이 반올림될 수 있다. 이 방법은 이미지 부호화 장치(100) 및 이미지 복호화 장치(300)가 동일한 동작을 수행하도록 미리 구성되는 경우 메모리 대역폭을 증가시키는 예측 이미지를 생성하지 않는 방법이다.
도 14는 메모리 대역폭을 줄이는 처리의 다른 예를 나타내는 흐름도이다. 도 14는 움직임 벡터의 값을 제한하는 방법의 다른 예를 나타낸다.
이 예에서, 예측 제어부(112) 및 예측 이미지 생성부(110)는 예측 모드, 예측 블록 크기, 및 움직임 벡터를 선택하는 비용을 계산한다. 이들은 계산 비용이 작은 예측 모드, 예측 블록 크기 및 움직임 벡터를 우선적으로 선택하여, 최적의 조합을 선택할 수 있다.
움직임 벡터의 비용을 나타내는 변수 MV_Cost는 수학식(6)에서와 같이 예측 잔차 오차의 절대치 합(sum of absolute distance; SAD), 움직임 벡터 정보의 부호 량(MV_Code), 및 양자화 정보로부터 계산된 라그랑주 승수(Lagrange multiplier)(λ)를 이용하여 계산된다.
Figure pct00006
변수 L이 "true "이면(단계 S301: Yes), 예측 제어부(112)는 움직임 벡터의 비용을 나타내는 변수 MV_Cost에 미리 정해진 최대 값 MaxValue를 할당한다(단계 S302). 이러한 처리를 이용하여, 예측 제어부(112)는 메모리 대역폭이 큰 움직임 벡터를 선택하지 않도록 제어한다(단계 S301).
도 14의 방법에서, 도 13에서와 같이 메모리 대역폭을 증가시키는 부호화 데이터를 생성하지 않도록, 움직임 벡터의 값을 제한하여 움직임 벡터 정보(117)를 제어한다.
도 15는 메모리 대역폭을 줄이는 처리의 다른 예를 나타내는 흐름도이다. 도 15는 메모리 대역폭을 줄이는 다른 방법으로서, 색차의 예측 모드를 제어하는 방법을 나타낸다.
변수 L이 "true "이면(단계 S401), 색의 예측 모드(PredMode)만이 단방향 예측(PredL0)으로 강제로 개정된다(단계 S402). 이러한 처리를 이용하면, 큰 메모리 대역폭을 이용하는 색차 신호를 갖는 양방향 예측의 경우가 제한될 수 있다.
예측 모드가 강제로 개정되는 예측 모드는 단방향 예측(PredL1)일 수 있다. 어떤 예측 모드가 제한되는지가 프로파일/레벨 정보(119)에 따라 결정된다.
앞서 기술된 바와 같이, 본 실시예에 따르면, 이미지 부호화 및 이미지 복호화 동안에 움직임 보상 보간 이미지를 생성할 때의 메모리 대역폭을 줄일 수 있다.
다음으로, 본 실시예에 따른 장치(이미지 부호화 장치 및 이미지 복호화 장치)의 하드웨어 구성이 도 16을 참조하여 기술될 것이다. 도 16은 본 실시예에 따른 장치의 하드웨어 구성을 나타내는 설명도이다.
본 실시예에 따른 장치는 CPU(Central Processing Unit; 중앙 처리 장치)(51)와 같은 제어 디바이스, ROM(Read Only Memory; 읽기 전용 메모리)(52) 또는 RAM(Random Access Memory; 랜덤 액세스 메모리)(53)와 같은 메모리 디바이스, 상호 통신을 가능하게 하기 위해 네트워크에 접속되는 통신 I/F(54), 및 각 부를 상호접속하는 버스(61)를 포함한다.
본 실시예에 따른 장치에 의해 실행되는 프로그램은 ROM(52)에 미리 포함되어 제공된다.
프로그램은 CD-ROM(Compact Disk Read Only Memory), 플렉시블 디스크(flexible disk; FD), CD-R, DVD(Digital Versatile Disk; 디지털 다기능 디스크) 등의 컴퓨터 판독 가능한 기록 매체에 설치 가능한 형식 또는 실행 가능한 형식의 파일로 기록되는 컴퓨터 제품으로 제공되도록 구성될 수 있다.
또한, 프로그램은 인터넷과 같은 네트워크에 접속된 컴퓨터에 저장되어 네트워크를 통해 다운로드 가능하도독 제공될 수 있다. 프로그램은 인터넷과 같은 네트워크를 통해 제공 또는 배포되도록 구성될 수 있다.
본 실시예에 따른 장치에 의해 실행되는 프로그램은 컴퓨터가 상술한 각 부(예측 이미지 생성부 등)처럼 작동하도록 할 수 있다. 컴퓨터의 CPU(51)는 컴퓨터 판독 가능한 기억 매체로부터 주기억 디바이스로 프로그램을 판독하여 동일한 프로그램을 실행할 수 있다.
본 발명의 일부 실시예들을 설명했지만, 이러한 실시예들은 오직 예시로 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않았다. 본 명세서에서 기술된 이러한 신규 실시예들은 다른 다양한 형태로 실시될 수 있으며; 더욱이, 본 명세서에 기술된 실시예들의 형태에서의 다양한 생략, 대체, 변경이 발명의 사상을 벗어나지 않는 범위에서 행해질 수 있다. 특허청구범위 및 그 등가물은 이와 같은 형태 또는 변형이 발명의 사상 및 범위 내에 포함되도록 의도된다.
100 이미지 부호화 장치
101 입력 비디오 신호
102 감산부
103 변환/양자화부
104 역양자화/역변환부
105 엔트로피 부호화부
106 가산부
107 복호 이미지 신호
108 프레임 메모리
109 참조 이미지 신호
110 예측 이미지 생성부
111 예측 이미지 신호
112 예측 제어부
113 부호화 제어부
114 색상 포맷 정보
115 블록 크기 제한 정보
116 움직임 벡터 탐색부
117 움직임 벡터 정보
118 예측 제어 정보
119 프로파일/레벨 정보
120 부호화 데이터
300 이미지 복호화 장치
301 부호화 데이터
302 엔트로피 복호화부
303 역양자화/역변환부
304 가산부
305 복호 이미지 신호
306 프레임 메모리
307 재생 비디오 신호
308 참조 이미지 신호
310 예측 이미지 신호
311 예측 제어 정보
312 벡터 정보
313 프로파일/레벨 정보

Claims (11)

  1. 휘도 성분 및 색차 성분을 포함하는 이미지를 부호화하는 이미지 부호화 방법에 있어서,
    참조 이미지를 획득하는 획득 단계; 및
    각각의 휘도 성분과 색차 성분마다 상기 획득된 참조 이미지에 대해 움직임 벡터에 따른 보간을 수행함으로써 상기 참조 이미지의 해상도보다 큰 해상도를 갖는 예측 이미지를 생성하는 생성 단계를 포함하고,
    상기 생성 단계는 보간의 단위로 지정된 블록의 크기가 미리 정해진 임계 값보다 작은 경우, 상기 참조 이미지에서 액세스되는 픽셀 수가 많은 보간을 의미하는 특정한 보간을 수행하지 않고 상기 색차 성분에 대해 상기 예측 이미지를 생성하는 것을 포함하는 것인 이미지 부호화 방법.
  2. 제 1 항에 있어서,
    상기 특정한 보간은 상기 예측 이미지가 복수의 참조 이미지들로부터 생성되는 양방향 예측을 이용함으로써 수직 방향 및 수평 방향 모두에서 보간을 수행하는 보간인 것인 이미지 부호화 방법.
  3. 제 1 항에 있어서,
    상기 생성 단계는 상기 블록의 크기가 상기 임계 값보다 작은 경우, 상기 참조 이미지의 소수 화소 정밀도인 상기 움직임 벡터를 상기 참조 이미지의 정수 화소 정밀도인 움직임 벡터로 변환하는 것과, 상기 변환된 움직임 벡터 및 상기 참조 이미지로부터 상기 예측 이미지를 생성하는 것을 포함하는 것인 이미지 부호화 방법.
  4. 제 1 항에 있어서,
    상기 생성 단계는 상기 블록의 크기가 상기 임계 값보다 작은 경우, 상기 예측 이미지가 단일 참조 이미지로부터 생성되는 단방향 예측을 이용하여 상기 움직임 벡터에 따라 상기 참조 이미지에 대해 보간을 수행함으로써 상기 예측 이미지를 생성하는 것을 포함하는 것인 이미지 부호화 방법.
  5. 제 1 항에 있어서,
    상기 생성 단계는 할당된 비용이 적은 상기 움직임 벡터를 우선적으로 선택하고, 상기 선택된 움직임 벡터를 이용하여 상기 보간을 수행함으로써 상기 예측 이미지를 생성하는 것을 포함하고, 상기 블록의 크기가 상기 임계 값보다 작은 경우, 상기 참조 이미지의 소수 화소 정밀도인 상기 움직임 벡터의 비용이 증가하도록 하는 것인 이미지 부호화 방법.
  6. 휘도 성분 및 색차 성분을 포함하는 이미지를 복호화하는 이미지 복호화 방법에 있어서,
    참조 이미지를 획득하는 획득 단계; 및
    각각의 휘도 성분과 색차 성분마다 상기 획득된 참조 이미지에 대해 움직임 벡터에 따른 보간을 수행함으로써 상기 참조 이미지의 해상도보다 큰 해상도를 갖는 예측 이미지를 생성하는 생성 단계를 포함하고,
    상기 생성 단계는 보간의 단위로 지정된 블록의 크기가 미리 정해진 임계 값보다 작은 경우, 상기 참조 이미지에서 액세스되는 픽셀 수가 많은 보간을 의미하는 특정한 보간을 수행하지 않고 상기 색차 성분에 대해 상기 예측 이미지를 생성하는 것을 포함하는 것인 이미지 복호화 방법.
  7. 제 6 항에 있어서,
    상기 특정한 보간은 상기 예측 이미지가 복수의 참조 이미지들로부터 생성되는 양방향 예측을 이용함으로써 수직 방향 및 수평 방향 모두에서 보간을 수행하는 보간인 것인 이미지 복호화 방법.
  8. 제 6 항에 있어서,
    상기 생성 단계는 상기 블록의 크기가 상기 임계 값보다 작은 경우, 상기 참조 이미지의 소수 화소 정밀도인 상기 움직임 벡터를 상기 참조 이미지의 정수 화소 정밀도인 움직임 벡터로 변환하는 것과, 상기 변환된 움직임 벡터 및 상기 참조 이미지로부터 상기 예측 이미지를 생성하는 것을 포함하는 것인 이미지 복호화 방법.
  9. 제 6 항에 있어서,
    상기 생성 단계는 상기 블록의 크기가 상기 임계 값보다 작은 경우, 상기 예측 이미지가 단일 참조 이미지로부터 생성되는 단방향 예측을 이용하여 상기 움직임 벡터에 따라 상기 참조 이미지에 대해 보간을 수행함으로써 상기 예측 이미지를 생성하는 것을 포함하는 것인 이미지 복호화 방법.
  10. 휘도 성분 및 색차 성분을 포함하는 이미지를 부호화하는 이미지 부호화 장치에 있어서,
    참조 이미지를 그 안에 저장하도록 구성된 메모리 유닛; 및
    각각의 휘도 성분과 색차 성분마다 상기 획득된 참조 이미지에 대해 움직임 벡터에 따른 보간을 수행함으로써 상기 참조 이미지의 해상도보다 큰 해상도를 갖는 예측 이미지를 생성하도록 구성된 생성부를 포함하고,
    상기 생성부는 보간의 단위로 지정된 블록의 크기가 미리 정해진 임계 값보다 작은 경우, 상기 참조 이미지에서 액세스되는 픽셀 수가 많은 보간을 의미하는 특정한 보간을 수행하지 않고 상기 색차 성분에 대해 상기 예측 이미지를 생성하는 것인 이미지 부호화 장치.
  11. 휘도 성분 및 색차 성분을 포함하는 이미지를 복호화하는 이미지 복호화 장치에 있어서,
    참조 이미지를 그 안에 저장하도록 구성된 메모리 유닛; 및
    각각의 휘도 성분과 색차 성분마다 상기 획득된 참조 이미지에 대해 움직임 벡터에 따른 보간을 수행함으로써 상기 참조 이미지의 해상도보다 큰 해상도를 갖는 예측 이미지를 생성하도록 구성된 생성부를 포함하고,
    상기 생성부는 보간의 단위로 지정된 블록의 크기가 미리 정해진 임계 값보다 작은 경우, 상기 참조 이미지에 의해 액세스되는 픽셀 수가 많은 보간을 의미하는 특정한 보간을 수행하지 않고 상기 색차 성분에 대해 상기 예측 이미지를 생성하는 것인 이미지 복호화 장치.
KR1020147005036A 2011-11-08 2011-11-08 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치 KR101597059B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/075725 WO2013069095A1 (ja) 2011-11-08 2011-11-08 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020157005970A Division KR101570328B1 (ko) 2011-11-08 2011-11-08 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치
KR1020167003825A Division KR101665921B1 (ko) 2011-11-08 2011-11-08 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치

Publications (2)

Publication Number Publication Date
KR20140043828A true KR20140043828A (ko) 2014-04-10
KR101597059B1 KR101597059B1 (ko) 2016-02-23

Family

ID=48288682

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020167003825A KR101665921B1 (ko) 2011-11-08 2011-11-08 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치
KR1020157005970A KR101570328B1 (ko) 2011-11-08 2011-11-08 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치
KR1020147005036A KR101597059B1 (ko) 2011-11-08 2011-11-08 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020167003825A KR101665921B1 (ko) 2011-11-08 2011-11-08 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치
KR1020157005970A KR101570328B1 (ko) 2011-11-08 2011-11-08 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치

Country Status (15)

Country Link
US (9) US9135717B2 (ko)
EP (4) EP4199508A1 (ko)
JP (1) JP5766815B2 (ko)
KR (3) KR101665921B1 (ko)
CN (2) CN107277511A (ko)
AU (2) AU2011380761C1 (ko)
BR (4) BR122020011581B1 (ko)
CA (1) CA2847301C (ko)
ES (2) ES2952379T3 (ko)
MX (1) MX2014002334A (ko)
PL (2) PL3672238T3 (ko)
RU (1) RU2595569C2 (ko)
SG (1) SG11201400290XA (ko)
WO (1) WO2013069095A1 (ko)
ZA (1) ZA201401565B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101967817B1 (ko) 2010-09-02 2019-04-11 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
HUE043274T2 (hu) 2011-09-14 2019-08-28 Samsung Electronics Co Ltd Eljárás predikcióegység (PU) dekódolására ennek méretén alapulva
EP4199508A1 (en) 2011-11-08 2023-06-21 Kabushiki Kaisha Toshiba Image decoding method and image encoding method
WO2013108691A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 画像処理装置および方法
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US10110916B2 (en) 2014-04-22 2018-10-23 Sony Corporation Encoding device and encoding method
JP2018524897A (ja) * 2015-06-19 2018-08-30 ノキア テクノロジーズ オーユー ビデオの符号化・復号装置、方法、およびコンピュータプログラム
US10015504B2 (en) * 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
CN118214858A (zh) * 2018-09-21 2024-06-18 夏普株式会社 图像解码装置
CN110582022B (zh) * 2019-09-27 2022-12-30 腾讯科技（深圳）有限公司 视频编解码方法和装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04120301A (ja) 1990-09-11 1992-04-21 Shimizu Corp 軌道仮受け施工方法
KR20060055583A (ko) * 2002-01-18 2006-05-23 가부시끼가이샤 도시바 동화상 부호화방법 및 복호화방법
WO2010039731A2 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
KR20110063864A (ko) * 2008-10-06 2011-06-14 콸콤 인코포레이티드 효율적인 예측 모드 선택
KR20120140623A (ko) * 2011-06-21 2012-12-31 경희대학교 산학협력단 인터 예측 방법 및 그 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045491A (ja) 1999-08-03 2001-02-16 Hitachi Ltd 符号化画像の復号・表示装置
CN1298171C (zh) 2001-09-18 2007-01-31 松下电器产业株式会社 图像的编码方法和图像的译码方法
JP4129374B2 (ja) * 2001-09-18 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
JP3861698B2 (ja) 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
JP4053925B2 (ja) * 2003-05-09 2008-02-27 日本電信電話株式会社 映像符号化方法，映像符号化装置，映像符号化プログラムおよび映像符号化プログラムの記録媒体
JP2006333436A (ja) 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
JP4755093B2 (ja) * 2005-02-01 2011-08-24 パナソニック株式会社 画像符号化方法および画像符号化装置
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5044415B2 (ja) 2005-11-30 2012-10-10 株式会社東芝 画像符号化／画像復号化方法及び画像符号化／画像復号化装置
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JPWO2010001832A1 (ja) 2008-06-30 2011-12-22 株式会社東芝 動画像予測符号化装置および動画像予測復号化装置
WO2010070818A1 (ja) 2008-12-16 2010-06-24 株式会社日立製作所 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
CN104065961B (zh) 2009-03-23 2016-05-11 株式会社Ntt都科摩 图像预测编码装置及其方法、图像预测解码装置及其方法
TWI566586B (zh) 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
JP2011135184A (ja) * 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
WO2012172659A1 (ja) 2011-06-15 2012-12-20 株式会社東芝 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
CN108632608B (zh) 2011-09-29 2022-07-29 夏普株式会社 图像解码装置、图像解码方法、图像编码装置及图像编码方法
WO2013065431A1 (ja) 2011-11-04 2013-05-10 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
EP4199508A1 (en) * 2011-11-08 2023-06-21 Kabushiki Kaisha Toshiba Image decoding method and image encoding method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04120301A (ja) 1990-09-11 1992-04-21 Shimizu Corp 軌道仮受け施工方法
KR20060055583A (ko) * 2002-01-18 2006-05-23 가부시끼가이샤 도시바 동화상 부호화방법 및 복호화방법
WO2010039731A2 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
KR20110063864A (ko) * 2008-10-06 2011-06-14 콸콤 인코포레이티드 효율적인 예측 모드 선택
KR20120140623A (ko) * 2011-06-21 2012-12-31 경희대학교 산학협력단 인터 예측 방법 및 그 장치

Also Published As

Publication number Publication date
JPWO2013069095A1 (ja) 2015-04-02
US20240048746A1 (en) 2024-02-08
KR20150038621A (ko) 2015-04-08
EP3280139A1 (en) 2018-02-07
CN107277511A (zh) 2017-10-20
CA2847301A1 (en) 2013-05-16
US20170180747A1 (en) 2017-06-22
EP2779647B1 (en) 2018-03-07
US9843818B2 (en) 2017-12-12
BR122020011581B1 (pt) 2022-05-03
ZA201401565B (en) 2016-05-25
BR112014004645B1 (pt) 2022-04-26
PL3672238T3 (pl) 2023-07-24
ES2794582T3 (es) 2020-11-18
BR112014004645A2 (pt) 2017-03-14
EP2779647A4 (en) 2015-08-12
AU2015213328A1 (en) 2015-09-03
MX2014002334A (es) 2014-04-25
US9135717B2 (en) 2015-09-15
RU2595569C2 (ru) 2016-08-27
EP2779647A1 (en) 2014-09-17
CN103765890A (zh) 2014-04-30
AU2011380761A1 (en) 2014-03-20
JP5766815B2 (ja) 2015-08-19
ES2952379T3 (es) 2023-10-31
BR122020011590B1 (pt) 2022-05-03
US11451808B2 (en) 2022-09-20
US10687072B2 (en) 2020-06-16
US9672633B2 (en) 2017-06-06
AU2011380761C1 (en) 2015-12-17
US20200267400A1 (en) 2020-08-20
EP3280139B1 (en) 2020-03-18
EP3672238A1 (en) 2020-06-24
KR20160025035A (ko) 2016-03-07
RU2014107468A (ru) 2015-12-20
US11831891B2 (en) 2023-11-28
KR101570328B1 (ko) 2015-11-18
KR101597059B1 (ko) 2016-02-23
US20200053374A1 (en) 2020-02-13
US11375218B2 (en) 2022-06-28
US20220385932A1 (en) 2022-12-01
CA2847301C (en) 2017-08-01
EP3672238B1 (en) 2023-06-07
KR101665921B1 (ko) 2016-10-12
WO2013069095A1 (ja) 2013-05-16
US20140010446A1 (en) 2014-01-09
SG11201400290XA (en) 2014-06-27
AU2011380761B2 (en) 2015-06-25
US20200267401A1 (en) 2020-08-20
AU2015213328B2 (en) 2017-03-09
BR122020011587B1 (pt) 2022-05-03
US10554991B2 (en) 2020-02-04
EP4199508A1 (en) 2023-06-21
US20150229929A1 (en) 2015-08-13
US20170359592A1 (en) 2017-12-14
PL3280139T3 (pl) 2020-07-27

Similar Documents

Publication Publication Date Title
KR101597059B1 (ko) 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치
US9743088B2 (en) Video encoder and video encoding method
US11206418B2 (en) Method of image encoding and facility for the implementation of the method
JP6487002B2 (ja) 復号方法および復号装置
JP2015111961A (ja) 画像復号方法および画像復号装置
KR102038818B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
A107 Divisional application of patent
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E801 Decision on dismissal of amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200205

Year of fee payment: 5