KR20130101137A - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 - Google Patents

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 Download PDF

Info

Publication number
KR20130101137A
KR20130101137A KR1020137018737A KR20137018737A KR20130101137A KR 20130101137 A KR20130101137 A KR 20130101137A KR 1020137018737 A KR1020137018737 A KR 1020137018737A KR 20137018737 A KR20137018737 A KR 20137018737A KR 20130101137 A KR20130101137 A KR 20130101137A
Authority
KR
South Korea
Prior art keywords
partition
coding
encoding
block
intra
Prior art date
Application number
KR1020137018737A
Other languages
English (en)
Other versions
KR101538248B1 (ko
Inventor
가즈오 스기모토
슌이치 세키구치
？이치 세키구치
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20130101137A publication Critical patent/KR20130101137A/ko
Application granted granted Critical
Publication of KR101538248B1 publication Critical patent/KR101538248B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

인트라 예측부(4)가, 부호화 제어부(1)에 의해 선택된 부호화 모드가 인트라 예측 모드인 경우, 블록 분할부(2)에 의해 분할된 파티션 Pi n에 인접하고 있는 화소, 또는 그 파티션 Pi n의 상위 계층의 파티션 Pi n -1에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상(Pi n)을 생성한다.

Description

동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법{MOVING IMAGE ENCODING DEVICE, MOVING IMAGE DECODING DEVICE, MOVING IMAGE ENCODING METHOD AND MOVING IMAGE DECODING METHOD}
본 발명은 동영상을 고효율로 부호화하는 동영상 부호화 장치 및 동영상 부호화 방법과, 고효율로 부호화되어 있는 동영상을 복호하는 동영상 복호 장치 및 동영상 복호 방법에 관한 것이다.
예컨대, 국제 표준 방식인 AVC/H.264(ISO/IEC 14496-10|ITU-T H.264)의 부호화 방식에 있어서의 휘도의 인트라 예측 모드에서는, 복수의 예측 모드 중에서 블록 단위로 하나의 예측 모드를 선택할 수 있다(예컨대, 비특허문헌 1을 참조).
도 14는 휘도의 블록 사이즈가 4×4 화소인 경우의 인트라 예측 모드를 나타내는 설명도이다.
휘도의 블록 사이즈가 4×4 화소인 경우에는, 9개의 인트라 예측 모드(모드 0, 모드 1, …, 모드 8)가 규정되어 있다.
도 14에 있어서, 백색원이 부호화 대상인 블록 내의 화소이다. 흑색원은 예측에 이용하는 화소로, 부호화를 마친 인접 블록 내의 화소이다.
모드 2는 평균값 예측으로, 위쪽과 왼쪽의 블록의 인접 화소의 평균값으로, 부호화 대상 블록 내의 화소를 예측하는 모드이다. 모드 2 이외의 모드는 방향성 예측이다.
특히, 모드 0은 수직 방향 예측으로, 위의 블록의 인접 화소를 수직 방향으로 반복함으로써 예측 화상을 생성한다. 예컨대, 세로의 스트라이프 모양일 때에는 모드 0가 선택된다.
모드 1은 수평 방향 예측으로, 왼쪽 블록의 인접 화소를 수평 방향으로 반복함으로써 예측 화상을 생성한다.
또한, 모드 3부터 모드 8은, 위쪽의 또는 왼쪽 블록의 인접 화소를 이용해서, 소정 방향(도면 중 화살표로 나타내는 방향)으로 보간 화소를 생성하여 예측 화상을 생성한다.
인트라 예측을 적용하는 휘도의 블록 사이즈는 4×4 화소, 8×8 화소, 16×16 화소 중에서 선택할 수 있고, 블록 사이즈가 8×8 화소인 경우에는, 4×4 화소의 경우와 마찬가지로, 9개의 인트라 예측 모드가 규정되어 있다.
이에 반해서, 블록 사이즈가 16×16 화소인 경우에는, 평균값 예측, 수직 방향 예측 및 수평 방향 예측에 더해서, 평면 예측이라고 불리는 4개의 인트라 예측 모드가 규정되어 있다.
평면 예측은, 위쪽의 블록의 인접 화소와 왼쪽 블록의 인접 화소를 경사 방향으로 내삽 보간하여 생성한 화소를 예측값으로 하는 모드이다.
블록 사이즈가 4×4 화소 또는 8×8 화소인 경우의 방향성 예측 모드는, 모드에 따라 미리 정해진 방향(예컨대, 45도)으로 예측값을 생성하기 때문에, 블록 내의 오브젝트의 경계(에지)의 방향이, 예측 모드가 나타내는 방향과 일치하면, 예측 효율이 높아져서 부호량을 삭감할 수 있지만, 에지의 방향이, 예측 모드가 나타내는 방향과 일치하지 않는 경우에는, 예측 효율이 저하된다.
이에 반해서, 선택 가능한 방향성 예측의 모드 수를 늘리면, 에지의 방향과 예측 모드가 나타내는 방향이 일치할 확률이 높아지기 때문에, 예측 효율이 높아질 것이 상정된다.
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
종래의 동영상 부호화 장치는 이상과 같이 구성되어 있기 때문에, 선택 가능한 방향성 예측의 모드 수를 늘리면, 에지의 방향과 예측 모드가 나타내는 방향이 일치할 확률이 높아져서, 예측 효율을 높일 수 있다. 그러나, 선택 가능한 방향성 예측의 모드 수를 늘려도, 유사한 예측 화상의 선택 가지수가 증가하기 때문에, 선택 가능한 방향성 예측의 모드 수를 늘리는 것에 따른 연산량의 증가에 걸맞는 정도의 부호화 효율의 개선을 볼 수 없어서, 부호화 효율의 개선에 대한 기여가 한정적이라는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 적은 연산량이나 부호량으로 방향성 예측의 모드 수 증가에 따른 부호화 효율의 개선 정도를 높일 수 있는 동영상 부호화 장치 및 동영상 부호화 방법을 얻는 것을 목적으로 한다.
또한, 본 발명은, 부호화 효율의 개선이 도모되고 있는 부호화 데이터로부터 정확하게 동영상을 복호할 수 있는 동영상 복호 장치 및 동영상 복호 방법을 얻는 것을 목적으로 한다.
본 발명에 따른 동영상 부호화 장치는, 예측 화상 생성 수단이, 부호화 제어 수단에 의해 선택된 부호화 모드가 인트라 예측 모드인 경우, 블록 분할 수단에 의해 분할된 부호화 블록에 인접하고 있는 화소, 또는 그 부호화 블록의 상위 계층의 부호화 블록에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하도록 한 것이다.
또한, 가변 길이 부호화 수단이, 부호화 제어 수단에 의해 선택된 부호화 모드가 인트라 예측 모드인 경우, 블록 분할 수단에 의해 분할된 부호화 블록에 인접하고 있는 부호화 블록의 인트라 예측 방향과 상기 처리 대상 부호화 블록의 인트라 예측 방향이 일치하고 있는지 여부를 나타내는 플래그를 부호화함과 아울러, 방향이 일치하고 있다는 것을 나타내는 경우에는, 인접하고 있는 어느 한 부호화 블록과 인트라 예측 방향이 일치하고 있는지를 나타내는 정보도 더 부호화하도록 한 것이다.
본 발명에 의하면, 예측 화상 생성 수단이, 부호화 제어 수단에 의해 선택된 부호화 모드가 인트라 예측 모드인 경우, 블록 분할 수단에 의해 분할된 부호화 블록에 인접하고 있는 화소, 또는 그 부호화 블록의 상위 계층의 부호화 블록에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하도록 구성했기 때문에, 적은 연산량이나 부호량으로 방향성 예측의 모드 수 증가에 의한 부호화 효율의 개선 정도를 높일 수 있다는 효과가 있다.
도 1은 본 발명의 실시예 1에 의한 동영상 부호화 장치를 나타내는 구성도,
도 2는 본 발명의 실시예 1에 의한 동영상 부호화 장치의 처리 내용을 나타내는 흐름도,
도 3은 최대 크기의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 모양을 나타내는 설명도,
도 4(a)는 분할후의 파티션의 분포를 나타내고, 도 4(b)는 계층 분할후의 파티션에 부호화 모드 m(Bn)가 할당되는 상황을 4지 트리 그래프로 나타내는 설명도,
도 5는 부호화 블록 Bn에 속하는 각 파티션 Pi n에서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도,
도 6은 li n=mi n=4인 경우에, 파티션 Pi n 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도,
도 7은 파티션 Pi n과 상위 파티션 Pi n -1의 관계를 나타내는 설명도,
도 8은 부호화 블록 Bn에 속하는 파티션 Pi n을 나타내는 설명도,
도 9는 부호화 블록 Bn에 속하는 각 파티션 Pi n에서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도,
도 10은 본 발명의 실시예 1에 의한 동영상 복호 장치를 나타내는 구성도,
도 11은 본 발명의 실시예 1에 의한 동영상 복호 장치의 처리 내용을 나타내는 흐름도,
도 12는 파티션의 부호화 데이터를 나타내는 설명도,
도 13은 인접 파티션을 나타내는 설명도,
도 14는 휘도의 블록 사이즈가 4×4 화소인 경우의 인트라 예측 모드를 나타내는 설명도이다.
이하, 본 발명을 보다 구체적으로 설명하기 위해서, 본 발명을 실시하기 위한 형태에 대해서, 첨부된 도면에 따라서 설명한다.
(실시예 1)
도 1은 본 발명의 실시예 1에 의한 동영상 부호화 장치를 나타내는 구성도이다.
도 1에 있어서, 부호화 제어부(1)는 인트라 예측 처리(프레임내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 크기를 결정함과 아울러, 최대 크기의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하는 처리를 실시한다.
또한, 부호화 제어부(1)는 이용 가능한 1 이상의 부호화 모드(1 이상의 인트라 부호화 모드, 1 이상의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적합한 부호화 모드를 선택하는 처리를 실시한다.
또한, 부호화 제어부(1)는 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 인트라 예측 파라미터 또는 인터 예측 파라미터를 결정하는 처리를 실시한다. 양자화 파라미터 및 변환 블록 사이즈는, 예측 차분 부호화 파라미터에 포함되며, 변환·양자화부(7), 역양자화·역변환부(8) 및 가변 길이 부호화부(13) 등에 출력된다.
한편, 부호화 제어부(1)는 부호화 제어 수단을 구성하고 있다.
블록 분할부(2)는 입력 화상(커런트 픽쳐)를 나타내는 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 크기의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층 수에 이를 때까지, 그 부호화 블록을 계층적으로 분할하는 처리를 실시한다. 한편, 블록 분할부(2)는 블록 분할 수단을 구성하고 있다.
전환 스위치(3)는, 부호화 제어부(1)에 의해 선택된 부호화 모드가 인트라 부호화 모드라면, 블록 분할부(2)에 의해 분할된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(1)에 의해 선택된 부호화 모드가 인터 부호화 모드라면, 블록 분할부(2)에 의해 분할된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.
인트라 예측부(4)는 전환 스위치(3)로부터 블록 분할부(2)에 의해 분할된 부호화 블록을 받으면, 그 부호화 블록에 대해, 인트라 예측용 메모리(10)에 의해 저장되어 있는 부호화 블록에 인접하고 있는 부호화를 마친 화소, 또는 그 부호화 블록의 상위 계층의 부호화 블록에 인접하고 있는 부호화를 마친 화소를 이용해서, 부호화 제어부(1)로부터 출력된 인트라 예측 파라미터에 기초한 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하는 처리를 실시한다.
움직임 보상 예측부(5)는 블록 분할부(2)에 의해 분할된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(1)에 의해 인터 부호화 모드가 선택된 경우, 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 1 프레임 이상의 참조 화상을 이용해서, 부호화 제어부(1)로부터 출력된 인터 예측 파라미터에 기초해서, 그 부호화 블록에 대한 움직임 보상 예측 처리를 실시함으로써 예측 화상을 생성하는 처리를 실시한다.
한편, 전환 스위치(3), 인트라 예측부(4) 및 움직임 보상 예측부(5)로 예측 화상 생성 수단이 구성되어 있다.
감산부(6)는 블록 분할부(2)에 의해 분할된 부호화 블록으로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 감산함으로써, 차분 화상(=부호화 블록-예측 화상)을 생성하는 처리를 실시한다. 한편, 감산부(6)는 차분 화상 생성 수단을 구성하고 있다.
변환·양자화부(7)는 부호화 제어부(1)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 감산부(6)에 의해 생성된 차분 화상의 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대해 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용해서, 그 차분 화상의 변환 계수를 양자화함으로써, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 출력하는 처리를 실시한다. 한편, 변환·양자화부(7)는 화상 압축 수단을 구성하고 있다.
역양자화·역변환부(8)는 부호화 제어부(1)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용해서, 변환·양자화부(7)로부터 출력된 압축 데이터를 역양자화하고, 그 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역 DCT(역이산 코사인 변환)나, 역 KL 변환 등의 역변환 처리)를 실시함으로써, 역변환 처리 이후의 압축 데이터를 국소 복호 예측 차분 신호로서 출력하는 처리를 실시한다.
가산부(9)는 역양자화·역변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산함으로써, 국소 복호 화상을 나타내는 국소 복호 화상 신호를 생성하는 처리를 실시한다.
인트라 예측용 메모리(10)는 인트라 예측부(4)에 의해 다음 회의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(9)에 의해 생성된 국소 복호 화상 신호가 나타내는 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.
루프 필터부(11)는 가산부(9)에 의해 생성된 국소 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 이후의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(12)에 출력하는 처리를 실시한다.
움직임 보상 예측 프레임 메모리(12)는 움직임 보상 예측부(5)에 의해 다음 회의 움직임 보상 예측 처리에 이용되는 참조 화상으로서, 루프 필터부(11)에 의한 필터링 처리 후의 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.
가변 길이 부호화부(13)는 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드 및 예측 차분 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터를 가변 길이 부호화하여, 그 압축 데이터, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터가 다중화되어 있는 비트 스트림을 생성하는 처리를 실시한다. 한편, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.
도 1에서는, 동영상 부호화 장치의 구성 요소인 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13) 각각이 전용의 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 또는 원칩 마이크로컴퓨터 등)으로 구성되어 있는 것을 상정하고 있지만, 동영상 부호화 장치가 컴퓨터 등으로 구성되는 경우, 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램의 전부 또는 일부를 상기 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 된다.
도 2는 본 발명의 실시예 1에 의한 동영상 부호화 장치의 처리 내용을 나타내는 흐름도이다.
도 10는 본 발명의 실시예 1에 의한 동영상 복호 장치를 나타내는 구성도이다.
도 10에 있어서, 가변 길이 복호부(21)는 인트라 예측 처리 또는 움직임 보상 예측 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 크기 및 최대 크기의 부호화 블록으로부터 계층적으로 분할되어 있는 부호화 블록의 계층수를 특정함으로써, 비트 스트림에 다중화되어 있는 부호화 데이터 중에서, 최대 크기의 부호화 블록 및 계층적으로 분할되어 있는 부호화 블록에 따른 부호화 데이터를 특정하고, 각각의 부호화 데이터로부터 부호화 블록에 따른 압축 데이터, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터를 가변 길이 복호하고, 그 압축 데이터 및 예측 차분 부호화 파라미터를 역양자화·역변환부(25)에 출력함과 아울러, 그 부호화 모드 및 인트라 예측 파라미터/인터 예측 파라미터를 전환 스위치(22)에 출력하는 처리를 실시한다. 한편, 가변 길이 복호부(21)는 가변 길이 복호 수단을 구성하고 있다.
전환 스위치(22)는 가변 길이 복호부(21)로부터 출력된 부호화 블록에 따른 부호화 모드가 인트라 부호화 모드인 경우, 가변 길이 복호부(21)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(23)에 출력하고, 그 부호화 모드가 인터 부호화 모드인 경우, 가변 길이 복호부(21)로부터 출력된 인터 예측 파라미터를 움직임 보상부(24)에 출력하는 처리를 실시한다.
인트라 예측부(23)는 인트라 예측용 메모리(27)에 의해 저장되어 있는 부호화 블록에 인접하고 있는 복호를 마친 화소, 또는 그 부호화 블록의 상위 계층의 부호화 블록에 인접하고 있는 복호를 마친 화소를 이용하며, 전환 스위치(22)로부터 출력된 인트라 예측 파라미터에 기초해서, 부호화 블록에 대한 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하는 처리를 실시한다.
움직임 보상부(24)는 움직임 보상 예측 프레임 메모리(29)에 의해 저장되어 있는 1 프레임 이상의 참조 화상을 이용해서, 전환 스위치(22)로부터 출력된 인터 예측 파라미터에 기초해서, 부호화 블록에 관한 움직임 보상 예측 처리를 실시함으로써 예측 화상을 생성하는 처리를 실시한다.
한편, 전환 스위치(22), 인트라 예측부(23) 및 움직임 보상부(24)로부터 예측 화상 생성 수단이 구성되어 있다.
역양자화·역변환부(25)는 가변 길이 복호부(21)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용해서, 가변 길이 복호부(21)로부터 출력된 부호화 블록에 따른 압축 데이터를 역양자화하고, 그 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역 DCT(역이산 코사인 변환)나, 역 KL 변환 등의 역변환 처리)를 실시함으로써, 역변환 처리 후의 압축 데이터를 복호 예측 차분 신호(압축 전의 차분 화상을 나타내는 신호)로서 출력하는 처리를 실시한다. 한편, 역양자화·역변환부(26)는 차분 화상 생성 수단을 구성하고 있다.
가산부(26)는 역양자화·역변환부(25)로부터 출력된 복호 예측 차분 신호와 인트라 예측부(23) 또는 움직임 보상부(24)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산함으로써, 복호 화상을 나타내는 복호 화상 신호를 생성하는 처리를 실시한다. 한편, 가산부(26)는 복호 화상 생성 수단을 구성하고 있다.
인트라 예측용 메모리(27)는 인트라 예측부(23)에 의해 다음 회의 인트라 예측 처리에 사용되는 화상으로서, 가산부(26)에 의해 생성된 복호 화상 신호가 나타내는 복호 화상을 저장하는 RAM 등의 기록 매체이다.
루프 필터부(28)는 가산부(26)에 의해 생성된 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하며, 부호화 왜곡 보상 이후의 복호 화상 신호가 나타내는 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(29)에 출력함과 아울러, 그 복호 화상을 재생 화상으로서 외부에 출력하는 처리를 실시한다.
움직임 보상 예측 프레임 메모리(29)는 움직임 보상부(24)에 의해 다음 회의 움직임 보상 예측 처리로 사용되는 참조 화상으로서, 루프 필터부(28)에 의한 필터링 처리 이후의 복호 화상을 저장하는 RAM 등의 기록 매체이다.
도 10에서는, 동영상 복호 장치의 구성 요소인 가변 길이 복호부(21), 전환 스위치(22), 인트라 예측부(23), 움직임 보상부(24), 역양자화·역변환부(25), 가산부(26) 및 루프 필터부(28) 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 또는 원칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동영상 복호 장치가 컴퓨터 등으로 구성되는 경우, 가변 길이 복호부(21), 전환 스위치(22), 인트라 예측부(23), 움직임 보상부(24), 역양자화·역변환부(25), 가산부(26) 및 루프 필터부(28)의 처리 내용을 기술하고 있는 프로그램의 전부 또는 일부를 상기 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 된다.
도 11은 본 발명의 실시예 1에 의한 동영상 복호 장치의 처리 내용을 나타내는 흐름도이다.
이 실시예 1의 동영상 부호화 장치는, 영상 신호의 공간·시간 방향이 국소적인 변화에 적응해서, 영상 신호를 다양한 크기의 영역으로 분할하고 프레임내·프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.
일반적으로 영상 신호는, 공간·시간적으로 신호의 복잡도가 국소적으로 변화되는 특성을 갖고, 공간적으로 보면, 어떤 특정한 영상 프레임 상에서는, 예컨대, 하늘이나 벽 등과 같이, 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 패턴도 있으며 인물이나 미세한 텍스쳐를 포함하는 회화 등에는, 작은 화상 영역 내에서 복잡한 텍스쳐 패턴을 갖는 패턴도 혼재하는 경우가 있다.
시간적으로 봐도, 하늘이나 벽은 국소적으로 시간 방향의 패턴의 변화가 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체·비강체의 운동을 행하는 때문에, 시간적인 변화가 크다.
부호화 처리는, 시간·공간적인 예측에 의해서, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체 부호량을 삭감하는 처리를 행하지만, 예측 처리에 이용하는 예측 파라미터를 가능한 한 큰 화상 신호 영역에 대해 균일하게 적용할 수 있다면, 예측 파라미터의 부호량을 줄일 수 있다.
한편, 시간적·공간적으로 변화가 큰 화상 신호 패턴에 대해, 동일의 예측 파라미터를 큰 화상 영역에 적용하면, 예측 에러가 증가해 버리기 때문에, 예측 차분 신호의 부호량을 삭감할 수 없다.
따라서, 시간적·공간적으로 변화가 큰 영역에서는, 예측 대상의 영역을 작게 해서, 예측 처리에 이용하는 예측 파라미터의 데이터량을 늘리더라도, 예측 차분 신호의 전력·엔트로피를 저감하는 편이 바람직하다.
이러한 영상 신호의 일반적인 성질에 적응하고 있는 부호화 처리를 행하기 때문에, 이 실시예 1의 동영상 부호화 장치에서는, 소정의 최대 블록 사이즈로부터 영상 신호의 영역을 계층적으로 분할하고, 분할 영역마다 예측 처리나 예측 차분의 부호화 처리를 적응화하는 구성을 채용하고 있다.
이 실시예 1의 동영상 부호화 장치가 처리 대상으로 하는 영상 신호는, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색 공간의 컬러 영상 신호 이외에, 흑백 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평·수직 2차원의 디지털 샘플(화소) 열로 구성되는 임의의 영상 신호이다.
각 화소의 계조는 8비트이어도 되고, 10비트, 12비트 등의 계조이어도 된다.
단, 이하의 설명에서는, 특별히 언급하지 않는 한, 입력되는 영상 신호가 YUV 신호인 것으로 한다. 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대해, 서브 샘플된 4:2:0 포맷의 신호인 것으로 한다.
한편, 영상의 각 프레임에 대응하는 처리 데이터 단위를 '픽쳐'라고 하고, 이 실시예 1에서는, '픽쳐'는 순차 주사(프로그레시브 스캔)된 영상 프레임의 신호로 해서 설명한다. 단, 영상 신호가 인터레이스 신호인 경우, '픽쳐'는 영상 프레임을 구성하는 단위인 필드 화상 신호이어도 된다.
다음으로 동작에 대해서 설명한다.
먼저, 도 1의 동영상 부호화 장치의 처리 내용을 설명한다.
우선, 부호화 제어부(1)는, 인트라 예측 처리(프레임내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 크기를 결정함과 아울러, 최대 크기의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(도 2의 스텝 ST1).
부호화 블록의 최대 크기의 결정 방법으로서, 예컨대, 모든 픽쳐에 대해, 입력 화상의 해상도에 따른 크기로 결정하는 방법을 생각할 수 있다.
또한, 입력 화상의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화해 두고, 움직임이 심한 픽쳐에서는 최대 크기를 작은 값으로 결정하며, 움직임이 적은 픽쳐에서는 최대 크기를 큰 값으로 결정하는 방법 등을 생각할 수 있다.
상한의 계층수에 대해서는, 예컨대 입력 화상의 움직임이 심할수록, 계층수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하며, 입력 화상의 움직임이 적으면, 계층수를 억제하도록 설정하는 방법을 생각할 수 있다.
또한, 부호화 제어부(1)는, 이용 가능한 1 이상의 부호화 모드(M 종류의 인트라 부호화 모드, N 종류의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(스텝 ST2). 미리 준비되어 있는 M 종류의 인트라 부호화 모드에 대해서는 후술한다.
단, 후술하는 블록 분할부(2)에 의해 계층적으로 분할된 각각의 부호화 블록이 또한 파티션 단위로 분할되는 경우에는, 각각의 파티션에 대응하는 부호화 모드를 선택하는 것이 가능하다.
이하, 이 실시예 1에서는, 각각의 부호화 블록이 파티션 단위로 더 분할되는 것으로 해서 설명한다.
부호화 제어부(1)에 의한 부호화 모드의 선택 방법은, 공지된 기술이기 때문에 상세한 설명을 생략하지만, 예컨대 이용 가능한 임의의 부호화 모드를 이용해서, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.
또, 부호화 제어부(1)는, 각각의 부호화 블록에 포함되어 있는 파티션마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때 이용되는 인트라 예측 파라미터 또는 인터 예측 파라미터를 결정한다.
부호화 제어부(1)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 차분 부호화 파라미터를 변환·양자화부(7), 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력한다. 또한, 예측 차분 부호화 파라미터를 필요에 따라 인트라 예측부(4)에 출력한다.
블록 분할부(2)는, 입력 화상을 나타내는 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 크기의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 이를 때까지, 그 부호화 블록을 계층적으로 분할한다. 또한, 그 부호화 블록을 파티션 단위로 분할한다(스텝 ST3).
여기서, 도 3은 최대 크기의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 모양을 나타내는 설명도이다.
도 3의 예에서는, 최대 크기의 부호화 블록은, 제 0 계층의 부호화 블록 B0이고, 휘도 성분으로 (L0, M0)의 크기를 갖고 있다.
또한, 도 3의 예에서는, 최대 크기의 부호화 블록 B0를 출발점으로 해서, 4지 트리 구조로, 별도 결정되는 소정의 깊이까지 계층적으로 분할을 행함으로써, 부호화 블록 Bn을 얻고 있다.
깊이 n에서는, 부호화 블록 Bn은 크기(Ln, Mn)의 화상 영역이다.
단, Ln과 Mn은 같아도 되고, 달라도 되지만, 도 3의 예에서는 Ln=Mn인 케이스를 나타내고 있다.
이후, 부호화 블록 Bn의 크기는, 부호화 블록 Bn의 휘도 성분에 있어서의 크기 (Ln, Mn)로 정의한다.
블록 분할부(2)에서는 4지 트리 분할을 행하는 때문에, 항상(Ln +1, Mn + 1)=(Ln/2, Mn/2)이 성립된다.
단, RGB 신호 등과 같이, 모든 색 성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색 성분의 크기가 (Ln, Mn)이 되지만, 4:2:0 포맷을 취급하는 경우에는, 대응하는 색차 성분의 부호화 블록의 크기는 (Ln/2, Mn/2)이다.
이후, 제 n 계층의 부호화 블록 Bn에서 선택할 수 있는 부호화 모드를 m(Bn)라고 표기한다.
복수의 색 성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)는, 각 색 성분마다, 각각 개별의 모드를 이용하도록 구성어도 되지만, 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 해서 설명을 행한다.
부호화 모드 m(Bn)에는, 하나 내지 복수의 인트라 부호화 모드(총칭해서 'INTRA'), 하나 내지 복수의 인터 부호화 모드(총칭해서 'INTER')가 있고, 부호화 제어부(1)는, 상술한 바와 같이, 상기 픽쳐에서 이용 가능한 모든 부호화 모드 내지는, 그 서브셋 중에서, 부호화 블록 Bn에 대해 가장 부호화 효율이 좋은 부호화 모드를 선택한다.
부호화 블록 Bn은, 도 3에 나타낸 바와 같이, 또한 하나 내지 복수의 예측 처리 단위(파티션)로 분할된다.
이후, 부호화 블록 Bn에 속하는 파티션을 Pi n(i:제 n 계층에서의 파티션 번호)라고 표기한다. 도 8은 부호화 블록 Bn에 속하는 파티션 Pi n을 나타내는 설명도이다.
부호화 블록 Bn에 속하는 파티션 Pi n의 분할이 어떻게 이루어져 있는지는 부호화 모드 m(Bn) 중에 정보로서 포함된다.
파티션 Pi n은, 전체 부호화 모드 m(Bn)에 따라 예측 처리가 행해지지만, 파티션 Pi n마다, 개별의 예측 파라미터를 선택할 수 있다.
부호화 제어부(1)는, 최대 크기의 부호화 블록에 대해, 예컨대 도 4에 나타낸 바와 같은 블록 분할 상태를 생성하여, 부호화 블록 Bn을 특정한다.
도 4(a)의 사선 부분은 분할 후의 파티션의 분포를 나타내고, 또한 도 4(b)은 계층 분할 후의 파티션에 부호화 모드 m(Bn)가 할당되는 상황을 4지 트리 그래프로 나타내고 있다.
도 4(b)에 있어서, □로 둘러싸여 있는 노드가, 부호화 모드 m(Bn)가 할당된 노드(부호화 블록 Bn)를 나타내고 있다.
전환 스위치(3)는, 부호화 제어부(1)가 인트라 부호화 모드를 선택하면 (m(Bn)∈INTRA), 블록 분할부(2)에 의해 분할된 부호화 블록 Bn에 속하는 파티션 Pi n을 인트라 예측부(4)에 출력하고, 부호화 제어부(1)가 인터 부호화 모드를 선택하면(m(Bn)∈INTER), 그 부호화 블록 Bn에 속하는 파티션 Pi n을 움직임 보상 예측부(5)에 출력한다.
인트라 예측부(4)는, 전환 스위치(3)로부터 부호화 블록 Bn에 속하는 파티션 Pi n을 받으면(스텝 ST4), 구체적인 처리 내용은 후술하지만, 부호화 제어부(1)에 의해 결정된 인트라 예측 파라미터에 기초해서, 각 파티션 Pi n에 대한 인트라 예측 처리를 실시함으로써 인트라 예측 화상(Pi n)을 생성한다(스텝 ST5).
이하, 본 명세서에서는, Pi n은 파티션을 나타내고, (Pi n)는 파티션 Pi n의 예측 화상을 나타내는 것으로 한다.
인트라 예측 화상(Pi n)의 생성에 사용되는 인트라 예측 파라미터는, 동영상 복호 장치측에서도, 완전히 같은 인트라 예측 화상(Pi n)을 생성할 필요가 있기 때문에, 가변 길이 부호화부(13)에 의해서 비트 스트림에 다중화된다.
한편, 인트라 예측 파라미터로서 선택할 수 있는 인트라 예측 방향 수는, 처리 대상이 되는 블록의 크기에 따라 다르도록 구성해도 된다.
크기가 큰 파티션에서는, 인트라 예측의 효율이 저하되기 때문에, 선택할 수 있는 인트라 예측 방향 수를 적게 하고, 크기가 작은 파티션에서는 선택할 수 있는 인트라 예측 방향수를 많게 하도록 구성할 수 있다.
예컨대, 4×4 화소 파티션이나 8×8 화소 파티션에서는 34 방향, 16×16 화소 파티션에서는 17 방향, 32×32 화소 파티션에서는 9 방향 등과 같이 구성해도 된다.
움직임 보상 예측부(5)는, 전환 스위치(3)로부터 부호화 블록 Bn에 속하는 파티션 Pi n을 받으면(스텝 ST4), 부호화 제어부(1)에 의해 결정된 인터 예측 파라미터에 기초해서, 각 파티션 Pi n에 대한 인터 예측 처리를 실시함으로써 인터 예측 화상(Pi n)을 생성한다(스텝 ST6).
즉, 움직임 보상 예측부(5)는, 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 1 프레임 이상의 참조 화상을 이용해서, 부호화 제어부(1)로부터 출력된 인터 예측 파라미터에 기초해서, 그 부호화 블록에 대한 움직임 보상 예측 처리를 실시함으로써, 인터 예측 화상(Pi n)을 생성한다.
인터 예측 화상(Pi n)의 생성에 이용되는 인터 예측 파라미터는, 동영상 복호 장치측에서도, 완전히 같은 인터 예측 화상(Pi n)을 생성할 필요가 있기 때문에, 가변 길이 부호화부(13)에 의해서 비트 스트림에 다중화된다.
감산부(6)는, 인트라 예측부(4) 또는 움직임 보상 예측부(5)로부터 예측 화상(Pi n)을 받으면, 블록 분할부(2)에 의해 분할된 부호화 블록 Bn에 속하는 파티션 Pi n에서, 그 예측 화상(Pi n)을 감산함으로써, 그 차분 화상을 나타내는 예측 차분 신호 ei n을 생성한다(스텝 ST7).
변환·양자화부(7)는, 감산부(6)가 예측 차분 신호 ei n을 생성하면, 부호화 제어부(1)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 그 예측 차분 신호 ei n에 대한 변환 처리(예컨대, DCT(이산 코사인 변환)이나, 미리 특정한 학습 계열에 대하여 기저 설계가 하실 수 있고 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하고, 그 예측 차분 신호 ei n의 변환 계수를 양자화 하는 것으로, 양자화후의 변환 계수인 차분 화상의 압축 데이터를 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(스텝 ST8).
역양자화·역변환부(8)는, 변환·양자화부(7)로부터 압축 데이터를 받으면, 부호화 제어부(1)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 압축 데이터를 역양자화하여, 그 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역 DCT(역이산 코사인 변환)이나, 역 KL 변환 등의 역변환 처리)를 실시함으로써, 역변환 처리 후의 압축 데이터를 국소 복호 예측 차분 신호로서 가산부(9)에 출력한다(스텝 ST9).
가산부(9)는, 역양자화·역변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(Pi n)을 나타내는 예측 신호를 가산함으로써, 국소 복호 파티션 화상 내지는 그 집합으로서의 국소 복호 복호화 블록 화상(이하, '국소 복호 화상'이라고 함)을 나타내는 국소 복호 화상 신호를 생성하고, 그 국소 복호 화상 신호를 루프 필터부(11)에 출력한다(스텝 ST10).
또한, 인트라 예측용 메모리(10)에는, 인트라 예측에 이용하기 위해서, 상기 국소 복호 화상이 저장된다.
루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상 신호를 받으면, 그 국소 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하여, 부호화 왜곡 보상 후의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(12)에 저장한다(스텝 ST11).
한편, 루프 필터부(11)에 의한 필터링 처리는, 입력되는 국소 복호 화상 신호의 최대 부호화 블록 또는 개개의 부호화 블록 단위로 행해져도 되고, 1 화면분의 마크로 블록에 상당하는 국소 복호 화상 신호가 입력된 후에 1 화면분 한꺼번에 행해도 된다.
스텝 ST4~ST10의 처리는, 블록 분할부(2)에 의해 분할된 모든 부호화 블록 Bn에 속하는 파티션 Pi n에 대한 처리가 완료될 때까지 반복 실시된다(스텝 ST12).
가변 길이 부호화부(13)는, 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드 및 예측 차분 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터를 가변 길이 부호화하여, 그 압축 데이터, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터가 다중화되어 있는 비트 스트림을 생성한다(스텝 ST13).
다음으로 인트라 예측부(4)의 처리 내용을 구체적으로 설명한다.
도 5는 부호화 블록 Bn에 속하는 각 파티션 Pi n에서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 5에서는, 인트라 예측 모드에 대응하는 예측 방향 벡터를 나타내고 있고, 선택 가능한 인트라 예측 모드의 개수가 늘어남에 따라서, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계되어 있다.
여기서는, 인트라 예측부(4)가, 파티션 Pi n의 휘도 신호에 대한 인트라 예측 파라미터(인트라 예측 모드)에 기초해서, 그 휘도 신호의 인트라 예측 신호를 생성하는 인트라 처리에 대해서 설명한다.
파티션 Pi n의 크기를 li n×mi n 화소로 한다.
도 6은 li n=mi n=4인 경우에 있어서, 파티션 Pi n 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 6에서는, 파티션 Pi n에 인접하는 부호화를 마친 위쪽의 파티션의 화소((2×li n+1)개의 화소)와, 왼쪽 파티션의 화소((2×mi n)개의 화소)를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 6에 나타내는 화소보다 많아도 되고 적어도 된다.
또한, 도 6에서는, 인접하는 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열분의 화소, 또는 그 이상의 화소를 예측에 이용해도 된다.
인트라 예측부(4)는, 파티션 Pi n에 대한 인트라 예측 모드의 인덱스값이 2(평균값 예측)인 경우, 위쪽의 파티션의 인접 화소와 왼쪽 파티션의 인접 화소의 평균값을 파티션 Pi n 내의 화소의 예측값으로서 예측 화상을 생성한다.
인트라 예측 모드의 인덱스값이 2(평균값 예측) 이외인 경우에는, 인덱스값이 나타내는 예측 방향 벡터 vp=(dx, dy)에 기초해서, 파티션 Pi n 내의 화소의 예측값을 생성한다.
예측값을 생성하는 화소(예측 대상 화소)의 파티션 Pi n 내의 상대 좌표(파티션의 왼쪽위 화소를 원점으로 함)를 (x, y)라고 하면, 예측에 이용하는 참조 화소의 위치는, 하기에 나타내는 L과, 인접 화소의 교점이 된다.
Figure pct00001
단, k는 양의 스칼라값
참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측값으로 한다. 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측값으로 한다.
도 6의 예에서는, 참조 화소가 정수 화소 위치에 없기 때문에, 참조 화소에 인접하는 2 화소의 평균값을 예측값으로 하고 있다.
한편, 인접하는 2 화소뿐만 아니라, 인접하는 2 화소 이상의 화소로부터 보간 화소를 생성해서 예측값으로 해도 된다.
인트라 예측부(4)는, 마찬가지의 순서로, 파티션 Pi n 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하고, 그 생성한 인트라 예측 화상(Pi n)을 출력한다. 인트라 예측 화상(Pi n)의 생성에 이용하고 있는 인트라 예측 파라미터는, 상술한 바와 같이, 비트 스트림에 다중화하기 위해서 가변 길이 부호화부(13)에 출력된다.
파티션 Pi n 내의 휘도 신호에 관한 인트라 예측 화상(Pi n)은, 상기한 바와 같이 생성되지만, 도 7에 나타낸 바와 같이, 파티션 Pj n -1(j:파티션 Pi n의 제 n-1 계층에서의 상위 파티션의 파티션 번호) 내의 휘도 신호에 대해서는, 마찬가지로 해서, 인트라 예측 화상(Pj n -1)이 생성된다.
여기서, 도 6에 나타낸 바와 같이, 파티션 Pi n 내의 휘도 신호에 대한 인트라 예측 화상(Pi n)으로서, 파티션 Pi n에 인접하는 참조 화소의 인접 화소로부터 생성되는 것에 더해서, 상위 파티션 Pj n -1에 대한 인트라 예측 화상(Pj n -1) 중, 파티션 Pi n에 해당하는 부분만을 추출한 것도 인트라 예측 화상(Pi n)의 후보로서 선택할 수 있도록 구성한다.
즉, 도 9에 나타낸 바와 같이, 인트라 예측 모드로서, 평균값 예측도 포함시켜서 9 방향의 인트라 예측 모드를 구비한 경우, 상위 파티션이 존재하면, 9개의 예측 모드가 더 추가된다.
인트라 예측에서는, 화면 내의 미지의 영역을 기지의 영역으로부터 예측하는 수단이지만, 화상 신호는, 공간 방향에 대해서는 국소적인 변화가 크기 때문에, 다른 성질의 예측 화상 중에서 선택함으로써 예측 효율을 향상시킬 수 있다.
따라서, 상술한 바와 같이 구성하여, 인트라 예측 모드의 방향 수를 늘리는 경우, 인트라 예측 모드를 늘리는 경우에 비해서, 생성되는 예측 화상의 상호 유사도가 저하되어, 베리에이션이 풍부하던 예측 화상 중에서 선택할 수 있기 때문에, 인트라 예측 모드 수를 증가시킴으로써 부호화 효율 개선의 정도를 증가시키는 것이 가능하다.
또한, 본 발명의 수법에서는, 상위 파티션의 예측 화상의 일부분을 추출함으로써, 하위 파티션의 예측 화상을 생성할 수 있기 때문에, 예측 방향을 증가시키는 것에 의해 예측 모드를 증가시키는 경우에 비해서, 연산량을 삭감할 수 있다는 효과도 있다.
파티션 Pi n의 색차 신호에 대해서도, 휘도 신호와 같은 순서로, 인트라 예측 파라미터(인트라 예측 모드)에 기초한 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.
가변 길이 부호화부(13)는, 상술한 바와 같이, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터를 가변 길이 부호화하고, 그 인트라 예측 파라미터의 부호어를 비트 스트림에 다중화하지만, 인트라 예측 파라미터를 부호화할 때, 복수의 방향성 예측의 예측 방향 벡터 중에서, 대표적인 예측 방향 벡터(예측 방향 대표 벡터)를 선택하여, 인트라 예측 파라미터를 예측 방향 대표 벡터의 인덱스(예측 방향 대표 인덱스)와 예측 방향 대표 벡터로부터의 차분을 나타내는 인덱스(예측 방향 차분 인덱스)로 나타내고, 각각의 인덱스마다, 확률 모델에 따른 산술 부호화 등의 하프만 부호화를 행함으로써 부호량을 삭감하여 부호화하도록 구성해도 된다.
다음으로 도 10의 동영상 부호화 장치의 처리 내용을 설명한다.
가변 길이 복호부(21)는, 도 1의 동영상 부호화 장치에 의해 생성된 비트 스트림을 입력하면, 그 비트 스트림에 대한 가변 길이 복호 처리를 실시하고(도 11의 스텝 ST21), 1 프레임 이상의 픽쳐로 구성되는 시퀀스 단위 또는 픽쳐 단위로 프레임 사이즈를 복호 한다.
가변 길이 복호부(21)는, 프레임 사이즈를 복호하면, 도 1의 동영상 부호화 장치에서 결정된 최대 부호화 블록 사이즈(인트라 예측 처리 또는 움직임 보상 예측 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 크기)와, 분할 계층수의 상한(최대 크기의 부호화 블록으로 계층적으로 분할되어 있는 부호화 블록의 계층수)를 동영상 부호화 장치와 같은 순서로 결정한다(스텝 ST22).
예컨대, 부호화 블록의 최대 크기가, 모든 픽쳐에 대해, 입력 화상의 해상도에 따른 크기로 결정되어 있는 경우에는, 먼저 복호 하고 있는 프레임 사이즈에 따라서, 도 1의 동영상 부호화 장치와 같은 순서로, 부호화 블록의 최대 크기를 결정한다.
동영상 부호화 장치에 의해서, 부호화 블록의 최대 크기 및 부호화 블록의 계층수가 비트 스트림에 다중화되어 있는 경우에는, 그 비트 스트림으로부터 부호화 블록의 최대 크기 및 부호화 블록의 계층수를 복호한다.
가변 길이 복호부(21)는, 부호화 블록의 최대 크기 및 부호화 블록의 계층수를 결정하면, 최대 부호화 블록을 출발점으로 해서, 각 부호화 블록의 계층적인 분할 상태를 파악함으로써, 비트 스트림에 다중화되어 있는 부호화 데이터 중에서, 각 부호화 블록에 따른 부호화 데이터를 특정하고, 그 부호화 데이터로부터 각 부호화 블록에 할당되어 있는 부호화 모드를 복호한다.
그리고, 가변 길이 복호부(21)는, 그 부호화 모드에 포함되어 있는 부호화 블록 Bn에 속하는 파티션 Pi n의 분할 정보를 참조하여, 비트 스트림에 다중화되어 있는 부호화 데이터 중에서, 각 파티션 Pi n에 따른 부호화 데이터를 특정한다(스텝 ST23).
가변 길이 복호부(21)는, 각 파티션 Pi n에 따른 부호화 데이터로부터 압축 데이터, 예측 차분 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터를 가변 길이 복호하고, 그 압축 데이터 및 예측 차분 부호화 파라미터를 역양자화·역변환부(25)에 출력함과 아울러, 부호화 모드 및 인트라 예측 파라미터/인터 예측 파라미터를 전환 스위치(22)에 출력한다(스텝 ST24).
예컨대, 예측 방향 대표 인덱스와 예측 방향 차분 인덱스가 비트 스트림에 다중화되어 있는 경우에는, 그 예측 방향 대표 인덱스와 예측 방향 차분 인덱스를 각각의 확률 모델에 따른 산술 복호 등에 의해 엔트로피 복호하고, 그 예측 방향 대표 인덱스와 예측 방향 차분 인덱스로부터 인트라 예측 파라미터를 특정하도록 한다.
이로써, 동영상 부호화 장치측에서, 인트라 예측 파라미터의 부호량을 삭감하고 있는 경우에도, 인트라 예측 파라미터를 정확하게 복호할 수 있다.
전환 스위치(22)는, 가변 길이 복호부(21)로부터 출력된 부호화 블록 Bn에 속하는 파티션 Pi n의 부호화 모드가 인트라 부호화 모드인 경우에는, 가변 길이 복호부(21)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(23)에 출력하고, 그 부호화 모드가 인터 부호화 모드인 경우에는, 가변 길이 복호부(21)로부터 출력된 인터 예측 파라미터를 움직임 보상부(24)에 출력한다.
인트라 예측부(23)는, 전환 스위치(22)로부터 인트라 예측 파라미터를 받으면(스텝 ST25), 도 1의 인트라 예측부(4)와 마찬가지로, 그 인트라 예측 파라미터에 기초해서, 각 파티션 Pi n에 대한 인트라 예측 처리를 실시함으로써 인트라 예측 화상(Pi n)을 생성한다(스텝 ST26).
즉, 인트라 예측부(23)는, 인트라 예측용 메모리(27)에 의해 저장되어 있는 파티션 Pi n에 인접하고 있는 복호를 마친 화소, 또는, 그 파티션 Pi n의 상위 계층의 파티션 Pj n -1에 인접하고 있는 복호를 마친 화소를 이용해서, 그 인트라 예측 파라미터에 기초하는 파티션 Pi n에 대한 프레임내 예측 처리를 실시함으로써 예측 화상(Pi n)을 생성한다.
움직임 보상부(24)는, 전환 스위치(22)로부터 인터 예측 파라미터를 받으면(스텝 ST25), 도 1의 움직임 보상 예측부(5)와 마찬가지로, 그 인터 예측 파라미터에 기초해서, 각 파티션 Pi n에 대한 인터 예측 처리를 실시함으로써 인터 예측 화상(Pi n)을 생성한다(스텝 ST27).
즉, 움직임 보상부(24)는, 움직임 보상 예측 프레임 메모리(29)에 의해 저장되어 있는 1 프레임 이상의 참조 화상을 이용하여, 그 인터 예측 파라미터에 기초하는 파티션 Pi n에 대한 움직임 보상 예측 처리를 실시함으로써, 인터 예측 화상(Pi n)을 생성한다.
역양자화·역변환부(25)는, 가변 길이 복호부(21)으로부터 예측 차분 부호화 파라미터를 받으면, 이 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(21)로부터 출력된 부호화 블록에 따른 압축 데이터를 역양자화하고, 이 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역 DCT(역이산 코사인 변환)이나, 역 KL 변환 등의 역변환 처리)를 실시함으로써, 역변환 처리 후의 압축 데이터를 복호 예측 차분 신호(압축 전의 차분 화상을 나타내는 신호)로서 가산부(26)에 출력한다(스텝 ST28).
가산부(26)는, 역양자화·역변환부(25)로부터 출력된 복호 예측 차분 신호와, 인트라 예측부(23) 또는 움직임 보상부(24)에 의해 생성된 예측 화상(Pi n)을 나타내는 예측 신호를 가산함으로써, 복호 파티션 화상 내지는 그 집합으로써의 복호 화상을 나타내는 복호 화상 신호를 생성하고, 이 복호 화상 신호를 루프 필터부(28)에 출력한다(스텝 ST29).
또한, 인트라 예측용 메모리(27)에는, 인트라 예측에 이용하기 위해서, 해당 복호 화상이 저장된다.
루프 필터부(28)는, 가산부(26)로부터 복호 화상 신호를 받으면, 그 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 복호 화상 신호가 나타내는 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(29)에 저장함과 아울러, 그 복호 화상을 재생 화상으로서 출력한다(스텝 ST30).
한편, 루프 필터부(28)에 의한 필터링 처리는, 입력되는 복호 화상 신호의 최대 부호화 블록 또는 개개의 부호화 블록 단위로 행해져도 되고, 1 화면분의 마크로 블록에 상당하는 복호 화상 신호가 입력된 후에 1 화면분 한꺼번에 행해도 된다.
스텝 ST23~ST29의 처리는, 모든 부호화 블록 Bn에 속하는 파티션 Pi n에 대한 처리가 완료될 때까지 반복 실시된다(스텝 ST31).
이상으로 분명한 바와 같이, 이 실시예 1에 의하면, 동영상 부호화 장치의 인트라 예측부(4)가, 부호화 제어부(1)에 의해 선택된 부호화 모드가 인트라 예측 모드인 경우에는, 블록 분할부(2)에 의해 분할된 파티션 Pi n에 인접하고 있는 화소, 또는 그 파티션 Pi n의 상위 계층의 파티션 Pj n -1에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상(Pi n)을 생성하도록 구성했기 때문에, 적은 연산량으로 부호화 효율의 개선 정도를 높일 수 있다는 효과를 낸다.
또한, 이 실시예 1에 의하면, 동영상 복호 장치의 인트라 예측부(23)가, 가변 길이 복호부(21)에 의해 가변 길이 복호된 부호화 모드가 인트라 예측 모드인 경우, 인트라 예측용 메모리(27)에 의해 저장되어 있는 파티션 Pi n에 인접하고 있는 복호를 마친 화소, 또는 그 파티션 Pi n의 상위 계층의 파티션 Pj n -1에 인접하고 있는 복호를 마친 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상(Pi n)을 생성하도록 구성했기 때문에, 부호화 효율의 개선이 도모되고 있는 부호화 데이터로부터 정확하게 동영상을 복호할 수 있다는 효과를 낸다.
(실시예 2)
상기 실시예 1에서는, 동영상 부호화 장치의 가변 길이 부호화부(13)가, 부호화 대상인 파티션에 있어서의 인트라 예측 파라미터를 가변 길이 부호화하는 것을 나타내었지만, 부호화 대상인 파티션에 있어서의 인트라 예측 파라미터가, 그 파티션과 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터와 같은지 여부를 나타내는 인트라 머지(merge) 플래그를 가변 길이 부호화함과 아울러, 그 인트라 예측 파라미터가 같으면, 그 인접하고 있는 파티션을 특정하는 인트라 머지 디렉션을 가변 길이 부호화하고, 그 인트라 예측 파라미터가 같지 않으면, 부호화 대상인 파티션에 있어서의 인트라 예측 파라미터를 가변 길이 부호화하도록 해도 된다.
또한, 상기 실시예 1에서는, 동영상 복호 장치의 가변 길이 복호부(21)가, 복호 대상 파티션에 따른 부호화 데이터로부터, 상기 파티션에 있어서의 인트라 예측 파라미터를 가변 길이 복호하는 것을 나타내었지만, 복호 대상인 파티션에 따른 부호화 데이터로부터, 상기 파티션과 인접 파티션에 있어서의 인트라 예측 파라미터가 같은지 여부를 나타내는 인트라 머지 플래그를 가변 길이 복호함과 아울러, 그 인트라 머지 플래그가, 상기 파티션과 인접 파티션에 있어서의 인트라 예측 파라미터가 같다는 취지를 나타내는 경우에는, 그 부호화 데이터로부터 인접 파티션을 특정하는 인트라 머지 디렉션을 가변 길이 복호 하고, 그 인트라 머지 플래그가, 상기 파티션과 인접 파티션에 있어서의 인트라 예측 파라미터가 같지 않다는 취지를 나타내는 경우에는, 그 부호화 데이터로부터 상기 파티션에 있어서의 인트라 예측 파라미터를 가변 길이 복호하도록 해도 된다.
동영상 부호화 장치 및 동영상 복호 장치에 있어서, 인트라 예측 파라미터의 부호화 및 복호 이외의 부분은, 상기 실시예 1과 마찬가지기 때문에, 이 실시예 2에서는, 인트라 예측 파라미터의 부호화 및 복호에 대해서만 설명한다.
이 실시예 2에 있어서의 동영상 부호화 장치의 가변 길이 부호화부(13)는, 도 12(a)에 나타낸 바와 같이, 부호화 대상(처리 대상)의 파티션 Pi n에서의 인트라 예측 파라미터를 가변 길이 부호화할 때, 그 인트라 예측 파라미터가, 파티션 Pi n과 인접하고 있는 파티션의 인트라 예측 파라미터와 같은지 여부를 나타내는 인트라 머지 플래그를 가변 길이 부호화한다.
또한, 가변 길이 부호화부(13)는, 그 인트라 머지 플래그가, 같은 인트라 예측 파라미터라는 취지를 나타내는 경우, 인접하고 있는 파티션 중에서, 어떤 파티션의 인트라 예측 파라미터와 같은지를 나타내는 인트라 머지 디렉션을 가변 길이 부호화한다.
한편, 그 인트라 머지 플래그가, 같은 인트라 예측 파라미터가 아니라는 취지를 나타내는 경우, 도 12(b)에 나타낸 바와 같이, 부호화 대상의 파티션 Pi n에서의 인트라 예측 파라미터를 가변 길이 부호화한다(이 경우, 상기 실시예 1과 같은 부호화가 된다).
예컨대, 도 13(a)에 나타낸 바와 같이, 인접 파티션에서, 왼쪽 파티션과, 위쪽 파티션을 후보로 들 수 있는 경우에는, 인트라 머지 디렉션으로서는, 왼쪽 파티션과 같은지 위쪽 파티션과 같은지를 나타내는 플래그가 된다.
도 13(b)에 나타낸 바와 같이, 인접 파티션으로서, 왼쪽 파티션과, 왼쪽위 파티션과, 위쪽 파티션을 후보로 들고, 3개의 후보 중 어느 것과 같은지를 나타내는 플래그로서 구성할 수도 있다.
당연하게, 대상이 되는 인접 파티션끼리의 인트라 예측 파라미터가 모두 같은 경우에는, 인트라 머지 디렉션을 부호화할 필요가 없다. 이 때문에, 이러한 경우에는, 도 12(d)에 나타낸 바와 같이, 인트라 머지 디렉션을 부호화하지 않도록 구성해도 된다.
또한, 위쪽 또는 왼쪽에 인접하는 파티션이 복수 있는 경우에는, 예컨대 왼쪽위 방향으로부터 멀어지는 방향으로 파티션을 스캔하고, 인트라 예측 모드로 부호화되어 있는 최초의 파티션을 각각 위쪽 또는 왼쪽의 인접 파티션으로 하도록 구성할 수 있다.
또한, 인접 파티션에 있어서, 선택 가능한 인트라 예측 방향 수 NumN와, 부호화 대상의 파티션에 있어서, 선택 가능한 인트라 예측 방향수 NumC가 같지 않은 경우에는, 다음과 같이 구성할 수 있다.
즉, NumN<NumC인 경우, 부호화 대상의 파티션 Pi n의 복수의 방향성 예측의 예측 방향 벡터 중에서, 대표적인 예측 방향 벡터를 인접 파티션에 있어서의 선택 가능한 인트라 예측 방향 중 하나와 대응시킴으로써, 인트라 예측 파라미터가 일치하는지 여부를 판단한다.
이 경우, 도 12(c)에 나타낸 바와 같이, 인트라 예측 파라미터가 일치한다고 판단된 경우에는, 대응시킨 복수의 인트라 예측 방향 중 어느 것이 부호화 대상인 파티션 Pi n에서 선택될지를 나타내는 인트라 예측 방향 잔차 파라미터를 더 부호화한다.
한편, NumN>NumC인 경우, 인접 파티션의 복수의 방향성 예측의 예측 방향 벡터 중에서, 대표적인 예측 방향 벡터를 부호화 대상인 파티션 Pi n에서의 선택 가능한 인트라 예측 방향 중 하나와 대응시킴으로써, 인트라 예측 파라미터가 일치하는지 여부를 판단한다.
이 경우에는, 인트라 예측 방향 잔차 파라미터를 부호화할 필요가 없다.
인트라 예측 모드는, 부호화 대상 화상의 텍스쳐에 의존한 방향성을 갖는다고 생각되기 때문에, 국소적으로는 유사한 예측 모드가 나오기 쉽다. 따라서, 인트라 머지 플래그와 인트라 머지 디렉션을 이용해서, 인트라 예측 파라미터를 부호화함으로써 보다 적은 정보량으로 인트라 예측 파라미터를 부호화할 수 있다.
이 실시예 2에 있어서의 동영상 복호 장치의 가변 길이 복호부(21)는, 도 12(a)에 나타낸 바와 같이, 복호 대상(처리 대상)인 파티션 Pi n에서의 인트라 예측 파라미터를 가변 길이 복호할 때, 그 인트라 예측 파라미터가, 파티션 Pi n과 인접하고 있는 파티션의 인트라 예측 파라미터와 같은지 여부를 나타내는 인트라 머지 플래그를 가변 길이 복호한다.
또한, 가변 길이 복호부(21)는, 그 인트라 머지 플래그가, 같은 인트라 예측 파라미터라는 취지를 나타내는 경우, 인접하고 있는 파티션 중에서, 어떤 파티션의 인트라 예측 파라미터와 같은지를 나타내는 인트라 머지 디렉션을 가변 길이 복호 한다.
한편, 그 인트라 머지 플래그가, 같은 인트라 예측 파라미터가 아니라는 취지를 나타내는 경우, 도 12(b)에 나타낸 바와 같이, 복호 대상인 파티션 Pi n에서의 인트라 예측 파라미터를 가변 길이 복호 한다(이 경우, 상기 실시예 1과 마찬가지의 복호가 된다).
예컨대, 도 13(a)에 나타낸 바와 같이, 인접 파티션으로서, 왼쪽의 파티션과, 위쪽의 파티션을 후보로 들 수 있는 경우, 인트라 머지 디렉션으로서는, 왼쪽의 파티션과 같은지, 위쪽의 파티션과 같은지를 나타내는 플래그가 된다.
또는, 도 13(b)에 나타낸 바와 같이, 인접 파티션으로서, 왼쪽의 파티션과, 왼쪽위 파티션과, 위쪽의 파티션을 후보로 들 수 있는 경우에는, 3개의 후보 중 어느 것과 같은지를 나타내는 플래그가 된다.
당연히, 대상이 되는 인접 파티션끼리의 인트라 예측 파라미터가 모두 같은 경우에는, 인트라 머지 디렉션을 복호할 필요가 없다. 이 때문에, 이러한 경우에는, 도 12(d)에 나타낸 바와 같이, 인트라 머지 디렉션을 복호하지 않도록 해도 된다.
또한, 위쪽 또는 왼쪽에 인접하는 파티션이 복수 있는 경우에는, 예컨대 왼쪽위 방향으로부터 멀어지는 방향으로 파티션을 스캔하여, 인트라 예측 모드로 부호화되어 있는 최초의 파티션을 각각 위쪽 또는 왼쪽의 인접 파티션으로 하도록 해도 된다.
또한, 인접 파티션에 있어서, 선택 가능한 인트라 예측 방향 수 NumN과, 복호 대상인 파티션에 있어서, 선택 가능한 인트라 예측 방향 수 NumC가 같지 않은 경우에는, 다음과 같이 구성할 수 있다.
즉, NumN<NumC인 경우, 복호 대상인 파티션 Pi n의 복수의 방향성 예측의 예측 방향 벡터 중에서, 대표적인 예측 방향 벡터를 인접 파티션에 있어서의 선택 가능한 인트라 예측 방향 중 하나와 대응시킴으로써, 인트라 예측 파라미터가 일치하고 있는지 여부를 판단한다.
이 경우, 도 12(c)에 나타낸 바와 같이, 인트라 예측 파라미터가 일치한다고 판단된 경우에는, 또한 대응시킨 복수의 인트라 예측 방향중 어느 것이 복호 대상인 파티션 Pi n에서 선택될지를 나타내는 인트라 예측 방향 잔차 파라미터를 부호화한다.
한편, NumN>NumC인 경우, 인접 파티션의 복수의 방향성 예측의 예측 방향 벡터 중에서, 대표적인 예측 방향 벡터를 복호 대상인 파티션 Pi n에서의 선택 가능한 인트라 예측 방향 중 하나와 대응시킴으로써, 인트라 예측 파라미터가 일치하고 있는지 여부를 판단한다.
이 경우에는, 인트라 예측 방향 잔차 파라미터를 복호할 필요가 없다.
이와 같이 구성하면, 이 실시예 2의 동영상 부호화 장치에서 부호화된 인트라 예측 파라미터를 적합하게 복호할 수 있다.
당연히, 본 실시예 2에 의한 가변 길이 부호화·복호 수단은, 상기 처리 대상 파티션이나 그 인접하는 파티션이 본 실시예 1에서 설명한 상위 계층의 인트라 예측 화상의 일부를 추출하는 예측 모드가 아닌 경우에도 적용할 수 있다.
한편, 본원 발명은 그 발명의 범위 내에서, 각 실시예의 자유로운 조합, 또는 각 실시예의 임의의 구성 요소의 변형, 또는 각 실시예에 있어서 임의의 구성 요소의 생략이 가능하다.
(산업상의 이용 가능성)
이상과 같이, 본 발명에 따른 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법은, 적은 연산량이나 부호량으로 방향성 예측의 모드 수 증가에 의한 부호화 효율의 개선 정도를 높일 수 있도록 했기 때문에 동영상을 고효율로 부호화하는 동영상 부호화 장치 및 동영상 부호화 방법과, 고효율로 부호화되어 있는 동영상을 복호하는 동영상 복호 장치 및 동영상 복호 방법 등에 이용하는 데 적합하다.
1 : 부호화 제어부(부호화 제어 수단)
2 : 블록 분할부(블록 분할 수단)
3 : 전환 스위치(예측 화상 생성 수단)
4 : 인트라 예측부(예측 화상 생성 수단)
5 : 움직임 보상 예측부(예측 화상 생성 수단)
6 : 감산부(차분 화상 생성 수단)
7 : 변환·양자화부(화상 압축 수단)
8 : 역양자화·역변환부 9 : 가산부
10 : 인트라 예측용 메모리 11 : 루프 필터부
12 : 움직임 보상 예측 프레임 메모리
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
21 : 가변 길이 복호부(가변 길이 복호 수단)
22 : 전환 스위치(예측 화상 생성 수단)
23 : 인트라 예측부(예측 화상 생성 수단)
24 : 움직임 보상부(예측 화상 생성 수단)
25 : 역양자화·역변환부(차분 화상 생성 수단)
26 : 가산부(복호 화상 생성 수단)
27 : 인트라 예측용 메모리 28 : 루프 필터부
29 : 움직임 보상 예측 프레임 메모리

Claims (9)

  1. 예측 처리의 처리 단위가 되는 부호화 블록의 최대 크기를 결정함과 아울러, 최대 크기의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하고, 이용 가능한 1 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택하는 부호화 제어 수단과,
    입력 화상을, 상기 부호화 제어 수단에 의해 결정된 최대 크기의 부호화 블록으로 분할함과 아울러, 상기 부호화 제어 수단에 의해 결정된 상한의 계층수에 이를 때까지, 상기 부호화 블록을 계층적으로 분할하는 블록 분할 수단과,
    상기 블록 분할 수단에 의해 분할된 부호화 블록에 대해, 상기 부호화 제어 수단에 의해 선택된 부호화 모드에 대응하는 예측 처리를 실시함으로써 예측 화상을 생성하는 예측 화상 생성 수단과,
    상기 블록 분할 수단에 의해 분할된 부호화 블록과 상기 예측 화상 생성 수단에 의해 생성된 예측 화상과의 차분 화상을 생성하는 차분 화상 생성 수단과,
    상기 차분 화상 생성 수단에 의해 생성된 차분 화상을 압축하고, 상기 차분 화상의 압축 데이터를 출력하는 화상 압축 수단과,
    상기 화상 압축 수단으로부터 출력된 압축 데이터 및 상기 부호화 제어 수단에 의해 선택된 부호화 모드를 가변 길이 부호화하여, 상기 압축 데이터 및 상기 부호화 모드의 부호화 데이터가 다중화되어 있는 비트 스트림을 생성하는 가변 길이 부호화 수단
    을 구비하고,
    상기 가변 길이 부호화 수단은, 압축 데이터 및 부호화 모드 이외에, 상기 예측 화상 생성 수단에 의해 예측 화상이 생성될 때에 이용되는 인트라 예측 파라미터를 가변 길이 부호화하고, 상기 인트라 예측 파라미터의 부호화 데이터를 상기 비트 스트림에 다중화하는 경우, 상기 블록 분할 수단에 의해 분할된 파티션에 있어서의 인트라 예측 파라미터가, 상기 파티션과 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터와 같은지 여부를 나타내는 인트라 머지 플래그를 가변 길이 부호화함과 아울러, 상기 인트라 예측 파라미터가 같으면, 상기 인접하고 있는 파티션을 특정하는 인트라 머지 디렉션을 가변 길이 부호화하고, 상기 인트라 예측 파라미터가 같지 않으면, 상기 블록 분할 수단에 의해 분할된 파티션에 있어서의 인트라 예측 파라미터를 가변 길이 부호화하는
    것을 특징으로 하는 동영상 부호화 장치.
  2. 제 1 항에 있어서,
    예측 화상 생성 수단은, 부호화 제어 수단에 의해 선택된 부호화 모드가 인트라 예측 모드인 경우, 블록 분할 수단에 의해 분할된 부호화 블록에 인접하고 있는 화소, 또는 상기 부호화 블록의 상위 계층의 부호화 블록에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하는 것을 특징으로 하는 동영상 부호화 장치.
  3. 제 2 항에 있어서,
    부호화 제어 수단은, 블록 분할 수단에 의해 분할된 부호화 블록이 파티션으로 더 분할되는 경우, 각각의 파티션이 속해 있는 부호화 블록에 대응하는 부호화 모드 또는 각각의 파티션에 대응하는 부호화 모드를 선택하고,
    예측 화상 생성 수단은, 상기 부호화 제어 수단에 의해 선택된 부호화 모드가 인트라 예측 모드인 경우, 상기 블록 분할 수단에 의해 분할된 파티션에 인접하고 있는 화소, 또는 상기 파티션의 상위 계층의 파티션에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하는
    것을 특징으로 하는 동영상 부호화 장치.
  4. 제 3 항에 있어서,
    상위 계층의 부호화 블록 또는 파티션이 존재하고 있는 경우, 이용 가능한 1 이상의 부호화 모드 중에서, 상위 계층의 부호화 블록 또는 파티션에 인접하고 있는 화소를 이용하는 인트라 부호화 모드가 준비되어 있고,
    예측 화상 생성 수단은, 부호화 제어 수단에 의해 상기 인트라 부호화 모드가 선택된 경우, 블록 분할 수단에 의해 분할된 부호화 블록 또는 파티션의 상위 계층의 부호화 블록 또는 파티션에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하는
    것을 특징으로 하는 동영상 부호화 장치.
  5. 예측 처리의 처리 단위가 되는 부호화 블록의 최대 크기 및 최대 크기의 부호화 블록으로부터 계층적으로 분할되어 있는 부호화 블록의 계층수를 특정함으로써, 비트 스트림에 다중화되어 있는 부호화 데이터 중에서, 최대 크기의 부호화 블록 및 계층적으로 분할되어 있는 부호화 블록에 따른 부호화 데이터를 특정하고, 각각의 부호화 데이터로부터 부호화 블록에 따른 압축 데이터 및 부호화 모드를 가변 길이 복호하는 가변 길이 복호 수단과,
    상기 가변 길이 복호 수단에 의해 특정된 부호화 블록에 대해, 상기 부호화 모드에 대응하는 예측 처리를 실시함으로써 예측 화상을 생성하는 예측 화상 생성 수단과,
    상기 가변 길이 복호 수단에 의해 가변 길이 복호된 부호화 블록에 따른 압축 데이터로부터 압축 전의 차분 화상을 생성하는 차분 화상 생성 수단과,
    상기 차분 화상 생성 수단에 의해 생성된 차분 화상과 상기 예측 화상 생성 수단에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 수단
    을 구비하고,
    상기 가변 길이 복호 수단은, 파티션에 따른 부호화 데이터로부터, 상기 파티션과 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터가 같은지 여부를 나타내는 인트라 머지 플래그를 가변 길이 복호함과 아울러, 상기 인트라 머지 플래그가, 상기 파티션과 상기 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터가 같다는 취지를 나타내는 경우에는, 상기 부호화 데이터로부터 상기 인접하고 있는 파티션을 특정하는 인트라 머지 디렉션을 가변 길이 복호하고, 상기 인트라 머지 플래그가, 상기 파티션과 상기 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터가 같지 않다는 취지를 나타내는 경우에는, 상기 부호화 데이터로부터 상기 파티션에 있어서의 인트라 예측 파라미터를 가변 길이 복호하는
    것을 특징으로 하는 동영상 복호 장치.
  6. 제 5 항에 있어서,
    예측 화상 생성 수단은, 가변 길이 복호 수단에 의해 가변 길이 복호된 부호화 모드가 인트라 예측 모드인 경우, 상기 가변 길이 복호 수단에 의해 특정된 부호화 블록에 인접하고 있는 화소, 또는 상기 부호화 블록의 상위 계층의 부호화 블록에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하는 것을 특징으로 하는 동영상 복호 장치.
  7. 제 6 항에 있어서,
    가변 길이 복호 수단은, 계층적으로 분할되어 있는 부호화 블록이 파티션으로 더 분할되어 있는 경우, 비트 스트림에 다중화되어 있는 부호화 데이터 중에서, 상기 파티션에 따른 부호화 데이터를 특정하고, 상기 부호화 데이터로부터 파티션에 따른 압축 데이터 및 부호화 모드를 가변 길이 복호하며,
    예측 화상 생성 수단은, 상기 가변 길이 복호 수단에 의해 가변 길이 복호된 부호화 모드가 인트라 예측 모드인 경우, 상기 파티션에 인접하고 있는 화소, 또는 상기 파티션의 상위 계층의 파티션에 인접하고 있는 화소를 이용하는 프레임내 예측 처리를 실시함으로써 예측 화상을 생성하는
    것을 특징으로 하는 동영상 복호 장치.
  8. 부호화 제어 수단이, 예측 처리의 처리 단위가 되는 부호화 블록의 최대 크기를 결정함과 아울러, 최대 크기의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하고, 이용 가능한 1 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택하는 부호화 제어 처리 단계와,
    블록 분할 수단이, 입력 화상을 상기 부호화 제어 처리 단계에서 결정된 최대 크기의 부호화 블록으로 분할함과 아울러, 상기 부호화 제어 처리 단계에서 결정된 상한의 계층수에 이를 때까지, 상기 부호화 블록을 계층적으로 분할하는 블록 분할 처리 단계와,
    예측 화상 생성 수단이, 상기 블록 분할 처리 단계에서 분할된 부호화 블록에 대해, 상기 부호화 제어 처리 단계에서 선택된 부호화 모드에 대응하는 예측 처리를 실시함으로써 예측 화상을 생성하는 예측 화상 생성 처리 단계와,
    차분 화상 생성 수단이, 상기 블록 분할 처리 단계에서 분할된 부호화 블록과 상기 예측 화상 생성 처리 단계에서 생성된 예측 화상과의 차분 화상을 생성하는 차분 화상 생성 처리 단계와,
    화상 압축 수단이, 상기 차분 화상 생성 처리 단계에서 생성된 차분 화상을 압축하고, 상기 차분 화상의 압축 데이터를 출력하는 화상 압축 처리 단계와,
    가변 길이 부호화 수단이, 상기 화상 압축 처리 단계에서 출력된 압축 데이터 및 상기 부호화 제어 처리 단계에서 선택된 부호화 모드를 가변 길이 부호화하여, 상기 압축 데이터 및 상기 부호화 모드의 부호화 데이터가 다중화되어 있는 비트 스트림을 생성하는 가변 길이 부호화 처리 단계
    를 구비하고,
    상기 가변 길이 부호화 처리 단계는, 압축 데이터 및 부호화 모드 이외에, 상기 예측 화상 생성 처리 단계에서 예측 화상이 생성될 때에 이용되는 인트라 예측 파라미터를 가변 길이 부호화하고, 상기 인트라 예측 파라미터의 부호화 데이터를 비트 스트림에 다중화하는 경우, 상기 블록 분할 처리 단계에서 분할된 파티션에 있어서의 인트라 예측 파라미터가, 상기 파티션과 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터와 같은지 여부를 나타내는 인트라 머지 플래그를 가변 길이 부호화함과 아울러, 상기 인트라 예측 파라미터가 같으면, 상기 인접하고 있는 파티션을 특정하는 인트라 머지 디렉션을 가변 길이 부호화하고, 상기 인트라 예측 파라미터가 같지 않으면, 상기 블록 분할 처리 단계에서 분할된 파티션에 있어서의 인트라 예측 파라미터를 가변 길이 부호화하는
    것을 특징으로 하는 동영상 부호화 방법.
  9. 가변 길이 복호 수단이, 예측 처리의 처리 단위가 되는 부호화 블록의 최대 크기 및 최대 크기의 부호화 블록으로부터 계층적으로 분할되어 있는 부호화 블록의 계층수를 특정함으로써, 비트 스트림에 다중화되어 있는 부호화 데이터 중에서, 최대 크기의 부호화 블록 및 계층적으로 분할되어 있는 부호화 블록에 따른 부호화 데이터를 특정하고, 각각의 부호화 데이터로부터 부호화 블록에 따른 압축 데이터 및 부호화 모드를 가변 길이 복호 하는 가변 길이 복호 처리 단계와,
    예측 화상 생성 수단이, 상기 가변 길이 복호 처리 단계에서 특정된 부호화 블록에 대해, 상기 부호화 모드에 대응하는 예측 처리를 실시함으로써 예측 화상을 생성하는 예측 화상 생성 처리 단계와,
    차분 화상 생성 수단이, 상기 가변 길이 복호 처리 단계에서 가변 길이 복호된 부호화 블록에 따른 압축 데이터로부터 압축 전의 차분 화상을 생성하는 차분 화상 생성 처리 단계와,
    복호 화상 생성 수단이, 상기 차분 화상 생성 처리 단계에서 생성된 차분 화상과 상기 예측 화상 생성 처리 단계에서 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 처리 단계
    를 구비하고,
    상기 가변 길이 복호 처리 단계는, 파티션에 따른 부호화 데이터로부터, 상기 파티션과 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터가 같은지 여부를 나타내는 인트라 머지 플래그를 가변 길이 복호함과 아울러, 상기 인트라 머지 플래그가, 상기 파티션과 상기 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터가 같다는 취지를 나타내는 경우에는, 상기 부호화 데이터로부터 상기 인접하고 있는 파티션을 특정하는 인트라 머지 디렉션을 가변 길이 복호하고, 상기 인트라 머지 플래그가, 상기 파티션과 상기 인접하고 있는 파티션에 있어서의 인트라 예측 파라미터가 같지 않다는 취지를 나타내는 경우에는, 상기 부호화 데이터로부터 상기 파티션에 있어서의 인트라 예측 파라미터를 가변 길이 복호하는
    것을 특징으로 하는 동영상 복호 방법.
KR1020137018737A 2010-12-17 2011-11-01 화상 부호화 장치 KR101538248B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010281743 2010-12-17
JPJP-P-2010-281743 2010-12-17
PCT/JP2011/006116 WO2012081162A1 (ja) 2010-12-17 2011-11-01 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Publications (2)

Publication Number Publication Date
KR20130101137A true KR20130101137A (ko) 2013-09-12
KR101538248B1 KR101538248B1 (ko) 2015-07-20

Family

ID=46244282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137018737A KR101538248B1 (ko) 2010-12-17 2011-11-01 화상 부호화 장치

Country Status (14)

Country Link
US (8) US10432956B2 (ko)
EP (4) EP2654300B1 (ko)
JP (6) JP5711266B2 (ko)
KR (1) KR101538248B1 (ko)
CN (1) CN103262539A (ko)
BR (1) BR112013014258B1 (ko)
CA (5) CA2820014C (ko)
ES (1) ES2718426T3 (ko)
MX (2) MX351072B (ko)
RU (5) RU2602365C2 (ko)
SG (3) SG10201509231QA (ko)
TR (1) TR201904717T4 (ko)
TW (8) TWI718084B (ko)
WO (1) WO2012081162A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262539A (zh) 2010-12-17 2013-08-21 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
TWI556628B (zh) * 2011-06-13 2016-11-01 Sun Patent Trust Image decoding method and image decoding apparatus
JP6537511B2 (ja) * 2013-12-10 2019-07-03 キヤノン株式会社 Ｈｅｖｃにおける改良型パレットモード
ES2893815T3 (es) 2013-12-10 2022-02-10 Canon Kk Procedimiento y aparato para codificar o descodificar una paleta en el modo de codificación de paleta
JP6886825B2 (ja) * 2017-01-27 2021-06-16 日本放送協会 予測装置、符号化装置、復号装置、及びプログラム
US20180332312A1 (en) * 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Devices And Methods For Video Processing
CN108846874A (zh) * 2018-06-27 2018-11-20 广州视源电子科技股份有限公司 信号发生器的图像生成方法和装置
JP7412343B2 (ja) * 2018-09-21 2024-01-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP6874804B2 (ja) * 2018-09-28 2021-05-19 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム
CN111950587B (zh) * 2020-07-02 2024-04-16 北京大学深圳研究生院 帧内编码块划分处理方法和硬件装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
ATE457512T1 (de) * 2004-05-17 2010-02-15 Nokia Corp Audiocodierung mit verschiedenen codierungsrahmenlängen
JP4359773B2 (ja) 2004-06-22 2009-11-04 ソニー株式会社 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム
JP4191729B2 (ja) * 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20080165849A1 (en) * 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8189934B2 (en) 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8422803B2 (en) 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8644382B2 (en) * 2007-06-29 2014-02-04 Sharp Kabushiki Kaisha Image encoding device, image encoding method, image decoding device, image decoding method, program, and storage medium
JP4650461B2 (ja) * 2007-07-13 2011-03-16 ソニー株式会社 符号化装置、符号化方法、プログラム、及び記録媒体
JP2009055542A (ja) * 2007-08-29 2009-03-12 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP5526032B2 (ja) * 2007-10-16 2014-06-18 トムソン ライセンシング ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号する方法および装置
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
CN101779469A (zh) 2008-06-27 2010-07-14 索尼公司 图像处理装置和图像处理方法
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JPWO2010035732A1 (ja) 2008-09-24 2012-02-23 ソニー株式会社 画像処理装置および方法
JP2010116869A (ja) * 2008-11-13 2010-05-27 Yamaha Motor Co Ltd 車両用内燃機関
US20100166073A1 (en) * 2008-12-31 2010-07-01 Advanced Micro Devices, Inc. Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
BRPI1014257B1 (pt) * 2009-04-08 2021-03-09 Sharp Kabushiki Kaisha aparelho de codificação de vídeo e aparelho de decodificação de vídeo
JP5169978B2 (ja) 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
US8588303B2 (en) * 2010-03-31 2013-11-19 Futurewei Technologies, Inc. Multiple predictor sets for intra-frame coding
CN103262539A (zh) 2010-12-17 2013-08-21 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法

Also Published As

Publication number Publication date
US10820001B2 (en) 2020-10-27
BR112013014258A2 (pt) 2016-09-20
TWI740801B (zh) 2021-09-21
EP3493544B1 (en) 2020-12-23
TW201834458A (zh) 2018-09-16
CA2937202A1 (en) 2012-06-21
EP2654300B1 (en) 2019-03-06
TW201233190A (en) 2012-08-01
US11831893B2 (en) 2023-11-28
US20190394479A1 (en) 2019-12-26
JP2016187228A (ja) 2016-10-27
CA3123520A1 (en) 2012-06-21
US20220303566A1 (en) 2022-09-22
EP3493543B1 (en) 2020-12-23
RU2015107004A (ru) 2015-06-10
JP5711266B2 (ja) 2015-04-30
US10820000B2 (en) 2020-10-27
JP6469048B2 (ja) 2019-02-13
US20230188742A1 (en) 2023-06-15
US11831892B2 (en) 2023-11-28
US11350120B2 (en) 2022-05-31
US20130279582A1 (en) 2013-10-24
CA3052608C (en) 2021-09-21
TWI728944B (zh) 2021-05-21
TW202116070A (zh) 2021-04-16
TW202131694A (zh) 2021-08-16
TWI666925B (zh) 2019-07-21
SG10201706999WA (en) 2017-09-28
JP2019154074A (ja) 2019-09-12
JPWO2012081162A1 (ja) 2014-05-22
JP5984984B2 (ja) 2016-09-06
RU2649775C1 (ru) 2018-04-04
CA2937202C (en) 2019-11-26
CN103262539A (zh) 2013-08-21
BR112013014258B1 (pt) 2021-11-23
TWI718084B (zh) 2021-02-01
CA3207722A1 (en) 2012-06-21
TW201611587A (zh) 2016-03-16
CA2820014C (en) 2016-09-27
US10432956B2 (en) 2019-10-01
TW201937936A (zh) 2019-09-16
JP6789256B2 (ja) 2020-11-25
CA2820014A1 (en) 2012-06-21
US20190394481A1 (en) 2019-12-26
CA3052608A1 (en) 2012-06-21
EP3493545A1 (en) 2019-06-05
TWI706671B (zh) 2020-10-01
TWI647952B (zh) 2019-01-11
RU2680194C1 (ru) 2019-02-18
JP2015130688A (ja) 2015-07-16
JP6807987B2 (ja) 2021-01-06
US20190394480A1 (en) 2019-12-26
RU2602365C2 (ru) 2016-11-20
MX351072B (es) 2017-09-28
JP7012809B2 (ja) 2022-01-28
EP3493545B1 (en) 2021-01-13
SG10201509231QA (en) 2015-12-30
TW202046737A (zh) 2020-12-16
TWI566590B (zh) 2017-01-11
EP2654300A4 (en) 2014-09-17
EP3493544A1 (en) 2019-06-05
JP2018113702A (ja) 2018-07-19
EP3493543A1 (en) 2019-06-05
US11831896B2 (en) 2023-11-28
TWI519141B (zh) 2016-01-21
CA3123520C (en) 2023-10-17
TW201709741A (zh) 2017-03-01
US20210044822A1 (en) 2021-02-11
JP2021044840A (ja) 2021-03-18
EP2654300A1 (en) 2013-10-23
KR101538248B1 (ko) 2015-07-20
TR201904717T4 (tr) 2019-05-21
SG10202101292WA (en) 2021-03-30
US10827193B2 (en) 2020-11-03
RU2628259C1 (ru) 2017-08-15
MX2013006878A (es) 2013-07-05
MX337875B (es) 2016-03-22
ES2718426T3 (es) 2019-07-01
RU2547617C2 (ru) 2015-04-10
RU2013132933A (ru) 2015-02-10
US20220303565A1 (en) 2022-09-22
WO2012081162A1 (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
JP5782169B2 (ja) 動画像符号化装置及び動画像符号化方法
JP6005087B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造
JP6807987B2 (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
KR20140007074A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 화상 예측 장치
JP2013098715A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2012023609A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180619

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 5