KR20130069726A - 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법 - Google Patents

동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법 Download PDF

Info

Publication number
KR20130069726A
KR20130069726A KR1020137003840A KR20137003840A KR20130069726A KR 20130069726 A KR20130069726 A KR 20130069726A KR 1020137003840 A KR1020137003840 A KR 1020137003840A KR 20137003840 A KR20137003840 A KR 20137003840A KR 20130069726 A KR20130069726 A KR 20130069726A
Authority
KR
South Korea
Prior art keywords
intra prediction
prediction
block
intra
variable length
Prior art date
Application number
KR1020137003840A
Other languages
English (en)
Inventor
요시미 모리야
？이치 세키구치
가즈오 스기모토
료지 하토리
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45469144&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20130069726(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20130069726A publication Critical patent/KR20130069726A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

인트라 예측부(4)가, 색차 신호의 예측 화상을 생성할 때, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하거나, 또는 평균값 예측을 적용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하며, 가변 길이 부호화부(13)가, 인트라 예측부(4)가 휘도 신호와 동일한 인트라 예측 파라미터를 이용하고 있는지 여부를 나타내는 플래그를 가변 길이 부호화한다.

Description

동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법{VIDEO ENCODING DEVICE, VIDEO DECODING DEVICE, VIDEO ENCODING METHOD, AND VIDEO DECODING METHOD}
본 발명은, 인트라 예측 처리 또는 인터 예측 처리를 실시하여 예측 부호화를 실시하는 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법에 관한 것이다.
동영상 부호화 장치가 실시하는 인트라 예측 처리 중, AVC/H.264 부호화 방식에 있어서의 인트라 예측 모드에 대해서 설명한다.
휘도의 인트라 예측 모드에서는, 복수의 예측 모드 중에서, 블록 단위로 하나의 예측 모드를 선택할 수 있다.
도 15는 휘도의 블록 사이즈가 4×4 화소인 경우의 인트라 예측 모드를 나타내는 설명도이다.
휘도의 블록 사이즈가 4×4 화소인 경우에는, 모드 0부터 모드 8의 9개의 인트라 예측 모드가 규정되어 있다.
도 15의 예에서는, 백색 원이 부호화 대상의 블록 내의 화소이고, 흑색 원이 예측에 이용하는 화소로 부호화를 마친 인접 블록 내의 화소이다.
단, 모드 2는 평균값 예측에 따른 인트라 예측 모드로, 위쪽과 왼쪽 블록의 인접 화소의 평균값으로 부호화 대상 블록 내의 화소를 예측하는 모드이다. 모드 2 이외의 모드는 방향성 예측에 따른 인트라 예측 모드이다.
모드 0은 수직 방향 예측에 따른 인트라 예측 모드로, 위쪽 블록의 인접 화소를 수직 방향으로 반복함으로써, 예측 화상을 생성한다. 예컨대, 부호화 대상 블록이 세로 줄무늬 모양일 때에는 모드 0이 선택된다.
또한, 모드 1은 수평 방향 예측에 따른 인트라 예측 모드로, 왼쪽 블록의 인접 화소를 수평 방향으로 반복함으로써, 예측 화상을 생성한다.
모드 3부터 모드 8은, 위쪽 블록 또는 왼쪽 블록의 인접 화소를 이용해서, 소정의 방향(화살표로 나타내는 방향)으로 보간 화소를 생성함으로써 예측 화상을 생성한다.
여기서, 인트라 예측을 적용하는 휘도의 블록 사이즈는, 4×4 화소, 8×8 화소, 16×16 화소 중에서 선택할 수 있고, 8×8 화소인 경우에는 4×4 화소와 마찬가지로 9개의 인트라 예측 모드가 규정되어 있다.
이에 비해서, 16×16 화소인 경우에는, 평균값 예측, 수직 방향 예측 및 수평 방향 예측에 따른 인트라 예측 모드에 더해서, 평면 예측이라고 불리는 4개의 인트라 예측 모드가 규정되어 있다.
평면 예측에 따른 인트라 예측 모드는, 위쪽 블록의 인접 화소와 왼쪽 블록의 인접 화소를 경사 방향으로 내삽 보간하여 생성한 화소를 예측값으로 하는 모드이다.
한편, 블록 사이즈가 4×4 화소 또는 8×8 화소인 경우의 방향성 예측 모드에서는, 미리 정해진 방향(예컨대, 45도의 방향)으로 예측값을 생성하기 때문에, 블록 내의 오브젝트의 경계(에지)의 방향이, 예측 모드가 나타내는 방향과 일치하면, 예측 효율이 높아져서 부호량을 삭감할 수 있다.
단, 블록 내의 오브젝트의 에지의 방향이, 예측 모드가 나타내는 방향과 일치하지 않으면, 예측 효율이 저하되기 때문에, 부호량을 삭감할 수 없다.
이하의 특허문헌 1에는, 인트라 예측 모드의 발생 빈도를 카운트하고 있는 빈도 정보 테이블을 사용하면, 인트라 예측 모드에 따른 부호량을 삭감할 수 있는 기술을 개시하고 있지만, 미리, 빈도 정보 테이블을 준비할 필요가 있다.
국제 공개 제 2008/123254호 공보
종래의 동영상 부호화 장치는 이상과 같이 구성되어 있기 때문에, 선택 가능한 방향성 예측의 모드 수를 늘리면, 에지의 방향과 예측 모드가 나타내는 방향이 일치할 확률이 높아져서, 예측 효율을 높일 수 있다. 그러나, 선택 가능한 방향성 예측의 모드 수를 늘리면, 인트라 예측 모드에 따른 정보의 부호량이 증가해 버리는 등의 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 인트라 예측 모드에 따른 정보의 부호량의 증가를 억제할 수 있는 동영상 부호화 장치 및 동영상 부호화 방법을 얻는 것을 목적으로 한다.
또한, 본 발명은, 상기 동영상 부호화 장치 및 동영상 부호화 방법에 적용할 수 있는 동영상 복호 장치 및 동영상 복호 방법을 얻는 것을 목적으로 한다.
본 발명에 따른 동영상 부호화 장치는, 예측 화상 생성 수단이, 색차 신호의 예측 화상을 생성할 때, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하거나, 또는, 평균값 예측을 적용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하며, 가변 길이 부호화 수단이 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터로서, 예측 화상 생성 수단이 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있는지 여부를 나타내는 플래그를 가변 길이 부호화하도록 한 것이다.
본 발명에 의하면, 예측 화상 생성 수단이, 색차 신호의 예측 화상을 생성할 때, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 또는, 평균값 예측을 적용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하며, 가변 길이 부호화 수단이 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터로서 예측 화상 생성 수단이 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있는지 여부를 나타내는 플래그를 가변 길이 부호화하도록 구성했기 때문에, 예측 효율을 저하시키는 일없이, 색차 신호의 인트라 예측 모드에 따른 부호량을 삭감할 수 있다는 효과가 있다.
도 1은 본 발명의 실시예 1에 의한 동영상 부호화 장치를 나타내는 구성도,
도 2는 본 발명의 실시예 1에 의한 동영상 부호화 장치의 가변 길이 부호화부(13)의 내부를 나타내는 구성도,
도 3은 본 발명의 실시예 1에 의한 동영상 부호화 장치의 처리 내용(동영상 부호화 방법)을 나타내는 흐름도,
도 4는 최대 부호화 블록이 계층적으로 복수의 부호화 대상 블록으로 분할되는 예를 나타내는 설명도,
도 5(a)는 분할 후의 파티션의 분포를 나타내고, 도 5(b)는 계층 분할에 의해서 부호화 모드 m(Bn)가 할당되는 상황을 나타내는 설명도,
도 6은 부호화 대상 블록 Bn 내의 각 파티션 Pi n이 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도,
도 7은 li n= mi n=4인 경우의 파티션 Pi n 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도,
도 8은 파티션 Pi n의 인트라 예측 파라미터의 예측값의 산출에 이용하는 부호화 마친 주변 파티션의 일례를 나타내는 설명도,
도 9는 17 종류의 인트라 예측 모드의 인덱스값과 평균값 예측을 제외한, 16종류의 방향성 예측 모드의 예측 방향 벡터의 일례를 나타내는 설명도,
도 10은 본 발명의 실시예 1에 의한 동영상 복호 장치를 나타내는 구성도,
도 11은 본 발명의 실시예 1에 의한 동영상 복호 장치의 가변 길이 복호부(31)의 내부를 나타내는 구성도,
도 12는 본 발명의 실시예 1에 의한 동영상 복호 장치의 처리 내용(동영상 복호 방법)을 나타내는 흐름도,
도 13은 휘도 신호 및 색차 신호의 파티션 Pi n의 일례를 나타내는 설명도,
도 14는 필터 처리 전후의 예측 화상을 나타내는 설명도,
도 15는 휘도의 블록 사이즈가 4×4 화소인 경우의 인트라 예측 모드를 나타내는 설명도이다.
이하, 본 발명을 보다 상세하게 설명하기 위해서, 본 발명을 실시하기 위한 형태에 대해서, 첨부된 도면에 따라서 설명한다.
(실시예 1)
도 1은 본 발명의 실시예 1에 따른 동영상 부호화 장치를 나타내는 구성도이다.
도 1에 있어서, 블록 분할부(1)는, 입력 화상을 나타내는 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 부호화 블록 사이즈의 블록(예측 처리 단위의 블록)으로 분할하고, 예측 처리 단위의 블록인 부호화 대상 블록을 출력하는 처리를 실시한다. 한편, 블록 분할부(1)는 블록 분할 수단을 구성하고 있다.
부호화 제어부(2)는 부호화 블록 사이즈를 결정함과 아울러, 선택 가능한 1 이상의 인트라 부호화 모드 및 인터 부호화 모드 중에서, 블록 분할부(1)로부터 출력되는 부호화 대상 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는, 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드로 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드로 부호화 대상 블록에 대한 인터 예측 처리를 실시할 때에 이용하는 인터 예측 파라미터를 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 변환·양자화부(7) 및 역양자화·역변환부(8)에 인가하는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다.
한편, 부호화 제어부(2)는 부호화 제어 수단을 구성하고 있다.
전환 스위치(3)는 부호화 제어부(2)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 대상 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(2)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 대상 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.
인트라 예측부(4)는 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용해서, 전환 스위치(3)로부터 출력된 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여 인트라 예측 화상(예측 화상)을 생성하는 처리를 실시한다.
한편, 전환 스위치(3), 인트라 예측부(4) 및 인트라 예측용 메모리(10)로 예측 화상 생성 수단이 구성되어 있다.
움직임 보상 예측부(5)는 전환 스위치(3)로부터 출력된 부호화 대상 블록과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터링 처리후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하여, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용해서, 그 부호화 대상 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
감산부(6)는 블록 분할부(1)로부터 출력된 부호화 대상 블록으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 감산하고, 그 감산 결과인 예측 차분 신호(차분 화상)를 변환·양자화부(7)에 출력하는 처리를 실시한다.
변환·양자화부(7)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 감산부(6)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대하여 기저 설계가 이루어질 수 있고 있는 KL 변환 등의 직교 변환 처리)를 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화후의 변환 계수인 압축 데이터(차분 화상의 양자화 계수)를 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력하는 처리를 실시한다.
한편, 감산부(6) 및 변환·양자화부(7)로 양자화 수단이 구성되어 있다.
역양자화·역변환부(8)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 변환·양자화부(7)로부터 출력된 압축 데이터를 역양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다.
가산부(9)는 역양자화·역변환부(8)에 의해 산출된 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 가산하여, 블록 분할부(1)로부터 출력된 부호화 대상 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.
인트라 예측용 메모리(10)는 가산부(9)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다.
루프 필터부(11)는 가산부(9)에 의해 산출된 국소 복호 화상에 대해서, 소정의 필터링 처리를 실시하여, 필터링 처리후의 국소 복호 화상을 출력하는 처리를 실시한다.
움직임 보상 예측 프레임 메모리(12)는 필터링 처리후의 국소 복호 화상을 저장하는 기록 매체이다.
가변 길이 부호화부(13)는 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)의 출력 신호(부호화 모드, 인트라 예측 파라미터 또는 인터 예측 파라미터, 예측 차분 부호화 파라미터)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여 비트 스트림을 생성하는 처리를 실시한다.
단, 가변 길이 부호화부(13)는, 부호화 모드가 인트라 부호화 모드인 경우, 인트라 예측 처리에 있어서의 복수의 방향성 예측에 따른 예측 방향 벡터 중에서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터의 가변 길이 부호화로서, 부호화 제어부(2)에 의해 결정된 부호화 대상 블록의 인트라 예측 파라미터가 나타내는 예측 방향 벡터와 방향이 가장 가까운 예측 방향 벡터를 특정하고, 이 특정한 예측 방향 대표 벡터의 인덱스를 가변 길이 부호화함과 아울러, 부호화 마친 블록의 인트라 예측 파라미터가 나타내는 예측 방향 벡터와 예측 방향 대표 벡터의 차분을 나타내는 인덱스를 가변 길이 부호화한다.
한편, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.
도 1의 예에서는, 동영상 부호화 장치의 구성 요소인 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 인트라 예측용 메모리(10), 루프 필터부(11), 움직임 보상 예측 프레임 메모리(12) 및 가변 길이 부호화부(13) 각각이 전용의 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원-칩 마이크로컴퓨터 등)으로 구성되어 있는 것을 상정하고 있지만, 동영상 부호화 장치가 컴퓨터로 구성되는 경우, 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하여, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 된다.
도 3은 본 발명의 실시예 1에 의한 동영상 부호화 장치의 처리 내용(동영상 부호화 방법)을 나타내는 흐름도이다.
도 2는 본 발명의 실시예 1에 의한 동영상 부호화 장치의 가변 길이 부호화부(13)의 내부를 나타내는 구성도이다.
가변 길이 부호화부(13)는, 구성 요소 중 하나로서, 인트라 예측 파라미터 가변 길이 부호화부(13a)를 내장하고 있다.
인트라 예측 파라미터 가변 길이 부호화부(13a)의 인트라 예측 파라미터 예측값 산출부(21)는 블록 분할부(1)로부터 출력된 부호화 대상 블록에 인접하고 있는 부호화 마친 블록의 인트라 예측 파라미터로부터, 부호화 대상 블록의 인트라 예측 파라미터의 예측값을 산출하는 처리를 실시한다.
인트라 예측 파라미터 2진화 인덱스 산출부(22)는 인트라 예측 파라미터 예측값 산출부(21)에 의해 산출된 예측값과, 부호화 대상 블록의 인트라 예측 파라미터로부터, 그 예측값과 예측 방향 대표 벡터의 인덱스가 일치하는지 여부를 판정하여, 일치하면, 그 판정 결과를 나타내는 플래그 이외에, 부호화 마친 블록의 인트라 예측 파라미터가 나타내는 예측 방향 벡터와 예측 방향 대표 벡터의 차분값을 포함하는 인트라 예측 파라미터 2진화 인덱스를 산출하여, 일치하지 않으면, 그 판정 결과를 나타내는 플래그 이외에, 예측 방향 대표 벡터의 인덱스와 상기 차분값을 포함하는 인트라 예측 파라미터 2진화 인덱스를 산출하는 처리를 실시한다.
엔트로피 부호화부(23)는 인트라 예측 파라미터 2진화 인덱스 산출부(22)에 의해 산출된 인트라 예측 파라미터 2진화 인덱스를 산술 부호화 등의 가변 길이 부호화를 행하여, 인트라 예측 파라미터 부호어를 출력하는 처리를 실시한다.
도 10은 본 발명의 실시예 1에 따른 동영상 복호 장치를 나타내는 구성도이다.
도 10에 있어서, 가변 길이 복호부(31)는 동영상 부호화 장치에 의해 생성된 비트 스트림을 입력하면, 그 비트 스트림으로부터 압축 데이터, 부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 예측 차분 부호화 파라미터 및 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 복호하는 처리를 실시한다.
단, 가변 길이 복호부(31)는 부호화 모드가 인트라 부호화 모드인 경우, 인트라 예측 파라미터의 가변 길이 복호로서, 예측 방향 대표 벡터의 인덱스를 가변 길이 복호함과 아울러, 복호 마친 블록(도 1의 동영상 부호화 장치의 '부호화 마친 블록'에 상당하는 블록)의 인트라 예측 파라미터가 나타내는 예측 방향 벡터와 예측 방향 대표 벡터의 차분을 나타내는 인덱스를 가변 길이 복호하고, 그 예측 방향 대표 벡터의 인덱스와 상기 차분을 나타내는 인덱스로부터, 그 인트라 예측 파라미터를 결정하는 처리를 실시한다.
한편, 가변 길이 복호부(31)는 가변 길이 복호 수단을 구성하고 있다.
역양자화·역변환부(32)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터를 참조하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 압축 데이터를 역양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역양자화후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 도 1의 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 복호 예측 차분 신호를 산출하는 처리를 실시한다. 한편, 역양자화·역변환부(32)는 역양자화 수단을 구성하고 있다.
전환 스위치(33)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드라면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력하고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드라면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력하는 처리를 실시한다.
인트라 예측부(34)는 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용해서, 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 인트라 예측 화상(예측 화상)을 생성하는 처리를 실시한다.
한편, 전환 스위치(33), 인트라 예측부(34) 및 인트라 예측용 메모리(37)로 예측 화상 생성 수단이 구성되어 있다.
움직임 보상부(35)는 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터링 처리후의 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용해서, 복호 대상 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
가산부(36)는 역양자화·역변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상, 또는 움직임 보상부(35)에 의해 생성된 인터 예측 화상을 가산하여, 도 1의 블록 분할부(1)로부터 출력된 부호화 대상 블록에 상당하는 복호 화상을 산출하는 처리를 실시한다.
인트라 예측용 메모리(37)는 가산부(36)에 의해 산출된 복호 화상을 저장하는 기록 매체이다.
루프 필터부(38)는 가산부(36)에 의해 산출된 복호 화상에 대해서, 소정의 필터링 처리를 실시하여, 필터링 처리후의 복호 화상을 출력하는 처리를 실시한다.
움직임 보상 예측 프레임 메모리(39)는 필터링 처리후의 복호 화상을 저장하는 기록 매체이다.
도 10의 예에서는, 동영상 복호 장치의 구성 요소인 가변 길이 복호부(31), 역양자화·역변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36), 인트라 예측용 메모리(37), 루프 필터부(38) 및 움직임 보상 예측 프레임 메모리(39) 각각이 전용의 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원-칩 마이크로컴퓨터 등)으로 구성되어 있는 것을 상정하고 있지만, 동영상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(31), 역양자화·역변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 된다.
도 12는 본 발명의 실시예 1에 의한 동영상 복호 장치의 처리 내용(동영상 복호 방법)을 나타내는 흐름도이다.
도 11은 본 발명의 실시예 1에 의한 동영상 복호 장치의 가변 길이 복호부(31)의 내부를 나타내는 구성도이다.
가변 길이 복호부(31)에는, 구성 요소 중 하나로서, 인트라 예측 파라미터 가변 길이 복호부(31a)를 내장하고 있다.
인트라 예측 파라미터 가변 길이 복호부(31a)의 엔트로피 복호부(41)는 인트라 예측 파라미터 부호어로부터 인트라 예측 파라미터 2진화 인덱스를 가변 길이 복호하는 처리를 실시한다.
인트라 예측 파라미터 예측값 산출부(42)는 복호 대상 블록에 인접하고 있는 복호 마친 블록의 인트라 예측 파라미터로부터, 복호 대상 블록의 인트라 예측 파라미터의 예측값을 산출하는 처리를 실시한다.
인트라 예측 파라미터 인덱스 산출부(43)는 엔트로피 복호부(41)에 의해 가변 길이 복호된 인트라 예측 파라미터 2진화 인덱스에 포함되어 있는 플래그가 예측값과 예측 방향 대표 벡터의 인덱스가 일치하고 있다는 취지를 나타내고 있으면, 인트라 예측 파라미터 예측값 산출부(42)에 의해 산출된 예측값과, 그 인트라 예측 파라미터 2진화 인덱스에 포함되어 있는 복호 마친 블록의 인트라 예측 파라미터가 나타내는 예측 방향 벡터와 예측 방향 대표 벡터의 차분값으로부터, 인트라 예측 파라미터를 산출하고, 그 플래그가 예측값과 예측 방향 대표 벡터의 인덱스가 일치하지 않는다는 취지를 나타내고 있으면, 인트라 예측 파라미터 예측값 산출부(42)에 의해 산출된 예측값과, 그 인트라 예측 파라미터 2진화 인덱스에 포함되어 있는 예측 방향 대표 벡터의 인덱스와, 상기 차분값으로부터 인트라 예측 파라미터를 산출하는 처리를 실시한다.
다음으로 동작에 대해서 설명한다.
이 실시예 1에서는, 영상의 각 프레임 화상을 입력 화상으로 해서, 근접 프레임 사이에서 움직임 보상 예측을 실시하고, 획득한 예측 차분 신호에 대해서 직교 변환·양자화에 의한 압축 처리를 실시하며, 그 후, 가변 길이 부호화를 행하여 비트 스트림을 생성하는 동영상 부호화 장치와, 그 동영상 부호화 장치로부터 출력되는 비트 스트림을 복호하는 동영상 복호 장치에 대해서 설명한다.
도 1의 동영상 부호화 장치는, 영상 신호의 공간·시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 크기의 블록으로 분할하고, 프레임내·프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.
일반적으로, 영상 신호는, 공간·시간적으로 신호의 복잡도가 국소적으로 변화되는 특성을 갖고 있다. 공간적으로 보면, 어떤 영상 프레임 상에서는, 예컨대 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 가진 패턴도 있으며, 인물이나 미세한 텍스쳐를 포함하는 패턴 등, 작은 화상 영역 내에서 복잡한 텍스쳐 패턴을 가진 패턴도 혼재하는 경우가 있다.
시간적으로 봐도, 빔이나 벽은 국소적으로 시간 방향의 패턴의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체(rigid body)·비강체의 운동을 하기 때문에, 시간적인 변화가 크다.
부호화 처리는, 시간·공간적인 예측에 의해서, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있다면, 상기 파라미터의 부호량을 줄일 수 있다.
한편, 시간적·공간적으로 변화가 큰 화상 신호 패턴에 대해, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 에러가 증가해 버리기 때문에, 예측 차분 신호의 부호량이 증가해 버린다.
따라서, 시간적·공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용해서 예측 처리를 행하는 블록 사이즈를 줄여서, 예측에 이용하는 파라미터의 데이터량을 늘려, 예측 차분 신호의 전력·엔트로피를 저감하는 것이 바람직하다.
이 실시예 1에서는, 이러한 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 때문에, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하고, 계층적으로 영상 신호의 영역을 분할하여, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.
도 1의 동영상 부호화 장치가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색 공간의 컬러 영상 신호 이외에, 흑백 사진 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평·수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호로 한다.
단, 각 화소의 계조는 8비트이어도 되고, 10비트나 12비트 등의 계조여도 된다.
이하의 설명에서는, 편의상, 별도로 언급하지 않는 한, 입력 화상의 영상 신호는 YUV 신호인 것으로 하고, 또한 2개의 색차 성분 U, V가 휘도 성분 Y에 대해, 서브 샘플링된 4:2:0 포맷의 신호를 취급하는 경우에 대해서 설명한다.
또한, 영상 신호의 각 프레임에 대응하는 처리 데이터 단위를 '픽쳐'라고 한다.
이 실시예 1에서는, '픽쳐'는 순차적으로 주사(프로그래시브 스캔)된 영상 프레임 신호로서 설명을 하지만, 영상 신호가 인터레이스 신호인 경우, '픽쳐'는 영상 프레임을 구성하는 단위인 필드 화상 신호이어도 된다.
먼저, 도 1의 동영상 부호화 장치의 처리 내용을 설명한다.
우선, 부호화 제어부(2)는, 부호화 대상이 되는 픽쳐(커런트 픽쳐)의 부호화에 이용하는 최대 부호화 블록의 크기와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 결정한다(도 3의 스텝 ST1).
최대 부호화 블록의 크기의 결정 방법으로서는, 예컨대 입력 화상의 영상 신호의 해상도에 따라, 모든 픽쳐에 대해 동일한 크기를 정해도 되고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡도의 차이를 파라미터로 해서 정량화하여, 움직임이 심한 픽쳐에는 작은 크기를 정하는 반면, 움직임이 적은 픽쳐에는 큰 크기를 정하도록 해도 된다.
분할 계층수의 상한의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 움직임이 심한 경우에는 계층수를 깊게 하여 보다 미세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는 계층수를 억제하는 설정하는 등의 방법이 있다.
블록 분할부(1)는, 입력 화상의 영상 신호를 입력하면, 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로, 입력 화상의 픽쳐로 분할하여, 분할 후의 각 픽쳐를 출력한다.
또한, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 앞에서 결정한 분할 계층수의 상한에 이를 때까지, 계층적으로 부호화 블록 사이즈를 가진 부호화 대상 블록으로 분할하여, 각 부호화 대상 블록에 대한 부호화 모드를 결정한다(스텝 ST2).
여기서, 도 4는 최대 부호화 블록이 계층적으로 복수의 부호화 대상 블록으로 분할되는 예를 나타내는 설명도이다.
도 4에 있어서, 최대 부호화 블록은, '제 0 계층'이라고 기재되어 있는 휘도 성분이 (L0, M0)의 크기를 갖는 부호화 대상 블록이다.
최대 부호화 블록을 출발점으로서, 사지 트리(quad tree) 구조로 별도로 결정되는 소정의 깊이까지, 계층적으로 분할을 행함으로써 부호화 대상 블록을 얻어 록 하고 있다.
깊이 n에서는, 부호화 대상 블록은 크기(Ln, Mn)의 화상 영역이다.
단, Ln과 Mn은 같아도 되고, 달라도 되지만, 도 4에서는, Ln=Mn인 케이스를 나타내고 있다.
이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 대상 블록의 휘도 성분에 있어서의 크기(Ln, Mn)로 정의한다.
사지 트리 분할을 행하기 때문에, 항상, (Ln+1, Mn+1)=(Ln/2, Mn/2)이 성립된다.
한편, RGB 신호 등, 모든 색 성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색 성분의 크기가 (Ln, Mn)이 되지만, 4:2:0 포맷을 취급하는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Ln/2, Mn/2)이 된다.
이후, 제 n 계층의 부호화 대상 블록을 Bn로 나타내고, 부호화 대상 블록 Bn에서 선택 가능한 부호화 모드를 m(Bn)로 나타내는 것으로 한다.
복수의 색 성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)는, 색 성분마다, 각각 개별의 모드를 이용하도록 구성되어도 되고, 모든 색 성분에 대해 공통의 모드를 이용하도록 구성되어도 된다. 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 해서 설명한다.
부호화 모드 m(Bn)에는, 하나 내지 복수의 인트라 부호화 모드(총칭하여 'INTRA'라고 함)와, 하나 내지 복수의 인터 부호화 모드(총칭하여, 'INTER'라고 함)가 있고, 부호화 제어부(2)는, 상기 픽쳐로 이용 가능한 모든 부호화 모드, 또는, 그 서브셋 중에서, 부호화 대상 블록 Bn에 대한 부호화 효율이 가장 높은 부호화 모드를 선택한다.
또한, 부호화 대상 블록 Bn은, 도 4에 나타낸 바와 같이, 블록 분할부(1)에 의해서, 하나 내지 복수의 예측 처리 단위(파티션)로 분할된다.
이후, 부호화 대상 블록 Bn에 속하는 파티션을 Pi n(i는, 제 n 계층에서의 파티션 번호)라고 표기한다.
부호화 대상 블록 Bn의 파티션 분할이, 어떻게 이루어져 있는지는, 부호화 모드 m(Bn) 속에 정보로서 포함된다.
파티션 Pi n은 모두 부호화 모드 m(Bn)에 따라서 예측 처리가 행해지지만, 파티션 Pi n마다 개별적인 예측 파라미터를 선택할 수 있다.
부호화 제어부(2)는, 최대 부호화 블록에 대해, 예컨대 도 5에 나타낸 바와 같은 블록 분할 상태를 생성하여, 부호화 대상 블록을 특정한다.
도 5(a)의 사선 부분은, 분할 후의 파티션의 분포를 나타내고 있고, 도 5(b)는 계층 분할에 의해서 부호화 모드 m(Bn)가 할당되는 상황을 사지 트리 그래프로 나타내고 있다.
도 5(b)의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bn)가 할당된 노드(부호화 대상 블록)이다.
부호화 제어부(2)에 있어서의 계층 분할·부호화 모드 판정의 상세한 처리는 후술한다.
전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인트라 부호화 모드인 경우(m(Bn)∈INTRA인 경우), 블록 분할부(1)로부터 출력된 부호화 대상 블록 Bn을 인트라 예측부(4)에 출력한다.
한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인터 부호화 모드인 경우(m(Bn)∈INTER인 경우), 블록 분할부(1)로부터 출력된 부호화 대상 블록 Bn을 움직임 보상 예측부(5)에 출력한다.
인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인트라 부호화 모드이며(m(Bn)∈INTRA인 경우), 전환 스위치(3)로부터 부호화 대상 블록 Bn을 받으면(스텝 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용해서, 그 부호화 대상 블록 Bn 내의 각 파티션 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST4).
한편, 화상 복호 장치가 인트라 예측 화상 PINTRAi n과 완전히 동일한 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 PINTRAi n의 생성에 사용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)로 출력되어, 비트 스트림으로 다중화된다.
인트라 예측부(4)의 처리 내용의 세부 사항은 후술한다.
움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인터 부호화 모드 이며(m(Bn)∈INTER인 경우), 전환 스위치(3)로부터 부호화 대상 블록 Bn을 받으면(스텝 ST3), 그 부호화 대상 블록 Bn 내의 각 파티션 Pi n과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터링 처리 후의 국소 복호 화상을 비교해서 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용해서, 그 부호화 대상 블록 Bn 내의 각 파티션 Pi n에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 PINTERi n을 생성한다(스텝 ST5).
한편, 화상 복호 장치가 인터 예측 화상 PINTERi n과 완전히 동일한 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 PINTERi n의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)로 출력되어, 비트 스트림으로 다중화된다.
또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되어, 비트 스트림으로 다중화된다.
감산부(6)는 블록 분할부(1)로부터 부호화 대상 블록 Bn을 받으면, 그 부호화 대상 블록 Bn 내의 파티션 Pi n로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n을 감산하고, 그 감산 결과인 예측 차분 신호 ei n을 변환·양자화부(7)에 출력한다(스텝 ST6).
변환·양자화부(7)는, 감산부(6)로부터 예측 차분 신호 ei n를 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 예측 차분 신호 ei n에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대해 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시하여, 변환 계수를 산출한다.
또한, 변환·양자화부(7)는, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화후의 변환 계수인 압축 데이터를 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(스텝 ST7).
역양자화·역변환부(8)는, 변환·양자화부(7)로부터 압축 데이터를 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 압축 데이터를 역양자화한다.
또한, 역양자화·역변환부(8)는, 그 예측 차분 부호화 파라미터를 참조하여, 역양자화후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리(예컨대, 역 DCT, 역 KL 변환 등)를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호 ei n에 상당하는 국소 복호 예측 차분 신호를 산출한다(스텝 ST8).
가산부(9)는, 역양자화·역변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n을 가산하여, 국소 복호 파티션 화상, 또는, 그 국소 복호 파티션 화상의 집합으로서, 블록 분할부(1)로부터 출력된 부호화 대상 블록 Bn에 상당하는 국소 복호 화상을 산출한다(스텝 ST9).
한편, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.
이 국소 복호 화상이, 이후의 인트라 예측용 화상 신호가 된다.
루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 받으면, 그 국소 복호 화상에 대해 소정의 필터링 처리를 실시하고, 필터링 처리후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(스텝 ST10).
한편, 루프 필터부(11)에 의한 필터링 처리는, 입력되는 국소 복호 화상의 최대 부호화 블록 또는 개개의 부호화 블록 단위로 행해도 되고, 1 화면분의 매크로 블록에 상당하는 국소 복호 화상이 입력된 후에 1 화면분에 대해 모아서 행해도 된다.
가변 길이 부호화부(13)는, 모든 부호화 대상 블록 Bn에 대한 스텝 ST3~ST9의 처리가 완료되면(스텝 ST11, ST12), 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 부호화 모드 m(Bn)와, 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하고, 이들 부호화 결과를 나타내는 비트 스트림을 생성한다(스텝 ST13).
가변 길이 부호화부(13)의 처리 내용의 세부 사항은 후술한다.
다음으로 인트라 예측부(4)의 처리 내용을 상세하게 설명한다.
도 6은 부호화 대상 블록 Bn 내의 각 파티션 Pi n이 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 6에서는, 인트라 예측 모드와, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있으며, 도 6의 예에서는, 선택 가능한 인트라 예측 모드의 개수가 늘어남에 따라서, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계되어 있다.
인트라 예측부(4)는, 상술한 바와 같이, 파티션 Pi n의 인트라 예측 파라미터를 참조하여, 그 파티션 Pi n에 대한 인트라 예측 처리를 실시해서 인트라 예측 화상 PINTRAi n을 생성하지만, 여기서는, 파티션 Pi n의 휘도 신호에 대한 인트라 예측 파라미터(인트라 예측 모드)에 기초해서, 휘도 신호의 인트라 예측 신호를 생성하는 인트라 처리에 대해서 설명한다.
파티션 Pi n의 크기를 li n×mi n 화소로 한다.
도 7은 li n=mi n=4인 경우의 파티션 Pi n 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 7에서는, 파티션 Pi n에 인접하는 부호화 마친, 위쪽 파티션의 화소 (2×li n+1)개와, 왼쪽 파티션의 화소 (2×mi n)개를 예측에 이용하는 화소라고 하고 있지만, 예측에 이용하는 화소는, 도 7에 나타내는 화소보다 많아도 되고 적어도 된다.
또한, 도 7에서는, 인접하는 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 또는, 그 이상의 화소를 예측에 이용해도 된다.
파티션 Pi n에 대한 인트라 예측 모드의 인덱스값가 2(평균값 예측)인 경우에는, 위쪽 파티션의 인접 화소와 왼쪽 파티션의 인접 화소의 평균값을 파티션 Pi n 내의 화소의 예측값으로서 예측 화상을 생성한다.
인트라 예측 모드의 인덱스값이 2(평균값 예측) 이외인 경우에는, 인덱스값이 나타내는 예측 방향 벡터 υp=(dx, dy)에 기초해서, 파티션 Pi n 내의 화소의 예측값을 생성한다.
예측값을 생성하는 화소(예측 대상 화소)의 파티션 Pi n 내의 상대 좌표(파티션의 왼쪽 위의 화소를 원점으로 함)를 (x, y)라고 하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점이 된다.
Figure pct00001
참조 화소가 정수 화소 위치에 있는 경우에는 그 정수 화소를 예측 대상 화소의 예측값으로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측값으로 한다.
도 7의 예에서는, 참조 화소는 정수 화소 위치에 없기 때문에, 참조 화소에 인접하는 2 화소의 평균값을 예측값으로 한다. 한편, 인접하는 2 화소만이 아니라, 인접하는 2 화소 이상의 화소로부터 보간 화소를 생성하여 예측값으로 해도 된다.
마찬가지의 순서로, 파티션 Pi n 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여 인트라 예측 화상 PINTRAi n을 출력한다.
한편, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터는 비트 스트림으로 다중화하기 위해서 가변 길이 부호화부(13)로 출력된다.
파티션 Pi n의 색차 신호에 대해서도, 휘도 신호와 같은 순서로, 인트라 예측 파라미터(인트라 예측 모드)에 기초한 인트라 처리를 실시하고, 인트라 예측 화상의 생성에 사용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.
다음으로 가변 길이 부호화부(13)의 처리 내용을 상세하게 설명한다.
가변 길이 부호화부(13)는, 인트라 예측 파라미터를 가변 길이 부호화할 때, 주변의 부호화 마친 파티션의 인트라 예측 파라미터에 기초해서, 부호화 대상의 파티션 Pi n의 인트라 예측 파라미터의 예측값을 산출하고, 그 예측값을 이용해서 예측 부호화를 행한다.
즉, 가변 길이 부호화부(13)의 일부를 구성하고 있는 인트라 예측 파라미터 가변 길이 부호화부(13a)의 인트라 예측 파라미터 예측값 산출부(21)는, 부호화 마친 주변의 파티션의 인트라 예측 파라미터에 기초해서, 부호화 대상인 파티션 Pi n의 인트라 예측 파라미터의 예측값을 산출한다.
여기서, 도 8은 파티션 Pi n의 인트라 예측 파라미터의 예측값 산출에 이용하는 부호화 마친 주변 파티션의 일례를 나타내는 설명도이다.
도 8의 예에서는, 파티션 Pi n의 왼쪽(A), 위쪽(B), 오른쪽 위쪽(C), 왼쪽 위쪽(D)의 파티션의 인트라 예측 파라미터를 예측값의 산출에 이용하고 있다.
인트라 예측 파라미터 예측값 산출부(21)가 예측값을 산출하는 처리를, 인트라 예측 모드수가 도 6에 나타내는 17 종류인 경우를 예로 해서 설명한다.
도 6에 있어서, 17 종류의 인트라 예측 모드는, 평균값 예측 모드와 16 종류의 방향성 예측 모드로 이루어진다.
도 9는 17 종류의 인트라 예측 모드의 인덱스값과 평균값 예측을 제외한, 16 종류의 방향성 예측 모드의 예측 방향 벡터의 일례를 나타내는 설명도이다. 16 종류의 예측 방향 벡터 중에서 대표적인 방향을 나타내는 예측 방향 대표 벡터를 미리 결정해 두는 것으로 한다.
이하의 설명에서는, 도 9에 나타내는 "0"부터 "8"의 9 방향의 예측 방향 벡터를 예측 방향 대표 벡터로서 미리 결정한 경우를 예로 설명한다.
인트라 예측 파라미터 예측값 산출부(21)는, 예측값의 산출에 이용하는 부호화 마친 주변 파티션의 인트라 예측 모드로부터 예측 방향 대표 인덱스를 산출한다.
단, 방향성 예측 모드의 예측 방향 대표 인덱스는, 그 방향성 예측 모드가 나타내는 예측 방향 벡터에 대한 상대 각도가 가장 작은 예측 방향 대표 벡터의 인덱스로 한다.
즉, 방향성 예측 모드가 나타내는 예측 방향 벡터와 방향이 가까운 예측 방향 대표 벡터의 인덱스값이다. 한편, 평균값 예측 모드의 예측 방향 대표 인덱스는, 자신(평균값 예측 모드)의 인덱스값으로 한다.
도 9는 17 종류의 인트라 예측 모드의 예측 방향 대표 인덱스를 나타내고 있다. 또한, 동일한 예측 방향 대표 인덱스를 갖는 인트라 예측 모드 인덱스에 대해서, 예측 방향 차분 인덱스를 할당하고 있다.
다음으로 부호화 마친 주변 파티션의 인트라 예측 모드의 예측 방향 대표 인덱스에 기초해서, 부호화 대상인 파티션 Pi n의 인트라 예측 파라미터의 예측값을 산출하는 처리에 대해서 설명한다.
예컨대, 예측값의 산출에 이용하는 주변 파티션이 파티션 Pi n의 왼쪽(A), 위쪽(B), 오른쪽 위쪽(C), 왼쪽 위쪽(D)의 파티션인 경우, 파티션 A, B, C, D의 예측 방향 대표 인덱스를 각각 mA, mB, mC, mD라고 했을 때에, mA, mB, mC, mD의 최빈값이나 최소값, 메디안 등의 통계값 중에서 미리 결정된 통계값을 예측값 pmp으로 한다. 또는, 주위의 파티션의 예측 방향 벡터의 방향에 따라서, 예컨대, 파티션 C의 예측 방향 벡터의 방향이 왼쪽 아래 경사인 경우(도 9의 예에서는, 인트라 예측 모드 인덱스가 8, 10, 16인 경우), 에지의 연속성으로부터 생각해서, 파티션 Pi n의 예측 방향 벡터의 방향도 왼쪽 아래 경사가 될 확률이 높다는 점에서, 예측 방향 대표 벡터의 방향이 왼쪽 아래 경사를 나타내는 예측 방향 대표 인덱스(도 9의 예에서는 8)을, 파티션 Pi n의 예측값 pmp로 한다. 또는, A, B, C, D의 파티션 중에서 미리 결정된 하나의 파티션의 예측 방향 대표 인덱스를 예측값 pmp로 해도 된다. 또는, 주변 파티션의 예측 방향 대표 인덱스를 이용하지 않고, 미리 결정된 예측 방향 대표 인덱스(예컨대, 평균값 예측 모드의 인덱스)를 예측값 pmp로 해도 된다.
그리고, 산출한 예측값 pmp를 인트라 예측 파라미터 2진화 인덱스 산출부(22)에 출력한다.
인트라 예측 파라미터 2진화 인덱스 산출부(22)는, 부호화 대상인 파티션 Pi n의 인트라 예측 파라미터(인트라 예측 모드의 인덱스) mp와 예측값 pmp를 입력하여, 인트라 예측 파라미터 2진화 인덱스 dmp를 산출한다.
이하, 인트라 예측 파라미터 2진화 인덱스의 산출 방법에 대해서 설명한다.
인트라 예측 모드 mp의 예측 방향 대표 인덱스를 rmp로 한다.
Figure pct00002
단, m은 예측 방향 대표 인덱스의 개수로, 도 9의 예에서는, m=9, n= 3이다.
다음으로 인트라 예측 모드 mp의 예측 방향 차분 인덱스를 drp로서, 상기의 인트라 예측 파라미터 2진화 인덱스 dmp에 대해, 나아가서는 하기 식에 기초한 처리를 행한다.
Figure pct00003
단, l은 동일한 예측 방향 대표 인덱스를 가진 인트라 예측 모드의 개수로, 도 9의 예에서는, 인트라 예측 모드가 평균값 예측인 경우에는, l=1, k=0, 인트라 예측 모드가 평균값 예측 이외인 경우에는, l=2, k=1이다.
상기 산출 방법으로 구한 인트라 예측 파라미터 2진화 인덱스 dmp는, 1번째 비트가, 인트라 예측 모드의 예측 방향 대표 인덱스 rmp와 예측값 pmp가 일치하는지 여부를 나타내는 플래그 비트(상기의 산출식에서는, 일치하는 경우에는 "0", 일치하지 않는 경우에는 "1"을 할당함)이다.
인트라 예측 모드의 예측 방향 대표 인덱스 rmp와 예측값 pmp가 일치하는 경우, 인트라 예측 파라미터 2진화 인덱스 dmp의 2~(k+1) 비트가, 예측 방향 차분 인덱스값을 나타내는 비트가 된다.
한편, 인트라 예측 모드의 예측 방향 대표 인덱스 rmp와 예측값 pmp가 일치하지 않는 경우, 인트라 예측 파라미터 2진화 인덱스 dmp의 2~(n+1) 비트가, 예측 방향 대표 인덱스값을 나타내는 비트가 되어, (n+2)~(n+k+1) 비트가, 예측 방향 차분 인덱스값을 나타내는 비트가 된다.
이상의 처리에 의해 산출된 인트라 예측 파라미터 2진화 인덱스 dmp는, 엔트로피 부호화부(23)에 출력된다.
엔트로피 부호화부(23)는 인트라 예측 파라미터 2진화 인덱스 산출부(22)로부터 출력된 인트라 예측 파라미터 2진화 인덱스 dmp를, 예측 방향 대표 인덱스 rmp 와 예측 방향 차분 인덱스마다, 각각의 확률 모델에 따라, 컨텍스트를 전환하여 산술 부호화 등의 하프만 부호화를 행한다.
그 부호화 결과인 인트라 예측 파라미터 부호어는, 가변 길이 부호화부(13)의 비트 스트림 다중화부(도시 생략)에서 비트 스트림으로 다중화된다.
도 1의 동영상 부호화 장치의 가변 길이 부호화부(13)는, 인트라 예측 파라미터를 부호화할 때에, 복수의 방향성 예측의 예측 방향 벡터 중에서 대표적인 예측 방향 벡터(예측 방향 대표 벡터)를 선택하여, 인트라 예측 파라미터를 예측 방향 대표 벡터의 인덱스(예측 방향 대표 인덱스)와, 예측 방향 대표 벡터로부터의 차분을 나타내는 인덱스(예측 방향 차분 인덱스)로 나타내고, 각각의 인덱스마다 확률 모델에 따른 산술 부호화 등의 하프만 부호화를 행함으로써 부호량을 삭감하여 부호화할 수 있다.
다음으로 도 10의 동영상 복호 장치의 처리 내용을 구체적으로 설명한다.
가변 길이 복호부(31)는, 도 1의 동영상 부호화 장치에 의해 생성된 비트 스트림을 입력하면, 그 비트 스트림에 대한 가변 길이 복호 처리를 실시하여(도 12의 스텝 ST21), 1 프레임 이상의 픽쳐로 구성되는 시퀀스 단위, 또는 픽쳐 단위로 프레임 사이즈의 정보를 복호한다.
즉, 가변 길이 복호부(31)는, 도 1의 동영상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 동영상 부호화 장치와 같은 순서로 결정한다(스텝 ST22).
예컨대, 최대 부호화 블록 사이즈가 영상 신호의 해상도에 따라 결정된 경우에는, 복호한 프레임 사이즈 정보에 기초해서, 동영상 부호화 장치와 같은 순서로 최대 부호화 블록 사이즈를 결정한다.
최대 부호화 블록 사이즈 및 분할 계층수 상한이, 동영상 부호화 장치측에서 비트 스트림으로 다중화된 경우에는, 비트 스트림으로부터 복호한 값을 이용한다.
동영상 부호화 장치는, 도 4에 도시된 바와 같이, 최대 부호화 블록을 출발점으로 계층적으로 복수의 부호화 대상 블록으로 분할하여 얻어지는 부호화 대상 블록 단위로 부호화 모드나 변환·양자화하여 얻어지는 압축 데이터를 비트 스트림으로 다중화한다.
상기 비트 스트림을 받은 가변 길이 복호부(31)는, 결정된 최대 부호화 블록 단위로 부호화 모드에 포함되는 최대 부호화 블록의 분할 상태를 복호한다. 복호 된 분할 상태에 기초해서, 계층적으로 복호 대상 블록(도 1의 동영상 부호화 장치의 '부호화 대상 블록'에 상당하는 블록)을 특정한다(스텝 ST23).
다음으로 가변 길이 복호부(31)는, 부호화 대상 블록에 할당되어 있는 부호화 모드를 복호한다. 복호한 부호화 모드에 포함되는 정보에 기초해서, 부호화 대상 블록을 더 하나 내지 복수의 예측 처리 단위로 분할하고, 예측 처리 단위로 할 당되어 있는 예측 파라미터를 복호한다(스텝 ST24).
가변 길이 복호부(31)는, 복호 대상 블록(부호화 대상 블록)에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 복호 대상 블록(부호화 대상 블록)에 포함되어 있고, 예측 처리 단위가 되는 하나 이상의 파티션마다 인트라 예측 파라미터를 복호한다.
인트라 예측 파라미터의 복호는, 동영상 부호화 장치측과 같은 순서로 주변의 복호 마친 파티션의 인트라 예측 파라미터에 기초해서, 복호 대상인 파티션 Pi n의 인트라 예측 파라미터의 예측값을 산출하고, 그 예측값을 이용해서 복호한다.
즉, 가변 길이 복호부(31)의 일부를 구성하고 있는 인트라 예측 파라미터 가변 길이 복호부(31a) 내의 엔트로피 복호부(41)는, 비트 스트림에 포함되어 있는 인트라 예측 파라미터 부호어를 입력하고, 그 인트라 예측 파라미터 부호어로부터 인트라 예측 파라미터 2진화 인덱스를 가변 길이 복호한다.
인트라 예측 파라미터 예측값 산출부(42)는, 동영상 부호화 장치의 인트라 예측 파라미터 예측값 산출부(21)와 같은 순서로, 복호 대상 블록에 인접하는 복호 마친 블록의 인트라 예측 파라미터로부터, 복호 대상 블록의 인트라 예측 파라미터의 예측값을 산출한다.
인트라 예측 파라미터 인덱스 산출부(43)는, 엔트로피 복호부(41)에 의해 가변 길이 복호된 인트라 예측 파라미터 2진화 인덱스와, 인트라 예측 파라미터 예측값 산출부(42)에 의해 산출된 예측값으로부터, 인트라 예측 파라미터를 산출한다.
이하, 인트라 예측 파라미터의 산출 방법을 설명한다.
인트라 예측 파라미터 인덱스 산출부(43)는, 인트라 예측 파라미터 인덱스를 산출하기 위해서, 예측 방향 대표 인덱스와 예측 방향 차분 인덱스를 산출한다.
인트라 예측 파라미터 2진화 인덱스를 dmp라고 한다.
인트라 예측 파라미터 2진화 인덱스 dmp의 1번째비트가 "0"인 경우, 예측값 pmp를 예측 방향 대표 인덱스값 rmp으로 한다.
인트라 예측 파라미터 2진화 인덱스 dmp의 1번째비트가 "1"인 경우, 계속해서, 2~(k+1) 비트를 복호하고, 2~(n+1) 비트를 복호한 값 RMp에 대해, 하기 식에 의해 예측 방향 대표 인덱스값 rmp를 산출한다.
Figure pct00004
다음으로 인트라 예측 파라미터 인덱스 산출부(43)는, 인트라 예측 파라미터 2진화 인덱스 dmp의 1번째비트가 "0"인 경우, 2~(k+1)번째비트를 복호하고, 1번째비트가 "1"인 경우에는, (n+2)~(n+k+1)번째비트를 복호하며, 그 복호한 값을 예측 방향 차분 인덱스 drp로 한다.
동영상 복호 장치에 있어서도, 동영상 부호화 장치와 마찬가지로, 예측 방향 대표 인덱스와 예측 방향 차분 인덱스에 기초해서, 인트라 예측 파라미터 인덱스를 복호한다.
가변 길이 복호부(31)는, 부호화 모드에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 복호 대상 블록(부호화 대상 블록)에 포함되어 있고, 예측 처리 단위가 되는 하나 이상 파티션마다 인터 예측 파라미터를 복호한다.
가변 길이 복호부(31)는, 예측 처리 단위가 되는 파티션을, 또한 예측 차분 부호화 파라미터에 포함되는 변환 블록 사이즈의 정보에 기초해서, 변환 처리 단위가 되는 하나 내지 복수의 파티션으로 분할되며, 변환 처리 단위가 되는 파티션마다 압축 데이터(변환·양자화후의 변환 계수)를 복호한다(스텝 ST24).
전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인트라 부호화 모드이면(m(Bn)∈INTRA인 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.
한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인터 부호화 모드이면(m(Bn)∈INTER인 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.
인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인트라 부호화 모드이고(m(Bn)∈INTRA인 경우), 전환 스위치(33)로부터 인트라 예측 파라미터를 받으면(스텝 ST25), 도 1의 인트라 예측부(4)와 같은 순서로, 인트라 예측용 메모리(37)에 저장되어 있는 국소 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용해서, 복호 대상 블록 Bn 내의 각 파티션 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST26).
움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인터 부호화 모드이며(m(Bn)∈INTER인 경우), 전환 스위치(33)로부터 부호화 대상 블록 Bn을 받으면(스텝 ST25), 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터링 처리후의 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용해서, 복호 대상 블록에 대한 인터 예측 처리를 실시하여 인터 예측 화상 PINTERi n을 생성한다(스텝 ST27).
역양자화·역변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 받으면, 도 1의 역양자화·역변환부(8)와 같은 순서로, 그 예측 차분 부호화 파라미터를 참조하여 그 압축 데이터를 역양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여 역양자화후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시해서, 도 1의 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 복호 예측 차분 신호를 산출한다(스텝 ST28).
가산부(36)는, 역양자화·역변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는 움직임 보상부(35)에 의해 생성된 인터 예측 화상 PINTERi n을 가산하여, 복호 대상 블록 내에 포함되는 하나 내지 복수의 복호 파티션 화상의 집합으로서, 복호 화상을 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(스텝 ST29).
이 복호 화상이, 이후의 인트라 예측용의 화상 신호가 된다.
루프 필터부(11)는, 모든 복호 대상 블록 Bn에 대한 스텝 ST23~ST29의 처리가 완료되면(스텝 ST30), 가산부(36)로부터 출력된 복호 화상에 대해, 소정의 필터링 처리를 실시하고, 필터링 처리후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(스텝 ST31).
이 복호 화상이, 움직임 보상 예측용 참조 화상이 되고 또한, 재생 화상이 된다.
도 10의 동영상 복호 장치의 가변 길이 복호부(31)는, 인트라 예측 파라미터를 복호할 때에, 복수의 방향성 예측의 예측 방향 벡터 중에서 선택된 대표적인 예측 방향 벡터(예측 방향 대표 벡터)의 인덱스와, 예측 방향 대표 벡터로부터의 차분을 나타내는 인덱스(예측 방향 차분 인덱스)를 각각의 확률 모델에 따른 산술 복호 등에 의해 엔트로피 복호함으로써, 부호량을 삭감하여 부호화된 인트라 예측 파라미터를 정확하게 복호할 수 있다.
이상으로 자명한 바와 같이, 이 실시예 1에 의하면, 동영상 부호화 장치의 가변 길이 부호화부(13)가, 인트라 예측 처리에 있어서의 복수의 방향성 예측에 따른 예측 방향 벡터 중에서, 블록 분할부(1)로부터 출력된 부호화 대상 블록에 인접하는 부호화 마친 블록의 인트라 예측 파라미터가 나타내는 예측 방향 벡터와 방향이 가장 가까운 예측 방향 벡터(예측 방향 대표 벡터)를 특정하여, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터의 가변 길이 부호화로서, 그 예측 방향 대표 벡터의 인덱스를 가변 길이 부호화함과 아울러, 부호화 마친 블록의 인트라 예측 파라미터가 나타내는 예측 방향 벡터와 예측 방향 대표 벡터의 차분을 나타내는 인덱스를 가변 길이 부호화하도록 구성했기 때문에, 선택 가능한 방향성 예측의 모드수를 늘려도, 인트라 예측 모드에 따른 정보의 부호량의 증가를 억제할 수 있다는 효과를 낸다.
또한, 이 실시예 1에 의하면, 동영상 복호 장치의 가변 길이 복호부(31)가, 인트라 예측 파라미터의 가변 길이 복호로서, 예측 방향 대표 벡터의 인덱스를 가변 길이 복호함과 아울러, 복호 마친 블록의 인트라 예측 파라미터가 나타내는 예측 방향 벡터와 예측 방향 대표 벡터의 차분을 나타내는 인덱스를 가변 길이 복호하여, 그 예측 방향 대표 벡터의 인덱스와 상기 차분을 나타내는 인덱스로부터, 그 인트라 예측 파라미터를 결정하도록 구성했기 때문에, 예측 효율을 저하시키는 일없이 인트라 예측 파라미터의 부호량을 삭감하여 부호화된 비트 스트림을 정확하게 복호할 수 있다는 효과를 낸다.
(실시예 2)
상기 실시예 1에서는, 동영상 부호화 장치의 인트라 예측부(4)가, 영상 신호에 있어서의 휘도 신호와 색차 신호를 마찬가지로 취급하여, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리와, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 별개로 독립적으로 실시하고 있다.
이 때문에, 가변 길이 부호화부(13)는, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하고 있는 인트라 예측 파라미터와, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 개별적으로 가변 길이 부호화하여 비트 스트림으로 다중화하도록 하고 있다.
이 경우, 예컨대, 휘도 신호의 부호화 대상 블록과 색차 신호의 부호화 대상 블록의 특징이 근사하고 있어, 양쪽 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터가 거의 같으면, 비트 스트림으로 다중화되어 있는 인트라 예측 파라미터가 쓸데없이 길어지게 된다.
그래서, 이 실시예 2에서는, 인트라 예측부(4)가, 색차 신호의 예측 화상을 생성할 때, 예컨대, 휘도 신호의 부호화 대상 블록과 색차 신호의 부호화 대상 블록의 특징이 근사하고 있는 경우, 그 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시 함으로써, 비트 스트림으로 다중화하는 인트라 예측 파라미터를 삭감하는 예를 설명한다.
구체적으로는, 이하와 같다.
도 13은 휘도 신호 및 색차 신호의 파티션 Pi n의 일례를 나타내는 설명도이다.
동영상 부호화 장치의 인트라 예측부(4)는, 도 13(a)에 나타낸 바와 같이, 파티션 Pi n의 휘도 신호(Y)에 에지가 있는 경우, 색차 신호(Cb, Cr)에 대해서도 마찬가지의 에지가 존재하는 경우가 많다고 하는 특징을 이용해서, 휘도 신호로 적용된 인트라 예측 파라미터를 색차 신호의 인트라 예측 파라미터로서 그대로 적용하여, 인트라 예측 화상을 생성한다.
단, 도 13(b)에 나타낸 바와 같이, 파티션 Pi n의 휘도 신호(Y)에 에지가 있어도, 그레이 스케일의 에지인 경우, 색차 신호(Cb, Cr)에는 에지가 없는 경우도 있다.
이러한 경우에는, 휘도 신호의 인트라 예측 파라미터를 적용하지 않고, 평균값 예측을 적용하여, 인트라 예측 화상을 생성하도록 한다.
또한, 도 13(c)에 나타낸 바와 같이, 파티션 Pi n의 휘도 신호(Y)에 에지가 있는 경우에도, 색차 신호(Cb, Cr)에서는, 에지의 경계가 흐려져 있거나, 끊어져 있는 경우도 있다.
이러한 경우에는, 에지의 경계가 흐려져 있거나, 끊어져 있는 영역의 화소에서 예측 잔차가 커져서, 예측 잔차에 따른 부호량이 늘어날 우려가 있다.
그래서, 예측 잔차에 따른 부호량이 늘어나는 상황의 발생을 피하기 위해서, 도 14에 나타낸 바와 같이, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하고 있는 인트라 예측 파라미터와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시함으로써 예측 화상을 생성한 후, 에지를 흐리게 하도록, 그 예측 화상에 대해 평활화 필터링을 수행하도록 한다.
이 경우, 필터 처리후의 예측 화상이, 색차 신호의 예측 화상이 된다.
가변 길이 부호화부(13)는, 휘도 신호로 적용된 인트라 예측 파라미터에 대해서는, 상기 실시예 1과 마찬가지로, 가변 길이 부호화하여 비트 스트림으로 다중화하지만, 색차 신호로 적용된 인트라 예측 파라미터에 대해서는 다음과 같이 한다.
즉, 가변 길이 부호화부(13)는, 색차 신호로 적용된 인트라 예측 파라미터 자체는 가변 길이 부호화하지 않고, 그 인트라 예측 파라미터 대신, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있는지, 평균값 예측을 적용하고 있는지를 나타내는 1비트의 플래그를 산술 부호화 등에 의해 엔트로피 부호화한다.
이로써, 색차 신호로 적용된 인트라 예측 파라미터로서, 1비트의 플래그가 비트 스트림으로 다중화된다.
한편, 필요에 따라, 예측 화상에 대해 평활화 필터링을 수행하는 경우, 평활화 필터링을 수행하고 있는지 여부를 나타내는 1비트의 플래그를 산술 부호화 등에 의해 엔트로피 부호화한다.
여기서는, 인트라 예측부(4)가, 색차 신호의 예측 화상을 생성할 때, 휘도 신호의 인트라 예측 파라미터를 적용하지 않는 경우, 평균값 예측을 적용하여, 인트라 예측 화상을 생성하는 것에 대해서 나타내었지만, 평균값 예측에 더해서, 수평 예측이나 수직 예측 등, 복수의 대표적인 예측 방향 벡터에 대응하는 모드(방향성 예측 모드)를 적용하여 예측 화상을 생성하도록 해도 된다.
또한, 방향성 예측 모드를 적용하여 생성된 예측 화상에 대해 평활화 필터링을 수행한 화상을 색차 신호의 예측 화상으로 해도 된다.
도 10의 동영상 복호 장치의 가변 길이 복호부(31)는, 색차 신호로 적용된 인트라 예측 파라미터로서, 비트 스트림으로부터 1비트의 플래그를 가변 길이 복호한다.
인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 플래그가, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있다는 취지를 나타내고 있는 경우, 도 1의 인트라 예측부(4)와 마찬가지로, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 복호 대상 블록(부호화 대상 블록)에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성한다.
한편, 그 플래그가, 평균값 예측을 적용하고 있다는 취지를 나타내고 있는 경우(휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있지 않다는 취지를 나타내고 있는 경우), 도 1의 인트라 예측부(4)와 마찬가지로, 평균값 예측을 적용해서, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성한다.
또한, 그 플래그가, 수평 예측(또는, 수직 예측)을 적용하고 있다는 취지를 나타내고 있는 경우, 수평 예측(또는, 수직 예측)을 적용해서, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성한다.
인트라 예측부(34)는, 가변 길이 복호부(31)에 의해, 평활화 필터링을 수행하고 있는지 여부를 나타내는 1비트의 플래그가 가변 길이 복호된 경우, 그 플래그가, 평활화 필터링을 수행하고 있다는 취지를 나타내고 있으면, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성한 후, 그 예측 화상에 대해, 평활화 필터링을 수행하도록 한다.
이 경우, 필터 처리 후의 예측 화상이, 색차 신호의 예측 화상이 된다.
이상으로 자명한 바와 같이, 이 실시예 2에 의하면, 동영상 부호화 장치의 인트라 예측부(4)가, 색차 신호의 예측 화상을 생성할 때, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여, 또는 평균값 예측을 적용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여, 가변 길이 부호화부(13)가 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터로서, 인트라 예측부(4)가 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있는지 여부를 나타내는 플래그를 가변 길이 부호화하도록 구성했기 때문에, 예측 효율을 저하시키는 일없이, 색차 신호의 인트라 예측 모드에 따른 부호량을 삭감할 수 있다는 효과를 낸다.
또한, 이 실시예 2에 의하면, 동영상 부호화 장치의 인트라 예측부(4)가, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여, 색차 신호의 예측 화상을 생성하고 나서, 그 예측 화상에 대해 평활화 필터링을 수행하도록 구성했기 때문에, 예측 효율을 높여서, 잔차 신호의 부호량을 삭감할 수 있다는 효과를 낸다.
이 실시예 2에 의하면, 동영상 복호 장치의 가변 길이 복호부(31)가 비트 스트림으로부터 플래그를 가변 길이 복호하고, 인트라 예측부(34)가, 가변 길이 복호부(31)에 의해 가변 길이 복호된 플래그가 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있다는 취지를 나타내고 있는 경우, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 복호 대상 블록(부호화 대상 블록)에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성하고, 그 플래그가 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있지 않다는 취지를 나타내고 있는 경우, 평균값 예측을 적용해서, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성하도록 구성했기 때문에, 예측 효율을 저하시키는 일없이, 색차 신호의 인트라 예측 파라미터의 부호량을 삭감하여 부호화된 비트 스트림을 정확하게 복호할 수 있다는 효과를 낸다.
또한, 이 실시예 2에 의하면, 동영상 복호 장치의 인트라 예측부(34)가, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여, 색차 신호의 예측 화상을 생성하고 나서, 그 예측 화상에 대하여 평활화 필터링을 수행하도록 구성했기 때문에, 예측 효율을 높여서, 잔차 신호에 따른 부호량을 삭감하여 부호화된 비트 스트림을 정확하게 복호할 수 있다는 효과를 낸다.
(산업상 이용 가능성)
이상과 같이, 본 발명에 따른 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법은, 예측 효율을 저하시키는 일없이, 색차 신호의 인트라 예측 모드에 따른 부호량을 삭감할 수 있도록 했기 때문에, 인트라 예측 처리 또는 인터 예측 처리를 실시하여 예측 부호화를 실시하는 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법 등에 이용하기에 적합하다.
1 : 블록 분할부(블록 분할 수단)
2 : 부호화 제어부(부호화 제어 수단)
3 : 전환 스위치(예측 화상 생성 수단)
4 : 인트라 예측부(예측 화상 생성 수단)
5 : 움직임 보상 예측부
6 : 감산부(양자화 수단)
7 : 변환·양자화부(양자화 수단)
8 : 역양자화·역변환부
9 : 가산부
10 : 인트라 예측용 메모리(예측 화상 생성 수단)
11 : 루프 필터부
12 : 움직임 보상 예측 프레임 메모리
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
13a : 인트라 예측 파라미터 가변 길이 부호화부
21 : 인트라 예측 파라미터 예측값 산출부
22 : 인트라 예측 파라미터 2진화 인덱스 산출부
23 : 엔트로피 부호화부
31 : 가변 길이 복호부(가변 길이 복호 수단)
31a : 인트라 예측 파라미터 가변 길이 복호부
32 : 역양자화·역변환부(역양자화 수단)
33 : 전환 스위치(예측 화상 생성 수단)
34 : 인트라 예측부(예측 화상 생성 수단)
35 : 움직임 보상부
36 : 가산부
37 : 인트라 예측용 메모리(예측 화상 생성 수단)
38 : 루프 필터부
39 : 움직임 보상 예측 프레임 메모리
41 : 엔트로피 복호부
42 : 인트라 예측 파라미터 예측값 산출부
43 : 인트라 예측 파라미터 인덱스 산출부

Claims (6)

  1. 휘도 신호 및 색차 신호로 이루어지는 입력 화상을 예측 처리 단위의 블록으로 분할하여, 예측 처리 단위의 블록인 부호화 대상 블록을 출력하는 블록 분할 수단과,
    상기 블록 분할 수단으로부터 출력되는 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 결정하는 부호화 제어 수단과,
    상기 부호화 제어 수단에 의해 결정된 인트라 예측 파라미터를 이용해서, 상기 블록 분할 수단으로부터 출력된 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여, 휘도 신호 및 색차 신호의 예측 화상을 생성하는 예측 화상 생성 수단과,
    상기 예측 화상 생성 수단에 의해 생성된 예측 화상과 상기 블록 분할 수단으로부터 출력된 부호화 대상 블록의 차분 화상을 양자화하여, 상기 차분 화상의 양자화 계수를 출력하는 양자화 수단과,
    상기 양자화 수단으로부터 출력된 양자화 계수 및 상기 부호화 제어 수단에 의해 결정된 인트라 예측 파라미터를 가변 길이 부호화하여 비트 스트림을 생성하는 가변 길이 부호화 수단
    을 구비하고,
    상기 예측 화상 생성 수단은, 색차 신호의 예측 화상을 생성할 때, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하거나, 또는 평균값 예측을 적용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하며,
    상기 가변 길이 부호화 수단은, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터로서 상기 예측 화상 생성 수단이 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있는지 여부를 나타내는 플래그를 가변 길이 부호화하는 것
    을 특징으로 하는 동영상 부호화 장치.
  2. 제 1 항에 있어서,
    예측 화상 생성 수단은, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여, 색차 신호의 예측 화상을 생성하고 나서, 상기 예측 화상에 대해 평활화 필터링을 수행하는 것을 특징으로 하는 동영상 부호화 장치.
  3. 비트 스트림으로부터 양자화 계수 및 인트라 예측 파라미터를 가변 길이 복호하는 가변 길이 복호 수단과,
    상기 가변 길이 복호 수단에 의해 가변 길이 복호된 양자화 계수를 역양자화하는 역양자화 수단과,
    상기 가변 길이 복호 수단에 의해 가변 길이 복호된 인트라 예측 파라미터를 이용해서 복호 대상 블록에 대한 인트라 예측 처리를 실시하여, 휘도 신호 및 색차 신호의 예측 화상을 생성하는 예측 화상 생성 수단과,
    상기 예측 화상 생성 수단에 의해 생성된 예측 화상과 상기 역양자화 수단의 역양자화 결과가 나타내는 차분 화상을 가산하여 복호 화상을 얻는 화상 가산 수단
    을 구비하고,
    상기 가변 길이 복호 수단은, 상기 비트 스트림으로부터 플래그를 가변 길이 복호하며,
    상기 예측 화상 생성 수단은, 상기 가변 길이 복호 수단에 의해 가변 길이 복호된 플래그가 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있다는 취지를 나타내고 있는 경우, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성하고, 상기 플래그가 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있지 않다는 취지를 나타내고 있는 경우, 평균값 예측을 적용해서, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성하는 것
    을 특징으로 하는 동영상 복호 장치.
  4. 제 3 항에 있어서,
    예측 화상 생성 수단은, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성하고 나서, 상기 예측 화상에 대해 평활화 필터링을 수행하는 것을 특징으로 하는 동영상 복호 장치.
  5. 블록 분할 수단이, 휘도 신호 및 색차 신호로 이루어지는 입력 화상을 예측 처리 단위의 블록으로 분할하여 예측 처리 단위의 블록인 부호화 대상 블록을 출력하는 블록 분할 처리 단계와,
    부호화 제어 수단이, 상기 블록 분할 처리 단계에 의해 출력되는 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 결정하는 부호화 제어 처리 단계와,
    예측 화상 생성 수단이, 상기 부호화 제어 처리 단계에서 결정된 인트라 예측 파라미터를 이용해서, 상기 블록 분할 처리 단계에 의해 출력된 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여, 휘도 신호 및 색차 신호의 예측 화상을 생성하는 예측 화상 생성 처리 단계와,
    양자화 수단이, 상기 예측 화상 생성 처리 단계에서 생성된 예측 화상과 상기 블록 분할 처리 단계에 의해서 출력된 부호화 대상 블록의 차분 화상을 양자화하여, 상기 차분 화상의 양자화 계수를 출력하는 양자화 처리 단계와,
    가변 길이 부호화 수단이, 상기 양자화 처리 단계에 의해서 출력된 양자화 계수 및 상기 부호화 제어 처리 단계에서 결정된 인트라 예측 파라미터를 가변 길이 부호화하여 비트 스트림을 생성하는 가변 길이 부호화 처리 단계
    를 구비하고,
    상기 가변 길이 부호화 수단이, 색차 신호의 예측 화상을 생성할 때, 휘도 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하거나, 또는, 평균값 예측을 적용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하며,
    상기 가변 길이 부호화 수단이, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터로서, 상기 가변 길이 부호화 수단이 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있는지 여부를 나타내는 플래그를 가변 길이 부호화하는 것
    을 특징으로 하는 동영상 부호화 방법.
  6. 가변 길이 복호 수단이, 비트 스트림으로부터 양자화 계수 및 인트라 예측 파라미터를 가변 길이 복호하는 가변 길이 복호 처리 단계와,
    역양자화 수단이, 상기 가변 길이 복호 처리 단계에서 가변 길이 복호된 양자화 계수를 역양자화하는 역양자화 처리 단계와,
    예측 화상 생성 수단이, 상기 가변 길이 복호 처리 단계에서 가변 길이 복호된 인트라 예측 파라미터를 이용하여, 복호 대상 블록에 대한 인트라 예측 처리를 실시하여, 휘도 신호 및 색차 신호의 예측 화상을 생성하는 예측 화상 생성 처리 단계와,
    화상 가산 수단이, 상기 예측 화상 생성 처리 단계에서 생성된 예측 화상과 상기 역양자화 처리 단계에서의 역양자화 결과가 나타내는 차분 화상을 가산하여 복호 화상을 얻는 화상 가산 처리 단계
    를 구비하며,
    상기 가변 길이 복호 수단이, 상기 비트 스트림으로부터 플래그를 가변 길이 복호하고,
    상기 예측 화상 생성 수단이, 상기 플래그가, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있다는 취지를 나타내고 있는 경우, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성하고, 상기 플래그가, 휘도 신호와 동일한 인트라 예측 파라미터를 이용해서 색차 신호의 부호화 대상 블록에 대한 인트라 예측 처리를 실시하고 있지 않다는 취지를 나타내고 있는 경우, 평균값 예측을 적용해서, 색차 신호의 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 색차 신호의 예측 화상을 생성하는 것
    을 특징으로 하는 동영상 복호 방법.
KR1020137003840A 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법 KR20130069726A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010160647 2010-07-15
JPJP-P-2010-160647 2010-07-15
PCT/JP2011/003907 WO2012008125A1 (ja) 2010-07-15 2011-07-07 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147009217A Division KR20140049095A (ko) 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법

Publications (1)

Publication Number Publication Date
KR20130069726A true KR20130069726A (ko) 2013-06-26

Family

ID=45469144

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020147009217A KR20140049095A (ko) 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
KR1020147022240A KR101529452B1 (ko) 2010-07-15 2011-07-07 동영상 복호 장치 및 동영상 복호 방법
KR1020157012081A KR20150059797A (ko) 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
KR1020137003840A KR20130069726A (ko) 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
KR1020147035797A KR101562158B1 (ko) 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020147009217A KR20140049095A (ko) 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
KR1020147022240A KR101529452B1 (ko) 2010-07-15 2011-07-07 동영상 복호 장치 및 동영상 복호 방법
KR1020157012081A KR20150059797A (ko) 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147035797A KR101562158B1 (ko) 2010-07-15 2011-07-07 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법

Country Status (13)

Country Link
US (1) US9462271B2 (ko)
EP (1) EP2595386A4 (ko)
JP (3) JP5656998B2 (ko)
KR (5) KR20140049095A (ko)
CN (5) CN105847792B (ko)
BR (1) BR112013000516B1 (ko)
CA (1) CA2805328A1 (ko)
HK (5) HK1183189A1 (ko)
MX (1) MX2013000525A (ko)
RU (4) RU2533649C1 (ko)
SG (2) SG10201504903RA (ko)
TW (3) TWI533676B (ko)
WO (1) WO2012008125A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103392341A (zh) 2010-12-23 2013-11-13 三星电子株式会社 用于对图像预测单元的帧内预测模式进行编码的方法和装置，以及用于对图像预测单元的帧内预测模式进行解码的方法和装置
BR112013014371B8 (pt) 2011-01-07 2022-05-24 Hfi Innovation Inc Método e aparelho de codificação aperfeiçoada de modo de predição intra crominância
US9299133B2 (en) * 2011-01-12 2016-03-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
CN105812807B (zh) 2011-06-23 2018-01-16 Jvc 建伍株式会社 图像编码装置和图像编码方法
CN103220508B (zh) 2012-01-20 2014-06-11 华为技术有限公司 编解码方法和装置
EP3051824B1 (en) 2012-04-12 2020-02-05 Velos Media International Limited Extension data handling
CN104604225B (zh) * 2012-09-10 2018-01-26 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
US20140185928A1 (en) * 2012-12-28 2014-07-03 Shai Ben NUN Hardware-supported huffman coding of images
SI2981087T1 (sl) * 2013-03-29 2020-02-28 JVC KENWOOD Corporation, Naprava za dekodiranje slik, postopek za dekodiranje slik in program za dekodiranje slik
CN103313055B (zh) * 2013-06-03 2016-04-20 电子科技大学 一种基于分割的色度帧内预测方法、及视频编码解码方法
US9967594B2 (en) * 2013-06-28 2018-05-08 Mozilla Corporation Probability modeling of intra prediction modes
JP2016005210A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 端末装置及びデータ管理装置
JP5839094B2 (ja) * 2014-09-05 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
WO2016074147A1 (en) 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
JP5991399B2 (ja) * 2015-03-31 2016-09-14 株式会社Ｊｖｃケンウッド 受信装置、受信方法、及び受信プログラム
JP5839144B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839143B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839145B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP6036965B2 (ja) * 2015-11-09 2016-11-30 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに送信装置、送信方法及び送信プログラム
KR102411911B1 (ko) * 2015-12-24 2022-06-22 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
JP7418152B2 (ja) * 2018-12-17 2024-01-19 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP6899053B2 (ja) * 2019-06-24 2021-07-07 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2021032110A1 (en) * 2019-08-19 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Counter-based intra prediction mode
WO2021032113A1 (en) 2019-08-19 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Updating for counter-based intra prediction mode
US11475601B2 (en) * 2019-10-21 2022-10-18 Google Llc Image decoding during bitstream interruptions

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100579232C (zh) * 1997-10-23 2010-01-06 三菱电机株式会社 图像译码装置和图像译码方法
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
EP1146745B1 (en) * 2000-03-08 2019-09-04 Mitsubishi Denki Kabushiki Kaisha Coding device and coding method
TW567729B (en) * 2001-01-30 2003-12-21 Noa Kk Off Method and system for compressing motion image information
CN101039427B (zh) * 2002-07-15 2010-06-16 株式会社日立制作所 动态图像的解码方法
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7830959B2 (en) * 2003-12-26 2010-11-09 Electronics And Telecommunications Research Institute Apparatus and method for performing intra prediction for image decoder
JP2006054846A (ja) * 2004-07-12 2006-02-23 Sony Corp 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
JP2006074474A (ja) * 2004-09-02 2006-03-16 Toshiba Corp 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
RU2287909C2 (ru) * 2004-12-15 2006-11-20 Московский технический университет связи и информатики Способ преобразования цифрового сигнала изображения и устройство для его реализации
EP1753242A2 (en) * 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
KR100995226B1 (ko) * 2005-07-22 2010-11-17 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP2007150913A (ja) * 2005-11-29 2007-06-14 Matsushita Electric Ind Co Ltd 画像符号化装置
KR20070077609A (ko) 2006-01-24 2007-07-27 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
JP4707118B2 (ja) 2007-03-28 2011-06-22 株式会社Ｋｄｄｉ研究所 動画像符号化装置および動画像復号装置のイントラ予測方式
JP2010135864A (ja) 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP2009111691A (ja) 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
JP5137532B2 (ja) * 2007-11-16 2013-02-06 キヤノン株式会社 画像符号化装置及び画像符号化方法
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR101591825B1 (ko) 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
JP4793424B2 (ja) * 2008-11-04 2011-10-12 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP2010177809A (ja) * 2009-01-27 2010-08-12 Toshiba Corp 動画像符号化装置および動画像復号装置
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム

Also Published As

Publication number Publication date
EP2595386A1 (en) 2013-05-22
KR20150059797A (ko) 2015-06-02
SG187062A1 (en) 2013-02-28
WO2012008125A1 (ja) 2012-01-19
RU2665237C1 (ru) 2018-08-28
CN105657419A (zh) 2016-06-08
KR20140110076A (ko) 2014-09-16
KR101529452B1 (ko) 2015-06-18
TW201210351A (en) 2012-03-01
CN103004201B (zh) 2016-04-13
RU2014134202A (ru) 2015-12-27
US20130114700A1 (en) 2013-05-09
HK1222071A1 (zh) 2017-06-16
BR112013000516A2 (pt) 2016-05-17
RU2632170C2 (ru) 2017-10-02
JPWO2012008125A1 (ja) 2013-09-05
CN105847792A (zh) 2016-08-10
HK1183189A1 (zh) 2013-12-13
JP5782169B2 (ja) 2015-09-24
CN105657419B (zh) 2019-03-01
HK1224116A1 (zh) 2017-08-11
JP2015015772A (ja) 2015-01-22
TW201709742A (zh) 2017-03-01
CN103004201A (zh) 2013-03-27
HK1222072A1 (zh) 2017-06-16
KR101562158B1 (ko) 2015-10-20
RU2533649C1 (ru) 2014-11-20
RU2016105489A (ru) 2017-08-23
SG10201504903RA (en) 2015-07-30
CN105763875B (zh) 2019-05-14
CN105847791A (zh) 2016-08-10
TWI533676B (zh) 2016-05-11
BR112013000516B1 (pt) 2022-06-14
CA2805328A1 (en) 2012-01-19
JP2015222973A (ja) 2015-12-10
RU2580073C2 (ru) 2016-04-10
KR20140049095A (ko) 2014-04-24
CN105763875A (zh) 2016-07-13
HK1224115A1 (zh) 2017-08-11
TW201625004A (zh) 2016-07-01
CN105847791B (zh) 2018-11-27
JP5656998B2 (ja) 2015-01-21
TWI565307B (zh) 2017-01-01
MX2013000525A (es) 2013-03-22
EP2595386A4 (en) 2015-02-18
RU2013106507A (ru) 2014-10-20
KR20150014981A (ko) 2015-02-09
US9462271B2 (en) 2016-10-04
CN105847792B (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
KR101562158B1 (ko) 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
KR101563835B1 (ko) 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR101604959B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR102157481B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR101921781B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법, 및 부호화 데이터의 데이터 구조를 기록한 기록 매체
KR101749855B1 (ko) 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법
KR101538248B1 (ko) 화상 부호화 장치
JP2012023609A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098715A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
A107 Divisional application of patent
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20141114

Effective date: 20150930

S901 Examination by remand of revocation
E902 Notification of reason for refusal
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101001585; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160316

Effective date: 20160831