KR101278308B1 - 공용 예측기를 사용하는 루마 및 크로마 인코딩 - Google Patents

공용 예측기를 사용하는 루마 및 크로마 인코딩 Download PDF

Info

Publication number
KR101278308B1
KR101278308B1 KR1020077023523A KR20077023523A KR101278308B1 KR 101278308 B1 KR101278308 B1 KR 101278308B1 KR 1020077023523 A KR1020077023523 A KR 1020077023523A KR 20077023523 A KR20077023523 A KR 20077023523A KR 101278308 B1 KR101278308 B1 KR 101278308B1
Authority
KR
South Korea
Prior art keywords
signal data
video signal
block
encoding
luma
Prior art date
Application number
KR1020077023523A
Other languages
English (en)
Other versions
KR20080006553A (ko
Inventor
하오핑 유
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36644425&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101278308(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20080006553A publication Critical patent/KR20080006553A/ko
Application granted granted Critical
Publication of KR101278308B1 publication Critical patent/KR101278308B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

비디오 인코더, 비디오 디코더 및 해당 방법을 제공한다. 영상 블록에 대한 비디오 신호 데이터를 인코딩하기 위한 비디오 인코더는 공용 예측기를 사용하여 비디오 신호 데이터의 모든 색 성분을 인코딩(315)하기 위한 인코더(100)를 포함한다. 영상 블록에 대한 비디오 신호 데이터를 디코딩하기 위한 비디오 디코더는 공용 예측기를 사용하여 비디오 신호 데이터의 모든 색 성분을 디코딩(430)하기 위한 디코더(200)를 포함한다. 추가로, 영상 블록에 대한 신호 데이터를 인코딩 및 디코딩하기 위한 장치 및 방법은 잔여 색 변환을 적용하지 않으면서 비디오 신호 데이터의 색 성분을 인코딩/디코딩하기 위한 인코더 및 디코더를 포함한다. 또한, 영상 블록에 대한 비디오 신호 데이터를 인코딩/디코딩하기 위한 비디오 인코더 및 디코더는 비디오 신호 데이터의 각 색 성분에 대하여 특유한 예측기를 사용하여 비디오 신호 데이터를 인코딩/디코딩하기 위한 인코더 및 디코더를 포함한다.
영상 블록, 비디오 신호 데이터, 색 성분, 공용 예측기, 잔여 색 변환

Description

공용 예측기를 사용하는 루마 및 크로마 인코딩{LUMA AND CHROMA ENCODING USING A COMMON PREDICTOR}
관련 출원의 상호 참조
이 출원은 2005년 4월 13일에 출원한 미국 특허 가출원번호 제60/671,255호 및 2005년 7월 20일에 출원한 미국 특허 가출원번호 제60/700,834호에 대한 우선권을 주장하고, 각 내용은 본 명세서에 참조로서 포함한다. 또한, 이 출원은 이 출원과 동시에 출원한 "METHOD AND APPARATUS FOR VIDEO ENCODING"이라는 명칭의 미국 특허출원(대리인 정리번호 PU060023), "METHOD AND APPARATUS FOR VIDEO DECODING"이라는 명칭의 미국 특허출원(대리인 정리번호 PU060029, PU060030) 및 "METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING"이라는 명칭의 미국 특허출원(대리인 정리번호 PU050159)과 관련이 있다.
본 발명은 일반적으로 비디오 인코더 및 디코더에 관한 것으로서, 특히 비디오 인코딩 및 디코딩 방법 및 장치에 관한 것이다.
현재, 국제전기통신연합 통신 부문(ITU-T) H.264 표준(이하, "H.264 표준")의 4:4:4 포맷은 3개 채널 중 하나만을 루마(luma)로서 코딩하고, 다른 2개 채널은 저효율의 툴을 이용하여 크로마(chroma)로서 코딩한다. 코덱에 대한 입력이 모든 입력 성분에서 완전한 해상도를 갖는 4:4:4 포맷인 경우, 저효율의 크로마 코딩 알고리즘으로 3개 입력 성분 중 2개를 코딩하면 그러한 2개 채널에 더 많은 비트를 이용하게 된다. 이 특별한 문제점은 인트라 프레임에서 더욱 두드러진다. 예를 들어, Intra-Only 모드에 실행하는 H.264 표준은 40㏈ (PSNR) 이상에서 전체 압축 품질에 대하여 JPEG2k보다 비효율적이다.
따라서, 상술한 종래기술의 단점을 극복하는 비디오 인코딩 및 디코딩 방법 및 장치는 바람직하고 매우 유용하다.
<발명의 개요>
종래기술의 이러한 약점과 단점 및 다른 약점과 단점은 비디오 인코딩 및 디코딩 방법 및 장치에 관한 본 발명이 처리한다.
본 발명의 한 양상에 따르면, 영상 블록에 대한 비디오 신호 데이터를 인코딩하기 위한 비디오 인코더를 제공한다. 비디오 인코더는 공용 예측기를 사용하여 비디오 신호 데이터의 모든 색 성분을 인코딩하기 위한 인코더를 포함한다.
본 발명의 다른 양상에 따르면, 영상 블록에 대한 비디오 신호 데이터를 인코딩하기 위한 방법을 제공한다. 본 방법은 공용 예측기를 사용하여 비디오 신호 데이터의 모든 색 성분을 인코딩하는 것을 포함한다.
본 발명의 또 다른 양상에 따르면, 영상 블록에 대한 비디오 신호 데이터를 디코딩하기 위한 비디오 디코더를 제공한다. 비디오 디코더는 공용 예측기를 사용하여 비디오 신호 데이터의 모든 색 성분을 디코딩하기 위한 디코더를 포함한다.
본 발명의 또 다른 양상에 따르면, 영상 블록에 대한 비디오 신호 데이터를 디코딩하기 위한 방법을 제공한다. 본 방법은 공용 예측기를 사용하여 비디오 신호 데이터의 모든 색 성분을 디코딩하는 것을 포함한다.
본 발명의 이러한 양상, 특징과 장점 및 다른 양상, 특징과 장점은 첨부한 도면과 함께 설명하는 예시적인 실시예에 대한 이하의 상세한 설명으로부터 명확해진다.
본 발명은 이하의 예시적인 도면에 따라 더욱 양호하게 이해할 수도 있다.
도 1은 본 원리를 적용할 수도 있는 예시적인 비디오 인코딩 장치를 나타내는 블록도이다.
도 2는 본 원리를 적용할 수도 있는 예시적인 비디오 디코딩 장치를 나타내는 블록도이다.
도 3은 본 원리에 따른 사전 인코딩 색 변환 블록이 있는 예시적인 비디오 인코딩 프로세스를 나타내는 흐름도이다.
도 4는 본 원리에 따른 사후 디코딩 역 색 변환 블록이 있는 예시적인 비디오 디코딩 프로세스를 나타내는 흐름도이다.
도 5는 잔여 색 변환(RCT)의 간소화 모델을 나타내는 블록도이다.
도 6a 및 6b는 본 원리에 따른 ATV Intra-Only에 대한 평균 PSNR 대 비트율의 도면이다.
도 7a 및 7b는 본 원리에 따른 CT Intra-Only에 대한 평균 PSNR 대 비트율의 도면이다.
도 8a 및 8b는 본 원리에 따른 DT Intra-Only에 대한 평균 PSNR 대 비트율의 도면이다.
도 9a 및 9b는 본 원리에 따른 MIR_HD Intra-Only에 대한 평균 PSNR 대 비트율의 도면이다.
도 10a 및 10b는 본 원리에 따른 RT Intra-Only에 대한 평균 PSNR 대 비트율의 도면이다.
도 11a 및 11b는 본 원리에 따른 STB_HD Intra-Only에 대한 평균 PSNR 대 비트율의 도면이다.
도 12는 본 원리에 따른 H.264 시퀀스 파라미터 신택스를 나타내는 테이블이다.
도 13은 본 원리에 따른 H.264 잔여 데이터 신택스를 나타내는 테이블이다.
도 14는 본 원리에 따른 사전 인코딩 색 변환 블록이 있는 예시적인 비디오 인코딩 프로세스를 나타내는 흐름도이다.
도 15는 본 원리에 따른 사후 디코딩 역 색 변환 공정 블록이 있는 예시적인 비디오 디코딩 프로세스를 나타내는 흐름도이다.
도 16은 본 원리에 따른 H.264 매크로블록 예측 신택스를 나타내는 테이블이다.
본 발명은 비디오 신호 데이터를 인코딩 및 디코딩하기 위한 방법 및 장치에 관한 것이다. 우선, 본 발명은 국제전기통신연합 통신 부문(ITU-T) H.264 표준의 4:4:4 포맷을 이용하여 샘플링한 비디오 신호 데이터에 관하여 설명하지만, 본 발명의 범위를 유지하면서 H.264 표준의 다른 포맷(예를 들어, 4:2:2 및/또는 4:2:0 포맷)뿐만 아니라 다른 비디오 압축 표준을 이용하여 샘플링한 비디오 신호 데이터에 적용할 수도 있다는 점을 인식하게 된다.
본 원리에 따른 방법 및 장치는 루마 또는 크로마 압축 알고리즘을 위하여 새로운 툴을 이용할 필요가 없다는 점을 인식하게 된다. 대신, 기존의 루마 코딩 툴은 이용할 수 있다. 따라서, 4:4:4 포맷의 코딩 성능을 최대화할 수도 있으면서 후방 호환성을 유지하고, 기존의 H.264 (또는 다른 적용가능한) 표준에 대한 변경을 최소화할 수도 있다는 장점이 있다.
실시예에서 구성한 본 발명의 원리에 따르면, 루마 코딩 알고리즘은 예를 들어 4:4:4 콘텐츠의 3개 성분 채널 모두를 코딩하는 데 이용한다. 이 실시예의 장점은 종래기술과 관련하여 4:4:4 콘텐츠를 압축하기 위한 전체 코딩 성능의 향상에 있다. 현재, 기존의 H.264 표준에서는 3개 채널 중 하나만을 루마로서 코딩하고, 다른 2개는 저효율 툴을 이용하여 크로마로서 코딩한다.
또한, 실시예에서 구성한 본 발명의 원리에 따르면, 색 변환은 사전 처리 공정으로서 수행한다. 따라서, 이 실시예에 따르면, 잔여 색 변환(RCT: Residual Color Transform)은 압축 루프 내에서 수행하지 않는다. 이 실시예의 장점은 일관된 인코더/디코더 구조를 모든 색 포맷에 제공하는 데 있다.
게다가, 실시예에서 구성한 본 발명의 원리에 따르면, 3개 성분 모두에 대하여 동일한 움직임/공간 예측 모드를 이용한다. 이 실시예의 장점은 감소한 코덱 복잡도 및 후방 호환성에 있다.
또한, 다른 실시예에 따르면, 3개 성분 모두에 대하여 동일한 예측기를 사용하는 대신, 3개 성분에 대하여 3개의 제한 공간 예측기의 세트(또는 서브세트)를 사용할 수도 있다. 이 실시예의 장점은 종래기술과 관련하여 4:4:4 콘텐츠를 압축하기 위한 전체 코딩 성능의 향상에 있다.
상술하고, 본 명세서에서 후술하는 다양한 실시예는 독립적인 실시예로서 구현할 수도 있거나, 본 기술분야의 당업자가 이미 알고 있는 방식으로 조합할 수도 있다는 점을 인식하게 된다. 따라서, 예를 들어 제1 조합 실시예에서 루마 코딩 알고리즘은 3개 성분 채널 모두를 코딩하는 데 유용하게 이용하고, 색 변환은 사전 처리 공정으로서 수행하며, 3개 성분 채널 모두에 대하여 단일 예측기를 사용한다. 제2 조합 실시예에서 루마 코딩 알고리즘은 3개 성분 채널 모두를 코딩하는 데 유용하게 이용하고, 색 변환은 사전 처리 공정으로서 수행하며, 3개 성분 채널에 대하여 3개의 제한 공간 예측기의 세트(또는 서브세트)를 이용할 수도 있다. 물론, 상술한 바와 같이, 본 발명의 범위를 유지하면서, 본 명세서에서 제공하는 본 원리의 내용에 따라 다양한 실시예의 다른 조합을 구현할 수도 있다.
본 설명은 본 발명의 원리를 나타낸다. 따라서, 본 기술분야의 숙련자는 본 명세서에서 명확하게 기술하거나 도시하지 않지만 본 발명의 원리를 실시하고, 본 발명의 사상 및 범위 내에 존재하는 다양한 장치를 고안할 수 있다는 점을 인식하게 된다.
본 명세서에 기술하는 모든 예와 조건 언어는 발명자가 본 기술분야를 증진 시키는 데 기여한 본 발명의 원리 및 개념을 독자가 이해하도록 돕는 데 그 목적이 있고, 그와 같이 구체적으로 기술한 예 및 조건에 한정하는 것으로서 해석해서는 안 된다.
또한, 본 발명의 원리, 양상 및 실시예뿐만 아니라 특정 예를 기술하는 모든 문장은 본 발명의 구조적이고 기능적인 등가물을 포함하는 의도가 있다. 추가로, 그와 같은 등가물은 현재 알려진 등가물뿐만 아니라 앞으로 개발될 등가물, 즉 구조에 상관없이 동일한 기능을 수행하도록 개발하는 구성요소를 포함하는 의도가 있다.
따라서, 예를 들어 본 기술분야의 숙련자는 본 명세서에서 제공한 블록도는 본 발명의 원리를 구현하는 예시적인 회로의 개념도를 나타낸다는 점을 인식하게 된다. 유사하게, 플로차트, 흐름도, 상태 천이도, 의사 코드 등은 실질적으로 컴퓨터 판독가능한 매체에서 재생할 수도 있고, 컴퓨터 또는 프로세서를 명확하게 도시하지 않더라도 컴퓨터 또는 프로세서가 실행할 수도 있는 다양한 프로세스를 나타낸다는 점을 인식하게 된다.
도면에 도시한 다양한 구성요소의 기능은 전용 하드웨어뿐만 아니라 적합한 소프트웨어와 관련된 소프트웨어를 실행할 수 있는 하드웨어를 사용하여 제공할 수도 있다. 프로세서가 제공하는 경우, 그 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 일부를 공유할 수도 있는 복수의 개별 프로세서가 제공할 수도 있다. 또한, "프로세서" 또는 "컨트롤러"라는 용어는 소프트웨어를 실행할 수 있는 하드웨어만을 의미하는 것으로 해석해서는 안 되고, 디지털 신호 프로세서(DSP) 하 드웨어, 소프트웨어를 저장하기 위한 ROM, RAM 및 비휘발성 저장 장치를 포함할 수도 있지만, 이에 한정하지 않는다.
종래의 그리고/또는 주문형의 다른 하드웨어를 포함할 수도 있다. 유사하게, 도면에 도시한 스위치는 개념적인 것일 뿐이다. 그 기능은 프로그램 로직의 연산, 전용 로직, 프로그램 제어 및 전용 로직의 상호 작용 또는 수동으로 실행할 수도 있는데, 컨텍스트로부터 구체적으로 이해한 바와 같이 구현자는 특정 기법을 선택할 수 있다.
본 발명의 청구범위에서 특정 기능을 수행하기 위한 수단으로서 표현한 구성요소는 그 기능을 수행하는 어떤 방식, 예를 들어 a) 그 기능을 수행하는 회로 소자의 조합 또는 b) 그 기능을 수행하는 소프트웨어를 실행하기 위한 적합한 회로와 조합하는 펌웨어, 마이크로코드 등을 포함하는 형태의 소프트웨어를 포함하는 의도가 있다. 그와 같은 청구범위로 정의한 본 발명에는 다양한 인용 수단이 제공하는 기능성은 청구범위에서 요구하는 방식으로 조합된다는 점이 존재한다. 따라서, 그러한 기능성을 제공할 수 있는 수단은 본 명세서에 도시한 수단과 동일하다고 간주한다.
도 1을 참조하면, 예시적인 비디오 인코딩 장치는 일반적으로 참조번호 199로 나타낸다. 비디오 인코딩 장치(199)는 비디오 인코더(100) 및 사전 인코딩 색 변환 모듈(105)을 포함한다.
사전 인코딩 색 변환 모듈(105)은 비디오 신호를 비디오 인코더(100)에 입력하기 전에 비디오 신호의 색 사전 처리를 수행한다. 사전 인코딩 색 변환 모 듈(105)이 수행하는 색 사전 처리는 후술한다. 사전 인코딩 색 변환 모듈(105)은 몇몇 실시예에서는 생략할 수도 있다는 점을 인식하게 된다.
사전 인코딩 색 변환 모듈(105)의 입력 및 비디오 인코더(100)의 입력은 비디오 인코딩 장치(199)의 입력으로서 이용가능하다.
사전 인코딩 색 변환 모듈(105)의 출력부는 비디오 인코더(100)의 입력부와 신호 통신으로 연결한다.
비디오 인코더(100)의 입력부는 가산기(110)의 비반전 입력부와 신호 통신으로 연결한다. 가산기(110)의 출력부는 변환기/양자화기(120)와 신호 통신으로 연결한다. 변환기/양자화기(120)의 출력부는 엔트로피 코더(140)와 신호 통신으로 연결한다. 엔트로피 코더(140)의 출력은 비디오 인코더(100)의 출력 및 비디오 인코딩 장치(199)의 출력으로서 이용가능하다.
또한, 변환기/양자화기(120)의 출력부는 역 변환기/역 양자화기(150)와 신호 통신으로 연결한다. 역 변환기/역 양자화기(150)의 출력부는 디블록 필터(160)의 입력부와 신호 통신으로 연결한다. 디블록 필터(160)의 출력부는 기준 화면 저장소(170)와 신호 통신으로 연결한다. 기준 화면 저장소(170)의 제1 출력부는 움직임 및 공간 예측 추정기(180)의 제1 입력부와 신호 통신으로 연결한다. 비디오 인코더(100)의 입력부는 움직임 및 공간 예측 추정기(180)의 제2 입력부와 신호 통신으로 또한 연결한다. 움직임 및 공간 예측 추정기(180)의 출력부는 움직임 및 공간 예측 보상기(190)의 제1 입력부와 신호 통신으로 연결한다. 기준 화면 저장소(170)의 제2 출력부는 움직임 및 공간 보상기(190)의 제2 입력부와 신호 통신으 로 연결한다. 움직임 및 공간 보상기(190)의 출력부는 가산기(110)의 반전 입력부와 신호 통신으로 연결한다.
도 2를 참조하면, 예시적인 비디오 디코딩 장치는 일반적으로 참조번호 299로 나타낸다. 비디오 디코딩 장치(299)는 비디오 디코더(200) 및 사후 디코더 역 색 변환 모듈(293)을 포함한다.
비디오 디코더(200)의 입력은 비디오 디코딩 장치(299)의 입력으로서 이용가능하다. 비디오 디코더(200)의 입력부는 엔트로피 디코더(210)의 입력부와 신호 통신으로 연결한다. 엔트로피 디코더(210)의 제1 출력부는 역 양자화기/역 변환기(220)의 입력부와 신호 통신으로 연결한다. 역 양자화기/역 변환기(220)의 출력부는 가산기(240)의 제1 입력부와 신호 통신으로 연결한다.
가산기(240)의 출력부는 디블록 필터(290)와 신호 통신으로 연결한다. 디블록 필터(290)의 출력부는 기준 화면 저장소(250)와 신호 통신으로 연결한다. 기준 화면 저장소(250)는 움직임 및 공간 예측 보상기(260)의 제1 입력부와 신호 통신으로 연결한다. 움직임 및 공간 예측 보상기(260)의 출력부는 가산기(240)의 제2 입력부와 신호 통신으로 연결한다. 엔트로피 디코더(210)의 제2 출력부는 움직임 보상기(260)의 제2 입력부와 신호 통신으로 연결한다. 디블록 필터(290)의 출력은 비디오 디코더(200)의 출력 및 비디오 디코딩 장치(299)의 출력으로서 이용가능하다.
또한, 사후 디코딩 역 색 변환 모듈(293)의 출력은 비디오 디코딩 장치(299)의 출력으로서 이용가능할 수도 있다. 그와 같은 경우, 비디오 디코더(200)의 출 력부는 비디오 디코더(200)에 관한 사후 처리 모듈인 사후 디코딩 역 색 변환 모듈(293)의 입력부와 신호 통신으로 연결할 수도 있다. 사후 디코딩 역 색 변환 모듈(293)의 출력부는 비디오 디코더(200)의 출력에 대하여 사후 처리한 역 색 변환된 신호를 제공한다. 사후 디코딩 역 색 변환 모듈(293)의 사용은 옵션이라는 점을 인식하게 된다.
이제, 본 발명의 원리에 따른 강화된 4:4:4 코딩을 설명한다. 제1 실시예는 모든 색 성분에 대하여 루마 코딩 알고리즘을 이용하고, 모든 색 성분에 대하여 동일한 공간 예측 모드를 이용하며, 잔여 색 변환(RCT)을 압축 루프 내에서 생략한 조합 실시예이다. 이 조합 실시예에 대한 테스트 결과를 또한 제공한다. 그 후, 모든 색 성분에 대하여 루마 코딩 알고리즘을 이용하고, 모든 색 성분에 대하여 제한 공간 예측기의 세트(또는 서브세트)를 이용하며(단일 공간 예측 모드 대신), 잔여 색 변환(RCT)을 압축 루프 내에서 생략한 제2 조합 실시예를 설명한다. 따라서, 제1 및 제2 조합 실시예의 차이는 제1 조합 실시예에서는 모든 색 성분에 대하여 단일 공간 예측 모드를 이용하고, 제2 조합 실시예에서는 모든 색 성분에 대하여 제한 공간 예측기의 세트(또는 서브세트)를 이용한다는 데 있다. 물론, 상술한 바와 같이, 본 명세서에 기술하는 실시예는 독립적인 실시예로서 구현할 수도 있거나, 본 기술분야의 당업자가 쉽게 인식하는 방식으로 조합할 수도 있다. 예를 들어, 실시예에서 구성한 본 발명의 원리에 따르면, 압축 루프로부터 RCT를 생략하는 다른 실시예와 조합하지 않고 단일 공간 예측 모드만을 이용한다. 본 명세서에 제공하는 본 원리의 내용에 따라 본 발명의 범위를 유지하면서 본 기술분야의 당업자 는 본 발명의 실시예에 대한 이와 같은 변형, 구현 및 조합을 용이하게 규명할 수 있다는 점을 인식하게 된다.
도 3을 참조하면, 사전 인코딩 색 변환 블록이 있는 예시적인 비디오 인코딩 프로세스는 일반적으로 참조번호 300 및 301로 각각 나타낸다.
사전 인코딩 색 변환 블록(301)은 블록 306, 308 및 310을 포함한다는 점을 인식하게 된다. 또한, 사전 인코딩 색 변환 블록(301)은 옵션이고, 따라서 본 발명의 몇몇 실시예에서는 생략할 수도 있다는 점을 인식하게 된다.
사전 인코딩 색 변환 블록(301)은 영상의 각 블록에 대한 루프를 시작하고, 기능 블록(308)으로 제어를 전달하는 루프 제한 블록(306)을 포함한다. 기능 블록(308)은 현재 영상 블록의 비디오 신호 데이터의 색 사전 처리를 수행하고, 루프 제한 블록(310)으로 제어를 전달한다. 루프 제한 블록(310)은 루프를 종료한다. 또한, 루프 제한 블록(310)은 비디오 인코딩 프로세스(300)에 포함되는 루프 제한 블록(312)으로 제어를 전달한다.
루프 제한 블록(312)은 영상의 각 블록에 대한 루프를 시작하고, 기능 블록(315)으로 제어를 전달한다. 기능 블록(315)은 현재 영상 블록의 각 색 성분에 대하여 공용 예측기를 이용하여 현재 영상 블록의 움직임 보상 또는 공간 예측을 형성하고, 기능 블록(320)으로 제어를 전달한다. 기능 블록(320)은 현재 영상 블록으로부터 움직임 보상 또는 공간 예측을 감산하여 예측 잔여를 형성하고, 기능 블록(330)으로 제어를 전달한다. 기능 블록(330)은 예측 잔여를 변환 및 양자화하고, 기능 블록(335)으로 제어를 전달한다. 기능 블록(335)은 예측 잔여를 역변환 및 역 양자화하여 코딩된 예측 잔여를 형성하고, 기능 블록(345)으로 제어를 전달한다. 기능 블록(345)은 코딩된 잔여를 예측에 가산하여 코딩된 화면 블록을 형성하고, 종료 루프 블록(350)으로 제어를 전달한다. 종료 루프 블록(350)은 루프를 종료하고, 종료 블록(355)으로 제어를 전달한다.
도 4를 참조하면, 사후 디코딩 역 색 변환 블록이 있는 예시적인 비디오 디코딩 프로세스는 일반적으로 참조번호 400 및 460으로 각각 나타낸다.
사후 디코딩 역 색 변환 블록(460)은 블록 462, 464, 466 및 468을 포함한다는 점을 인식하게 된다. 또한, 사후 디코딩 역 색 변환 블록(460)은 옵션이고, 따라서 본 발명의 몇몇 실시예에서는 생략할 수도 있다는 점을 인식하게 된다.
디코딩 프로세스(400)는 영상의 현재 블록에 대한 루프를 시작하고, 기능 블록(415)으로 제어를 전달하는 루프 제한 블록(410)을 포함한다. 기능 블록(415)은 코딩된 잔여를 엔트로피 디코딩하고, 기능 블록(420)으로 제어를 전달한다. 기능 블록(420)은 디코딩된 잔여를 역변환 및 역 양자화하여 코딩된 잔여를 형성하고, 기능 블록(430)으로 제어를 전달한다. 기능 블록(430)은 각 색 성분에 대하여 공용 예측기로부터 형성한 예측에 코딩된 잔여를 가산하여 코딩된 화면 블록을 형성하고, 루프 제한 블록(435)으로 제어를 전달한다. 루프 제한 블록(435)은 루프를 종료하고, 종료 블록(440)으로 제어를 전달한다.
몇몇 실시예에서 루프 제한 블록(435)은 사후 디코딩 역 색 변환 블록(460), 특히 사후 디코딩 역 색 변환 블록(460)에 포함되는 루프 제한 블록(462)으로 제어를 선택적으로 전달한다. 루프 제한 블록(462)은 영상의 각 블록에 대한 루프를 시작하고, 기능 블록(464)으로 제어를 전달한다. 기능 블록(464)은 현재 영상 블록의 비디오 신호 데이터의 역 색 사후 처리를 수행하고, 루프 제한 블록(466)으로 제어를 전달한다. 루프 제한 블록(466)은 루프를 종료하고, 종료 블록(468)으로 제어를 전달한다.
H.264 4:4:4 포맷에서 모든 성분 채널은 완전한 해상도를 갖는다. 따라서, 상술한 제1 조합 실시예에 따르면, 루마 코딩 알고리즘을 모든 색 성분에 대하여 이용하여 최대 전체 압축 효율을 얻는다. 따라서, 이 실시예에서, 인트라 프레임의 경우, 모든 색 성분은 예를 들어 Table 8-2, Table 8-3 and Table 8-4 in ISO/IEC 14496 10 Advanced Video Coding 3rd Edition(ITU-T Rec.H.264), ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, Document N6540, July 2004에서 열거한 예측 모드를 이용하여 압축할 수도 있다.
또한, 이 실시예에서는 3개 픽셀 성분 모두에 대하여 동일한 공간 예측 모드를 이용하여 코덱의 복잡도를 줄이고, 성능을 향상시킨다. 예를 들어, 매크로블록 예측 헤더에 있는 루마에 대한 prev_intra4×4_pred_mode_flag, rem_intra4×4_pred_mode, prev_intra8×8_pred_mode_flag 및 rem_intra8×8_pred_mode 파라미터에 의해 설정된 예측 모드가 3개 성분 모두에 의해 이용될 수도 있다. 그러므로 추가 비트 및 신택스 구성요소는 불필요하다. B 및 P (예측) 프레임에 대하여, 분수형(fractional) 픽셀 위치에 있는 기준 픽셀은 H.264 표준의 섹션 8.4.2.2.1에서 기술한 보간 방법으로 3개 채널 모두에 대하여 계산할 수도 있다. 현재의 H.264 표준에 대한 상세한 신택스 및 시맨틱 변경은 후술한다.
잔여 색 변환(RCT)은 High 4:4:4 프로파일로 인코더/디코더에 추가하였다. 그 결과, 4:4:4 포맷을 위한 압축 구조는 4:2:0 및 4:2:2 포맷을 위한 H.264 표준의 다른 프로파일 모두에서 현재 이용하는 압축 구조와 다르다. 이로 인해, 구현 복잡도가 추가된다. 또한, 다른 색 변환과 유사하게, YCOCG는 전체 압축 성능을 항상 향상시키는 것은 아니다. YCOCG의 효과는 콘텐츠에 매우 의존한다. 따라서, 전체 압축 및 강건성을 향상시키기 위하여, 이 실시예에서 색 변환은 사전 처리 블록의 일부분으로서 예측 루프의 외부에 배치한다. 이와 같이 함으로써, 특정 압축 작업을 위한 최적의 색 변환을 선택하는 것은 연산의 이슈가 되고, 특정 입력 시퀀스를 위한 최상의 응답은 수많은 옵션 중에서 발견할 수 있다. 3개 성분 모두가 인트라 프레임에 대하여 동일한 공간 예측기를 사용하고, B 및 P (예측 또는 인터 코딩한) 프레임에 대하여 동일한 보간 필터를 사용하는 실시예에 따르면, 예측 잔여에 대하여 색 변환을 수행하는 것은 라운딩/잘라버림 에러가 무시되는 경우에는 코덱의 외부에서 소스 영상에 대한 색 변환을 수행하는 것과 동일하다. 이에 대해서는 후술한다. 따라서, RCT 블록을 코딩 구조로부터 제거하여 코딩 구조를 모든 색 포맷에 일관성 있게 한다.
도 5를 참조하면, RCT의 간소화 모델은 일반적으로 참조번호 500으로 나타낸다. RCT 모델(500)은 기준 픽셀 발생기(510), 가산기(520) 및 선형 변환 모듈(530)을 포함한다. 기준 픽셀 발생기(510)의 입력부는 움직임/에지 정보 및 벡 터 [X1], [X2].......[Xn]를 수신하도록 구성한다. 기준 픽셀 발생기(510)의 출력부는 가산기(520)의 반전 입력부와 신호 통신으로 연결하고, 예측 벡터 [Xp]를 제공한다. 가산기(520)의 비-반전 입력부는 입력 벡터 [Xin]를 수신하도록 구성한다. 가산기(520)의 출력부는 선형 변환 모듈(530)의 입력부와 신호 통신으로 연결하고, 벡터 [Xd]를 제공한다. 선형 변환 모듈(530)의 출력부는 벡터 [Yd]를 제공하도록 구성한다.
RCT(500)의 간소화 모델에서 3×3 행렬 [A]로 표현하는 색 변환(선형 변환)은 다음과 같이 정의한다.
Figure 112007073395705-pct00001
[Xin], [Xd], [Xp], [X1], [X2].......[Xn]은 RGB 도메인 내 픽셀을 나타내는 3×1 벡터이다. [Yd]는 색 변환의 결과를 나타내는 3×1 벡터이다. 그러므로 다음과 같다.
Figure 112007073395705-pct00002
이 실시예에서는 실시예에서 구성한 본 발명의 원리에 따라 매크로블록의 3개 성분 모두에 대하여 동일한 공간 예측기 및 보간 필터를 사용하므로, 기준 픽셀 [Xp]은 다음과 같이 표현할 수 있고,
Figure 112007073395705-pct00003
여기서, n×1 벡터 [C]는 H.264 표준에서 정의한 공간 예측기 및 보간 필터와 관련된 선형 연산을 나타낸다. 여기서, 기준 픽셀은 총 n개 인접 픽셀 [X1], [X2].......[Xn]을 이용함으로써 계산한다고 가정한다.
수학식 3의 [Xp]를 수학식 2에 대입하면 다음과 같다.
Figure 112007073395705-pct00004
라운딩/잘라버림 에러를 무시하고, 동일한 예측 모드는 RGB 도메인 또는 Y 도메인에서 선택된다고 가정하면, 다음과 같다.
Figure 112007073395705-pct00005
그러므로 다음과 같다.
Figure 112007073395705-pct00006
따라서, 수학식 6은 YUV를 이 실시예에서 구성한 본 발명의 원리에 따라 인코더/디코더의 입력으로서 이용하는 것은 RCT를 수행하는 것과 동일하다는 점을 명확하게 보여준다.
또한, 실시예에서 구성한 본 발명의 원리에 따르면, 본 명세서에서 "profile_idc=166이 있는 Advanced 4:4:4 프로파일"로 간주하는 새로운 4:4:4 프로파일이 H.264 표준에 추가된다. 이 새로운 profile_idc는 시퀀스 파라미터 헤더에 추가될 수도 있고, 매크로블록 계층 헤더뿐만 아니라 잔여 데이터 헤더에 이용될 수도 있다.
루마 알고리즘을 이용하여 3개의 색 성분 모두를 코딩하는 것을 지원하기 위하여, 잔여 데이터 신택스가 일부 변경될 수도 있다. 또한, 매크로블록 헤더, 잔여 데이터 헤더 등에 있는 구성요소 중 일부의 시맨틱이 변경될 수도 있다. 일반적으로, H.264 사양 내 루마에 대한 기존의 신택스는 변경되지 않고, 3개 성분 중 하나를 코딩하는 데 이용된다. 변경은 후방 호환성이다. 상세한 신택스 및 시맨틱 변경은 이하에서 후술한다.
이제, 다양한 실시예에서 구성한 본 발명의 원리에 따라 수행한 시뮬레이션 결과에 관하여 설명한다.
도 6a 및 6b를 참조하면, ATV Intra-Only에 대한 평균 PSNR 대 비트율의 도면은 일반적으로 참조번호 600 및 650으로 각각 나타낸다.
도 7a 및 7b를 참조하면, CT Intra-Only에 대한 평균 PSNR 대 비트율의 도면은 일반적으로 참조번호 700 및 750으로 각각 나타낸다.
도 8a 및 8b를 참조하면, DT Intra-Only에 대한 평균 PSNR 대 비트율의 도면은 일반적으로 참조번호 800 및 850으로 각각 나타낸다.
도 9a 및 9b를 참조하면, MIR_HD Intra-Only에 대한 평균 PSNR 대 비트율의 도면은 일반적으로 참조번호 900 및 950으로 각각 나타낸다.
도 10a 및 10b를 참조하면, RT Intra-Only에 대한 평균 PSNR 대 비트율의 도면은 일반적으로 참조번호 1000 및 1050으로 각각 나타낸다.
도 11a 및 11b를 참조하면, STB_HD Intra-Only에 대한 평균 PSNR 대 비트율의 도면은 일반적으로 참조번호 1100 및 1150으로 나타낸다.
특히, 도 6a, 7a, 8a, 9a, 10a 및 11a는 ("새로운"이라는 용어로 전술한) 제안된 Advanced 4:4:4 프로파일에 대한 테스트 결과 대 대응하는 근사화 결과를 나타낸다. 또한, 도 6b, 7b, 8b, 9b, 10b 및 11b는 ("새로운"이라는 용어로 전술한) 제안된 Advanced 4:4:4 프로파일에 대한 테스트 결과 대 JPEK2k를 나타낸다.
도 6a, 6b 내지 11a, 11b 모두에서 PSNR은 데시벨(㏈)로 나타내고, 비트율은 bps(bits per second)로 나타낸다. ATV, CT, DT, MIR, RT, STB는 테스트 클립의 이름이다.
JVT-J042, Film-Originated Test Sequences에서 기술한 모든 JVT/FRExt 테스트 시퀀스를 테스트에 이용하였다. 테스트는 모두는 4:4:4 10비트 영화 매체이고, 각 클립은 58개 프레임을 갖는다.
제안된 Advanced 4:4:4 프로파일은 JVT 기준 소프트웨어 JM9.6에서 구현하였다. Intra-Only 및 IBBP 코딩 구조 둘 다를 테스트에 이용하였다. 양자화 파라미터는 각 R-D 곡선에 대하여 6, 12, 18, 24, 30 및 42로 설정하였다. RD-최적화 모드 선택을 이용하였다.
또한, 제안된 Advanced 4:4:4 프로파일은 YUVFormat=0(4:0:0)이 있는 기준 소프트웨어를 모든 각 입력 성분에 대하여 실행함으로써 얻은 결과와 비교하였다. 3개의 별도의 각 압축 비트 카운트는 압축 비트율을 계산하기 위한 총 압축 비트를 얻도록 함께 가산하였다.
JPEG2k와 관련하여, KaKadu V2.2.3 소프트웨어를 테스트에 이용하였다. 테스트 결과는 9/7-탭 이중 직교 웨이브렛 필터로 웨이브렛 압축 해제의 5 레벨을 이용함으로써 얻었다. 프레임당 하나의 타일만이 존재하였고, 주어진 목표율을 위한 RD-최적화도 사용하였다.
PSNR 측정 모두는 RGB 도메인에서 이루어졌다. (PSNR(red)+PSNR(green)+PSNR(blue))/3으로 정의한 평균 PSNR은 전체 압축 품질을 비교하는 데 이용한다. 이는, 주로 JPEG2k 압축 데이터는 소프트웨어가 제공하는 미지의 속도 제어 알고리즘을 이용하여 계산하기 때문이다. 몇몇의 경우, 특히 JPEG2k 색 변환을 이용하였을 경우에는 RGB PSNR 값은 서로 매우 멀리 떨어져 있 다.
압축 비교는 다음과 같이 수행하였다.
ㆍNew1: 단일 예측 모드가 있는 제안된 Advanced 4:4:4 프로파일.
ㆍNew3: 3개의 예측 모드가 있는 제안된 Advanced 4:4:4 프로파일.
ㆍRCT-OFF: RCT=off가 있는 RGB 입력.
ㆍRCT-ON: RCT=on이 있는 RGB 입력.
ㆍYCOCG: RGB 대 YCOCG 변환은 코덱 외부에서 이루어졌다. 다음으로, 변환된 YCOCG는 JVT 소프트웨어에 대한 입력으로 이용하였다.
ㆍR+G+B: R, G 및 B 신호를 별도로 압축함으로써 근사화되는 제안된 방법.
ㆍY+CO+CG: 변환된 Y, CO 및 CG 신호를 별도로 압축함으로써 근사화되는 제안된 방법.
ㆍJ2k_RGB: JPEG2k 압축은 RGB 도메인에서 이루어졌다. JPEG2k 색 변환은 턴 오프되었다.
ㆍJ2k_YUV: JPEG2k 압축은 YUV 도메인에서 이루어졌다. JPEG2k 색 변환을 이용하였다.
테스트 결과에 따르면, 실시예에서 구성한 본 발명의 원리에 따른 구현은 일반적으로 전체 압축 효율의 관점에서 JPEG2k와 매우 유사하다. 몇몇 경우에서는 약간 더 양호하다.
또한, 실시예에서 구성한 본 발명의 원리에 따른 구현은 40㏈ (PSNR) 이상의 품질에 대하여 현재의 High 4:4:4 프로파일보다 상당히 높은 성능(압축)을 제공한 다. 구체적으로, New1-YCOCG 또는 New3-YCOCG는 YCOCG 및 RCT-ON보다 양호하고, New1-RGB 또는 New3-RGB는 RCT-OFF보다 양호하다. 45㏈ (PSNR) 이상의 PSNR에서, 평균 PSNR의 평균적인 향상은 1.5㏈보다 크다. 마지막 예에서, 이와 같은 향상은 45㏈과 동일한 PSNR에서 25%보다 높은 비트 절감으로 해석할 수 있다.
테스트 결과에 따르면, 콘텐츠가 TP, RT와 같이 더욱 색 포화되는 경우, 색 변환은 코딩 성능에 도움을 준다. 즉, 색이 회색이고, 적게 포화되는 경우, RGB 도메인에서의 코딩이 올바른 선택일 수도 있다. 상술한 관찰은 어떤 색 변환을 이용하는지에 무관하다.
New1-YCOCG 또는 New3-YCOCG 및 JPEG-2k_YUV의 결과를 비교하여, 코딩 효율을 향상시키는 관점에서 특정 색 변환의 성능은 매우 콘텐츠 의존적이다는 점을 알게 되었다. 단일 색 변환이 항상 최선인 것은 아니다. 그러므로 우리의 데이터는 인코딩(또는 디코딩) 루프 내에 RCT와 같은 색 변환이 있다는 점이 좋은 아이디어가 아닐 수도 있다는 점을 확인시킨다. 대신, 필요하다면, 인코더/디코더 외부에서 색 변환을 수행하여, 전체 압축 시스템이 더욱 양호하고 더욱 강한 성능을 제공하게 한다.
YCOCG를 RCT-ON과 비교하면, 테스트 결과는 RCT로부터의 어떤 코딩 효율 향상도 나타내지 않는다. 또한, 턴 온된 RCT가 있는 기준 소프트웨어를 실행하는 것이 코딩 시간을 상당히 증가시켰다는 점을 알아야 한다. 실행 시간은 2.5배 이상 길었다.
이제, 실시예에서 구성한 본 발명의 원리에 따른 신택스 및 시맨틱 변화에 관하여 설명한다.
도 12를 참조하면, H.264 시퀀스 파라미터 신택스에 대한 테이블은 일반적으로 참조번호 1200으로 나타낸다. 실시예에서 구성한 본 발명의 원리에 따른 신택스에 대한 변화는 이탤릭체로 나타낸다.
도 13을 참조하면, H.264 잔여 데이터 신택스에 대한 테이블은 일반적으로 참조번호 1300으로 나타낸다. 실시예에서 구성한 본 발명의 원리에 따른 신택스에 대한 추가/변화는 이탤릭체로 나타낸다. 테이블(1300)에서, 잔여 데이터 헤더 내 루마 섹션은 어떤 필요한 텍스트 수정과 함께 2회 반복되어 luma1 및 luma2를 각각 지원한다.
전술한 바와 같이, 상술한 제1 조합 실시예는 본 원리를 JVT 기준 소프트웨어 JM9.6에 구현함으로써 평가 및 테스트하였다. New1-RGB 또는 New1-YCOCG로 표기한 테스트 결과는 제1 조합 실시예를 나타낸다.
전술한 바와 같이, 실시예에서 구성한 본 발명의 원리에 따르면, 단일 공간 예측 모드 대신, 3개의 제한 공간 예측기의 세트(또는 서브세트)를 성분 채널(예를 들어 RGB, YUV, YCrCb 포맷 등)에 대하여 이용한다. 또한, 전술한 바와 같이, 이 실시예는 본 명세서에 기술한 다른 실시예, 예를 들어 루마 코딩 알고리즘만을 이용하여 콘텐츠의 3개 성분 채널 모두를 코딩하고, 또는 색 변환을 사전 처리 공정으로서 이용하는 실시예와 조합할 수도 있다.
이제, 색 성분에 대하여 3개의 제한 공간 예측기의 세트(또는 서브세트)를 이용하고, 루마 코딩 알고리즘만을 이용하여 3개의 색 성분 모두를 코딩하며, 색 변환을 사전 처리 공정(즉, 압축 루프 내에 RCT 없음)으로서 이용하는 상술한 제2 조합 실시예에 관하여 설명한다. 이 실시예의 일부 변형도 설명한다.
도 14를 참조하면, 사전 인코딩 색 변환 공정이 있는 예시적인 비디오 인코딩 프로세스는 일반적으로 참조번호 1400 및 1401로 각각 나타낸다.
사전 인코딩 색 변환 블록(1401)은 블록 1406, 1408 및 1410을 포함한다는 점을 인식하게 된다. 또한, 사전 인코딩 색 변환 블록(1401)은 옵션이고, 따라서 본 발명의 몇몇 실시예에서는 생략할 수도 있다는 점을 인식하게 된다.
사전 인코딩 색 변환 블록(1401)은 영상의 각 블록에 대한 루프를 시작하고, 기능 블록(1408)으로 제어를 전달하는 루프 제한 블록(1406)을 포함한다. 기능 블록(1408)은 현재 영상 블록의 비디오 신호 데이터의 색 사전 처리를 수행하고, 루프 제한 블록(1410)으로 제어를 전달한다. 루프 제한 블록(1410)은 루프를 종료한다. 또한, 루프 제한 블록(1410)은 비디오 인코딩 프로세스(1400)에 포함되는 루프 제한 블록(1412)으로 제어를 전달한다.
루프 제한 블록(1412)은 영상의 각 블록에 대한 루프를 시작하고, 기능 블록(1415)으로 제어를 전달한다. 기능 블록(1415)은 현재 영상 블록의 각 색 성분에 대하여 공용 예측기를 사용하여 현재 영상 블록의 움직임 보상 또는 공간 예측을 형성하고, 기능 블록(1420)으로 제어를 전달한다. 기능 블록(1420)은 현재 영상 블록으로부터 움직임 보상 또는 공간 예측을 감산하여 예측 잔여를 형성하고, 기능 블록(1430)으로 제어를 전달한다. 기능 블록(1430)은 예측 잔여를 변환 및 양자화하고, 기능 블록(1435)으로 제어를 전달한다. 기능 블록(1435)은 예측 잔여 를 역변환 및 역 양자화하여 코딩된 예측 잔여를 형성하고, 기능 블록(1445)으로 제어를 전달한다. 기능 블록(1445)은 코딩된 잔여를 예측에 가산하여 코딩된 화면 블록을 형성하고, 종료 루프 블록(1450)으로 제어를 전달한다. 종료 루프 블록(1450)은 루프를 종료하고, 종료 블록(1455)으로 제어를 전달한다.
도 15를 참조하면, 사후 디코딩 역 색 변환 공정이 있는 예시적인 비디오 디코딩 프로세스는 일반적으로 참조번호 1500 및 1560으로 각각 나타낸다.
사후 디코딩 역 색 변환 블록(1560)은 블록 1562, 1564, 1566 및 1568을 포함한다는 점을 인식하게 된다. 또한, 사후 디코딩 역 색 변환 블록(1560)은 옵션이고, 따라서 본 발명의 몇몇 실시예에서는 생략할 수도 있다는 점을 인식하게 된다.
디코딩 프로세스(1500)는 영상의 현재 블록에 대한 루프를 시작하고, 기능 블록(1515)으로 제어를 전달하는 루프 제한 블록(1510)을 포함한다. 기능 블록(1515)은 코딩된 잔여를 엔트로피 디코딩하고, 기능 블록(1520)으로 제어를 전달한다. 기능 블록(1520)은 디코딩된 잔여를 역변환 및 역 양자화하여 코딩된 잔여를 형성하고, 기능 블록(1530)으로 제어를 전달한다. 기능 블록(1530)은 코딩된 잔여를 각 색 성분에 대하여 공용 예측기로부터 형성한 예측에 가산하여 코딩된 화면 블록을 형성하고, 루프 제한 블록(1535)으로 제어를 전달한다. 루프 제한 블록(1535)은 루프를 종료하고, 종료 블록(1540)으로 제어를 전달한다.
몇몇 실시예에서, 루프 제한 블록(1535)은 사후 디코딩 역 색 변환 블록(1560), 특히 사후 디코딩 역 색 변환 블록(1560)에 포함되는 루프 제한 블 록(1562)으로 선택적으로 제어를 전달한다. 루프 제한 블록(1562)은 영상의 각 블록에 대한 루프를 시작하고, 기능 블록(1564)으로 제어를 전달한다. 기능 블록(1564)은 현재 영상 블록의 비디오 신호 데이터의 역 색 사후 처리를 수행하고, 루프 제한 블록(1566)으로 제어를 전달한다. 루프 제한 블록(1566)은 루프를 종료하고, 종료 블록(1568)으로 제어를 전달한다.
전술한 바와 같이, Advanced 4:4:4 프로파일을 위한 새로운 프로파일(profile_idc=166)이 개시된다. 이 새로운 프로파일은 제2 조합 실시예에 이용할 수도 있고, 제2 조합 실시예에 대응하는 시맨틱 및 신택스 변화는 이하에서 후술한다. 이 새로운 profile_idc는 시퀀스 파라미터 세트에 추가하고, 후속 헤더에 주로 이용하여 입력 포맷은 4:4:4이고, 3개 입력 채널 모두는 루마로서 유사하게 코딩한다는 점을 나타낸다.
H.264 표준에 대한 필수적인 변화를 최소화하기 위하여, 새로운 매크로블록 타입은 Advanced 4:4:4 프로파일에 대하여 개시하지 않는다. 대신, H.264 표준의 테이블 7-11, 테이블 7-13 및 테이블 7-14에 열거한 관련 코딩 파라미터와 함께 모든 매크로블록 타입은 여전히 유효하다. 인트라 매크로블록의 경우에 대하여, 3개 입력 채널, 루마, Cr 및 Cb 모두는 H.264 표준의 테이블 7-11에 정의한 MbPartPredMode에 기초하여 인코딩한다. 예를 들어, Advanced 4:4:4 프로파일의 Intra_4×4 매크로블록은 모든 입력 성분 채널은 H.264 표준의 테이블 8-2에 주어진 9개의 가능한 예측 모드 모두를 이용함으로써 인코딩할 수도 있다는 점을 의미한다. 참고로, 현재의 High 4:4:4 프로파일에서 Intra_4×4 매크로블록을 위한 채 널 중 2개는 크로마로서 취급하고, H.264 표준의 테이블 8-5의 4개의 가능한 인트라 예측 모드 중 하나만이 이용된다. B 및 P 매크로블록에 대하여, Advanced 4:4:4 프로파일에 대하여 이루어진 변화는 분수형 픽셀 위치에 있는 기준 픽셀 값의 계산을 위한 보간 프로세스에서 발생한다. 여기서, H.264 표준의 섹션 8.4.2.2.1에 기술한 절차인 루마 샘플 보간 프로세스는 루마, Cr 및 Cb에 대하여 적용한다. 참고로, 현재의 High 4:4:4 프로파일은 H.264 표준의 섹션 8.4.2.2.2인 크로마 샘플 보간 프로세스를 입력 채널 중 2개에 대하여 이용한다.
CABAC가 엔트로피 코딩 모드로서 선택되는 경우, 루마에 대하여 현재 정의된 것과 동일한 컨텍스트 모델의 2개의 개별 세트가 Cr 및 Cb에 대하여 생성된다. 또한, 그 세트는 인코딩 과정 동안 독립적으로 업데이트된다.
마지막으로, 이 실시예에서는 코딩 루프에 RCT 블록이 존재하지 않으므로, ResidueColorTransformFlag는 Advanced 4:4:4 프로파일의 시퀀스 파라미터 세트로부터 제거된다.
지금까지, 대부분의 신택스 변화는 도 13에 도시한 바와 같이 잔여 데이터에서 발생하는데, 루마에 대한 본래의 신택스는 제안된 Advanced 4:4:4 프로파일에 Cr 및 Cb를 지원하도록 2회 반복한다.
H.264 매크로블록 계층 테이블(도시하지 않음)과 관련하여, 대응 신택스에 대한 시맨틱 변화는 다음을 포함한다.
coded_block_pattern (Add). chroma_format_idc가 3과 동일하고, coded_block_pattern이 존재하는 경우, CodedBlockPatternChroma는 0으로 설정된 다. 또한, CodedBlockPatternLuma는 매크로블록의 12개 8×8 루마, Cb 및 Cr 블록 각각에 대하여 (1) 8×8 루마, 8×8 Cb 및 8×8 Cr 블록 내 12개 4×4 루마 블록의 모든 변환 계수 레벨이 0과 동일한 경우 및 (2) 8×8 루마, 8×8 Cb 및 8×8 Cr 블록 내 4×4 루마 블록 중 하나 이상의 변환 계수 레벨 중 하나 이상이 0 값이 아닌 경우 중 하나를 지정한다.
이제, 제2 조합 실시예(또는 3개의 제한 공간 예측기의 세트(또는 서브세트)의 이용에 관한 단독 실시예)에 따른 인트라 블록에 대한 공간 예측 모드 선택에 관하여 설명한다.
최상의 MbPartPredMode 및 차선의 공간 예측 모드를 독립적으로 선택하는 각 성분에 대하여, 각 입력 채널을 별도로 인코딩하는 경우와 같이, 몇몇 새로운 인트라 블록 타입은 H.264 표준의 테이블 7-11에 추가될 수도 있다. 그 결과, H.264 표준에 대하여 많은 변화가 생긴다. 제2 조합 실시예에 관한 실시예에서, 현재의 mb_types는 변하지 않고, 다른 해결책이 제공된다. 이 실시예에서, 3개 입력 채널은 동일한 MbPartPredMode 또는 매크로블록 타입으로 인코딩하도록 제한된다. 다음으로, 소량의 새로운 구성요소가 매크로블록 예측 신택스에 추가되어 3개의 개별 예측 모드를 지원한다. 그러므로 각 성분 채널에 대한 예측 에러를 최소화하기 위하여, 각 성분은 여전히 이론적으로 최상의 공간 예측 모드를 독립적으로 선택할 수 있다. 예를 들어, Intra_4×4 매크로블록은 mb_type으로서 선택된다고 가정하면, 루마, Cr 또는 Cb는 H.264 표준의 섹션 8.3.1.1 내 테이블 8-2에서 최상의 공간 예측 모드, 예를 들어 루마를 위한 Intra_4×4_Vertical, Cr을 위한 Intra_4_4_Horizontal 및 Cb를 위한 Intra_4×4_Diagonal_Down_Left를 여전히 발견할 수 있다.
상술한 제1 조합 실시예에 관한 또 다른 접근법은 3개 입력 채널 모두를 제한하여 동일한 예측 모드를 공유하는 것이다. 이는, 매크로블록 예측 신택스에 있는 prev_intra4×4_pre_mode_flag, rem_intra4×4_pred_mode, pre_intra8×8_pred_mode_flag 및 rem_intra8×8_pred_mode와 같은 기존의 신택스 구성요소에 의해 현재 전달하는 예측 정보를 이용함으로써 이루어질 수 있다. 이 옵션은 H.264 표준에 대한 변화를 적게 하고, 코딩 효율의 손실도 적게 한다.
테스트 결과에 기초하면, 3개 예측 모드를 이용하여 제1 조합 실시예에 비해 약 0.2㏈만큼 전체 코딩 성능을 향상시킬 수 있다.
도 16을 참조하면, H.264 매크로블록 예측 신택스에 대한 테이블은 일반적으로 참조번호 1700으로 나타낸다. 참고로, 3개 예측 모드를 이용하여 지원하는 변형된 매크로블록 예측 신택스는 아래와 같이 열거하는데,
prev_intra4×4_pred_mode_flagO 및 rem_intra4×4_pred_modeO는 루마를 위한 것이고,
prev_intra4×4_pred_mode_flag1 및 rem_intra4×4_pred_mode1은 Cr을 위한 것이며,
prev_intra4×4_pred_mode_flag2 및 rem_intra4×4_pred_mode2는 Cb를 위한 것이다.
이제, 제2 조합 실시예에 대하여 실시예에서 구성한 본 발명의 원리에 따라 수행한 시뮬레이션 결과에 관하여 설명한다.
모든 JVT/FRExt 테스트 시퀀스는 JVT-J042, Film-Originated Test Sequence, JVT-J039(Viper)에 설명하였다. 테스트는 모두 4:4:4 10-비트 매체이고, 각 클립은 58개 프레임을 갖는다.
제안된 알고리즘은 JVT 기준 소프트웨어 JM9.6에서 구현하였고, 변형된 소프트웨어를 테스트에 이용하였다. Intra-Only 및 IBRrBP 둘 다를 테스트하였다. "Br"은 기록된 B 화면을 의미한다. Intra-Only 경우는 6, 12, 18, 24, 30, 36 및 42와 동일한 양자화 파라미터가 있는 시퀀스 모두에 대하여 이루어졌다. 시뮬레이션에 필요한 많은 시간 때문에, IBRrBP GOP 구조는 12, 18, 24, 30 및 36과 동일한 양자화 파라미터가 있는 영화 클립에 대해서만 이루어졌다. 4:4:4 AHG의 논의에 따르면, 다음의 주요 파라미터를 테스트에 이용하였다.
SymbolMode = 1
RDOptimization = 1
ScalingMatrixPresentFlag = 0
OffsetMatrixPresentFlag = 1
QoffsetMatrixFile = "q_offset.cfg"
AdaptiveRounding = 1
AdaptRndPeriod = 1
AdaptRndChroma = 1
AdaptRndWFactorX = 8
SearchRange = 64
UseFME = 1
JPEG2k에 관하여, KaKadu V2.2.3 소프트웨어를 테스트에 이용하였다. 테스트 결과는 9/7-탭 이중 직교 웨이브렛 필터로 웨이브렛 압축 해제의 5 레벨을 이용함으로써 얻었다. 프레임당 하나의 타일만이 존재하였고, 주어진 목표율을 위한 RD-Optimization도 이용하였다.
PSNR 측정은 상술한 클립을 위한 RGB인 소스 콘텐츠의 본래 색 도메인에서 주로 계산하였다. (PSNR(red)+PSNR(green)+PSNR(blue))/3으로서 정의한 평균 PSNR은 전체 압축 품질을 비교하는 데 이용한다.
압축 비교는 다음과 같이 수행하였다.
New1: 단일 예측 모드가 있는 제안된 Advanced 4:4:4 프로파일.
New3: 3개 예측 모드가 있는 제안된 Advanced 4:4:4 프로파일.
RCT-OFF: RCT=off가 있는 RGB 입력.
RCT-ON: RCT=on이 있는 RGB 입력.
YCOCG: RGB 대 YCOCG 변환은 코덱 외부에서 수행하였다. 다음으로, 변환된 YCOCG는 JVT 소프트웨어에 대한 입력으로서 이용하였다.
R+G+B: R, G 및 B 신호를 개별 압축함으로써 근사화되는 제안 방법.
Y+CO+CG: 변환된 Y, CO 및 CG 신호를 개별 압축함으로써 근사화되는 제안 방법.
JPEG2k_RGB: JPEG2k 압축은 RGB 도메인에서 수행하였다. JPEG2k 색 변환은 턴 오프되었다.
JPEG2k_YUV: JPEG2k 압축은 YUV 도메인에서 수행하였다. JPEG2k 색 변환을 이용하였다.
Intra-Only 경우에 대하여, 본 원리에 따른 제안된 Advanced 4:4:4 프로파일은 전체 압축 효율의 관점에서 JPEK2k와 매우 유사하다. 몇몇 경우에는 약간 더 양호하다.
본 발명의 원리에 따른 접근법은 현재의 High 4:4:4 프로파일보다 명백히 양호하다. 45㏈ (PSNR) 이상의 PSNR에서, 평균 PSNR에서의 평균 향상은 1.5㏈보다 크다. 몇몇의 경우, 이와 같은 향상은 45㏈과 동일한 PSNR에서의 25%보다 큰 비트 절감으로 해석할 수 있다.
동일한 블록 타입이더라도, 단일 예측 모드보다 3개 예측 모드를 이용하는 것이 더 양호하다. 그러나 더 많은 신택스 및 시맨틱 변화를 이용할 수도 있다.
이제, 본 발명의 실시예의 원리에 따라 제공되는 많은 부수적인 장점/특징 중 일부를 설명한다.
테스트 결과는 본 발명의 원리에 대응하는 제안된 Advanced 4:4:4 프로파일은 현재의 High 4:4:4 프로파일과 비교하여 향상된 성능을 전달한다는 점을 설명한다. 성능 이득이 중요하다. 또한, 색 변환을 코덱 외부로 이동하여 코덱 구조를 모든 색 포맷에 일관성 있게 한다. 그 결과, 구현이 쉽고, 비용이 감소한다. 또한, 최적의 색 변환을 선택하여 더욱 양호한 코딩 효율을 얻는다는 관점에서 코덱을 더욱 견고하게 한다. 또한, 제안된 접근법은 새로운 코딩 툴을 추가하지 않고, 신택스 및 시맨틱에 대한 약간의 변화만을 필요로 한다.
따라서, 실시예에서 구성한 본 발명의 원리에 따르면, 비디오 인코딩 및 디코딩 방법 및 장치를 제공한다. 현재의 성능을 뛰어넘은 성능을 얻도록 기존의 H.264 표준에 대한 변형을 제공한다. 또한, 고품질 애플리케이션을 위한 JPEG-2000을 초과하는 향상된 성능을 얻는다. 실시예에서 구성한 본 발명의 원리에 따르면, 루마 코딩 알고리즘을 이용하여 4:4:4 콘텐츠의 3개 색 성분 모두를 코딩함으로써 H.264 표준에서 상당한 4:4:4 코딩 성능 향상을 이룰 수 있다. 즉, 루마(또는 이용하지 않는 크로마) 압축 알고리즘에 새로운 툴은 필요 없다. 대신, 기존의 루마 코딩 툴을 이용한다. 또한, 현재의 4:4:4 프로파일에 대한 신택스 및 시맨틱 변화는 본 원리에 따라 구현하여 3개 성분 채널 모두의 루마 코딩을 지원할 수도 있다. 본 발명의 실시예에 따라 수행한 테스트에서, 소스 콘텐츠가 많은 공간 텍스처 및 에지를 갖는 경우, 루마에 이용한 공간 예측 툴은 크로마에 이용한 공간 예측 툴보다 명백하게 우수한 성능을 나타내었다. 테스트 시퀀스 중 일부에 대하여, 모든 색 성분을 루마로서 인코딩했을 경우, 30%보다 큰 비트 감소가 45㏈ (평균 PSNR) 이상의 압축 품질에서 관찰되었다.
본 명세서에서 본 발명은 H.264 표준의 4:4:4 포맷을 이용하여 샘플링한 비디오 신호 데이터에 관하여 주로 기술하지만, 본 발명은 H.264 표준의 다른 포맷(예를 들어, 4:2:0 포맷 및/또는 4:2:2 포맷)뿐만 아니라 다른 비디오 압축 표준을 이용하여 샘플링한 비디오 신호 데이터에 관하여 쉽게 구현할 수도 있다는 점을 인식하게 된다. 본 명세서에서 제공하는 본 발명의 내용에 따르면, 본 기술분야의 당업자는 본 발명의 범위를 유지하면서 본 발명의 이러한 장점 및 다른 장점을 용이하게 구현할 수도 있다.
본 발명의 이러한 특징과 장점 및 다른 특징과 장점은 본 명세서의 내용에 기초하여 본 기술분야의 당업자가 용이하게 규명할 수도 있다. 본 발명의 내용은 하드웨어, 소프트웨어, 펌웨어, 특수용 프로세서 또는 그 조합의 다양한 형태로 구현할 수도 있다는 점을 이해하게 된다.
더욱 바람직하게, 본 발명의 내용은 하드웨어와 소프트웨어의 조합으로서 구현한다. 또한, 소프트웨어는 프로그램 저장 유닛을 통해 명백히 구현하는 애플리케이션 프로그램으로서 구현할 수도 있다. 애플리케이션 프로그램은 적당한 구조가 있는 머신으로 업로드 및 실행될 수도 있다. 바람직하게, 머신은 하나 이상의 중앙 처리 유닛(CPU), RAM 및 입/출력(I/O) 인터페이스와 같은 하드웨어를 구비한 컴퓨터 플랫폼상에 구현한다. 컴퓨터 플랫폼은 오퍼레이팅 시스템 및 마이크로 명령어 코드를 포함할 수도 있다. 본 명세서에 기술한 다양한 프로세스 및 기능은 마이크로 명령어 코드의 일부분 또는 애플리케이션 프로그램의 일부분 혹은 그 조합일 수도 있고, CPU가 실행할 수도 있다. 또한, 추가 데이터 저장 유닛 및 인쇄 유닛과 같은 다양한 다른 주변 유닛을 컴퓨터 플랫폼에 연결할 수도 있다.
첨부한 도면에 도시한 구성 시스템 컴포넌트 및 방법 중 일부는 바람직하게 소프트웨어로 구현하기 때문에, 시스템 컴포넌트 또는 프로세스 기능 블록 간의 실제 연결은 본 발명이 프로그램되는 방식에 따라 달라질 수도 있다는 점을 이해하게 된다. 본 명세서의 내용에 따르면, 본 기술분야의 당업자는 본 발명의 이러한 구 현 또는 구성 및 유사한 구현 또는 구성을 예상할 수 있다.
본 명세서에서는 첨부한 도면을 참조하여 예시적 실시예를 기술하지만, 본 발명은 그와 같은 실시예에 한정하지 않고, 본 기술분야의 당업자는 본 발명의 범위 또는 사상을 벗어나지 않으면서 본 발명을 다양한 변화 및 변형할 수도 있다는 점을 이해하게 된다. 그와 같은 변화 및 변형 모두는 첨부한 청구범위에 기술하는 본 발명의 범위 내에 포함된다.

Claims (15)

  1. 영상 블록에 대한 비디오 신호 데이터를 인코딩하기 위한 비디오 인코더로서,
    공용 예측기(common predictor) 및 루마 코딩 알고리즘(luminance coding algorithm)을 이용하여 상기 비디오 신호 데이터의 모든 색 성분들을 인코딩하기 위한 인코더(100)
    를 포함하고,
    상기 인코더(100)는 상기 비디오 신호 데이터의 모든 색 성분들에 대해 B 및 P 프레임들을 위한 공용 보간 필터들(common interpolation filers)을 이용하는 비디오 인코더.
  2. 제1항에 있어서,
    상기 공용 예측기는 상기 비디오 신호 데이터의 루마(luma) 및 크로마(chroma) 성분 양쪽 모두에 대하여 사용되는 루마 예측기인 비디오 인코더.
  3. 제1항에 있어서,
    상기 인코더(100)는 상기 비디오 신호 데이터의 모든 색 성분들에 대하여 공용 공간 예측 모드를 이용하는 비디오 인코더.
  4. 제3항에 있어서,
    상기 공용 공간 예측 모드는 국제전기통신연합 통신 부문 H.264 표준의 prev_intra8×8_pred_mode_flag, rem_intra8×8_pred_mode, prev_intra4×4_pred_mode_flag 및 rem_intra4×4_pred_mode 파라미터에 의해 설정되는 비디오 인코더.
  5. 삭제
  6. 제1항에 있어서,
    상기 인코더(100)는 잔여 색 변환을 적용하지 않으면서 상기 비디오 신호 데이터의 모든 색 성분들을 인코딩하는 비디오 인코더.
  7. 제1항에 있어서,
    상기 비디오 신호 데이터의 샘플링은 국제전기통신연합 통신 부문 H.264 표준의 4:4:4, 4:2:2 및 4:2:0 포맷 중 어느 하나에 대응하는 비디오 인코더.
  8. 영상 블록에 대한 비디오 신호 데이터를 인코딩하기 위한 방법으로서,
    공용 예측기 및 루마 코딩 알고리즘을 이용하여 상기 비디오 신호 데이터의 모든 색 성분들을 인코딩하는 단계(315)
    를 포함하고,
    상기 인코딩하는 단계(315)는 상기 비디오 신호 데이터의 모든 색 성분들에 대해 B 및 P 프레임들을 위한 공용 보간 필터들을 이용하는 단계를 포함하는 인코딩 방법.
  9. 제8항에 있어서,
    상기 공용 예측기는 상기 비디오 신호 데이터의 루마 및 크로마 성분 양쪽 모두에 대하여 사용되는 루마 예측기인 인코딩 방법.
  10. 제8항에 있어서,
    상기 비디오 신호 데이터의 모든 색 성분들에 대하여 공용 공간 예측 모드를 이용하는 인코딩 방법.
  11. 제10항에 있어서,
    상기 공용 공간 예측 모드는 국제전기통신연합 통신 부문 H.264 표준의 prev_intra8×8_pred_mode_flag, rem_intra8×8_pred_mode, prev_intra4×4_pred_mode_flag 및 rem_intra4×4_pred_mode 파라미터에 의해 설정되는 인코딩 방법.
  12. 삭제
  13. 제8항에 있어서,
    상기 인코딩하는 단계는 잔여 색 변환을 적용하지 않으면서 상기 비디오 신호 데이터의 모든 색 성분들을 인코딩하는 단계를 포함하는 인코딩 방법.
  14. 제8항에 있어서,
    상기 인코딩하는 단계 이전의 사전 처리 단계에서, 상기 비디오 신호 데이터에 대한 색 변환을 수행하는 단계(308)를 더 포함하는 인코딩 방법.
  15. 제8항에 있어서,
    상기 비디오 신호 데이터의 샘플링은 국제전기통신연합 통신 부문 H.264 표준의 4:4:4, 4:2:2 및 4:2:0 포맷 중 어느 하나에 대응하는 인코딩 방법.
KR1020077023523A 2005-04-13 2006-03-16 공용 예측기를 사용하는 루마 및 크로마 인코딩 KR101278308B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US67125505P 2005-04-13 2005-04-13
US60/671,255 2005-04-13
US70083405P 2005-07-20 2005-07-20
US60/700,834 2005-07-20
PCT/US2006/009990 WO2006113022A1 (en) 2005-04-13 2006-03-16 Luma and chroma encoding using a common predictor

Publications (2)

Publication Number Publication Date
KR20080006553A KR20080006553A (ko) 2008-01-16
KR101278308B1 true KR101278308B1 (ko) 2013-06-25

Family

ID=36644425

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020077023524A KR101278324B1 (ko) 2005-04-13 2006-03-16 공용 예측기를 사용하는 루마 및 크로마 인코딩
KR1020077023523A KR101278308B1 (ko) 2005-04-13 2006-03-16 공용 예측기를 사용하는 루마 및 크로마 인코딩
KR1020077023522A KR101287721B1 (ko) 2005-04-13 2006-03-16 공용 또는 3개의 고유한 공간 예측기를 이용한 루마-크로마코딩
KR1020077023526A KR101254355B1 (ko) 2005-04-13 2006-03-16 공용 예측기를 사용하는 루마 및 크로마 디코딩
KR1020077023528A KR101254356B1 (ko) 2005-04-13 2006-03-16 공용 예측기를 사용하는 루마 및 크로마 디코딩

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020077023524A KR101278324B1 (ko) 2005-04-13 2006-03-16 공용 예측기를 사용하는 루마 및 크로마 인코딩

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020077023522A KR101287721B1 (ko) 2005-04-13 2006-03-16 공용 또는 3개의 고유한 공간 예측기를 이용한 루마-크로마코딩
KR1020077023526A KR101254355B1 (ko) 2005-04-13 2006-03-16 공용 예측기를 사용하는 루마 및 크로마 디코딩
KR1020077023528A KR101254356B1 (ko) 2005-04-13 2006-03-16 공용 예측기를 사용하는 루마 및 크로마 디코딩

Country Status (10)

Country Link
US (10) US8767826B2 (ko)
EP (5) EP1872588B1 (ko)
JP (19) JP2008536450A (ko)
KR (5) KR101278324B1 (ko)
CN (1) CN103458243B (ko)
BR (5) BRPI0609281A2 (ko)
ES (2) ES2901528T3 (ko)
MX (5) MX2007012706A (ko)
MY (6) MY151482A (ko)
WO (5) WO2006113003A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348365B1 (ko) * 2006-08-02 2014-01-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
EP2105025B1 (en) * 2007-01-11 2021-04-07 InterDigital VC Holdings, Inc. Methods and apparatus for using syntax for the coded_block_flag syntax element and the coded_block_pattern syntax element for the cavlc 4:4:4 intra, high 4:4:4 intra, and high 4:4:4 predictive profiles in mpeg-4 avc high level coding
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20090003449A1 (en) * 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
EP2183922A4 (en) 2007-08-16 2011-04-27 Nokia Corp METHOD AND APPARATUSES FOR ENCODING AND DECODING AN IMAGE
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
EP2091227A1 (en) 2008-02-15 2009-08-19 Thomson Licensing Method for adjusting the settings of a reproduction color device
CA2730831A1 (en) 2008-07-15 2010-01-21 Azuna, Llc Method and assembly for personalized three-dimensional products
KR100954172B1 (ko) * 2008-10-24 2010-04-20 부산대학교 산학협력단 Ｓｖｃ 복호화기의 공용 예측 블록 시스템
KR102174807B1 (ko) 2009-08-12 2020-11-06 인터디지털 브이씨 홀딩스 인코포레이티드 개선된 인트라 색차 엔코딩 및 디코딩을 위한 방법 및 장치
CN105472387B (zh) * 2010-04-09 2018-11-02 Lg电子株式会社 处理视频数据的方法和装置
US8750383B2 (en) * 2011-01-17 2014-06-10 Exaimage Corporation Systems and methods for wavelet and channel-based high definition video encoding
KR101675707B1 (ko) 2011-06-23 2016-11-11 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US20140072027A1 (en) * 2012-09-12 2014-03-13 Ati Technologies Ulc System for video compression
ES2665908T3 (es) * 2013-04-08 2018-04-30 Ge Video Compression, Llc Predicción inter-componente
TWI676389B (zh) * 2013-07-15 2019-11-01 美商內數位Ｖｃ專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
US9996803B2 (en) 2013-09-03 2018-06-12 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for authenticating a user through an unobservable re-authentication system
CN108027978B (zh) * 2015-09-18 2023-09-22 交互数字Vc控股公司 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定
US20170105012A1 (en) * 2015-10-08 2017-04-13 Mediatek Inc. Method and Apparatus for Cross Color Space Mode Decision
US11153591B2 (en) * 2019-03-12 2021-10-19 Tencent America LLC Method and apparatus for color transform in VVC
US10742992B1 (en) 2019-03-26 2020-08-11 Electronic Arts Inc. Video compression for video games

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5011321A (ko) * 1973-05-30 1975-02-05
US4125856A (en) * 1977-08-19 1978-11-14 Bell Telephone Laboratories, Incorporated Digital encoding and decoding of color video signals
JP2741696B2 (ja) 1986-09-19 1998-04-22 キヤノン株式会社 適応形差分符号化方式
JP2737902B2 (ja) 1988-01-22 1998-04-08 株式会社豊田自動織機製作所 画像式無人車の走行経路決定処理方法
JPH06113326A (ja) * 1992-09-25 1994-04-22 Sony Corp 画像符号化装置および画像復号化装置
AU5632394A (en) * 1993-03-05 1994-09-08 Sony Corporation Apparatus and method for reproducing a prediction-encoded video signal
CN1095286A (zh) 1993-05-15 1994-11-23 邹刚 抗衰美容液及其制备方法
JPH07254993A (ja) * 1994-03-15 1995-10-03 Toshiba Corp Ｙｕｖ−ｒｇｂ変換回路
US5724450A (en) 1994-09-30 1998-03-03 Apple Computer, Inc. Method and system for color image compression in conjunction with color transformation techniques
CN1112810A (zh) 1995-03-23 1995-12-06 徐锦章 皮冻粉
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
JPH09102954A (ja) * 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd １つまたは２つの予測ブロックからブロックの画素値を計算する方法
JP3359215B2 (ja) 1995-12-28 2002-12-24 株式会社リコー 多値画像符号化装置
KR100440522B1 (ko) * 1996-08-29 2004-10-15 마츠시타 덴끼 산교 가부시키가이샤 화상메모리특유의하드웨어스펙에기인하는각종지연요인을저장방식및판독방식의개선에의해극복한화상복호장치및화상메모리
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
US6618443B1 (en) * 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
JPH1188909A (ja) * 1997-09-11 1999-03-30 Mitsubishi Electric Corp 画像圧縮伝送装置
JP3063715B2 (ja) * 1997-12-19 2000-07-12 日本電気株式会社 画像圧縮装置
US6829301B1 (en) * 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
JP2001112023A (ja) * 1999-10-12 2001-04-20 Mega Chips Corp 画像圧縮方法
JP2002335407A (ja) 2001-05-08 2002-11-22 Fuji Xerox Co Ltd 画像符号化装置および画像符号化方法
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
AU2002339530A1 (en) 2002-09-07 2004-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Method and devices for efficient data transmission link control in mobile multicast communication systems
KR20040028318A (ko) 2002-09-30 2004-04-03 삼성전자주식회사 공간상 예측 부호화를 이용한 영상 부호화 및 복호화 방법및 장치
US7266247B2 (en) 2002-09-30 2007-09-04 Samsung Electronics Co., Ltd. Image coding method and apparatus using spatial predictive coding of chrominance and image decoding method and apparatus
JP4355893B2 (ja) * 2002-12-26 2009-11-04 富士ゼロックス株式会社 色変換処理装置及び色変換処理方法
JP4324844B2 (ja) 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
KR100624429B1 (ko) 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
US7333544B2 (en) 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
KR100718122B1 (ko) 2003-07-16 2007-05-15 삼성전자주식회사 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7327894B2 (en) * 2003-11-07 2008-02-05 Texas Instruments Incorporated Image compression
EP1538826A3 (en) * 2003-12-05 2007-03-07 Samsung Electronics Co., Ltd. Color transformation method and apparatus
CN100536573C (zh) 2004-01-16 2009-09-02 北京工业大学 基于方向的dc预测方法及用于视频编码的帧内预测方法
WO2006016406A1 (ja) 2004-08-12 2006-02-16 Fujitsu Limited 移動通信ネットワークシステム
US20060210156A1 (en) * 2005-03-18 2006-09-21 Sharp Laboratories Of America, Inc. Video compression for raw rgb format using residual color transform
US7792370B2 (en) * 2005-03-18 2010-09-07 Sharp Laboratories Of America, Inc. Residual color transform for 4:2:0 RGB format
CN101160972B (zh) 2005-04-13 2010-05-19 汤姆逊许可公司 利用公共预测器的亮度和色度编码
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
US7537961B2 (en) * 2006-03-17 2009-05-26 Panasonic Corporation Conductive resin composition, connection method between electrodes using the same, and electric connection method between electronic component and circuit substrate using the same
WO2007122503A2 (en) 2006-04-24 2007-11-01 Nokia Corporation Reliable multicast/broadcast in a wireless network
CN101102283A (zh) 2007-08-17 2008-01-09 杭州华三通信技术有限公司 一种在无线接入点上优化未知单播转发的方法及设备
JP5011321B2 (ja) 2009-02-09 2012-08-29 東洋製罐株式会社 多層容器の成形方法
JP5927083B2 (ja) 2012-08-28 2016-05-25 株式会社荏原製作所 ドレッシングプロセスの監視方法および研磨装置
JP6376685B2 (ja) 2014-05-16 2018-08-22 東レエンジニアリング株式会社 薄膜形成装置および薄膜形成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Woo-Shik Kim, et al., ‘Proposal for the unsolved issues in Professional Extensions II’, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) 10thJVT Meeting*
Woo-Shik Kim, et al., 'Proposal for the unsolved issues in Professional Extensions II', Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) 10thJVT Meeting *

Also Published As

Publication number Publication date
JP2008536452A (ja) 2008-09-04
ES2901528T3 (es) 2022-03-22
US20090052533A1 (en) 2009-02-26
US20090052527A1 (en) 2009-02-26
JP2013214995A (ja) 2013-10-17
EP1869893A1 (en) 2007-12-26
US20150071349A1 (en) 2015-03-12
EP1872586B1 (en) 2020-06-17
MY163150A (en) 2017-08-15
US8718134B2 (en) 2014-05-06
JP2013214997A (ja) 2013-10-17
WO2006113003A1 (en) 2006-10-26
EP1872586A1 (en) 2008-01-02
JP6538521B2 (ja) 2019-07-03
US20190089985A1 (en) 2019-03-21
US20170118490A1 (en) 2017-04-27
EP1872587A1 (en) 2008-01-02
JP2008536450A (ja) 2008-09-04
KR101287721B1 (ko) 2013-07-18
MX2007012705A (es) 2008-03-14
KR101254356B1 (ko) 2013-04-12
US8761251B2 (en) 2014-06-24
BRPI0609124A2 (pt) 2010-02-23
BRPI0609236A2 (pt) 2010-03-09
JP2016140108A (ja) 2016-08-04
KR101254355B1 (ko) 2013-04-12
US20090041120A1 (en) 2009-02-12
US8767826B2 (en) 2014-07-01
BRPI0609280A2 (pt) 2010-03-09
JP6550010B2 (ja) 2019-07-24
EP1869892A1 (en) 2007-12-26
MY151482A (en) 2014-05-30
JP6561101B2 (ja) 2019-08-14
EP1872587B1 (en) 2021-05-05
MX2007012710A (es) 2008-03-14
WO2006113022A1 (en) 2006-10-26
JP2016026458A (ja) 2016-02-12
US10123046B2 (en) 2018-11-06
EP1872588B1 (en) 2021-01-27
JP2016026457A (ja) 2016-02-12
BRPI0609239A2 (pt) 2010-03-09
JP2008536448A (ja) 2008-09-04
KR20080006553A (ko) 2008-01-16
MY154995A (en) 2015-08-28
US8724699B2 (en) 2014-05-13
JP2013240081A (ja) 2013-11-28
JP2013214994A (ja) 2013-10-17
US8750376B2 (en) 2014-06-10
JP2008536447A (ja) 2008-09-04
WO2006112997A1 (en) 2006-10-26
US20090092187A1 (en) 2009-04-09
JP2018057036A (ja) 2018-04-05
JP6382413B2 (ja) 2018-08-29
JP2015084577A (ja) 2015-04-30
JP2017212757A (ja) 2017-11-30
KR20080006554A (ko) 2008-01-16
KR20080006555A (ko) 2008-01-16
CN103458243B (zh) 2017-03-01
MX2007012708A (es) 2008-03-14
MY167744A (en) 2018-09-24
JP6345637B2 (ja) 2018-06-20
WO2006112992A1 (en) 2006-10-26
US20200374561A1 (en) 2020-11-26
US20090052539A1 (en) 2009-02-26
JP2015109680A (ja) 2015-06-11
JP2016042721A (ja) 2016-03-31
MY162364A (en) 2017-06-15
US20150271490A1 (en) 2015-09-24
WO2006112996A1 (en) 2006-10-26
KR20080006556A (ko) 2008-01-16
MX2007012653A (es) 2007-12-13
JP2008536446A (ja) 2008-09-04
JP2013214996A (ja) 2013-10-17
MY158264A (en) 2016-09-30
EP1869893B1 (en) 2021-01-27
MX2007012706A (es) 2008-03-14
ES2805105T3 (es) 2021-02-10
BRPI0609281A2 (pt) 2010-03-09
JP2018042262A (ja) 2018-03-15
EP1869892B1 (en) 2021-11-10
CN103458243A (zh) 2013-12-18
KR20080006552A (ko) 2008-01-16
EP1872588A1 (en) 2008-01-02
KR101278324B1 (ko) 2013-06-25

Similar Documents

Publication Publication Date Title
KR101278308B1 (ko) 공용 예측기를 사용하는 루마 및 크로마 인코딩

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 6