KR20110025888A - 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로 - Google Patents

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로 Download PDF

Info

Publication number
KR20110025888A
KR20110025888A KR1020107004783A KR20107004783A KR20110025888A KR 20110025888 A KR20110025888 A KR 20110025888A KR 1020107004783 A KR1020107004783 A KR 1020107004783A KR 20107004783 A KR20107004783 A KR 20107004783A KR 20110025888 A KR20110025888 A KR 20110025888A
Authority
KR
South Korea
Prior art keywords
color
color space
image
color image
inverse transform
Prior art date
Application number
KR1020107004783A
Other languages
English (en)
Inventor
마티아스 나로쉬케
토마스 웨디
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20110025888A publication Critical patent/KR20110025888A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

화상 부호화 방법은, 컬러 화상의 색 공간을 제1 색 공간로부터 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환 단계(S12)와, 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링 단계(S13)와, 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화 단계(S14)와, 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출 단계(S16)와, 색 공간 변환이 끝난 컬러 화상의 색 공간을 제2 색 공간로부터 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출 단계(S17)와, 부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 출력하는 출력 단계(S19)를 포함한다.

Description

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로{IMAGE CODING METHOD, IMAGE DECODING METHOD, IMAGE CODING DEVICE, IMAGE DECODING DEVICE, PROGRAM AND INTEGRATED CIRCUIT}
본 발명은, 복수의 색 요소로 이루어지는 컬러 화상의 변환과 역변환 및, 이들에 대응하는 장치에 관한 것이다.
컬러 화상을 촬상하기 위한 디지털 비디오 카메라 또는 디지털 카메라는, 상이한 컬러 필터로 필터링된 광의 강도를 감지할 수 있는 센서를 구비한다. 이러한 센서 상에는, 적색 및 녹색의 행과 녹색 및 청색의 행을 교대로 모자이크 형상으로 배열한 적색, 청색, 녹색의 필터로 이루어지는, 이른바, 베이어 필터를 씌울 수 있다. 녹색의 필터가 많이 이용되는 것은, 적색 및 청색보다 녹색에 대해 사람의 눈의 감도가 높은 것을 반영하고 있다. 촬상된 컬러 샘플의 모자이크는, 전형적으로는, 저장 효율 및 디스플레이로의 묘화 효율을 높일 수 있는 다른 색 공간으로 변환된다. 이 변환은 「디모자이크」라고 칭해진다. 통상, 적색, 녹색, 청색의 샘플로 이루어지는 모자이크는, 동일하게 적색(R), 녹색(G), 청색(B)의 샘플로 이루어지는 RGB 색 공간으로 변환된다.
RGB 색 공간의 컬러 화상(RGB 화상)은, 3색의 색 요소, 즉 적색, 녹색, 청색으로 이루어지는, 이른바 화소로 구성된다. 각 컴퍼넌트의 값은, 화소의 색을 재현하기 위해 필요한 적색, 녹색, 청색의 광의 강도를 나타낸다. 화소는, 화상의 최소 구성 단위이다. 각 RGB 화상의 각 화소의 색 요소는, RGB 색 공간 내에 있어서, 이 화소의 좌표(r, g, b)로서 나타낼 수 있다. 이들 좌표의 값은, q비트를 이용하여 양자화된다. 1화소당의 비트수는, 색 심도로서도 알려져 있는 것이다. 본원에서는, 대개의 경우, 모든 색 요소에 대해 q=8 또는 q=16의 값을 일률적으로 적용하고, 각각 24비트 또는 48비트의 색 심도로 한다. 일반적으로는, 색 요소마다, 또한 화소마다, 비트수를 바꾸어 양자화하는 경우도 있다.
RGB 화상의 화소는, N×M사이즈의 매트릭스로 배열되고, 화상의 (공간) 해상도라고도 칭해진다. N 및 M의 값이 3색의 색 요소 모두에 대해 동일하면, 요컨대 화상의 색 요소치를 3색의 동일한 사이즈의 색 요소로 정리 가능한 경우에는, 그러한 화상의 컬러 포맷은, RGB 4:4:4로 칭해진다. RGB 4:4:4 컬러 포맷의 데이터를 직접 취득할 수 있는 센서도 있다. 일반적으로, 단일한 화상의 색 요소는, 색 요소마다 상이한 샘플링·그리드가 적용된 결과, 사이즈가 다른 경우가 있다. 화상의 색 요소의 값은, 예를 들면, 그 화상을 디스플레이 화면에 묘화하거나, 카메라 또는 외부 스토리지에 기억하거나, 인쇄하거나, 추가적인 처리를 행하거나, 전송 채널 경유로 전송할 때에 이용할 수 있다.
추가적인 처리란, 예를 들면, 다른 색 공간으로의 변환, 및/또는, 색 요소의 선택적 서브 샘플링을 포함하는 컬러 포맷 변환 등이다. 서브 샘플링의 전에는, 필터링이 행해진다.
또한, 전송 목적 및 기억 목적의 경우, 일반적으로는, 규격 제품 또는 특허 제품인 화상 부호화 장치 또는 영상 부호화 장치를 사용하여, 소정의 컬러 포맷의 컬러 화상, 또는, 이러한 컬러 화상이 영상을 구성하는 경우에는 그 시퀀스를 부호화한다. 부호화는, 화상 또는 영상의 기억 또는 전송에 필요한 데이터량을 삭감하기 위해 행해진다. 이러한 부호화에는, 규격화 혹은 특허 취득되어 있는 다양한 가역 및/또는 비가역 압축 메커니즘을 이용하면 된다.
부호화한 화상 또는 영상을 디스플레이에 묘화하기 위해서는, 화상 데이터를 채널 경유로 수신하거나, 스토리지로부터 취득하여, 복호하지 않으면 안 된다. 부호화 처리를 반대로 행하는 복호에 의해, 부호화에 사용한 컬러 포맷의 화상을 취득한다. 오늘날의 디스플레이는, 대개의 경우, RGB 4:4:4 컬러 포맷의 값에 의거한 신호를 이용하여, 표시 화소의 구동을 제어한다. 따라서, 복호 후, 이 컬러 포맷으로의 변환이 필요해지는 경우가 있다. 복호 후의 컬러 포맷의 역변환은, 서브 샘플링이 행해지고 있었던 경우에는, 서브 샘플링한 컬러 화상의 업 샘플링을 포함해도 된다. 업 샘플링은, 통상, 보간 필터를 이용하여 행해진다.
도 1은, 종래 기술의 영상 전송 체인 회로의 일례를 나타낸다.
비디오 카메라 또는 카메라(110)는, 현실 장면(scene)을 촬상하면, 제1 컬러 포맷의, 구체적으로는 컬러 샘플당 8비트의 RGB 4:4:4 컬러 포맷의, 원화상 데이터(111)를 송출한다. RGB 4:4:4 포맷의 원화상 데이터(111)는, 다음에, 상이한 색 공간으로 변환되지만, 이 케이스에서는, YUV 색 공간 등의, 상이한 색 요소를 이용한 색 공간으로 변환된다. 이 색 공간에 있어서, 입력된 원화상 데이터(111)는, Y로 표기되는 휘도와, U, V로 표기되는 2종류의 상이한 색 요소(색차)로 나뉘어진다. YUV 색 공간의 데이터를 취득하기 위해서는, 색 공간 변환부(120)에서 색 공간 변환을 적용한다. 따라서, R, G, B의 가중치를 가산함으로써, 대상 화소의 전체 밝기, 즉 휘도를 나타내는 단일한 Y 신호를 생성한다. 다음에, 원래의 RGB의 청색 신호로부터 Y 신호를 감산하고, 스케일링함으로써, U 신호를 얻는다. 이에 따라, 적색으로부터 Y를 감산하고, 상이한 계수로 스케일링함으로써, V 신호를 얻는다. 이와 같이 하여 YUV 색 공간에서 얻은 화상 데이터(121)는, 촬상한 화상의 광의 강도에 대응한 휘도 성분과, 이 휘도 성분보다 전형적으로 상당히 평활한 2종류의 색차 성분을 포함한다. 색차 화상이 평활하면, 보다 좋게 압축할 수 있다.
YUV 색 공간에 있어서의 화상 데이터(121)의 사이즈는, 이 시점에서는, RGB 4:4:4 포맷의 원화상 데이터(111)와 동일하다. 즉, 휘도 및 2개 색차의 3개의 값이 1화소에 대해 8비트씩 기억되어 있다. 이 화상 포맷은, YUV 4:4:4 포맷이라고 칭해진다. YUV 4:4:4 포맷의 화상 데이터(121)는, 그 후, 부호화부(130)에 의해 압축되어, 채널(140) 경유로 전송된다. 이 예에 있어서의 부호화부(130)는, H.264/AVC 비디오 부호화를 행한다. 여기에서 사용하는 채널(140)은, 예를 들면, 유선, 무선을 불문하고, 어떠한 형태의 네트워크여도 되고, 또 자기 디스크, 광 디스크, 플래시 메모리, 자기 광 기억매체 등의 스토리지여도 된다.
디스플레이(170)에 화상 또는 영상을 묘화하기 위해서는, 우선, 데이터를 채널(140)로부터 취득/수신하여, 복호부(150)에서 복호한다. 복호부(150)는, 부호화부(103)와는 반대의 처리를 행한다. 부호화부(130)가 비가역 압축을 행하고 있으면, 재구축 후의 YUV 4:4:4 포맷의 화상 데이터(151)는, 원래의 YUV 4:4:4 포맷의 화상 데이터(121)와는 상이한 경우가 있다. 복호한 후, 색 공간 역변환부(160)에서 색 공간 역변환을 적용하여, 복호 RGB 4:4:4 포맷의 화상 데이터(161)를 취득하면, 그것을 디스플레이(170)에 표시하거나, 또한 기억 또는 인쇄하는 것이 가능해진다.
도 2는, 종래 기술의 전송 체인 회로의 다른 예를 나타낸다. 카메라(110)로 현실 장면을 촬상한다. 카메라(110)로부터 출력되는 것은, RGB 4:4:4 컬러 포맷의 원화상 데이터(111)이다. YUV 4:4:4 포맷의 화상 데이터(121)를 취득하기 위해, 다음에, RGB 4:4:4 포맷의 원화상 데이터(111)에 색 공간 변환부(120)에서 색 공간 변환을 행한다. 색 공간을 변환하면, 대개의 경우, YUV 4:4:4 포맷의 화상의 색차 성분 U, V는, 휘도 성분 Y에 비해 평활해진다. 이 단계에서 이미, 화상의 전송/기억에 필요한 데이터량을 삭감할 수 있을 정도로 평활하다. 이것을 실행하기 위해서는, 색차 성분을 좌우 방향 및/또는 상하 방향으로 필터링·서브 샘플링부(210)에서 서브 샘플링한다. 서브 샘플링이란, 예를 들면, 일정한 샘플을 제외함으로써 1화상당의 샘플수를 삭감하는 것이다. 제외되지 않은 샘플이 포함되는 서브 샘플링·그리드는, 원화상 또는 필터링된 화상의 값의 서브세트이고, 통상, 규칙적인 형상을 갖는다. 서브 샘플링을 행하기 전에, 통상은 로우패스 필터이지만, 어떠한 필터를 적용해도 된다. 로우패스 필터에는, 이 목적으로 사용하는 것으로서, 국제 표준화 기구(ISO)에 의해 제안되어, 동화상 부호화 전문가 그룹(MPEG) 및 비디오 부호화 전문가 그룹(VCEG)의 커뮤니티에서 승인되어 있는 것이 몇 가지 있다. 이 필터링이 끝난 화상을 서브 샘플링하기 위해서는, 예를 들면, 격행 및 격열마다 행 및 열을 생략하고, 색차 성분치의 수를 휘도 성분치의 수의 4분의 1로 한다. 이러한 포맷은, YUV 4:2:0 포맷이라고 칭해진다. 이와 같이, 이 경우의 컬러 포맷 변환부(201)는, 색 공간 변환부(120)와, 필터링·서브 샘플링부(210)를 포함한다. 원화상 데이터(111)의 색 공간이 이미 원하는 것이면, 컬러 포맷 변환부(201)는, 서브 샘플링(경우에 따라서는, 필터링도 더한다)만이어도 된다. 제2 컬러 포맷 YUV 4:2:0의 화상 데이터(211)는, 다음에, 부호화부(130)에서 부호화되어, 채널(140)에 기억되거나, 채널(140) 경유로 전송된 후, 복호부(150)에 의해 복호된다. 다른 서브 샘플링·그리드를 사용하는 것도 가능하고, 예를 들면, (필터링된) 색차 성분을 격열마다 생략한 4:2:2 그리드여도, 그 밖의 서브 샘플링·그리드여도 된다.
부호화부(130)는, 예를 들면, 화상 압축 규격의 JPEG 혹은 JPEG2000이나 영상 부호화 규격의 H.261, H.263, H.264/AVC, MPEG-1, MPEG-2, MPEG-4 등, 규격화 혹은 특허 취득되어 있는 화상 표준 또는 영상 표준에 따른 화상 부호화부 또는 영상 부호화부이다. 이러한 부호화부는, 일반적으로, 화상 데이터를 보다 작은 블록으로 세밀하게 분할하고, 그 데이터를 블록마다 선형 변환(예를 들면, 이산 코사인 변환)에 의해 변환한 후, 변환한 데이터를 엔트로피 부호화부에 의해 효율적으로 부호화하는 동작을 행한다. 움직임 보상이나 공간 예측 등, 다른 기술을 채용해도 된다. 이들 모든 처리에 있어서, 화상의 휘도 성분과 색차 성분은, 통상, 따로따로 취급된다.
채널(140)로부터 수신/취득한 데이터는, 사용한 부호화부(130)에 대응하는 복호부(150)에 의해 복호된다. YUV 4:2:0 포맷의 화상 데이터(151)는, 다음에, 업 샘플링·보간부(220) 및 색 공간 역변환부(160)를 구비하는 컬러 포맷 역변환부(202)에 입력되어, 잃어버린 화소를 보간함으로써, 서브 샘플링된 색차 성분을 원래의 사이즈로 업 샘플링한다. 다음에, YUV 4:4:4 컬러 포맷의 화상 데이터(221)를, 색 공간 역변환부(160)에 의해, RGB 색 공간으로 역변환한 후, 얻어진 RGB 4:4:4 컬러 포맷의 화상 데이터(161)를 디스플레이(170)에 표시하거나, 인쇄 또는 기억한다.
컬러 포맷 변환부(201)는, 색 공간 변환부(120)와, 필터링·서브 샘플링부(210)를 포함하고, 화상 데이터의 기억 효율 또는 부호화부(130)에 의한 화상 데이터의 부호화 효율을 높일 수 있는 것과 같은 전처리를 화상 데이터에 실시한다. 색 공간 변환을 행하는 것만으로는, 1화소당의 색 요소의 양은 감소하지 않지만, 상술한 바와 같은 서브 샘플링 처리(YUV 4:4:4로부터 YUV 4:2:0으로 하는 처리)를 하면, 1화소당의 색 요소의 양은 원래의 반분으로까지 감소한다. 화상 콘텐츠에 따라서는, 보간 후에 이러한 감소가 있어도, 사람의 눈으로는 거의 지각할 수 없다. 특히, 자연 화상의 경우, 두드러진 열화도 없으며, 업 샘플링·보간부(220)에 의해 재구성하는 것이 가능하다. 일반적으로, YUV 색 공간으로 변환하는 색 공간 변환부(120)에서는, 남은 색 요소로부터 휘도 성분을 감산함으로써, 이미 색 요소끼리의 상호 상관도를 낮추고 있다.
특허문헌1:유럽특허출원공개제1176832호공보
그러나, 다른 종류의 색 공간 변환에 의하면, 보다 좋은 결과가 얻어질 가능성이 있는 화상도 있다. 대부분의 경우는, 고정형의 보간 필터로 충분하다. 그러나, 다른 종류의 필터를 사용하여 필터링한 쪽이 적합한 콘텐츠를 포함하는 화상은, 반드시 존재할 것이다. 화상 콘텐츠에 따라서는, 서브 샘플링 뒤에 업 샘플링을 행하면, 아티팩트가 두드러져 버리게 된다. 화상 재구성의 질은, 압축 게인과 동일하게, 컬러 포맷(색 공간, 서브 샘플링)에 따라, 또한 부호화 대상의 화상 또는 영상의 성질에 따라, 크게 변화되어 간다. 또한, 오늘날 대부분의 영상 부호화 규격에 있어서 이용되고 있는 YUV 색 공간은, 부호화 목적에서 보면 반드시 효율적인 것은 아니며, 부호화(압축) 게인에는 한계가 있다. 또, 통상, 업 샘플링은, 고정형 보간 필터를 이용하여 행해지지만, 그와 같이 하여 업 샘플링된 화상에는, 눈에 거슬리는 편차가 생기는 경우가 있다.
본 발명의 목적은, 상술한 과제를 해결하여, 각종 화상 콘텐츠에 대해 효율적인 컬러 포맷의 변환과 역변환을 행하는 방법 및 장치를 제공하는 것이다.
본 발명의 한 형태에 따른 화상 부호화 방법은, 컬러 화상을 부호화한다. 구체적으로는, 상기 컬러 화상의 색 공간을 제1 색 공간로부터 상기 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환 단계와, 상기 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링 단계와, 상기 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화 단계와, 샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출 단계와, 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출 단계와, 상기 부호화가 끝난 컬러 화상, 상기 업 샘플링 계수, 및 상기 색 공간 역변환 계수를 출력하는 출력 단계를 포함한다.
상기 구성과 같이, 화상 복호 장치에서 이용하는 파라미터(색 공간 역변환 계수 및 업 샘플링 계수)를 화상 부호화 장치로 산출함으로써, 화상 복호 장치의 복잡함이 저감된다. 또, 상기 파라미터의 산출에 화상 부호화 장치에서만 이용 가능한 원화상(컬러 화상)을 이용할 수 있으므로, 복호 화상의 품질이 개선된다. 또한, 서브 샘플링 및 업 샘플링에 있어서의 「샘플」이란, 예를 들면, 화소치여도 되고, 색 요소, 보다 구체적으로는, 각 화소의 색차 성분이어도 된다.
또한, 상기 화상 부호화 방법은, 상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호 단계와, 상기 복호가 끝난 컬러 화상의 샘플을 보간하여 보간이 끝난 컬러 화상을 생성하는 업 샘플링 단계를 포함한다. 그리고, 상기 업 샘플링 계수 산출 단계에서는, 상기 복호가 끝난 컬러 화상과 상기 색 공간 변환이 끝난 컬러 화상의 평균 2승 오차가 최소가 되도록, 상기 업 샘플링 계수를 산출해도 된다.
또한, 상기 화상 부호화 방법은, 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하여 색 공간 역변환이 끝난 컬러 화상을 생성하는 색 공간 역변환 단계를 포함한다. 그리고 상기 색 공간 역변환 계수 산출 단계에서는, 상기 색 공간 역변환이 끝난 컬러 화상과 상기 컬러 화상의 평균 2승 오차가 최소가 되도록, 상기 색 공간 역변환 계수를 산출해도 된다.
화상 데이터를 부호화하면 양자화 노이즈가 중첩되므로, 부호화 데이터를 복호해도, 부호화 전의 화상 데이터와 완전히 동일한 화상 데이터를 취득할 수는 없다. 그래서, 색 공간 역변환 단계는, 단순한 색 공간 변환 단계의 역처리가 아니라, 부호화의 과정에서 중첩된 양자화 노이즈를 제거하는 처리도 행한다. 요컨대, 색 공간 역변환 단계에서 이용되는 색 공간 역변환 계수는, 부호화 전 및 복호 후의 화상의 평균 2승 오차가 최소가 되도록 결정하는 것이 바람직하다. 업 샘플링 단계에 대해서도 동일하다.
또한, 상기 화상 부호화 방법은, 상기 컬러 화상의 특성에 의거하여 색 공간 변환 계수를 산출하는 색 공간 예측 단계를 포함한다. 그리고, 상기 색 공간 변환 단계에서는, 상기 색 공간 예측 단계에서 산출된 상기 색 공간 변환 계수에 의거하여, 상기 컬러 화상의 색 공간을 상기 제1 색 공간으로부터 상기 제2 색 공간으로 변환하며, 상기 출력 단계에서는, 또한, 상기 색 공간 변환 계수를 출력해도 된다.
또한, 상기 화상 부호화 방법은, 상기 업 샘플링 계수, 상기 색 공간 역변환 계수, 및 상기 색 공간 변환 계수를 포함하는 보조 정보를 부호화하여 부호화가 끝난 보조 정보를 생성하는 보조 정보 부호화 단계를 포함한다. 그리고, 상기 출력 단계에서는, 상기 부호화가 끝난 컬러 화상 및 상기 부호화가 끝난 보조 정보를 출력해도 된다.
본 발명의 한 형태에 따른 화상 복호 방법은, 컬러 화상을 복호한다. 구체적으로는, 부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 취득하는 취득 단계와, 상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호 단계와, 상기 업 샘플링 계수를 이용하여 상기 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성하는 업 샘플링 단계와, 상기 색 공간 역변환 계수를 이용하여 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성하는 색 공간 역변환 단계를 포함한다.
상기 구성과 같이, 화상 부호화 방법에 의해 생성된 업 샘플링 계수 및 색 공간 역변환 계수를 이용하여 업 샘플링 처리 및 색 공간 역변환 처리를 실행함으로써, 부호화에 의해 중첩된 라운딩 오차를 제거할 수 있다. 또, 상기의 2처리를 연속하여 실행함으로써, 처리를 최적화할 수 있다.
본 발명의 한 형태에 따른 화상 부호화 장치는, 컬러 화상을 부호화한다. 구체적으로는, 상기 컬러 화상의 색 공간을 제1 색 공간으로부터 상기 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환부와, 상기 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링부와, 상기 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화부와, 샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출부와, 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출부와, 상기 부호화가 끝난 컬러 화상, 상기 업 샘플링 계수, 및 상기 색 공간 역변환 계수를 출력하는 출력부를 구비한다.
본 발명의 한 형태에 따른 화상 복호 장치는, 컬러 화상을 복호한다. 구체적으로는, 부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 취득하는 취득부와, 상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호부와, 상기 업 샘플링 계수를 이용하여 상기 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성하는 업 샘플링부와, 상기 색 공간 역변환 계수를 이용하여 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성하는 색 공간 역변환부를 구비한다.
본 발명의 한 형태에 따른 프로그램은, 컴퓨터에, 컬러 화상을 부호화시킨다. 구체적으로는, 상기 컬러 화상의 색 공간을 제1 색 공간으로부터 상기 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환 단계와, 상기 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링 단계와, 상기 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화 단계와, 샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출 단계와, 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출 단계와, 상기 부호화가 끝난 컬러 화상, 상기 업 샘플링 계수, 및 상기 색 공간 역변환 계수를 출력하는 출력 단계를 포함한다.
본 발명의 다른 형태에 따른 프로그램은, 컴퓨터에 컬러 화상을 복호시킨다. 구체적으로는, 부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 취득하는 취득 단계와, 상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호 단계와, 상기 업 샘플링 계수를 이용하여 상기 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성하는 업 샘플링 단계와, 상기 색 공간 역변환 계수를 이용하여 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성하는 색 공간 역변환 단계를 포함한다.
본 발명의 한 형태에 따른 집적 회로는, 컬러 화상을 부호화한다. 구체적으로는, 상기 컬러 화상의 색 공간을 제1 색 공간으로부터 상기 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환부와, 상기 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링부와, 상기 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화부와, 샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출부와, 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출부와, 상기 부호화가 끝난 컬러 화상, 상기 업 샘플링 계수, 및 상기 색 공간 역변환 계수를 출력하는 출력부를 구비한다.
본 발명의 다른 형태에 따른 집적 회로는, 컬러 화상을 복호한다. 구체적으로는, 부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 취득하는 취득부와, 상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호부와, 상기 업 샘플링 계수를 이용하여 상기 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성하는 업 샘플링부와, 상기 색 공간 역변환 계수를 이용하여 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성하는 색 공간 역변환부를 구비한다.
또한, 본 발명은, 동화상 부호화 방법(장치) 및 동화상 복호 방법(장치)으로서 실현할 수 있을 뿐만 아니라, 이들의 기능을 실현하는 집적 회로로서 실현하거나, 그러한 기능을 컴퓨터에 실행시키는 프로그램으로서 실현하거나 할 수도 있다. 그리고, 그러한 프로그램은, CD-ROM 등의 기록 매체 및 인터넷 등의 전송 매체를 통해 유통시킬 수 있는 것은 말할 필요도 없다.
이들은, 독립 청구항에 기재한 특징에 의해 달성된다.
바람직한 실시 형태는, 종속 청구항의 주제이다.
본 발명의 수법은, 컬러 포맷 변환측에서 컬러 포맷 역변환 파라미터를 결정하는 것과, 그 컬러 포맷 역변환 파라미터를 화상 또는 영상의 변환 데이터와 함께 제공하는 것이다. 본 발명은, 또한, 역변환측에서 컬러 포맷 역변환 파라미터를 수신하여, 컬러 포맷 역변환 처리에 사용하는 것을 특징으로 한다.
컬러 포맷 변환측에서 컬러 포맷 역변환 파라미터를 결정하는 이점은, (비변환) 컬러 원화상 및 그 원래의 포맷에 관한 모든 정보를 이용 가능한 것이다. 또한, 변환측에서 컬러 포맷 역변환 파라미터를 결정함으로써, 복호 장치의 복잡함이 저감됨과 더불어, 부호화 장치에 있어서 이용 가능한 정보를 고려하여 각종 컬러 포맷의 역변환 계수를 선택할 수 있으므로, 품질이 개선된다.
본 발명의 제1 양태로서, 컬러 화상을 제1 컬러 포맷으로부터 제2 컬러 포맷으로 변환하는 컬러 포맷 변환 방법을 제공한다. 이 방법은, 컬러 화상을 제1 컬러 포맷으로부터 제2 컬러 포맷으로 역변환하는 처리에 이용하는 컬러 포맷 역변환 계수를 결정하는 단계를 포함한다. 컬러 화상의 컬러 포맷이란, 화상의 색 요소가 기억될 때의 포맷이며, 예를 들면, 색 공간 및/또는 서브 샘플링이 포함된다. 여기에서, 색 공간을 특정하는 방법으로서는, 예를 들면, 그 색 공간이, 규격화되어 있는 것, 및/또는 주지의 것인 경우에는, 그 명칭에 의해 특정하고, 그렇지 않은 경우는, 공지의 색 공간으로부터 지정된 색 공간으로 변환하는 계수에 의해 특정한다. 서브 샘플링은, 서브 샘플링·그리드 및 1샘플당의 비트수에 의해 특정된다. 반복이 되지만, 특정한 컬러 그리드는, 예를 들면, 4:4:4(서브 샘플링을 하고 있지 않는 것을 나타낸다), 4:2:0 또는 4:2:2 등, 규격화되어 명칭이 붙여져 있는 것이 있으며, 후자 2개는, 1색 요소당의 샘플수끼리의 비율을 나타낸 것이다. 4:2:0 샘플링이 행해지는 샘플의 정확한 위치는 어긋나는 경우가 있으며, 따라서, 복호부/역변환부는, 부호화부/변환부로부터 얻어진 샘플링·그리드 그 자체에 관한 정보를 일률적으로 수신하는 일은 없다.
본 발명의 제2 특징으로서, 컬러 화상을 제1 컬러 포맷으로부터 제2 컬러 포맷으로 변환하는 컬러 포맷 변환부를 제공한다. 이 컬러 포맷 변환부는, 컬러 화상을 제2 컬러 포맷으로부터 제1 컬러 포맷으로 역변환하는 처리에 이용하는 컬러 포맷 역변환 계수를 결정하는 결정 수단을 구비한다. 변환이 끝난 화상과 결정된 컬러 포맷 역변환 계수는, 예를 들면, 유선, 무선을 불문하고, 어떠한 형태의 채널을 통해 전송된다. 또, 변환이 끝난 화상과 결정된 컬러 포맷 역변환 계수는, USB 스틱 혹은 DVD, CD, BD 등의 광 또는 자기의 하드디스크 또는 매체를 포함하는, 각종 스토리지 또는 매체에 기억되어도 된다. 변환이 끝난 화상과 결정된 컬러 포맷 역변환 계수는, 모두 부호화되어도 된다.
컬러 포맷 역변환 계수의 결정은, 변환 대상의 컬러 화상의 성질에 의거한 것이 바람직하다. 이에 의해, 컬러 화상의 성질에 따른 역변환 계수의 적응적인 선택이 가능해진다. 컬러 화상을 역변환하여 화질이 열화하는지의 여부는, 그 화상의 성질에 의하므로, 컬러 포맷 역변환 파라미터를 적응적으로 선택함으로써, 역변환 후의 화상의 화질이 개선된다.
바람직하게는, 상기 결정에 있어서, 변환이 끝난 컬러 화상을 또한 역변환하고, 역변환이 끝난 화상의 성질 및 적용한 변환 처리에 의거하여, 컬러 포맷 역변환 계수를 예측한다. 또한, 비변환 원화상을 이용 가능하게 해 두면 된다. 역변환이 끝난 화상을, 경우에 따라서는 비변환 화상도 함께, 이용 가능하게 해 둠으로써, 역변환 파라미터를, 역변환이 끝난 화상의 성질에 따라, 또한 적용한 컬러 포맷의 변환에 따라, 적응적으로 선택하는 것이 가능해진다. 컬러 포맷 역변환 파라미터는, 소정의 비용 함수를 이용한 선형 또는 비선형의 최적화 방법에 의해 예측된다. 구체적으로는, 제1 컬러 포맷의 컬러 화상과 역변환이 끝난 화상의 양쪽을 이용 가능한 경우, 이들 컬러 화상과 역변환이 끝난 화상간의 평균 2승 오차를 최소로 하여 예측을 행하는 것이 바람직하다.
바람직하게는, 컬러 포맷의 변환에 있어서, 컬러 화상의 색 공간을 제1 색 공간으로부터 제2 색 공간으로 변환한다. 컬러 포맷 역변환 계수에는, 색 공간 역변환 계수가 포함되고, 색 공간 역변환이란, 컬러 화상을 제2 색 공간으로부터 제1 색 공간으로 변환하는 것이다. 제1 색 공간 및 제2 색 공간은, 각각, 주지의 색 공간 중 어느 것이어도 된다. 예를 들면, 적색, 녹색, 청색의 컴퍼넌트에 의거한 색 공간(RGB, sRGB 등), 휘도 성분 및 색차 성분에 의거한 색 공간(YIQ, YUV, YCbCr 등), 색상 및 채도에 의거한 색 공간(HSV, HSI 등), CMYK, 그 밖의 색 공간 등을 들 수 있다.
단, 예측한 색 공간 변환 계수를 사용하여, 컬러 화상을 제1 색 공간으로부터 제2 색 공간으로 변환하는 컬러 포맷 변환의 경우, 제2 색 공간은, 변환하는 컬러 화상에 의거하여 색 공간 변환 계수를 예측함으로써, 적응적으로 결정된 적응적 색 공간인 것이 바람직하다. 구체적으로는, 색 공간 변환 계수는, 무상관 변환, 특히, 카루넨 루베(Karhunen-Loeve) 변환에 의거하여 예측된다. 무상관 변환에 의해, 색 공간 컴퍼넌트끼리가 무상관화된다. 얻어진 적응적 색 공간에 의해, 화상을 효율적으로 표시하는 것이 가능해진다. 동일한 화질로 하여, 고정적인 색 공간 변환의 경우보다 낮은 레이트로 동일한 화질을 얻을 수 있는 경우가 있다. 이와 같이 하여, 색 공간 역변환 계수의 예측이 가능해진다.
바람직하게는, 컬러 포맷의 변환에 있어서, 제1 컬러 포맷 또는 제2 색 공간 포맷의 컬러 화상을 서브 샘플링하며, 서브 샘플링된 컬러 화상은, 입력된 컬러 화상에 비해 샘플이 적다. 구체적으로는, 컬러 포맷 변환 필터에 의해 제1 컬러 포맷 또는 제2 색 공간 포맷의 컬러 화상을 필터링한 후 서브 샘플링한다. 구체적으로는, 로우패스 필터에 의해, 필터링을 행한다. 또, 다른 필터를 사용하는 것도 가능하다. 어떤 종류의 성질을 갖는 화상, 예를 들면, 에지를 많이 포함하는 화상에 대해서는, 로우패스 필터 이외의 필터를 사용한 쪽이 좋은 경우가 있다.
컬러 포맷 역변환 계수에는, 다운 샘플링된 컬러 화상의 업 샘플링에 사용하는 보간 필터의 보간 필터 계수가 포함되는 것이 바람직하다. 구체적으로는, 보간 필터 계수는, 위너 필터 계수인 것으로 예측된다. 단, 평균 2승 오차 이외의 수치를 최적화하여 보간 필터 계수를 예측하는 것도 가능하고, 비선형 필터를 배치해도 되며, 반드시 업 샘플링(역변환)된 화상을 사용하여 예측하지 않으면 안 되는 것은 아니다.
컬러 포맷 역변환 계수는, 엔트로피 부호화부에서 부호화되는 것이 바람직하다. 엔트로피 부호화부는, 허프먼(Huffman) 부호, 골롬(Golomb) 부호, 지수 골롬(exponential Golomb) 부호, 산술 부호, 이들 이외의 엔트로피 부호 등의 공지의 엔트로피 부호에 대응하는 것이면 된다. 계수를 엔트로피 부호화함으로써, 그 계수의 전송 또는 매체로의 기억에 필요한 레이트를 낮추는 것이 가능해진다.
컬러 포맷 역변환 계수는, 컬러 화상 또는 컬러 화상으로 이루어지는 비디오 시퀀스의 슬라이스마다, 각각 결정되는 구성인 것이 바람직하다. 이에 의해, 변환 대상의 화상의 성질뿐만 아니라, 그 화상 부분의 성질에 적응한 컬러 포맷의 변환 및/또는 역변환이 가능해진다. 슬라이스 이외의 단위, 예를 들면 매크로 블록, 슬라이스 이외의 매크로 블록군, 필드(인터레이스의 경우), 프레임 등을 사용해도 된다.
이것을 대신하여, 컬러 포맷 역변환 계수는, 복수장의 컬러 화상마다 1번, 결정되는 것이어도 된다. 복수장의 컬러 화상이란, 미리 정한 일정한 장수여도 되고, 전송 또는 기억에 필요한 데이터량을 삭감하기 위해, 예들 들면, 화상의 2장째, 3장째, 4장째 등, 장수마다 컬러 포맷 역변환 계수를 결정할 수 있도록 한다. 비디오 시퀀스가 시간적으로 평활한 경우에는, 복수장의 화상마다 변환 및/역변환 파라미터를 결정하면, 충분한 품질 게인/부호화 게인을 얻을 수 있다. 단, 시간적인 예측 부호화 메카니즘이 적용되는 경우, 및 픽처·그룹의 사이즈가 변화하는 경우에는, 예를 들면, 픽처·그룹당의 컬러 화상(영상 프레임 등)의 장수의 변화에 따른 컬러 포맷 역변환 계수로 하는 쪽이 좋은 경우도 있다. 화상의 장수는, 시간적인 평활도, 장면 변화의 발생 빈도 등의 비디오 시퀀스의 성질에 따라 선택하는 것도 가능하다.
컬러 포맷 역변환 계수에는, 색 공간 역변환에 관련된 것과, 보간 필터에 관련된 것이 있으며, 색 공간 역변환 관련의 계수를 결정하는 빈도는, 보간 필터 관련의 계수를 결정하는 빈도보다 낮은 것이 바람직하다. 이에 의해, 적응도를 측정할 수 있으며, 경우에 따라서는, 예를 들면, 픽처·그룹 내에서는, 색 공간을 변환하지 않고 유지하는 쪽이 좋은 경우도 있다. 보간 필터 계수를 포함하는 컬러 포맷 역변환 계수는, 보다 급속히 변화하는 경우가 있다. 색 공간 역변환 관련의 계수가 결정되게 되는 화상의 소정 장수를, 보간 필터링 관련의 계수가 결정되는 화상의 소정 장수보다 적게 한 다른 구성으로 하는 것도 가능하다. 그러나, 보간 필터링 관련의 색 공간 역변환 계수를, 색 공간 역변환 관련의 색 공간 역변환 계수의 결정 빈도보다 낮은 빈도로 결정해도 된다.
컬러 포맷 변환 후, 컬러 화상으로 이루어지는 비디오 시퀀스의 컬러 화상은, JPEG, JPEG2000, MPEG-2, MPEG-4, H.263, H.264/AVC 등의 화상 또는 영상의 부호화 규격에 따라, 부호화되는 것이 바람직하다. 다른 영상 부호화 규격 또는 특허 취득이 끝난 영상 부호화 방법을 동일하게 이용해도 된다. 컬러 화상 또는 컬러 비디오 시퀀스를 부호화함으로써, 기억 또는 전송에 필요한 데이터량이 감소한다. 한편, 제2 색 공간으로의 변환이 끝난 화상 또는 영상 데이터는, 직접, 기억 또는 전송 가능하다.
구체적으로는, 영상 부호화 규격 H.264/AVC를 적용하면, 컬러 포맷 역변환 계수는, H.264/AVC 보조적 확장 정보(SEI) 메세지에 포함된 형태로 제공된다. 이에 의해, 본 발명의 구성이 H.264/AVC 규격에 준거한다.
본 발명의 다른 특징에 의하면, 화상 부호화 방법 및 화상 부호화 장치에 있어서, 상술한 컬러 포맷의 변환과, 컬러 포맷 변환 후의 화상 압축이 포함된다. 이러한 화상 부호화 장치 또는 영상 부호화 장치는, 본 발명의 컬러 포맷의 변환을 필수 또는 임의의 특징으로서 실행하는 것이면, 규격화 또는 특허 취득되어 있는 화상 부호화 장치 또는 영상 부호화 장치여도 된다.
본 발명의 다른 특징에 의하면, 변환이 끝난 컬러 화상을 제2 색 공간으로부터 제1 색 공간으로 역변환하는 컬러 포맷 역변환 방법이 제공된다. 우선, 제2 컬러 포맷으로의 변환이 끝난 컬러 화상과 함께, 컬러 포맷 역변환 계수를 취득하고, 취득한 컬러 포맷 역변환 계수를 이용하여, 변환이 끝난 컬러 화상을 제2 컬러 포맷으로부터 제1 컬러 포맷으로 역변환한다.
본 발명의 또 다른 특징에 의하면, 변환이 끝난 컬러 화상을 제2 색 공간으로부터 제1 색 공간으로 역변환하는 컬러 포맷 역변환부가 제공된다. 역변환부는, 제2 컬러 포맷으로의 변환이 끝난 컬러 화상과 함께, 컬러 포맷 역변환 계수를 취득할 수 있다. 또한, 역변환부는, 취득한 컬러 포맷 역변환 계수를 이용하여, 변환이 끝난 컬러 화상을 제2 컬러 포맷으로부터 제1 컬러 포맷으로 역변환할 수 있다. 변환이 끝난 화상과 컬러 포맷 역변환 계수를 취득하기 위해서는, 예를 들면, 유선, 무선을 불문하고, 어떠한 형태의 채널로부터, 그들을 수신한다. 또, 변환이 끝난 화상과 컬러 포맷 역변환 계수는, USB 스틱 혹은 DVD, CD, BD 등의 광 또는 자기의 하드디스크 또는 매체를 포함하는, 각종의 스토리지로부터 독출되어, 취득되는 것이어도 된다. 변환이 끝난 화상과 결정된 컬러 포맷 역변환 계수는, 모두 부호화되어도 된다.
바람직하게는, 컬러 포맷의 역변환은, 컬러 화상의 색 공간을 제2 색 공간으로부터 제1 색 공간으로 변환하는 것을 포함한다. 제1 색 공간 및 제2 색 공간은, 각각, RGB, YUV, HIS 등의 공지의 색 공간 중 어느 것이어도 된다. 컬러 포맷 역변환 계수는, 색 공간 역변환 계수를 포함하는 것이 바람직하다. 구체적으로는, 변환 대상의 컬러 화상에 의거하여 색 공간 변환 계수를 예측함으로써, 제2 색 공간이 적응적으로 결정된다. 구체적으로는, 색 공간 변환 계수는, 무상관 변환, 특히, 카루넨 루베(Karhunen-Loeve) 변환에 의거하여 예측된다.
바람직하게는, 컬러 포맷의 역변환은, 변환이 끝난 컬러 화상을 업 샘플링하며, 업 샘플링된 화상은, 입력된 변환이 끝난 컬러 화상에 비해 샘플이 적다.
구체적으로는, 업 샘플링은, 보간 필터링에 의해 행해지고, 보간 필터 계수는 컬러 포맷 역변환 계수에 포함된다. 보간 필터 계수를 취득함으로써, 수취한 계수에 의한 적응적 보간 필터링이 가능해지고, 예를 들면, 후처리 방법에 의해, 복호부를 복잡화하지 않고, 품질 게인을 얻을 수 있게 된다. 구체적으로는, 보간 필터 계수는, 위너 필터 계수이다. 그러나, 다른 필터링 및 필터 계수 결정 방법을 채용하는 것도 가능하다.
컬러 포맷 역변환 계수는, 취득될 때에 엔트로피 복호되는 것이 바람직하다.
본 발명의 적합한 구성에 의하면, 컬러 포맷 역변환 계수는, 컬러 화상 또는 컬러 화상으로 이루어지는 비디오 시퀀스의 슬라이스마다 각각 결정된다.
이것을 대신하여, 컬러 포맷 역변환 계수는, 복수장의 컬러 화상마다 1번 취득되는 것이어도 된다.
컬러 포맷 역변환 계수에는, 색 공간 역변환에 관련된 것과, 보간 필터에 관련된 것이 있으며, 색 공간 역변환 관련의 계수가 취득되는 빈도는, 보간 필터 관련의 계수가 취득되는 빈도보다 낮은 것이 바람직하다.
제2 색 공간으로의 변환이 끝난 화상은, 취득될 때에, JPEG, JPEG2000, MPEG-2, MPEG-4, H.263, H.264/AVC 등의 화상 또는 영상의 부호화 규격에 따라, 복호되는 것이 바람직하다.
구체적으로는, 영상 부호화 규격 H.264/AVC를 적용하면, 컬러 포맷 역변환 계수(필터 계수 및/또는 색 공간 역변환 계수)는, H.264/AVC 보조적 확장 정보(SEI) 메시지에 포함된 형태로 취득된다.
본 발명의 또 다른 특징에 의하면, 상술한 바와 같은, 취득 화상의 신장과, 신장 화상의 컬러 포맷의 역변환을 포함하는 화상 복호 방법 및 화상 복호 장치가 제공된다.
상기 구성과 같이, 복호 장치에서 이용하는 파라미터(색 공간 역변환 계수 및 업 샘플링 계수)를 부호화 장치로 산출함으로써, 복호 장치의 복잡함이 저감된다. 또, 상기 파라미터의 산출에 부호화 장치에서만 이용 가능한 원화상(컬러 화상)을 이용할 수 있으므로, 복호 화상의 품질이 개선된다.
도 1은, 색 공간 변환을 포함하는, 종래 기술에 의한 화상 컬러 포맷 또는 영상 컬러 포맷의 변환 및 역변환을 설명하는 블록도이다.
도 2는, 색 공간 변환 및 필터링에 의한 서브 샘플링/업 샘플링을 포함하는, 종래 기술에 의한 화상 컬러 포맷 또는 영상 컬러 포맷의 변환 및 역변환을 설명하는 블록도이다.
도 3은, 본 발명이 화상 전송 시스템의 구성 요소인 경우의 한 실시 형태에 따른 컬러 포맷의 변환 및 역변환을 설명하는 블록도이다.
도 4A는, 본 발명의 한 실시 형태에 따른 컬러 포맷의 변환을 설명하는 블록도이다.
도 4B는, 본 발명의 한 실시 형태에 따른 컬러 포맷의 역변환을 설명하는 블록도이다.
도 5는, 본 발명의 한 실시 형태에 따른 적응적 색 공간의 샘플링을 도시한 약도이다.
도 6A는, 본 발명의 다른 실시 형태에 따른 컬러 포맷의 변환을 설명하는 블록도이다.
도 6B는, 본 발명의 다른 실시 형태에 따른 컬러 포맷의 역변환을 설명하는 블록도이다.
도 7A는, 도 6A에 나타내어진 화상 부호화 장치의 동작을 도시한 흐름도이다.
도 7B는, 도 6B에 나타내어진 동화상 복호 장치의 동작을 도시한 흐름도이다.
도 8A는, 본 발명의 또 다른 실시 형태에 따른 컬러 포맷의 변환을 설명하는 블록도이다.
도 8B는, 본 발명의 또 다른 실시 형태에 따른 컬러 포맷의 역변환을 설명하는 블록도이다.
도 9는, 본 발명의 또 다른 실시 형태에 따른 컬러 포맷의 변환 및 역변환을 설명하는 블록도이다.
본원에 관해, 상술한 목적 및 특징과 그 밖의 목적 및 특징을, 부수되는 도면을 참조하면서, 후술의 기술 및 바람직한 실시 형태에 있어서, 보다 명확하게 한다.
본 발명은, 복수의 색 요소로 이루어지는 컬러 화상의 컬러 포맷의 변환 및 역변환에 관한 것이다. 이들 요소는, 임의의 색 공간에 속하는 것이어도 된다. 1컴퍼넌트당의 샘플수는, 반드시 동일하다고는 할 수 없다. 일반적으로, 화상의 포맷, 즉, 특정한 색 공간 및 샘플링은, 소스에 의해 좌우된다. 대개의 경우, 카메라로 촬상된 화상이 이 카메라로부터 출력될 때, 각 컴퍼넌트의 샘플이 통상은 동수인 적색, 녹색, 청색 3종류의 컴퍼넌트로 이루어지는 RGB 포맷으로 출력되고, 샘플당의 비트수가 동일하며, 전형적으로는 8 또는 16의 RGB 4:4:4 컬러 포맷이 된다.
컬러 포맷 변환의 목적은, 컬러 화상을 원래의 제1 컬러 포맷(즉, 색 요소가 컬러 포맷 변환부에 입력될 때의 포맷)에서 다른 포맷으로 변환하는 것이다. 여기에서 말하는 포맷이란, 색 공간 및/또는 샘플링 방법을 말한다.
상술한 종래 기술에 있어서, 컬러 포맷의 변환은 고정적이다. 요컨대, 변환 대상의 화상의 화상 콘텐츠에 상관없이, 색 공간 변환 및/또는, 경우에 따라, 필터링 및 서브 샘플링이 동일하게 행해진다는 것이다. 색 공간 변환과 필터링 및 샘플링은, 양쪽 모두, 대부분의 전형적인 화상에 대해 효율적으로 작용하도록 설계되어 있다. 이 효율의 좋은 점에는, 2개의 의미가 있다. 첫 번째는, 색 공간 변환은, 특정한 색 요소끼리의 상관도를 낮추는 것을 목적으로 하고 있다는 것이다. 이 목적은, 1개의 휘도 성분과 2개의 상이한 색차 성분으로 이루어지는 YUV 색 공간에서 달성된다. 이러한 색 공간의 색차 성분은, 휘도 성분보다 평활하므로, 뒤에 서브 샘플링을 행할 수 있으며, 이러한 레이트의 저감에 의한 왜곡이 작아진다. 두 번째는, 예를 들면 압축 등의 다른 부호화 단계가 실행되는 경우, 입력 화상의 포맷에 따라, 발생하는 왜곡에 대한 압축 게인이 다르다는 것이다. 적절한 컬러 포맷 변환이 행해진 화상이면, 보다 효율적으로 압축할 수 있다. 즉, 보다 높은 압축 게인을 얻을 수 있다. 따라서, 종래의 고정적이고 또한 독립적인 컬러 포맷의 변환 및 역변환을 행하고 있었던 것에서는, 부호화 효율에 한계가 있다.
본 발명은, 컬러 포맷 변환측에서 컬러 포맷 역변환 계수를 결정하고, 그 컬러 포맷 역변환 계수를 부호화 데이터와 함께 제공함으로써, 보다 효율이 좋은 컬러 포맷의 변환 및 역변환을 가능하게 한다.
도 3은, 본 발명이 영상 전송 시스템의 구성 요소인 경우의 한 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(20)를 나타낸다.
도 3에 나타내어진 화상 부호화 장치(10)는, 컬러 포맷 변환부(310)와, 결정부(색 공간 예측부)(320)와, 부호화부(130)를 적어도 구비한다. 이 화상 부호화 장치(10)는, 카메라(110)로부터 취득한 원화상 데이터(컬러 화상)(111)를 부호화하여 부호화가 끝난 컬러 화상을 생성한다. 또한, 카메라(110)는, 화상 부호화 장치(10)에 접속되는 외부 장치여도 되고, 화상 부호화 장치(10)의 한 구성 요소여도 된다. 이후의 실시 형태에 대해서도 동일하다.
카메라(110)는, RGB 색 공간(RGB 4:4:4: 컬러 포맷)에 있어서, 각각 동수의 샘플을 갖는 3종류의 색 요소로 이루어지는 원화상 데이터(비디오 프레임)(111)의 시퀀스를 제공한다. 베이어 패턴 등의 상이한 샘플링·그리드여도 된다. 원화상 데이터(111)는, 컬러 포맷 변환부(310)에 입력되고, 거기에서 제1 컬러 포맷으로부터 제2 컬러 포맷의 화상 데이터(311)로 변환된다. 원화상 데이터(111)는, 결정부(320)에 입력되어도 된다. 결정부(320)는, 컬러 포맷 역변환부(330)에 있어서 사용되는 컬러 포맷 역변환 계수(321)를 결정할 수 있다. 결정된 컬러 포맷 역변환 계수(321)는, 제2 컬러 포맷 변환이 끝난 화상 데이터(311)와 함께 제공된다.
컬러 포맷 변환이 끝난 화상 데이터(311)는, 부호화부(130), 본 실시 형태에 있어서는 H.264/AVC 비디오·인코더에 의해, 또한 부호화 가능하다. 또한, 부호화부(130)는, 예를 들면, 화상 데이터를 직교 변환하는 직교 변환부(도시 생략)와, 화상 데이터를 양자화하는 양자화부(도시 생략)와, 가변길이 부호화하는 가변길이 부호화부(도시 생략)를 구비한다. 또, 움직임 보상부(도시 생략)나 공간 예측부(도시 생략) 등을 더 구비해도 된다.
그리고, 부호화 데이터는, 컬러 포맷 역변환 계수(321)를 포함하는 부호화 보조 정보를 수반하여, 채널(140)을 통해 전송된다. 목표 용도의 요건에 따른 것이면, 채널(140)은, 무선, 유선을 불문하고, 어떠한 형태여도 되고, 전송 형식은, 유니캐스트, 멀티캐스트, 브로드캐스트 중 어느 것이어도 된다.
도 3에 나타내어진 화상 복호 장치(20)는, 복호부(150)와, 컬러 포맷 역변환부(330)를 적어도 구비한다. 이 화상 복호 장치(20)는, 채널(140)을 통해 화상 부호화 장치(10)로부터 취득한 부호화 데이터를 복호하여, 디스플레이(170)에 표시한다. 또한, 디스플레이(170)는, 화상 복호 장치(20)에 접속되는 외부 장치여도 되고, 화상 복호 장치(20)의 한 구성 요소여도 된다. 이후의 실시 형태에 대해서도 동일하다.
부호화 데이터는, 복호부(150)에서 수신되어 복호된 후, 컬러 포맷 역변환부(330)에 제공된다. 또한, 복호부(150)는, 예를 들면, 부호화 데이터를 가변길이 복호하는 가변길이 복호부(도시 생략)와, 역양자화를 행하는 역양자화부(도시 생략)와, 역직교 변환을 행하는 역직교 변환부(도시 생략)를 구비한다. 또, 움직임 보상부(도시 생략)나 공간 예측부(도시 생략) 등을 더 구비해도 된다.
복호부(150)는, 부호화부(130)와는 반대의 처리를 행한다. 본 실시 형태에 있어서, 복호부(150)는, H.264/AVC 디코더이다. 컬러 포맷 역변환 계수(322)는, 컬러 포맷 역변환부(330)에도 제공된다. 그리고, 컬러 포맷 역변환부(330)에 있어서, 수신한 컬러 포맷 역변환 계수(322)는, 화상 데이터(312)의 역변환에 이용된다. 그 후, 얻어진 화상 데이터(331)를 디스플레이(170)에 표시해도 된다.
본 실시 형태에 있어서, 카메라(110)는, 비디오 카메라이다. 그러나, 정지 화상만을 촬영하는 카메라여도 된다. 카메라(110)는, RGB 4:4:4 포맷 이외의 포맷, 예를 들면 모자이크 형상으로 된 원래의 데이터의 포맷, YUV 포맷, 또는 다른 컬러 포맷으로, 화상을 출력해도 되지만, 이 경우는, 출력되는 색 요소의 샘플 및 심도는, 반드시 동일하게 되지는 않는다. 컬러 포맷 역변환 계수(322)는, 색 공간 변환, 및/또는 필터링 및/혹은 서브 샘플링을 행할 때마다, 결정되어도 된다. 채널(140) 경유의 데이터의 전송 또는 기억 매체로의 데이터의 기억은, 화상 데이터마다 나누어 행해도 되고, 컬러 포맷 역변환 계수(322)를 포함하는 보조 정보마다 나누어 행해도 된다. 컬러 포맷 역변환 계수(322)는, 대응하는 화상 데이터와 함께 기억 또는 전송되고, 이것에 더하여/이것을 대신하여, 대응하는 화상 데이터로 다중화된다. 부호화 및 복호를 행하는 경우, H.264/AVC 규격에 한정되지 않고, 예를 들면, JPEG, JPEG2000, MPEG-1, MPEG-2, MPEG-4, H.261, H.263, DIRAC, 그 밖에, 규격화 혹은 특허 취득되어 있는 부호화 및 복호 메커니즘 등의 화상 데이터 압축 규격 또는 영상 데이터 압축 규격 중, 어느 것이어도 된다. 컬러 포맷의 역변환을 행한 후에, 화상 데이터는, 각종 단말에 있는 CRT, OLED, LCD 등의 각종 디스플레이에 표시되어도 되고, 인쇄 또는 기억되어도 된다.
도 4A 및 도 4B는, 본 발명의 다른 실시 형태에 따른 컬러 포맷 변환부(400) 및 컬러 포맷 역변환부(480)를 구비하는 전송 체인 회로를 도시한 블록도이다. 여기에서, 도 4A는 송신측의 화상 부호화 장치(10)를 나타내고, 도 4B는 수신측의 화상 복호 장치(20)를 나타낸다.
도 4A에 나타내어진 화상 부호화 장치(10)는, 컬러 포맷 변환부(400)와, 부호화부(130)와, 색 공간 예측부(430)와, 계수 예측부(440)와, 복호부(450)와, 계수 부호화부(460)를 구비한다. 또, 컬러 포맷 변환부(400)는, 색 공간 변환부(410)와, 필터링·서브 샘플링부(420)를 구비하고, 또한, 색 공간 예측부(430)를 포함시켜도 된다.
비디오 카메라(110)는, RGB 4:4:4 컬러 포맷의 원화상 데이터(111)를 제공한다. RGB 4:4:4 컬러 포맷의 원화상 데이터(111)의 색 요소는, 각각 R, G, B라고 칭해진다. 컬러 포맷 변환부(400)는, 색 공간 변환 매트릭스를 예측하기 위한 색 공간 예측부(430)를 구비한다. 여기에서는, RGB 4:4:4 컬러 포맷의 원화상 데이터(111)의 통계치(예를 들면, 제1 모멘트 및 제2 모멘트) 등의 성질에 의거하여, 예측이 행해진다. 다음에, 예측한 색 공간 변환 매트릭스를 이용하여, 원화상 데이터(111)를 RGB 4:4:4 컬러 포맷으로부터 새로운 색 공간인 적응적 색 공간(ACS)으로 변환한다. 얻어진 ACS 화상 데이터(411)는, 4:4:4 샘플링 포맷인 상태이다. 색 공간 변환부(410)에서는, 예측 목적에 따라, 다양한 기준이 이용되어도 된다. 기준의 하나로서는, ACS 색 공간의 3종류의 색 요소 A, C, S의 무상관화를 들 수 있다. 카루넨 루베(Karhunen-Loeve) 변환에 의하면, 3종류의 RGB 색 요소로부터, 서로 무상관인 3종류의 ACS 색 요소를 생성할 수 있다. 이와 같이 하는 것은, 예를 들면, 3종류의 색 요소를 개별적으로 부호화하는 부호화부의 경우 적합하다. 얻어진 ACS 색 공간의 영상 데이터는, 그 후, 예를 들면 ISO로 규정되어 있는 로우패스 필터에 의해, 저역 필터링되어 다운 샘플링된다. 또한, 다른 필터를 사용하는 것도 가능하다.
우선, 식 1과 같이, 무상관 색 성분 A, C, S를 생성하는 카루넨 루베(Karhunen-Loeve) 변환의 변환 매트릭스(TKLT)가, 색 공간 예측부(430)에 의해 결정된다. TKLT는 최적으로 상관을 경감하는 직교 변환이며, 변환 후의 좌표계에 있어서의 임의의 축간의 상관을 완전히 없앨 수 있다. 이것은, 용장성(冗長性)이 가장 적은 좌표계로 신호가 변환되어 있는 것을 의미하고, 압축 때문에 직교 변환으로서 최적이 되고 있다.
[수식 1]
Figure pct00001
여기에서, x 및 y는, 특정한 공간 샘플을 나타내는 색 요소의 인덱스이다. 색 요소 A, C, S로 구성되는 색 공간이 적응적 색 공간이다. 이것을 적응적이라고 칭하는 이유는, 컬러 화상 데이터 또는 컬러 영상 데이터의 성질에 적응하기 때문이다. 예를 들면, 변환 매트릭스(TKLT)를 결정하는데 있어서, 컬러 화상의 통계적 성질이 이용된다.
변환 매트릭스(TKLT)는, 그 후, 색 공간 변환부(410)에서의 색 공간 변환에 사용된다. 또, 색 공간 변환부(410)에서는, 식 2의 스케일링·평균화 조정이 행해진다.
[수식 2]
Figure pct00002
여기에서, 계수 mA는 A의 평균치이고, 계수 mC는 C의 평균치이며, 계수 mS는 S의 평균치이다. 이들 평균치는 모두, 색 공간 예측에 의해 결정된다. 스케일링 계수 sA는, 이하의 식 3에 따라, A'의 다이내믹·레인지를 조정한다.
[수식 3]
Figure pct00003
스케일링 계수 sC는, 이하의 식 4에 따라, C'의 다이내믹·레인지를 조정한다.
[수식 4]
Figure pct00004
스케일링 계수 sS는, 이하의 식 5에 따라, S'의 다이내믹·레인지를 조정한다.
[수식 5]
Figure pct00005
파라미터 bA는 색 요소 A'의 샘플 표시용 비트수이고, 파라미터 bC는 색 요소 C'의 샘플 표시용 비트수이며, 파라미터 bS는 색 요소 S'의 샘플 표시용 비트수이다. 스케일링 계수는 모두, 색 공간 예측부(430)에서 결정된다.
색 공간 변환부(410)에서 색 공간 변환을 행한 후, 예를 들면, 비특허문헌 1 : ISO/IEC JTC1/SC29/WG11 N6295「Color format down-conversion for test sequence generation」(테스트 시퀀스 생성용 컬러 포맷·다운 샘플링)에 따라, 색 요소 C', S'를 필터링·서브 샘플링부(420)에서 필터링하여 서브 샘플링하면, 색 요소 C'', S''가 되고, 컬러 포맷은 ACS 4:2:0이 된다. 도 5는, RGB 색 공간 및 ACS 색 공간의 색 요소의 샘플링·그리드를 나타낸다. ACS 색 공간의 샘플 위치는, H.264/AVC 규격의 규정에 따라 선택된다.
다음에, 색 요소 A', C'', S''를 다음의 정수로 라운딩함으로써, 각각 [0;2bA-1], [0;2bC-1], [0;2bS-1]의 치역으로 한다.
이들 적응적 색 공간의 라운딩된 색 요소 A', C'', S''로 표현된 화상 데이터(421)는, 또한, 부호화부(130)에서 부호화된다. 본 실시 형태에 있어서는, 부호화부(130)는, H.264/AVC 규격에 준거한 부호화부이다.
컬러 포맷 변환측에 있어서도, H.264/AVC의 복호부(450)에서 부호화 데이터(131)를 복호한다. 부호화부(130)가 비가역 압축을 행한 경우, 화상 복호 실시 후의 화상 데이터(451)는, 화상 부호화 실시 전의 화상 데이터(421)와는 달라도 된다.
복호하면, 색 요소 A'', C''', S'''로 표현된 화상 데이터(451)를 얻을 수 있다. 다음에, 색 공간 변환 계수 sA, sC, sS, mA, mC, mS를 이용하여, 계수 예측부(440)에서 나머지의 컬러 포맷 역변환 계수를 예측한다.
ACS 4:2:0 컬러 포맷의 복호 영상 데이터는, 다음과 같이, RGB 4:4:4 컬러 포맷의 복호 영상 데이터로 변환된다. 제1 단계로서, 이하의 식 6에 따라, 스케일링·평균화 조정을 행한다.
[수식 6]
Figure pct00006
제2 단계에서는, RGB 4:4:4 컬러 포맷의 복호 화상 데이터를 산출한다. 이 복호 화상 데이터의 3종류의 색 요소는, R∼, G∼, B∼로 칭해진다. 여기에서, 기호 「∼(틸데)」는, 각각 직전의 문자 상에 붙여지는 기호를 나타내고, 본 명세서에서는, 이하, 기호 「∼(틸데)」를 동일한 의미로 사용한다. x=0, 2, 4…, y=0, 2, 4…의 위치에 있는 R∼, G∼, B∼를 산출하기 위해서는, 이하의 식 7을 이용한다.
[수식 7]
Figure pct00007
필터 길이 n과 필터 계수 w1,A,R, w1,A,G, w1,A,B, w1,C,R(i), w1,C,G(i), w1,C,B(i), w1,S,R(i), w1,S,G(i), w1,S,B(i)는, 계수 예측부(440)에서 예측되는 역변환 계수이다. x=0, 2, 4…, y=1, 3, 5…의 위치에 있는 R∼, G∼, B∼를 산출하기 위해서는, 이하의 식 8을 이용한다.
[수식 8]
Figure pct00008
x=1, 3, 5…, y=0, 2, 4…의 위치에 있는 R∼, G∼, B∼를 산출하기 위해서는, 이하의 식 9를 이용한다.
[수식 9]
Figure pct00009
필터 계수 w2,A,R, w2,A,G, w2,A,B, w2,C,R(i,j), w2,C,G(i,j), w2,C,B(i,j), w2,S,R(i,j), w2,S,G(i,j), w2,S,B(i,j)는, 계수 예측부(440)에서 예측되는 역변환 계수이다. x=1, 3, 5…, y=1, 3, 5…위 위치에 있는 R∼, G∼, B∼를 산출하기 위해서는, 이하의 식 10을 이용한다.
[수식 10]
Figure pct00010
다음에, 색 요소 R∼, G∼, B∼를 다음의 정수로 라운딩함으로써, 각각 원래의 R, G, B 색 요소의 치역으로 한다.
본 실시 형태에 있어서, 역변환 계수는, 색 공간 변환 계수인 sA, sC, sS, mA, mC, mS 및 필터 계수인 w1,A,R, w1,A,G, w1,A,B, w1,C,R(i), w1,C,G(i), w1,C,B(i), w1,S,R(i), w1,S,G(i), w1,S,B(i), w2,A,R, w2,A,G, w2,A,B, w2,C,R(i,j), w2,C,G(i,j), w2,C,B(i,j), w2,S,R(i,j), w2,S,G(i,j), w2,S,B(i,j)이다.
원래의 색 요소 R, G, B와, 복호가 끝난 색 요소 R∼, G∼, B∼ 사이의 평균 2승 오차를 최소로 함으로써, 필터 계수를 예측한다. 이 기준에 의해, 모든 필터 계수를 확실하게 산출할 수 있다.
컬러 포맷 역변환 계수의 전송에 필요한 데이터 레이트를 낮추기 위해, 이들 계수는, 예를 들면, 허프먼(Huffman) 부호화, 골롬(Golomb) 부호화, 지수 골롬(exponential Golomb) 부호화, 산술 부호화, 또는, 이들 이외의 가변길이 부호화 방법에 의해, 계수 부호화부(460)에서 부호화되어, 부호화 컬러 포맷 역변환 계수(461)로서 채널(140)로부터 출력된다. 또, 필요에 따라, 체크섬 또는 전방 오류 정정 부호화에 의한 데이터 보호도 가능하다.
부호화 데이터(401) 및 부호화 컬러 포맷 역변환 계수(402)는, 채널(140)을 통해 전송되어, 화상 복호 장치(20)에 수신된다. 도 4B에 나타내어진 화상 복호 장치(20)는, 복호부(470)와, 컬러 포맷 역변환부(480)와, 계수 복호부(490)를 구비한다.
부호화 컬러 포맷 역변환 계수(402)는, 계수 복호부(490)에서 복호되고, 컬러 포맷 역변환 계수(491)가 컬러 포맷 역변환부(480)에 제공된다. 수신한 부호화 데이터(401)는, H.264/AVC의 복호부(470)에서 복호되고, 복호된 화상 데이터(471)가 컬러 포맷 역변환부(480)에 제공된다. 그리고, 상술한 바와 같이, 수신한 컬러 포맷 역변환 계수(491)를 이용하여 컬러 포맷 역변환을 행한다. 업 샘플링과 색 공간 역변환은, 본 실시 형태에서는, 컬러 포맷 역변환의 단일 단계에서 행해지고 있지만, 따로따로 행해져도 된다. 또, 업 샘플링 및 색 공간 역변환 중 어느 한쪽만을 행하는 것도 가능하다. 이러한 경우, 색 공간 역변환용과 업 샘플링용에서 각각의 계수가 필요해지는 경우가 있다. 그 후, 라운딩된 색 요소 R∼, G∼, B∼로 표현된 화상 데이터(481)는, 디스플레이(170)에 이송된다.
도 6A 및 도 6B는, 본 발명의 다른 실시 형태에 따른 컬러 포맷의 변환 및 역변환을 구비하는 전송 체인 회로를 도시한 블록도이다. 여기에서, 도 6A는 송신측의 화상 부호화 장치(10)를 나타내고, 도 6B는 수신측의 화상 복호 장치(20)를 나타낸다. 또, 도 7A는 도 6A의 화상 부호화 장치(10)의 동작을, 도 7B는 도 6B의 화상 복호 장치(20)의 동작을 도시한 흐름도이다.
도 6A에 나타내어진 화상 부호화 장치(10)는, 컬러 포맷 변환부(600)와, 부호화부(130)와, 복호부(450)와, 색 공간 예측부(630)와, 보간 필터 계수 예측부(640)와, 색 공간 역변환 예측부(650)와, 업 샘플링·보간부(660)와, 보조 정보 부호화부(670)를 구비한다. 또, 컬러 포맷 변환부(600)는, 색 공간 변환부(610)와, 필터링·서브 샘플링부(620)를 구비한다.
색 공간 예측부(630)는, 카메라(110)로부터 취득한 원화상(컬러 화상)(111)의 특성에 의거하여 색 공간 변환 계수를 산출한다. 색 공간 변환부(610)는, 색 공간 예측부(630)에서 산출된 색 공간 변환 계수에 의거하여 원화상 데이터(111)의 색 공간을 제1 색 공간로부터 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성한다. 필터링·서브 샘플링부(620)는, 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성한다.
부호화부(130)는, 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성한다. 복호부(450)는, 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성한다. 업 샘플링·보간부(660)는, 복호가 끝난 컬러 화상의 샘플을 보간하여 보간이 끝난 컬러 화상을 생성한다.
보간 필터 계수 예측부(640)는, 샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출한다. 보다 구체적으로는, 복호가 끝난 컬러 화상과 상기 색 공간 변환이 끝난 컬러 화상의 평균 2승 오차가 최소가 되도록, 업 샘플링 계수를 산출한다.
색 공간 역변환 예측부(650)는, 색 공간을 제2 색 공간으로부터 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출한다. 구체적으로는, 보간이 끝난 컬러 화상의 색 공간을 제2 색 공간으로부터 제1 색 공간으로 역변환하여 색 공간 역변환이 끝난 컬러 화상을 생성한다. 그리고, 색 공간 역변환이 끝난 컬러 화상과 컬러 화상의 평균 2승 오차가 최소가 되도록, 색 공간 역변환 계수를 산출한다.
보조 정보 부호화부(670)는 업 샘플링 계수, 색 공간 역변환 계수, 및 색 공간 변환 계수를 포함하는 보조 정보를 부호화하여 부호화가 끝난 보조 정보를 생성한다. 그리고, 당해 화상 부호화 장치(10)는, 부호화가 끝난 컬러 화상 및 부호화가 끝난 보조 정보를 채널(140)에 출력한다.
여기에서는, 색 공간 역변환의 역변환 계수와 보간 필터링의 역변환 계수를 따로따로 예측한다. 이에 따라, 역변환측에서도, 업 샘플링 및 보간 필터링은, 색 공간 역변환과는 별도로 행해진다. 도 6A 및 도 7A를 참조하여, 화상 부호화 장치(10)의 동작을 설명한다.
도 4A 및 도 4B에 나타낸 처리와 동일하게, 카메라(110)는 RGB 4:4:4 포맷의 원화상 데이터(111)를 제공한다(S11). 이 원화상 데이터(111)는, 색 공간 예측부(630)에서의 색 공간 예측에 이용되고, 거기에서 변환 매트릭스(TKLT)가 결정된다. 그리고, 예측된 변환이 행해지면, 입력된 원화상 데이터(111)의 색 공간은, 색 공간 변환부(610)에서 결정된 변환에 따른 적응적 색 공간의 화상 데이터(611)로 변환된다(S12). ACS 4:4:4 컬러 포맷으로 색 공간 변환된 화상 데이터(611)는, 다음에, 필터링·서브 샘플링부(620)에서 필터링 및 서브 샘플링되어, ACS 4:2:0 컬러 포맷의 화상 데이터(621)가 된다(S13). ACS 4:4:4 컬러 포맷의 화상 데이터(621)는, H.264/AVC의 부호화부(130)에서 부호화되어(S14), 부호화 데이터(622)로서 복호부(450)에 이송된다(S15).
복호 후, 얻어진 데이터는 보간 필터 계수 예측부(640)에 이용된다(S16). 보간 필터는 위너 필터인 것으로 예측되는 경우가 있다. 이 경우는, 업 샘플링 및 보간이 행해진 ACS 4:2:0 컬러 포맷의 복호 화상 데이터와, ACS 4:4:4 컬러 포맷의 화상 데이터(611) 사이의 평균 2승 오차를 최소로 함으로써, 필터 계수를 예측한다. 그 밖의 예측 기준도 가능하다. 예를 들면, 데이터 레이트 및 평균 2승 오차의 라그랑주·비용(Lagrangian costs)을 최소로 할 수도 있다. 화상 데이터는, 업 샘플링·보간부(660)에서 예측된 필터 계수를 이용하여 업 샘플링되어 보간된다. 또, 업 샘플링된 화상 데이터는, 색 공간 역변환 예측부(650)에서의 색 공간 역변환의 예측에도 이용된다(S17). 색 공간 역변환 예측부(650)는, ACS 4:4:4 컬러 포맷의 복호 화상 데이터 및 RGB 4:4:4 컬러 포맷의 원화상 데이터(111)뿐만 아니라, 색 공간 예측부(630)에 의해 미리 결정되어 있는 색 공간 변환 파라미터도 이용하여, 예측을 행한다. 이에 의해, 색 공간 역변환 계수는, RGB 4:4:4 컬러 포맷의 복호 화상 데이터와, RGB 4:4:4 컬러 포맷의 원화상 데이터 사이의 평균 2승 오차를 최소로 함으로써, 예측되어도 된다. 그리고, 보간 필터 계수 및 색 공간 역변환 계수는, 보조 정보 부호화부(670)에서 부호화되어(S18), 부호화 보조 정보(671)로서 부호화 데이터(622)와 함께 전송된다(S19).
수신측의 화상 복호 장치(20)는, 도 6B에 나타내어진 바와 같이, 복호부(470)와, 보조 정보 복호부(675)와, 업 샘플링·보간부(680)와, 색 공간 역변환부(690)를 구비한다. 이 화상 복호 장치(20)는, 채널(140)을 통해, 부호화가 끝난 컬러 화상, 및 부호화가 끝난 보조 정보를 취득한다. 복호부(470)는, 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성한다. 보조 정보 복호부(675)는, 부호화가 끝난 보조 정보를 복호하여 복호가 끝난 보조 정보를 생성한다.
업 샘플링·보간부(680)는, 업 샘플링 계수를 이용하여 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성한다. 색 공간 역변환부(690)는, 색 공간 역변환 계수를 이용하여 보간이 끝난 컬러 화상의 색 공간을 제2 색 공간으로부터 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성한다.
도 6B 및 도 7B를 참조하여, 화상 복호 장치(20)의 동작을 설명한다. 우선, 채널(140)을 통해, 부호화 데이터(601) 및 부호화 보조 정보(602)를 취득한다(S21). 부호화 데이터(601)는, 복호부(470)에서 복호되어 화상 데이터(603)가 된다(S22). 한편, 부호화 보조 정보(602)는, 보조 정보 복호부(675)에서 복호되어 보간 필터 계수(604) 및 색 공간 역변환 계수(605)가 된다(S23). 보간 필터 계수(604)는, 복호부(470)에서 부호화 데이터(601)로부터 복호된 화상 데이터(603)와 함께 업 샘플링·보간부(680)에 제공된다. 이 보간 필터 계수(604)를 이용하여, 화상 데이터(603)의 보간 필터링이 행해진다(S24). 그 결과, ACS 4:4:4 색 공간의 화상 데이터를 얻을 수 있고, 이것을, 색 공간 역변환부(690)에서 색 공간 역변환 계수(605)를 이용하여, 또한 색 공간 역변환된다(S25). 그리고, 이에 의해 얻어진 화상을 디스플레이(170)에 표시한다(S26).
본 발명에 따른 컬러 포맷의 변환부 및 역변환부의 구성의 다른 예를 도 8A 및 도 8B에 나타낸다. 여기에서, 도 8A는 송신측의 화상 부호화 장치(10)를 나타내고, 도 8B는 수신측의 화상 복호 장치(20)를 나타낸다.
본 실시 형태에서는, 적응적 색 공간 변환을 대신하여, 표준적인 색 공간 변환부(710)에서 색 공간 변환을 행한다. 여기에서는, 색 공간 변환부(710)에 의해, RGB 4:4:4 컬러 포맷이 YUV 4:4:4 컬러 포맷으로 변환되지만, 다른 색 공간이어도 된다.
도 8A에 나타내어진 화상 부호화부(10)는, 부호화부(130)와, 복호부(450)와, 색 공간 변환부(710)와, 필터링·서브 샘플링부(720)와, 보간 필터 계수 예측부(730)와, 보조 정보 부호화부(740)를 구비한다.
카메라(110)에 의해 제공된 원화상 데이터(111)는, 색 공간 변환부(710)에 의해, 이 예에서는 YUV 4:4:4 컬러 포맷으로 변환된다. 얻어진 화상 데이터(711)는, 다음에, 필터링·서브 샘플링부(720)에서 필터링 및 서브 샘플링되어, YUV 4:2:0 포맷의 화상 데이터(721)가 되고, 이것이 그 후, H.264/AVC의 부호화부(130)에서 부호화된다. 부호화 데이터(722)는, 다음에, 복호부(450)에서 복호되어, 보간 필터 계수 예측부(730)에서의 보간 필터 계수의 예측에 이용된다. 이 예측은, 전술한 실시 형태와 동일하게, 화상 데이터(711)와 복호 화상 데이터 사이의 평균 2승 오차를 최소로 함으로써, 계수를 예측하는 위너 필터 예측이어도 된다. 또, 다른 선형 또는 비선형 예측 방법을 이용하는 것도 가능하다. 필요에 따라, RGB 이외의 색 공간, 예를 들면 YUV 색 공간에 있어서의, 보간 필터 계수 및 색 공간 역변환 계수를 최적화하는 것도 가능하다.
예측된 보간 필터 계수(731)는, 그 후, 보조 정보 부호화부(740)에서 부호화되어, 부호화 보조 정보(741)로서 부호화 데이터(722)와 함께 전송된다.
수신측의 화상 복호 장치(20)는, 도 8B에 나타내어진 바와 같이, 복호부(470)와, 업 샘플링·보간부(750)와, 보조 정보 복호부(760)와, 색 공간 역변환부(770)를 구비한다. 부호화 데이터(701)는, H.264/AVC의 복호부(470)에 의해 복호되어 화상 데이터(703)가 된다. 또, 부호화 데이터(701)와 함께 수신한 부호화 보조 정보(702)는, 보조 정보 복호부(760)에서 복호되어 보간 필터 계수(704)가 된다. 그리고, 업 샘플링·보간부(750)는, 화상 데이터(703) 및 보간 필터 계수(704)를 이용하여, 업 샘플링 및 보간 필터링을 행한다. 업 샘플링 후, 표준적인 색 공간 역변환부(770)에 의해, YUV 4:4:4의 화상 데이터(751)를 RGB 4:4:4 색 공간의 화상 데이터(771)로 변환한다. 그 후, RGB 4:4:4의 화상 데이터(771)를 디스플레이(170)에 표시한다.
도 9는, 본 발명에 따른 다른 실시 형태를 나타낸다. 여기에서는, 컬러 포맷 변환부(310) 및 결정부(320)는 화상 부호화 장치(10)의 구성 요소이고, 화상 부호화 장치(10)는, 화상 압축부(830)를 더 구비한다. 본 발명에 따른 컬러 포맷의 변환은, 예를 들면, H.264/AVC, DIRAC, JPEG2000, 그 이후의 각 규격 등의 화상 규격 또는 영상 규격에, 임의 또는 필수의 특징으로서 포함시켜도 된다. 또, 특허 제품인 비디오 인코더의 일부여도 된다. 그리고, 압축 영상과, 압축 영상의 복호에 필요한 정보 요소와, 색 공간 역변환 파라미터를 포함하는 부호화 비디오 스트림의 일부로서, 컬러 포맷 역변환 계수(321)를 제공하는 것이 가능하다. 컬러 포맷 역변환 계수(321)는, 비디오 데이터 정보를 포함하는 패킷에 포함시켜 송신되어도 되고, 보조 정보로서 다른 패킷으로 송신되어도 된다. 이에 의해, 또한, 골롬(Golomb) 부호, 지수 골롬(exponential Golomb) 부호, 산술 부호화, 허프먼(Huffman) 부호 등의 엔트로피 부호, 또는, 이들 이외의 엔트로피 부호를 이용하여, 컬러 포맷 역변환 파라미터를 부호화해도 된다. 사용하는 엔트로피 부호는, 영상 데이터 및/또는 영상 데이터 관련의 정보 요소를 부호화하는 데에 이용한 엔트로피 부호에 대응하는 것이어도 되고, 색 공간 역변환 파라미터용으로 특별히 설계하여, 또한, 그 통계치에 적응시킨 엔트로피 부호여도 된다.
이에 대응하여, 컬러 포맷 역변환부(330) 및 화상 신장부(850)는, 화상 복호 장치(20)의 구성 요소이다. 컬러 포맷 역변환 계수(322)는, 비디오 스트림의 일부가 되는지, 다른 보조 정보가 되는지는 상기의 화상 부호화 장치(10)에 따라 다르지만, 화상/영상 데이터와 함께 채널(140)로부터 취득된다. 이들은, 또한 엔트로피 복호되고, 채널(140)로부터 취득하여 화상 신장부(850)에서 신장된 화상 데이터(312)와 함께, 컬러 포맷 역변환부(330)에 제공된다. 화상의 신장은, 영상 복호 장치 또는 화상 복호 장치의 현재 또는 미래의 규격 제품 또는 특허 제품에 의해, 실행하는 것이 가능하다. 구체적으로는, 복호부로서, H.264/AVC, DIRAC, JPEG2000을 생각할 수 있다.
여기에서, 컬러 포맷의 변환 및 역변환은, 상기 실시 형태 중 어느 하나에 따라 행해지면 되고, 색 공간의 변환, 및/또는 보간 필터링의 예측을 포함해도 된다.
본 발명의 다른 실시 형태에 의하면, 또 도 9에 의하면, 컬러 포맷 역변환 계수(321)는, 채널(140)을 통해 전송됨과 더불어, 화상 압축부(830)에 제공된다. 동일하게, 수신측의 화상 복호 장치(20)에 있어서, 채널(140)로부터 취득된 컬러 포맷 역변환 계수(322)는, 컬러 포맷 역변환부(330)에 제공됨과 더불어, 화상 신장부(850)에도 제공된다. 이 특징, 요컨대 컬러 포맷 역변환 계수(321)를 화상 부호화 장치(10) 및/또는 화상 복호 장치(20)에 제공하는 것은, 말할 필요도 없고, 도 3, 도 4A, 도 4B, 도 6A, 도 6B, 도 8A, 및 도 8B에 나타낸 상기 실시 형태 중 어느 것에 적용해도 되며, 본 발명의 다른 실시 형태에 적용해도 된다. 컬러 포맷 역변환 계수(321)를 화상 압축부(830)에 제공하는 것은, 화상 압축부(830)에서 시간적인 예측을 행하는 경우, 특히 좋다. 예를 들면, 예측 프레임의 색 공간이 참조 프레임의 색 공간과 상이한 등, 동일한 픽처·그룹 내에서 색 공간이 변화하는 경우에는, 예측을 용이하게 하기 위해, 부호화 장치로 색 공간의 변환 및 역변환을 행할 필요가 있다. 그를 위해서는, 컬러 포맷 역변환 계수(321)가 필요하다.
동일하게, 화상 복호 장치(20)측에 있어서도, 동일한 픽처·그룹 내에서 컬러 포맷을 변화시키면서 시간적인 예측을 행하여 부호화한 비디오 스트림을 복호하기 위해서는, 컬러 포맷 역변환 계수(322)가 화상 신장부(850)에 제공되지 않으면 안 된다.
상술한 각 구성은, 화상 데이터 또는 영상 데이터의 상이한 부분에 적용 가능하다. 예를 들면, 컬러 포맷 역변환 계수는, 매크로 블록, 매크로 블록·그룹, 슬라이스, 필드, 픽처, 픽처·그룹 등, 화상 또는 영상의 일부분에 대해, 결정되는 것이어도 된다. 계수가 결정되는 대상 부분이 작을수록, 입력 화상에 대해서도, 대상 부분 상호간에 있어서도, 잘 적응한 변환 및 역변환이 행해진다. 한편, 컬러 포맷 계수를 전송하기 위해서는, 레이트를 올릴 필요가 있으므로, 경우에 따라서는, 계수를 변경해 두지 않은 영상 부분의 최적 사이즈를 찾아내도록 하는 것도 가능하다. 이 최적 조건은, 용도에 따라 다른 것이어도, 부호화 설정에 따라 다른 것이어도 된다. 계수가 결정되는 부분은, 고정으로 하는 것도, 가변으로 하는 것도 가능하다. 예를 들면, 상이한 색 공간으로 함으로써, 및/또는, 보간을 행함으로써, 화상/영상 콘텐츠가 변화한 경우 등 필요한 경우에 컬러 포맷 역변환 계수를 이송하도록 해도 된다.
컬러 포맷 역변환 계수를 결정 및/또는 제공하는 빈도는, 반드시, 색 공간 계수 및 보간 필터 계수의 경우와 동일할 필요는 없다. 영상의 일부분, 예를 들면 픽처·그룹 내에서는, 색 공간이 변하지 않는 것이면, 보다 작은 부분을 보간 및 서브 샘플링하기 위한 파라미터를 전송한 쪽이 좋은 경우도 있다.
영상의 예측 부호화(H.264/AVC 규정의 것 등)의 경우, 현 픽처의 예측에 사용하는 참조 픽처를 예측용으로 현 픽처와 동일한 색 공간으로 변환해도 된다.
H.264/AVC의 부호화 장치 및 복호 장치를 이용하는 부호화 방법의 경우, 컬러 포맷 변환 계수는, H.264/AVC 규격의 이른바 보조적 확장 정보(SEI) 메시지에 의해 전송되어도 된다.
CCD/CSMO 카메라의 샘플링·그리드가, 베이어 패턴에 따른 샘플링·그리드 등, 일반적인 4:4:4 샘플링·그리드가 아닌 경우에는, 동일한 위치에 있는 RGB 샘플도 컬러 포맷 변환 계수의 예측에 이용해도 된다. 카메라 내에 있는 RGB 신호의 원래의 샘플링·그리드에 관한 정보도, 부호화하여 수신기에 송신하는 것이 가능하다. 여기에서는, 복수의 소정 샘플링·그리드 중, 1개의 샘플링·그리드를 나타내는 인디케이터의 부호화 및 전송이 가능하다. 또, 샘플링·그리드에 관한 모든 정보의 부호화 및 전송도 가능하다. 이것은, 샘플링·그리드가 규정의 것이 아닌 경우에 도움이 된다.
또한, 제1 색 공간으로부터 제2 색 공간으로 색 공간 변환을 행하는 한편으로, 제2 색 공간으로부터 제1 색 공간으로 색 공간을 역변환하기 위한 컬러 포맷 역변환 계수를 결정해도 된다. 이 방법은, 디스플레이가 컬러 포맷 변환 입력 데이터의 색 공간과는 상이한 색 공간을 사용하고 있을 때에, 적합한 경우가 있다.
상술한 실시 형태에서는, 화상 데이터 또는 영상 데이터의 송신 및 수신에 대해 설명하였지만, 이들 모든 실시 형태는, 기억 및 독출에 대해서도 동일하게 참조되어도 된다. 이러한 경우, 채널(140)은, 하드디스크, 광 매체, 자기 매체, USB 스틱 등의 플래시 메모리 등의 기억 매체이다.
(그 외 변형예)
또한, 본 발명을 상기 각 실시 형태에 의거하여 설명해 왔지만, 본 발명은, 상기의 각 실시 형태에 한정되지 않는 것은 물론이다. 이하와 같은 경우도 본 발명에 포함된다.
상기의 각 장치는, 구체적으로는, 마이크로 프로세서, ROM, RAM, 하드디스크 유닛, 디스플레이 유닛, 키보드, 마우스 등으로 구성되는 컴퓨터 시스템이다. 상기 RAM 또는 하드디스크 유닛에는, 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가, 상기 컴퓨터 프로그램에 따라 동작함으로써, 각 장치는, 그 기능을 달성한다. 여기에서 컴퓨터 프로그램은, 소정의 기능을 달성하기 위해, 컴퓨터에 대한 지령을 나타내는 명령 코드가 복수개 조합되어 구성된 것이다.
상기의 각 장치를 구성하는 구성 요소의 일부 또는 전부는, 1개의 시스템 LSI(Large Scale Integration : 대규모 집적 회로)로 구성되어 있는 것으로 해도 된다. 시스템 LSI는, 복수의 구성 요소부를 1개의 칩 상에 집적하여 제조된 초다기능 LSI이고, 구체적으로는, 마이크로 프로세서, ROM, RAM 등을 포함하여 구성되는 컴퓨터 시스템이다. 상기 RAM에는, 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가, 상기 컴퓨터 프로그램에 따라 동작함으로써, 시스템 LSI는, 그 기능을 달성한다.
상기의 각 장치를 구성하는 구성 요소의 일부 또는 전부는, 각 장치에 탈착 가능한 IC 카드 또는 단체의 모듈로 구성되어 있는 것으로 해도 된다. 상기 IC 카드 또는 상기 모듈은, 마이크로 프로세서, ROM, RAM 등으로 구성되는 컴퓨터 시스템이다. 상기 IC 카드 또는 상기 모듈은, 상기의 초다기능 LSI를 포함하는 것으로 해도 된다. 마이크로 프로세서가, 컴퓨터 프로그램에 따라 동작함으로써, 상기 IC 카드 또는 상기 모듈은, 그 기능을 달성한다. 이 IC 카드 또는 이 모듈은, 내탬퍼성을 갖는 것으로 해도 된다.
본 발명은, 상기에 나타낸 방법인 것으로 해도 된다. 또, 이들 방법을 컴퓨터에 의해 실현하는 컴퓨터 프로그램인 것으로 해도 되고, 상기 컴퓨터 프로그램으로 이루어지는 디지털 신호인 것으로 해도 된다.
또, 본 발명은, 상기 컴퓨터 프로그램 또는 상기 디지털 신호를 컴퓨터 판독 가능한 기록 매체, 예를 들면, 플렉시블 디스크, 하드디스크, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD(Blu-ray Disc), 반도체 메모리 등에 기록한 것으로 해도 된다. 또, 이들 기록 매체에 기록되어 있는 상기 디지털 신호인 것으로 해도 된다.
또, 본 발명은, 상기 컴퓨터 프로그램 또는 상기 디지털 신호를, 전기 통신 회선, 무선 또는 유선 통신 회선, 인터넷을 대표로 하는 네트워크, 데이터 방송 등을 경유하여 전송하는 것으로 해도 된다.
또, 본 발명은, 마이크로 프로세서와 메모리를 구비한 컴퓨터 시스템으로서, 상기 메모리는, 상기 컴퓨터 프로그램을 기억하고 있고, 상기 마이크로 프로세서는, 상기 컴퓨터 프로그램에 따라 동작하는 것으로 해도 된다.
또, 상기 프로그램 또는 상기 디지털 신호를 상기 기록 매체에 기록하여 이송함으로써, 또는 상기 프로그램 또는 상기 디지털 신호를 상기 네트워크 등을 경유하여 이송함으로써, 독립된 다른 컴퓨터 시스템에 의해 실시하는 것으로 해도 된다.
상기 실시 형태 및 상기 변형예를 각각 조합하는 것으로 해도 된다.
이상, 도면을 참조하여 이 발명의 실시 형태를 설명하였지만, 이 발명은, 도시한 실시 형태의 것에 한정되지 않는다. 도시한 실시 형태에 대해, 이 발명과 동일한 범위 내에 있어서, 혹은 균등한 범위 내에 있어서, 여러 가지의 수정이나 변형을 더하는 것이 가능하다. 또, 상술한 각 실시 형태는, 본 발명의 목적을 일탈하지 않는 범위에서, 임의로 조합할 수 있다.
[산업상의 이용 가능성]
본 발명은, 화상 부호화 방법(장치) 및 화상 복호 방법(장치)에 유리하게 이용된다.
10 : 화상 부호화 장치
20 : 화상 복호 장치
110 : 카메라
111 : 원화상 데이터
120, 410, 610, 710 : 색 공간 변환부
121, 151, 161, 211, 221, 311, 312, 331, 411, 421, 451, 471, 481, 603, 611, 621, 711, 721, 703, 751 : 화상 데이터
130 : 부호화부
131, 401, 601, 622, 701, 722 : 부호화 데이터
140 : 채널
150, 450, 470 : 복호부
160, 690, 770 : 색 공간 역변환부
170 : 디스플레이
201, 310, 400, 600 : 컬러 포맷 변환부
202, 330, 480 : 컬러 포맷 역변환부
210, 420, 620, 720 : 필터링·서브 샘플링부
220, 660, 680, 750 : 업 샘플링·보간부
320 : 결정부
321, 322, 491 : 컬러 포맷 역변환 계수
402, 461 : 부호화 컬러 포맷 역변환 계수
430, 630 : 색 공간 예측부
440 : 계수 예측부
460 : 계수 부호화부
490 : 계수 복호부
602, 671, 702, 741 : 부호화 보조 정보
604, 704, 731 : 보간 필터 계수
605 : 색 공간 역변환 계수
640, 730 : 보간 필터 계수 예측부
650 : 색 공간 역변환 예측부
670, 740 : 보조 정보 부호화부
675, 760 : 보조 정보 복호부
830 : 화상 압축부
850 : 화상 신장부

Claims (12)

  1. 컬러 화상을 부호화하는 화상 부호화 방법으로서,
    상기 컬러 화상의 색 공간을 제1 색 공간로부터 상기 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환 단계와,
    상기 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링 단계와,
    상기 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화 단계와,
    샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출 단계와,
    색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출 단계와,
    상기 부호화가 끝난 컬러 화상, 상기 업 샘플링 계수, 및 상기 색 공간 역변환 계수를 출력하는 출력 단계를 포함하는 화상 부호화 방법.
  2. 청구항 1에 있어서,
    상기 화상 부호화 방법은,
    상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호 단계와,
    상기 복호가 끝난 컬러 화상의 샘플을 보간하여 보간이 끝난 컬러 화상을 생성하는 업 샘플링 단계를 더 포함하고,
    상기 업 샘플링 계수 산출 단계에서는, 상기 복호가 끝난 컬러 화상과 상기 색 공간 변환이 끝난 컬러 화상의 평균 2승 오차가 최소가 되도록, 상기 업 샘플링 계수를 산출하는 화상 부호화 방법.
  3. 청구항 2에 있어서,
    상기 화상 부호화 방법은, 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하여 색 공간 역변환이 끝난 컬러 화상을 생성하는 색 공간 역변환 단계를 더 포함하고,
    상기 색 공간 역변환 계수 산출 단계에서는, 상기 색 공간 역변환이 끝난 컬러 화상과 상기 컬러 화상의 평균 2승 오차가 최소가 되도록, 상기 색 공간 역변환 계수를 산출하는 화상 부호화 방법.
  4. 청구항 1에 있어서,
    상기 화상 부호화 방법은, 상기 컬러 화상의 특성에 의거하여 색 공간 변환 계수를 산출하는 색 공간 예측 단계를 더 포함하고,
    상기 색 공간 변환 단계에서는, 상기 색 공간 예측 단계에서 산출된 상기 색 공간 변환 계수에 의거하여, 상기 컬러 화상의 색 공간을 상기 제1 색 공간으로부터 상기 제2 색 공간으로 변환하며,
    상기 출력 단계에서는, 상기 색 공간 변환 계수를 더 출력하는 화상 부호화 방법.
  5. 청구항 4에 있어서,
    상기 화상 부호화 방법은, 상기 업 샘플링 계수, 상기 색 공간 역변환 계수, 및 상기 색 공간 변환 계수를 포함하는 보조 정보를 부호화하여 부호화가 끝난 보조 정보를 생성하는 보조 정보 부호화 단계를 더 포함하고,
    상기 출력 단계에서는, 상기 부호화가 끝난 컬러 화상 및 상기 부호화가 끝난 보조 정보를 출력하는 화상 부호화 방법.
  6. 컬러 화상을 복호하는 화상 복호 방법으로서,
    부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 취득하는 취득 단계와,
    상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호 단계와,
    상기 업 샘플링 계수를 이용하여 상기 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성하는 업 샘플링 단계와,
    상기 색 공간 역변환 계수를 이용하여 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성하는 색 공간 역변환 단계를 포함하는 화상 복호 방법.
  7. 컬러 화상을 부호화하는 화상 부호화 장치로서,
    상기 컬러 화상의 색 공간을 제1 색 공간으로부터 상기 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환부와,
    상기 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링부와,
    상기 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화부와,
    샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출부와,
    색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출부와,
    상기 부호화가 끝난 컬러 화상, 상기 업 샘플링 계수, 및 상기 색 공간 역변환 계수를 출력하는 출력부를 구비하는 화상 부호화 장치.
  8. 컬러 화상을 복호하는 화상 복호 장치로서,
    부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 취득하는 취득부와,
    상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호부와,
    상기 업 샘플링 계수를 이용하여 상기 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성하는 업 샘플링부와,
    상기 색 공간 역변환 계수를 이용하여 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성하는 색 공간 역변환부를 구비하는 화상 복호 장치.
  9. 컴퓨터에, 컬러 화상을 부호화시키는 프로그램으로서,
    상기 컬러 화상의 색 공간을 제1 색 공간으로부터 상기 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환 단계와,
    상기 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링 단계와,
    상기 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화 단계와,
    샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출 단계와,
    색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출 단계와,
    상기 부호화가 끝난 컬러 화상, 상기 업 샘플링 계수, 및 상기 색 공간 역변환 계수를 출력하는 출력 단계를 포함하는 프로그램.
  10. 컴퓨터에, 컬러 화상을 복호시키는 프로그램으로서,
    부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 취득하는 취득 단계와,
    상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호 단계와,
    상기 업 샘플링 계수를 이용하여 상기 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성하는 업 샘플링 단계와,
    상기 색 공간 역변환 계수를 이용하여 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성하는 색 공간 역변환 단계를 포함하는 프로그램.
  11. 컬러 화상을 부호화하는 집적 회로로서,
    상기 컬러 화상의 색 공간을 제1 색 공간으로부터 상기 제1 색 공간과 상이한 제2 색 공간으로 변환하여 색 공간 변환이 끝난 컬러 화상을 생성하는 색 공간 변환부와,
    상기 색 공간 변환이 끝난 컬러 화상에 포함되는 샘플의 일부를 제거하여 서브 샘플링이 끝난 컬러 화상을 생성하는 서브 샘플링부와,
    상기 서브 샘플링이 끝난 컬러 화상을 부호화하여 부호화가 끝난 컬러 화상을 생성하는 부호화부와,
    샘플을 보간하는 업 샘플링 처리에 이용되는 업 샘플링 계수를 산출하는 업 샘플링 계수 산출부와,
    색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환하기 위한 색 공간 역변환 계수를 산출하는 색 공간 역변환 계수 산출부와,
    상기 부호화가 끝난 컬러 화상, 상기 업 샘플링 계수, 및 상기 색 공간 역변환 계수를 출력하는 출력부를 구비하는 집적 회로.
  12. 컬러 화상을 복호하는 집적 회로로서,
    부호화가 끝난 컬러 화상, 업 샘플링 계수, 및 색 공간 역변환 계수를 취득하는 취득부와,
    상기 부호화가 끝난 컬러 화상을 복호하여 복호가 끝난 컬러 화상을 생성하는 복호부와,
    상기 업 샘플링 계수를 이용하여 상기 복호가 끝난 컬러 화상의 샘플을 보간함으로써, 보간이 끝난 컬러 화상을 생성하는 업 샘플링부와,
    상기 색 공간 역변환 계수를 이용하여 상기 보간이 끝난 컬러 화상의 색 공간을 상기 제2 색 공간으로부터 상기 제1 색 공간으로 역변환함으로써, 컬러 화상을 생성하는 색 공간 역변환부를 구비하는 집적 회로.
KR1020107004783A 2008-07-08 2009-07-07 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로 KR20110025888A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08012330.0 2008-07-08
EP08012330A EP2144432A1 (en) 2008-07-08 2008-07-08 Adaptive color format conversion and deconversion

Publications (1)

Publication Number Publication Date
KR20110025888A true KR20110025888A (ko) 2011-03-14

Family

ID=39926883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107004783A KR20110025888A (ko) 2008-07-08 2009-07-07 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로

Country Status (6)

Country Link
US (1) US20100208989A1 (ko)
EP (2) EP2144432A1 (ko)
JP (1) JPWO2010004726A1 (ko)
KR (1) KR20110025888A (ko)
CN (1) CN101796843A (ko)
WO (1) WO2010004726A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140129777A (ko) * 2013-04-30 2014-11-07 삼성테크윈 주식회사 영상 재생 방법

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP5419795B2 (ja) * 2010-04-30 2014-02-19 日本放送協会 画像符号化装置及びプログラム
KR20120105615A (ko) * 2011-03-16 2012-09-26 삼성전자주식회사 색영역 판단 장치 및 이를 포함하는 영상 표시 장치
JP5566931B2 (ja) * 2011-03-17 2014-08-06 株式会社東芝 画像処理装置、画像処理方法、プログラムおよび記憶媒体
US9167247B2 (en) * 2011-05-20 2015-10-20 Panasonic Intellectual Property Corporation Of America Methods and apparatuses for encoding and decoding video using inter-color-plane prediction
JP5717548B2 (ja) * 2011-06-09 2015-05-13 日本放送協会 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム
US9712847B2 (en) * 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space
US20130166767A1 (en) * 2011-11-23 2013-06-27 General Electric Company Systems and methods for rapid image delivery and monitoring
CN102547304A (zh) * 2011-12-31 2012-07-04 蔡静 一种视频图像数据获取装置及方法
JP5901362B2 (ja) * 2012-03-08 2016-04-06 日本放送協会 色変換装置、カラーサブサンプリング装置およびこれらのプログラム
US9594891B2 (en) * 2012-03-16 2017-03-14 Universal Robot Kabushiki Kaisha Personal authentication method and personal authentication device
JP6125215B2 (ja) * 2012-09-21 2017-05-10 株式会社東芝 復号装置、及び符号化装置
JP6282763B2 (ja) * 2012-09-21 2018-02-21 株式会社東芝 復号装置、符号化装置、復号方法、及び符号化方法
CN104685878B (zh) * 2012-09-24 2018-11-30 华为技术有限公司 具有颜色空间缩放性的视频压缩
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
EP2753091A1 (en) * 2012-10-18 2014-07-09 Thomson Licensing Method for coding and decoding a video and corresponding devices
US10277907B2 (en) * 2012-10-25 2019-04-30 Integrated Device Technology, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
CN103024246B (zh) * 2012-11-29 2015-06-24 华东师范大学 一种文书档案图像压缩方法
WO2014106921A1 (ja) * 2013-01-04 2014-07-10 ソニー株式会社 送信装置、受信装置、送信方法、受信方法、及び送受信システム
JP6013964B2 (ja) * 2013-04-05 2016-10-25 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、およびそれらのプログラム並びに記録媒体
JP6018012B2 (ja) * 2013-04-05 2016-11-02 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、およびそれらのプログラム並びに記録媒体
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Ｖｃ專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
US10210599B2 (en) * 2013-08-09 2019-02-19 Intuitive Surgical Operations, Inc. Efficient image demosaicing and local contrast enhancement
US9264683B2 (en) * 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US10178413B2 (en) * 2013-09-12 2019-01-08 Warner Bros. Entertainment Inc. Method and apparatus for color difference transform
WO2015102449A1 (ko) 2014-01-06 2015-07-09 엘지전자 주식회사 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치
JP6177148B2 (ja) * 2014-01-22 2017-08-09 Kddi株式会社 動画像復号装置、動画像復号方法、およびプログラム
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
RU2653295C2 (ru) 2014-03-04 2018-05-07 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Адаптивное переключение цветовых пространств, частот цветовой дискретизации и/или битовых глубин
EP3123716B1 (en) 2014-03-27 2020-10-28 Microsoft Technology Licensing, LLC Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces
JP6316640B2 (ja) * 2014-04-18 2018-04-25 日本放送協会 映像記録装置、映像再生装置及び映像記録プログラム
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) * 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
US10057578B2 (en) * 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
WO2016054765A1 (en) 2014-10-08 2016-04-14 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
WO2016130066A1 (en) * 2015-02-13 2016-08-18 Telefonaktiebolaget Lm Ericsson (Publ) Pixel pre-processing and encoding
CN112929670A (zh) 2015-03-10 2021-06-08 苹果公司 自适应色度下采样和色彩空间转换技术
JP6622481B2 (ja) 2015-04-15 2019-12-18 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
US10715816B2 (en) 2015-11-11 2020-07-14 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
AU2016203181B2 (en) * 2016-05-16 2018-09-06 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
US10438328B1 (en) * 2016-12-15 2019-10-08 Google Llc Chroma blurring reduction in video and images
JP7068787B2 (ja) * 2017-08-15 2022-05-17 日本放送協会 映像信号送信装置
US11270470B2 (en) * 2017-10-12 2022-03-08 Sony Group Corporation Color leaking suppression in anchor point cloud compression
US20190139189A1 (en) * 2017-11-06 2019-05-09 Qualcomm Incorporated Image remosaicing
CN110381278A (zh) * 2019-09-05 2019-10-25 无锡思朗电子科技有限公司 用于色彩空间4:4:4传输的方法及设备
CN111654705B (zh) * 2020-06-05 2022-11-11 电子科技大学 基于色彩空间转换的马赛克图像压缩方法
CN114125448B (zh) * 2020-08-31 2023-04-04 华为技术有限公司 视频编码方法、解码方法及相关装置
WO2022074287A1 (en) * 2020-10-06 2022-04-14 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN115767287B (zh) * 2021-09-03 2023-10-27 荣耀终端有限公司 图像处理方法与电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3271095B2 (ja) * 1993-06-18 2002-04-02 ソニー株式会社 ディジタル画像信号の高能率符号化装置および復号装置
JPH07203211A (ja) * 1993-12-28 1995-08-04 Canon Inc 画像処理方法及び装置
US6754383B1 (en) * 2000-07-26 2004-06-22 Lockheed Martin Corporation Lossy JPEG compression/reconstruction using principal components transformation
US7194128B1 (en) * 2000-07-26 2007-03-20 Lockheed Martin Corporation Data compression using principal components transformation
JP3495336B2 (ja) * 2001-01-29 2004-02-09 日本電信電話株式会社 画像符号化方法及び装置並びに画像復号化方法及び装置
JP4064127B2 (ja) * 2002-03-08 2008-03-19 シャープ株式会社 画像符号化装置および画像復号装置
US7586642B2 (en) * 2003-07-25 2009-09-08 Hoya Corporation Color-space transformation-matrix calculating system and calculating method
EP1538826A3 (en) * 2003-12-05 2007-03-07 Samsung Electronics Co., Ltd. Color transformation method and apparatus
JP4127818B2 (ja) * 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置
US20070091111A1 (en) * 2004-01-05 2007-04-26 Koninklijke Philips Electronics N.V. Ambient light derived by subsampling video content and mapped through unrendered color space
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
BRPI0611672A2 (pt) * 2005-07-22 2009-01-13 Mitsubishi Electric Corp codificador e decodificador de imagem, mÉtodo de codificaÇço de imagem, programa de codificaÇço de imagem, meio de gravaÇço legÍvel por computador, mÉtodo de decodificaÇço de imagem, programa de decodificaÇço de imagem, e, corrente de bits codificada por imagem
EP1746839A1 (en) * 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
CN101076125B (zh) * 2007-06-18 2010-07-28 山东经济学院 图像压缩中RGB与YCbCr转换计算的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140129777A (ko) * 2013-04-30 2014-11-07 삼성테크윈 주식회사 영상 재생 방법

Also Published As

Publication number Publication date
WO2010004726A1 (ja) 2010-01-14
US20100208989A1 (en) 2010-08-19
EP2144432A1 (en) 2010-01-13
JPWO2010004726A1 (ja) 2011-12-22
EP2299715A1 (en) 2011-03-23
CN101796843A (zh) 2010-08-04

Similar Documents

Publication Publication Date Title
KR20110025888A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로
US10499057B2 (en) Image processing device and image processing method
US10666945B2 (en) Image processing device and image processing method for decoding a block of an image
US20180295358A1 (en) Image processing device and image processing method
US9710930B2 (en) Image processing device and method
US20190261002A1 (en) Image coding device, image decoding device, image coding method, and image decoding method
US9571838B2 (en) Image processing apparatus and image processing method
RU2665308C2 (ru) Устройство обработки изображений и способ обработки изображений
KR20190008205A (ko) 화상 처리 장치 및 방법
EP1950971A2 (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
JP2016201813A (ja) データ符号化及び復号化
US20080031518A1 (en) Method and apparatus for encoding/decoding color image
US20100232691A1 (en) Image coding device, image decoding device, image coding method, and image decoding method
US20120287998A1 (en) Image processing apparatus and method
CN103563374A (zh) 图像处理设备及方法
US20150245066A1 (en) Image processing apparatus and image processing method
US20130182770A1 (en) Image processing device, and image processing method
US20140286436A1 (en) Image processing apparatus and image processing method
US9148672B2 (en) Method and apparatus for residue transform
US20030012431A1 (en) Hybrid lossy and lossless compression method and apparatus
KR20180102565A (ko) 디스플레이 스트림 압축 (dsc) 에서의 왜곡을 계산하기 위한 시스템 및 방법들
US20130094584A1 (en) Encoding device, encoding method, decoding device, and decoding method
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
JPWO2010055675A1 (ja) 動画像符号化装置及び動画像復号装置
US20150139310A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid