JP6691417B2 - 符号化装置、その復号化装置および符号化・復号化装置 - Google Patents

Description

本発明は、符号化装置、その復号化装置および符号化・復号化装置に関し、特に、原画像による、３つの色素信号（コンポーネント信号）からなる色空間を、それとは別の色空間に変換し、これにより得られた変換信号を圧縮して符号化する符号化装置、その復号化装置および符号化・復号化装置に関するものである。

従来より、Ｒ、Ｇ、Ｂの各色成分のサンプル比が等しいR、G、B 4:4:4の画像や動画像
等を圧縮する場合には、人間の視覚特性に基づいた、YCbCr等の色空間の他、自然画像が
有する特有の色成分の統計的相関に基づいた色空間（下記特許文献１を参照）に変換することができることが知られている。

すなわち、上記R、G、B 4:4:4画像の圧縮は、圧縮処理の前処理として走査線やフレー
ム等のデータの一部を削除する削除処理（色間引き処理と称する場合もある）を行うことがないので、Ｒ、Ｇ、Ｂの３色成分の解像度が等しい状態で他の色空間に変換することができる。
この変換される色空間として、上述した視覚特性に基づく色空間であるYCbCr等の色空
間も好適に使用されているが、符号化効率が良い反面、変換時丸め誤差が大きい点が難点とされており、原画像を良好に保持するという点では問題がある。

一方、上述した統計的相間に基づく色空間であるYCoCg等の色空間は、視覚特性に基づ
く色空間以上に符号化効率の点で優れ、また、変換時丸め誤差も小さくできる、または無くすことができる点で利点がある、とされている。

ところで、上記統計的相間に基づく色空間に属するYCoCgの色空間は、原画像が、評価
画像、すなわち、理想的な照明光により照明された被写体の撮影画像から変換される場合を基準として設計された変換式となっている。
以下に、R、G、B 4:4:4の色空間の信号成分を、YCoCgの色空間の信号成分に変換する変換式（１）を示す。

………（１）
このようなYCoCgの色空間においては、4:4:4圧縮を行った場合にも高画質で伝送や記録を行うことが可能である。

特許第3753782号

しかし、理想的ではない照明下での撮影画像においては、照明条件により、Ｒ、Ｇ、Ｂ
成分のうち特定成分のS/Nが劣化する場合があり、このように特定成分にノイズが多く含
まれている場合に、例えば上述したYCoCgの色空間への色変換を行うと、この特定成分の
ノイズが、変換後の各成分に伝搬する。このノイズは画像に対して冗長な高周波成分となるため符号化後の画質が大幅に劣化する。

このことを下式（２）に基づいて説明する。
すなわち、下式（２）は、Ｂ成分のS/Nが劣化した場合における色空間YCoCgへの変換式を示すものであり、Ｂ_ＳはＢの信号成分、Ｂ_ｎはＢのノイズ成分を示すものである。

下式（２）によれば、Ｂのノイズ成分であるＢ_ｎが、色差成分Ｃｇのみならず、輝度成分Ｙ、および色差成分Ｃｏにも伝搬してしまう。

………（２）

本発明は、上記事情に鑑みてなされたもので、取得された第１の色空間画像を4:4:4圧
縮して伝送や記憶をさせる場合に、第１の色空間の中の特定成分のS/Nが劣化していたと
しても、変換された色空間の各成分に伝搬しないようにして、符号化効率を改善することができる符号化装置、その復号化装置および符号化・復号化装置を提供することを目的とするものである。

前述した本発明の目的は、以下のように構成された符号化装置、その復号化装置および符号化・復号化装置により達成される。
すなわち、本発明の符号化装置は、
複数の色要素信号が形成する第１の色空間を第２の色空間に変換して圧縮処理を行う符号化装置であって、
前記第１の色空間の複数の色要素信号により形成された画像から、２つの色差成分を生成し、これら２つの色差成分に所定の演算を施してノイズ成分の種類と大きさに基づく被判定値αを求める被判定値演算手段と、
求められた前記被判定値αを所定の判定閾値と比較し、その比較結果に基づいて、色空間変換に用いる変換式を選択する変換式選択手段と、
選択された変換式を用い、前記第１の色空間の信号成分を前記第２の色空間の信号成分に変換する色空間変換手段と、
変換した第２の色空間の信号成分について、所定の符号化技術を用い、4:4:4のデータ
圧縮を行って符号化信号を生成する符号化信号生成手段と、
を備えたことを特徴とするものである。

また、前記第１の色空間から得られた画像がR,G,B 4:4:4の画像であり、前記２つの色
差成分がR-GおよびB-Gの２つの色差成分であることが好ましい。
また、前記色差成分R-Gの指標は、色要素信号Ｒの所定ブロック毎の分散値と色要素信
号Ｇの所定ブロック毎の分散値との差の総和であるＡ_Ｒ−Ｇで表され、前記色差成分B-G
の指標は、色要素信号Ｂの所定ブロック毎の分散値と色要素信号Ｇの所定ブロック毎の分散値との差の総和であるＡ_Ｂ−Ｇで表され、
前記被判定値αは、下式（Ａ）で表され、

この被判定値αの値と所定の判定閾値Ａ_ｔｈとを比較し、その比較結果に基づいて、前記第１の色空間の信号成分を前記第２の色空間の信号成分に変換する変換式を選択することが好ましい。

また、前記被判定値αと前記判定閾値Ａ_ｔｈとの比較結果において、
｜α｜＜Ａ_ｔｈの場合は、YCoCgの色空間に変換するための第１の変換式を選択し、
α≦−Ａ_ｔｈの場合は、Ｒ、Ｇ、Ｂの３つの色要素のうち、Ｂのノイズ成分の伝搬が抑制されるように構成された第２の変換式を選択し、
α≧Ａ_ｔｈの場合は、Ｒ、Ｇ、Ｂの３つの色要素のうち、Ｒのノイズ成分の伝搬が抑制されるように構成された第３の変換式を選択するように、設定されていることが好ましい。

また、前記第２の変換式および前記第３の変換式の一般式が下式（Ｂ）で表されることが好ましい。

………（Ｂ）
ただし、Yr + Yg + Yb = 1 であり、 C1r + C1g + C1b = 0 であり、
C2r + C2g + C2b = 0である。
また、Ｒ、Ｇ、Ｂのうち１つの成分に対応する係数が全て0 （Yr=C1r=0、またはYb=C1b=0、またはYg=C1g=0）である。

また、前記第１の変換式が、下式（Ｃ）で表され、
前記第２の変換式が、下式（Ｄ）で表され、
前記第３の変換式が、下式（Ｅ）で表される、ことが好ましい。

………（Ｃ）

………（Ｄ）

………（Ｅ）

また、本発明の復号化装置は、
上述したいずれかの符号化装置から、前記符号化信号と、この符号化信号に付随する、前記符号化装置において選択された変換式の情報を取得し、取得された該符号化信号および該変換式の情報に基づき、第１の色空間を第２の色空間に変換して圧縮処理された信号を復号化する復号化装置であって、
データ圧縮された符号化信号を復号化して復号化信号を得る復号化信号生成手段と、
得られた該復号化信号に対し逆変換式を用いて逆変換して、前記第１の色空間の信号成分を得る色空間逆変換手段と、
を備えたことを特徴とするものである。

さらに、本発明の符号化・復号化装置は、
複数の色要素信号が形成する第１の色空間を第２の色空間に変換して圧縮処理を行う符号化装置であって、
前記第１の色空間の複数の色要素信号により形成された画像から、２つの色差成分を生成し、これら２つの色差成分に所定の演算を施してノイズ成分の種類と大きさに基づく被判定値αを求める被判定値演算手段と、
求められた前記被判定値αを所定の判定閾値と比較し、その比較結果に基づいて、色空間変換に用いる変換式を選択する変換式選択手段と、
選択された変換式を用い、前記第１の色空間の信号成分を前記第２の色空間の信号成分に変換する色空間変換手段と、
変換した第２の色空間の信号成分について、所定の符号化技術を用いて4:4:4のデータ
圧縮を行って符号化信号を生成する符号化信号生成手段と、
データ圧縮された符号化信号を復号化して復号化信号を得る復号化信号生成手段と、
得られた該復号化信号に対し、逆変換式を用いて逆変換して、前記第１の色空間の信号成分を復元する色空間逆変換手段と、
を備えたことを特徴とするものである。

本発明の符号化装置、その復号化装置および符号化・復号化装置によれば、第１の色空間の複数の色要素信号により形成された画像から、２つの色差成分を生成し、これら２つの色差成分に所定の演算を施してノイズ成分の種類および大きさに基づく被判定値αを求め、この後、求められた上記被判定値αを所定の判定閾値と比較し、その比較結果に基づいて、前記第１の色空間の信号成分を前記第２の色空間の信号成分に変換する変換式を選択するようにしており、ノイズ成分の種類および大きさに応じて、このノイズ成分の伝搬が抑制されるような変換式を選択しているので、１つの変換式を用いて種々の第１の色空間の信号成分から第２の色空間の信号成分を構築していた従来技術と比べ、特定の色成分のS/Nが劣化している原画像が得られた場合であっても、簡易にノイズ伝搬を抑制するこ
とができる。

これにより、種々のノイズ態様の画像のいずれについても、符号化効率が良好な第２の色空間を構築することができ、この後、第１の色空間の信号成分を復元したときにも、画
質が良好なものとすることができる。

本発明の実施形態に係る符号化装置、復号化装置および符号化・復号化装置の構成を示すブロック図である。 各画像を色空間YCoCgにおいて4:4:4圧縮をした場合のＳ/Ｎの変化（（ａ）はＩＴＥ評価画像（Books）、（ｂ）は室内の理想的な照明下における自然画像、（ｃ）は屋外における理想的ではない太陽光照明下における自然画像（Expressway））を示すグラフである。 本実施形態における変換式（Ｂのノイズ成分の伝搬が抑制されるように構成された第２の変換式）を用いて変換された色空間（YC_１C_２）において4:4:4圧縮をした場合のＳ/Ｎの変化（（ａ）はＩＴＥ評価画像（Books）、（ｂ）は室内の理想的な照明下における自然画像、（ｃ）は屋外における、理想的ではない太陽光照明下における自然画像（Expressway））を示すグラフである。 本発明の実施形態に係る符号化装置において、色空間変換式の選択が行なわれる流れを示す概略図である。

以下、本発明の実施形態に係る符号化装置、復号化装置および符号化・復号化装置を図面を用いて詳細に説明する。
図１に示すように、本実施形態の符号化装置１０は、複数の色要素信号（例えば、R,G,B色成分信号）が形成する第１の色空間（例えば、R,G,B 4:4:4色空間）を第２の色空間（下述する例ではYCoCg色空間またはYC_１C_２色空間）に変換して圧縮処理を行うものである。

その構成は、第１の色空間の複数の色要素信号により形成された画像から、２つの色差成分（例えば、R-GおよびB-Gの２つの色差成分であることが好ましい）を生成し、これら２つの色差成分に所定の演算を施してノイズ成分の大きさに基づく被判定値αを求める（例えば、図４に示す変換式判定手法を参照のこと）被判定値演算手段１１と、この求められた被判定値αを所定の判定閾値Ａ_ｔｈと比較し、その比較結果に基づいて、色空間変換に用いる変換式を選択する（例えば、図４に示す変換式判定手法を参照のこと）変換式選択手段１２と、選択された変換式を用い、第１の色空間の信号成分を第２の色空間の信号成分に変換する色空間変換手段１３と、変換した第２の色空間の信号成分について、所定の符号化技術（例えば、ＡＶＣ／Ｈ．２６４、JPEG-XR、ＪＰＥＧ等）を用いてデータ圧
縮を行って符号化信号を生成する符号化信号生成手段１４と、を備えている。

一方、本実施形態の復号化装置２０は、符号化装置１０から送信された、符号化信号と、この符号化信号に付随する、符号化装置１０において決定された変換式の情報を取得し、取得された符号化信号および該変換式の情報に基づき、圧縮処理された信号成分を伸張処理し、この後、第２の色空間（下述する例ではYCoCg色空間およびYC_１C_２色空間とされている）を、逆変換式（後述する逆変換式（９）、（１１）、（１３）等）により逆変換して第１の色空間（例えば、R,G,B 4:4:4色空間）の信号成分を復元するものである。

その構成は、データ圧縮された符号化信号を復号化して復号化信号を得、圧縮されていたデータを伸張して第２の色空間の信号成分を得る復号化信号生成手段２１と、得られた第２の色空間の信号成分に対して逆変換行列を用いて逆変換して、第１の色空間の信号成分を復元する色空間変換手段２２と、を備えたものとなっている。

さらに、本実施形態に係る符号化・復号化装置３０は、上記符号化装置１０および復号化装置２０を一体化した装置である。

なお、上記色差成分R-Gは、色要素信号Ｒの所定ブロック毎の分散値と色要素信号Ｇの
所定ブロック毎の分散値との差（対応するブロック毎の分散値の差の総和）であるＡ_Ｒ−Ｇで表され、上記色差成分B-Gは、色要素信号Ｂの所定ブロック毎の分散値と色要素信号
Ｇの所定ブロック毎の分散値との差（対応するブロック毎の分散値の差の総和）であるＡ_Ｂ−Ｇで表されることが好ましく、また、被判定値αは、下式（Ａ）で表されることが好ましい。

また、このαの値と所定の判定閾値Ａ_ｔｈとを比較し、その比較結果に基づいて、第１の色空間を第２の色空間に変換することが好ましい。
また、上記被判定値αと判定閾値Ａ_ｔｈとの比較において、
｜α｜＜Ａ_ｔｈの場合は、YCoCgの色空間に変換するための第１の変換式を選択し、
α≦−Ａ_ｔｈの場合は、Ｒ、Ｇ、Ｂの３つの色要素のうち、Ｂのノイズ成分の伝搬が抑制されるように構成された第２の変換式を選択し、
α≧Ａ_ｔｈの場合は、Ｒ、Ｇ、Ｂの３つの色要素のうち、Ｒのノイズ成分の伝搬が抑制されるように構成された第３の変換式を選択するように、設定されていることが好ましい。
ここで、上記第２の変換式および上記第３の変換式の一般式が下式（Ｂ）で表されるように設定することが好ましい。

………（４）
ただし、Yr + Yg + Yb = 1 であり、 C1r + C1g + C1b = 0 であり、
C2r + C2g + C2b = 0である。

また、Ｒ、Ｇ、Ｂのうち１つの成分に対応する係数が全て0 （Yr=C1r=0、またはYb=C1b=0、またはYg=C1g=0）である。
また、この場合において、
第１の変換式が、下式（５）であり、
第２の変換式が、下式（６）であり、
第３の変換式が、下式（７）である、ことが好ましい。

………（５）

………（６）

………（７）

ところで、第２の色空間としてYCoCgの色空間を採用した場合には、自然画像の色相関
が満足されており、変換時の丸め誤差を抑制する設計となっているので、符号化効率が向上し、第１の色空間における原信号の特徴を保持することが容易である。また、加算器とビットシフタのみで実装することが可能であるから、装置の製作が容易という利点も有する。
しかしながら、一部の画像、例えば、屋外において太陽光によって照明された風景を撮影したような画像（例えば、頻繁に評価画像のサンプルとして用いられる、ある風景画像（Expressway））においては、特定成分のS/Nが大幅に低下し、色相関が保たれなくなる
ため、符号化後の画質が極端に劣化する傾向があり、改善すべき問題とされていた。

このことを、図２（ａ）、（ｂ）、（ｃ）に示すグラフにより説明する。なお、グラフの縦軸のPSNR(Peak signal-to-noise ratio)は、ピーク比のS/Nを示すものである（本願
明細書および図に示す他のPSNRにおいて同じ）。
すなわち、図２（ａ）、（ｂ）、（ｃ）に示すグラフは、いずれも各画像を色空間YCoCgにおいて4:4:4圧縮（JPEG 4:4:4圧縮）をした場合のPSNRの変化を示すものであり、その画像が、（ａ）はＩＴＥ評価画像（Books）、（ｂ）は室内の理想的な照明下における自
然画像、（ｃ）は屋外における理想的ではない太陽光照明下における自然画像（Expressway））である。

このグラフは、通常、テレビ、ビデオ画像信号のJPEG圧縮等に使用される色空間YCbCr
で行った場合と比較して、PSNRが改善されているか、あるいは劣化しているかを判定するものであるが、画像（ａ）、（ｂ）がYCbCrに対して改善されているのに対して、画像（
ｃ）はYCbCrに対して大幅に劣化していることが明らかである。

したがって、YCoCgは、上記（ａ）、（ｂ）等の画像に対しては有効であるが、上記（
ｃ）等の画像に対しては有効ではないことが理解できる。
このことは、YCoCgの色空間への変換は、評価画像（理想的な照明下での被写体）を元
に設計された変換式（上述した式（５））を用いており、実際の撮影においては、光源条件によっては特定成分（多くの場合はＢ成分であるが、Ｒ成分の場合もある）のS/Nが劣
化する場合があることが要因になっており、各成分のノイズ（例えばＢ成分のノイズＢｎ）が変換後の全成分に伝搬することが要因となっている。
このことを、下式（８）を用いて説明する。

………（８）
なお、色空間を復元するときに用いる逆変換式を下式（９）に示す。

………（９）
なお、上式（８）において、Ｂ_ＳはＢの信号成分、Ｂ_ｎはＢのノイズ成分を示すものであるが、Ｂの輝度成分Ｙ、色差成分Ｃｇおよび色差成分Ｃｏのいずれにも、このノイズ成分Ｂ_ｎが、各々１/４、−１/２、−１/４を乗じた状態で伝搬してしまう。
すなわち、色差成分Ｃｇのみならず、輝度成分Ｙや色差成分Ｃｏも冗長な高周波成分が伝搬してしまう。
そこで、本実施形態においては、Ｂのノイズ成分が大きいときには、下式（１０）に示す変換式を用いて、第２の色空間YC_１C_２に変換するようにしている。

………（１０）
このYC_１C_２変換式（１０）は、上記YCoCg変換式の特徴を保持するように、すなわち、丸め誤差が抑制され、実装の容易さが担保されるように設定された上で、Ｂ成分のノイズが輝度信号Ｙおよび色差信号Ｃ_１に伝搬しないように設定されている。

すなわち、上式（１０）から明らかなように、輝度成分Ｙにおいて、Ｂ成分（Ｂ_Ｓ成分およびＢ_ｎ成分のいずれも）の係数は０であるから、Ｂ成分と輝度成分Ｙ（＝Ｒ＋Ｇ）の相関が排除されることになる。これにより、Ｂ_ｎ成分は色差成分Ｃ_２に集中し、輝度成分Ｙと色差成分Ｃ_１に伝搬されず、輝度成分Ｙと色差成分Ｃ_１は、Ｒ成分およびＧ成分のみから生成されることになる。
なお、上式（１０）により変換された色空間を復元するときに用いられる逆変換式を下式（１１）に示す。

………（１１）

また、図３（ａ）、（ｂ）、（ｃ）に示すグラフは、上述した図２（ａ）、（ｂ）、（ｃ）に示すグラフと同様に、いずれも上記変換式（１０）を用いて変換された色空間YC_１C_２の画像において4:4:4圧縮（JPEG 4:4:4圧縮）をした場合のPSNRの変化を示すものであり、その画像が、（ａ）はＩＴＥ評価画像（Books）、（ｂ）は室内の理想的な照明下に
おける自然画像、（ｃ）は屋外における理想的ではない太陽光照明下における自然画像（Expressway））である。

このグラフは、色空間YCbCr で行った場合と比較して、PSNRが改善されているか、あるいは劣化しているかを判定するものであるが、画像（ａ）、（ｂ）においては本実施形態のもの（Proposed）が色空間YCbCrや色空間YCoCg に対して劣化しているものの、画像（
ｃ）においては本実施形態のもの（Proposed）が色空間YCbCrや色空間YCoCgに対して大幅に改善されていることが明らかである。
このように、Ｂのノイズ成分が大きいときには、上記変換式（１０）を用いて、第２の色空間YC_１C_２に変換することが有効であることが明らかである。

一方、本実施形態においては、Ｒのノイズ成分が大きいときには、下式（１２）に示す変換式を用いて、第２の色空間YC_１C_２に変換するようにしている。

………（１２）
このYC_１C_２変換式（１２）は、上記色空間YCoCg変換式の特徴を保持するように、すなわち、丸め誤差が抑制され、実装の容易さが担保されるように設定された上で、Ｒ成分のノイズが輝度信号Ｙおよび色差信号Ｃ_１に伝搬しないように設定されている。

すなわち、上式（１２）から明らかなように、輝度成分Ｙにおいて、Ｒ成分（Ｒ_Ｓ成分およびＲ_ｎ成分のいずれも）の係数は０であるから、Ｂ成分と輝度成分Ｙ（＝Ｂ＋Ｇ）の相関が排除されることになる。これにより、Ｒ_ｎ成分は色差成分Ｃ_２に集中し、輝度成分Ｙと色差成分Ｃ_１に伝搬されず、輝度成分Ｙと色差成分Ｃ_１は、Ｂ成分およびＧ成分のみから生成される。
なお、上式（１２）により変換された色空間を復元するときに用いられる逆変換式を下式（１３）に示す。

………（１３）

このように、Ｂのノイズ成分が大きいときに上記変換式（１０）を用いて第２の色空間YC_１C_２に変換することが有効であるのと同様に、Ｒのノイズ成分が大きいときには上記
変換式（１２）を用いて第２の色空間YC_１C_２に変換することが有効である。

図４は、本実施形態に係る符号化装置において、色空間変換式の選択を行う手法を示す概略図である。
図４に示すように、第１の色空間により定義されるRGB 4:4:4の原画像100から２つの色差成分(R-G成分 ,B-G成分)を生成し、このうちＲの分散値からＧの分散値を引いた値の総和Ａ_Ｒ−Ｇと、Ｂの分散値からＧの分散値を引いた値の総和Ａ_Ｂ−Ｇとを得る。Ａ_Ｒ−Ｇの測定演算はＡ_Ｒ−Ｇ測定演算手段１０２により、また、Ａ_Ｂ−Ｇの測定演算はＡ_Ｂ−Ｇ測定演算手段１０１により得る。

なお、Ａ_Ｒ−Ｇの測定演算およびＡ_Ｂ−Ｇの測定演算においては、Ｒ，Ｇ，Ｂ３色の各色成分について、符号ブロック（例えば８×８画素）毎の分散を積分することにより得ることになる。換言すれば、上記Ａ_Ｒ−Ｇは、Ｒのノイズ成分の大きさを示唆する表示値ということになり、上記Ａ_Ｂ−Ｇは、Ｂのノイズ成分の大きさを示唆する表示値ということになる。
この後、上記測定演算により得られた上記Ａ_Ｒ−ＧおよびＡ_Ｂ−Ｇを用いて、下式（１４）により計算される被判定値αを得る。

上式（１４）においては、Ｒのノイズ成分が大きくなり過ぎると、Ａ_Ｒ−Ｇ−Ａ_Ｂ−Ｇの値は絶対値の大きな正の値となるので、被判定値αも絶対値の大きな正の値となる。一方、Ｂのノイズ成分が大きくなり過ぎると、Ａ_Ｒ−Ｇ−Ａ_Ｂ−Ｇの値は絶対値の大きな負の値となるので、被判定値αも絶対値の大きな負の値となる。

前述したように、Ｂのノイズ成分が大きいときには、上記変換式（１０）を用いて第２の色空間に変換することが有効であり、Ｒのノイズ成分が大きいときには上記変換式（１２）を用いて第２の色空間に変換することが有効であるという結論が得られているので、被判定値αが絶対値の大きな正の値となったときには上述した変換式（１２）を用いて第２の色空間への変換処理を行ない、一方、被判定値αが絶対値の大きな負の値となったときには上述した、変換式（１０）を用いて第２の色空間への変換処理を行なえばよいことになる。

なお、被判定値αの絶対値が小さいときには、第２の色空間であるYCoCgに変換する、
上述した変換式（８）を用いて変換処理を行なえばよいことになる。
このような判断に基づき、本実施形態の符号化装置に関しては、色空間判定手段１０３において、経験則により得られた判定閾値Ａ_ｔｈを設定し、被判定値αと判定閾値Ａ_ｔｈの大小関係によって、第１の色空間から第２の色空間への変換処理を行なうための変換式
を、上式（８）、上式（１０）および上式（１２）のいずれにするかを選択するようになっている。

すなわち、｜α｜＜Ａ_ｔｈの場合は、YCoCgの色空間に変換するための上式（８）を選
択し、α≦−Ａ_ｔｈの場合は、Ｂのノイズ成分の伝搬が抑制されるように構成された上式（１０）を選択し、α≧Ａ_ｔｈの場合は、Ｒのノイズ成分の伝搬が抑制されるように構成された上式（１２）を選択するように設定されている。
これにより、種々のノイズ態様の画像のいずれについても、符号化効率が良好な第２の色空間を構築することができ、この後、第１の色空間の画像信号に復元したときにも、画質が良好なものとすることができる。

下表１は、上述した本実施形態手法を用いて色空間変換式を選択する際の判定手法および画像品質の良否を示すものである。
ここで、表１中、コンテンツＡはITE評価画像として知られている“Books”の画像であり、コンテンツＢはITE評価画像として知られている“Stained glass”の画像であり、コンテンツＣは前述した“Expressway”の画像であり、コンテンツＤは畑の風景画像を示すものである。

なお、ここでは、判定閾値Ａ_ｔｈは、0.3に設定されている。
上述したコンテンツＡ、Ｂについては、いずれも被判定値αの絶対値が0.3よりも小さ
いので、色空間YCoCgが第２の色空間として選択される（変換式（８）が用いられる）。
この場合のBD-PSNRは、各々+0.35、+0.38と良好である。

また、コンテンツＣ、Ｄについては、いずれも-0.3（-Ａ_ｔｈ）よりも小さいので、変
換式（１０）が選択され第２の色空間YC_１C_２への変換がなされる。この場合のBD-PSNRは、各々+0.60、+0.93と良好である。

なお、本発明の撮像装置としては上記実施形態のものに限られるものではなく、その他
の種々の態様のものに変更が可能である。
例えば、被判定値の決定手法としては上記実施形態のものに限られるものではなく、Ｒのノイズ成分やBのノイズ成分の大きさを反映しうる種々の被判定値を設定することがで
きる。また、上記実施形態においては記載されていないが、Ｇのノイズ成分を考慮した被判定値を設定するようにしてもよい。

また、判定閾値としては、経験則に基づき、あるいは科学的根拠に基づいて得られる種々の値を適宜、設定することができる。
また、上記変換式についても、上述した３種のタイプのものに限られず、被判定値と判定閾値の大小関係によって、２種のタイプ、あるいは４種以上のタイプから選択できるようにしてもよい。

また、YCoCgの色変換式に替えて他の変換式を用いることも可能であり、例えば参考文
献１（「JPEG, JPEG-LS 及びJPEG XR における色変換の効果」：加治佐 清：鹿児島工業
高等専門学校研究報告 47（2012）17〜25）の「2.2 JPEG-LS」の項に記載された変換式を用いることも可能である。
また、ノイズ判定の具体例としても実施形態のものに限られるものではなく、例えば参考文献２（「ディジタルスチルカメラ用画像符号化方式」：佐々木 実等：テレビジョン
学会誌Vol．46， No．3， pp．300〜307 （1992 ））の「4.3（2） アクティビティ」の項に記載されたアクティビティをノイズ判定に用いることが可能である。

なお、上記符号化装置および復号化装置を１セットとして、処理を複数セット繰り返して行うようにすることもできる。

10 符号化装置
11 被判定値演算手段
12 変換式選択手段
13 色空間変換手段
14 符号化信号生成手段
20 復号化装置
21 復号化信号生成手段
22 色空間逆変換手段
30 符号化・復号化装置
100 R,G,B 4:4:4の原画像
101 Ａ_Ｒ−Ｇ測定演算手段
102 Ａ_Ｂ−Ｇ測定演算手段
103 色空間判定手段

Claims (8)

1. 複数の色要素信号が形成する第１の色空間を第２の色空間に変換して圧縮処理を行う符号化装置であって、
   前記第１の色空間の複数の色要素信号により形成された画像から、２つの色差成分を生成し、これら２つの色差成分に所定の演算を施してノイズ成分の種類と大きさに基づく被判定値αを求める被判定値演算手段と、
   求められた前記被判定値αを所定の判定閾値と比較し、その比較結果に基づいて、色空間変換に用いる変換式を選択する変換式選択手段と、
   選択された変換式を用い、前記第１の色空間の信号成分を前記第２の色空間の信号成分に変換する色空間変換手段と、
   変換した第２の色空間の信号成分について、所定の符号化技術を用い、4:4:4のデータ
   圧縮を行って符号化信号を生成する符号化信号生成手段と、
   を備えたことを特徴とする符号化装置。
2. 前記第１の色空間から得られた画像がR,G,B 4:4:4の画像であり、前記２つの色差成分
   がR-GおよびB-Gの２つの色差成分であることを特徴とする請求項１記載の符号化装置。
3. 前記色差成分R-Gの指標は、色要素信号Ｒの所定ブロック毎の分散値と色要素信号Ｇの
   所定ブロック毎の分散値との差の総和であるＡ_Ｒ−Ｇで表され、前記色差成分B-Gの指標
   は、色要素信号Ｂの所定ブロック毎の分散値と色要素信号Ｇの所定ブロック毎の分散値との差の総和であるＡ_Ｂ−Ｇで表され、
   前記被判定値αは、下式（Ａ）で表され、
   この被判定値αの値と所定の判定閾値Ａ_ｔｈとを比較し、その比較結果に基づいて、前記第１の色空間の信号成分を前記第２の色空間の信号成分に変換する変換式を選択することを特徴とする請求項１または２記載の符号化装置。
4. 前記被判定値αと前記判定閾値Ａ_ｔｈとの比較結果において、
   ｜α｜＜Ａ_ｔｈの場合は、YCoCgの色空間に変換するための第１の変換式を選択し、
   α≦−Ａ_ｔｈの場合は、Ｒ、Ｇ、Ｂの３つの色要素のうち、Ｂのノイズ成分の伝搬が抑制されるように構成された第２の変換式を選択し、
   α≧Ａ_ｔｈの場合は、Ｒ、Ｇ、Ｂの３つの色要素のうち、Ｒのノイズ成分の伝搬が抑制されるように構成された第３の変換式を選択するように、設定されていることを特徴とする請求項３記載の符号化装置。
5. 前記第２の変換式および前記第３の変換式の一般式が下式（Ｂ）で表されることを特徴とする請求項４記載の符号化装置。
   
   ………（Ｂ）
   ただし、Yr + Yg + Yb = 1 であり、 C1r + C1g + C1b = 0 であり、
   C2r + C2g + C2b = 0である。
   また、Ｒ、Ｇ、Ｂのうち１つの成分に対応する係数が全て0 （Yr=C1r=0、またはYb=C1b
   =0、またはYg=C1g=0）である。
6. 前記第１の変換式が、下式（Ｃ）で表され、
   前記第２の変換式が、下式（Ｄ）で表され、
   前記第３の変換式が、下式（Ｅ）で表される、ことを特徴とする請求項５記載の符号化装置。
   
   ………（Ｃ）
   
   ………（Ｄ）
   
   ………（Ｅ）
7. 請求項１〜６のうちいずれか１項記載の符号化装置から、前記符号化信号と、この符号化信号に付随する、前記符号化装置において選択された変換式の情報を取得し、取得された該符号化信号および該変換式の情報に基づき、第１の色空間を第２の色空間に変換して圧縮処理された信号を復号化する復号化装置であって、
   データ圧縮された符号化信号を復号化して復号化信号を得る復号化信号生成手段と、
   得られた該復号化信号に対し逆変換式を用いて逆変換して、前記第１の色空間の信号成分を得る色空間逆変換手段と、
   を備えたことを特徴とする復号化装置。
8. 複数の色要素信号が形成する第１の色空間を第２の色空間に変換して圧縮処理を行う符号化装置であって、
   前記第１の色空間の複数の色要素信号により形成された画像から、２つの色差成分を生成し、これら２つの色差成分に所定の演算を施してノイズ成分の種類と大きさに基づく被判定値αを求める被判定値演算手段と、
   求められた前記被判定値αを所定の判定閾値と比較し、その比較結果に基づいて、色空間変換に用いる変換式を選択する変換式選択手段と、
   選択された変換式を用い、前記第１の色空間の信号成分を前記第２の色空間の信号成分に変換する色空間変換手段と、
   変換した第２の色空間の信号成分について、所定の符号化技術を用いて4:4:4のデータ
   圧縮を行って符号化信号を生成する符号化信号生成手段と、
   データ圧縮された符号化信号を復号化して復号化信号を得る復号化信号生成手段と、
   得られた該復号化信号に対し、逆変換式を用いて逆変換して、前記第１の色空間の信号成分を復元する色空間逆変換手段と、
   を備えたことを特徴とする符号化・復号化装置。