JP4350746B2 - 圧縮装置及びその方法 - Google Patents

Description

本発明は、色変換テーブルを用いて色変換を行う信号処理システムに用いて有益な圧縮装置及びその方法に関するものである。

従来、カメラ等で撮影された色信号に対して色変換を行う方法としてマトリクス演算を用いた方法やルックアップテーブル(以下、ＬＵＴと記す)を用いた方法がある。ＬＵＴを用いた一般的な色変換としては、例えば、特許文献１に開示されているものがある。また、特許文献２乃至８には以下のような色変換や圧縮技術が開示されている。

特許文献２には、ＬＵＴ圧縮方式として、例えばＬＺ（Lempel-Ziv）方式等の任意の圧縮方式を適用可能とした技術が開示されている。
特許文献３には、プロファイル情報をデータ圧縮する圧縮手段、プロファイルを構成するデータを一次元データ列にエントロピ符号化する圧縮手段、差分符号化を行った後、エントロピ符号化を行う技術が開示されている。
特許文献４には、輝度情報を濃度情報に変換する１次元ＬＵＴを用いることによりＬＵＴ容量増加を防止する技術が開示されている。
特許文献５には、テーブルデータの変化率が小さい方向の順にデータを並び替え、差分値を求め圧縮する技術が開示されている。

特開平７-１０７３０９（第６−７頁、第１図） 特開２００２-６４７１６（第６、８頁、第２図） 特開平１１-１７９７１（第５、６頁、第４図） 特開２００３-１１０８６５（第９、１０頁、第１図） 特開２００２-２０９１１４（第１０，１１頁、第１図）

しかしながら、ＬＵＴを用いた方法では、色変換精度を高めようとすると、ＬＵＴのメモリ量が膨大になってしまうという問題点があり、上記従来の技術では充分なメモリ量圧縮が実現されていない。

本発明はこのような課題に鑑みてなされたものであり、ＬＵＴの特定色における色変換精度をある程度保持したまま、メモリ量を大幅に削減する圧縮装置及びその方法を提案するものである。

前述の課題を解決するため、本発明による圧縮装置及びその方法は、次のような特徴的な構成を採用している。

（１）Ｍ種類（Ｍは２以上の整数）の色信号成分からなる入力色信号の各々に対応する色変換を行うルックアップテーブルの圧縮処理を行う圧縮装置において、
前記入力色信号に対応する前記色変換を関数群で表し、前記入力色信号のうち１つを除く他の入力色信号を固定し１変数関数群を算出する変数固定部と、
前記変数固定部で算出した前記１変数関数群に対して主成分分析を行い、基底関数を算出する主成分分析部と、
前記１変数関数群の平均信号を算出する平均信号算出部と、
前記１変数関数群と前記平均信号と前記基底関数とを用いて係数信号を算出する係数信号算出部と、
前記係数信号を格納する格納部と、
前記格納部に格納されている係数を変数固定部に送出する制御部と、
を備えて成る圧縮装置。
（２）前記入力色信号内に含まれる特定の色信号成分に対して重み付けを行う上記（１）の圧縮装置。
（３）前記特定の色信号成分の色は、肌色、緑色又は空色である上記（２）の圧縮装置。
（４）前記主成分分析部における主成分分析は、前記関数群の平均値と前記係数信号が乗算された前記基底関数の累積和との加算値と、前記関数群との二乗誤差が最小となる前記基底関数を求める上記（１）の圧縮装置。
（５）前記主成分分析部における前記基底関数の基底の本数は任意に定められる上記（１）の圧縮装置。
（６）前記主成分分析部における前記基底関数の基底の本数は任意に定められる上記（２）の圧縮装置。
（７）前記主成分分析部における前記係数は、前記１変数関数群と前記基底関数に基づいて求められる上記（１）の圧縮装置。
（８）前記入力色信号の色空間を他の色空間に変換する変換部を有する上記（１）の圧縮装置。
（９）前記入力色信号の色空間を他の色空間に変換する変換部を有する上記（２）の圧縮装置。
（１０）前記変数関数群の所定の変数に対して所定の重み関数を乗ずる重み関数乗算部を有する上記（１）の圧縮装置。
（１１）前記変数関数群の所定の変数に対して所定の重み関数を乗ずる重み関数乗算部を有する上記（２）の圧縮装置。
（１２）Ｍ種類（Ｍは２以上の整数）の色信号成分からなる入力色信号の各々に対応する色変換を行うルックアップテーブルの圧縮処理を行う圧縮方法において、
前記入力色信号に対応する前記色変換を関数群で表し、前記入力色信号のうち１つを除く他の入力色信号を固定し１変換関数群を算出し、
前記１変数関数群に対して主成分分析を実行し基底関数を算出し、
前記１変数関数群の平均信号を算出し、
前記１変数関数群と前記平均信号と前記基底関数とを用いて係数を算出し、
前記係数に基づいて前記主成分分析を実行する圧縮方法。
（１３）前記入力色信号のうち特定の色信号成分に対して重み付けを行う上記（１２）の圧縮方法。
（１４）前記特定の色信号成分の色は、肌色、緑色又は空色である上記（１３）の圧縮方法。
（１５）前記特定の色信号成分の色は、画像の統計的処理によって最も頻度が高い色である上記（１３）の圧縮方法。
（１６）前記主成分分析は、前記関数群の平均値と前記係数信号が乗算された前記基底関数の累積和との加算値と、前記関数群との二乗誤差が最小となる前記基底関数を求める上記（１２）の圧縮方法。
（１７）前記主成分分析における前記基底関数の基底の本数は任意に定められる上記（１２）の圧縮方法。
（１８）前記主成分分析における前記基底係数の基底の本数は任意に定められる上記（１３）の圧縮方法。
（１９）前記主成分分析における前記係数は、前記１変数関数群と前記基底関数に基づいて求められる上記（１２）の圧縮方法。
（２０）前記入力色信号の色空間を他の色空間に変換する上記（１２）の圧縮方法。
（２１）前記入力色信号の色空間を他の色空間に変換する上記（１３）の圧縮方法。
（２２）前記変数関数群の所定の変数に対して所定の重み関数を乗ずる上記（１２）の圧縮方法。
（２３）前記変数関数群の所定の変数に対して所定の重み関数を乗ずる上記（１３）の圧縮方法。

本発明によれば、以下のような顕著な効果が得られる。すなわち、主成分分析を用いてＬＵＴを圧縮処理しているため、データ量が少なくなり低コスト化できる。また、特定色に関して重み付けを行い、重み付け主成分分析を用いてＬＵＴを圧縮処理しているため、特定色に関する精度が高くなる。圧縮処理後の基底数を変更し、その基底数を任意に変更することができるように構成しているため、必要な基底数だけを転送することができ、データ量が少なくなり低コスト化できる。ＬＵＴの入力色空間を変換し、圧縮を行っているため、圧縮率を高めることができ、あるいは色差を考慮した圧縮が行える。重み付け主成分分析の代わりに１変数関数群に重み関数をかけ、そのデータに対して主成分分析を行っているため処理が簡単に行える。１変数関数群に対して評価値を算出し、その評価値を最小化する基底関数を求めており、評価値に基づいた基底関数を導出することができる。平均２乗誤差に重みを加えたものを評価値としているため、特定色における誤差を小さくすることができる。上記特定色を肌色、緑、空とし重み付け主成分分析を行っており、人間の記憶色を精度良く圧縮できる。画像中の色情報に対して統計的処理を行い、最も頻度が高い色を特定色としているため、画像全体を精度良く圧縮できる。

以下、本発明による圧縮装置及びその方法の好適実施例の構成及び動作を、添付図面を参照して詳細に説明する。

第１図は、本発明の第１の実施例の構成を示すブロック図である。なお、以下のブロック図においては、太線は映像信号を、細線は制御信号を、破線はその他のデータをそれぞれ示す。

変数固定部１１は、制御部４０の制御に基づき、読み込み部３０により読み込まれたＬＵＴに対し、入力色信号の１変数を除く他の変数を固定し、１変数の関数群として算出する。平均信号算出部１２は、制御部４０の制御に基づき、変数固定部１１から転送された関数群の平均を算出する。算出された平均信号は、格納部２０中の平均信号格納部２１へ転送される。

重み付け主成分分析部１３は、後述する処理に従って、制御部４０の制御に基づいて変数固定部１１から転送された関数群に対して重み付け主成分分析を行い、基底信号を求める。求められた基底信号は、格納部２０中の基底信号格納部２２に格納される。

係数信号算出部１４は、制御部４０の制御に基づき変数固定部１１から転送された関数群と平均信号算出部１２から転送された平均信号と重み付け主成分分析部１３から転送された基底信号を用いて係数信号を算出する。算出された係数信号は、格納部２０中の係数信号算出部２３へ転送される。制御部４０の制御に基づき格納部２０中の係数信号格納部２３における係数信号は変数固定部１１に転送され、上述処理が繰り返される。

以下、上記構成の動作及び理論的根拠について詳細に説明する。
先ず、ＬＵＴをrgb信号からL^＊a^＊b^＊信号へ変換を行うテーブルと仮定する。ＬＵＴを用いた色変換を第(１)式のような関数として考える。

ここで、f(r,g,b)は入力色信号であるrgb信号に対するベクトル関数を表し、u
= (L^＊,a^＊,b^＊)は各要素がそれぞれ出力色信号であるL^＊a^＊b^＊信号のベクトルを表す。rgb信号がそれぞれN_r,N_g,N_b個に離散化されているとすると、L^＊a^＊b^＊信号はそれぞれN_r×N_g×N_b個の出力値となる。第(１)式の要素を行列表示すると、

となる。

ここで、f_L*(r,g,b),
f_a*(r,g,b), f_b*(r,g,b)はそれぞれL^＊a^＊b^＊信号に対するrgbの関数を表す。ここではrgb、L^＊a^＊b^＊の信号について説明しているが、当然、用いる色信号は何でもよく、入力色信号にYCbCr、出力色信号にL^＊u^＊v^＊を用いてもよく、また、その逆でもよい。以下の説明では、f_i*(r,g,b)(i=
L^＊,a^＊,b^＊)を添え字iを省いて一般化したf(r,g,b)として説明を行う。

先ず、f(r,g,b)に対して、変数固定部１１を用いて、ある２変数を固定して１変数の関数とする。例えば、rgを固定した場合、f_r,g(b)と表し、各rgに対するbの関数と考える。次に、f_r,g(b)で表される関数群に対して重み付け主成分分析部１３を用いて重み付け主成分分析を行い、基底関数を求める。この基底関数は係数信号算出部１４へ転送される。

次に、主成分分析及び重み付け主成分分析の概念について説明する。関数群f_r,g(b)の要素bはN_b個に離散化されており、関数群f_r,g(b)を第２図に示すようなN_b次元空間内のベクトルと考える。r信号及びg信号がとりうる値の数だけ関数群は存在することになるため、この場合関数群はN_r×N_ｇ個存在することになる。主成分分析はデータの統計的性質に基づいて、このN_b次元空間内の軸、すなわち基底の変換を行う。主成分分析の考えを用いれば、少ない基底数でf_r,g(b)を近似することができる。

上記の主成分分析は、関数群と近似した関数群の平均２乗誤差を評価関数とし、その評価関数を最小化するように基底関数を求めることである。しかしながら、特定色についてのみの誤差を小さくしたいとき、上記の主成分分析の方法では不十分である。そこで、平均２乗誤差に対して特定色の誤差の寄与を大きくする重みを加えた評価関数を用いる事で上記の問題が解決できる。

第３図において、関数群の次元を２次元とし、関数群を点で表すと、主成分軸で近似された関数群ともとの関数群との誤差はe₁のような直線で表される。重み付けはこの誤差に関してw₁×e₁のように重みをかけることを意味する。

次に、係数信号は、rgの関数であるため、上記の方法と同様に多次元空間上のベクトルと考え、重み付け主成分分析を行い、係数信号に対する基底関数を求める。ある１つの出力信号、例えば、出力信号L*に対するＬＵＴのデータ数はN_r×N_ｇ×N_b個であるが、上記に示す方法によって基底関数を求め、関数群に対する基底数をn個、係数信号に対する基底信号をm個用いることによって、データ数をN_r×m×n個にすることができる。基底関数を何本用いるかによって、元のＬＵＴに対する誤差が変化する。基底関数の本数は、任意に決定することができるが、基底関数がどれだけもとの情報を表しているかは上記の重み付け主成分分析を行う際に算出される固有値の大きさによって決まるので、この固有値の値によって基底関数の本数を決めてもよい。

なお、ここでは、rgを固定した関数f_r,g(b)から圧縮を始めているが、例えばrbを固定した関数f_r,b(g)を用いて圧縮を始めてもよく、上記で述べた方法と同様に圧縮処理が行える。また、上記の場合は係数信号格納部２３にある係数信号を圧縮部１０に１回再転送しているが、この再転送の回数は入力色信号がM種類の場合、N(O≦N≦M-2)回となり、例えば、入力色信号の種類が３種類の場合、再転送する回数は０回または１回のいずれかとなる。また、複数のＬＵＴ、例えば、ＬＵＴ１とＬＵＴ２が存在する場合でも、上記の方法と全く同様にそれぞれのＬＵＴに対応する関数群f¹ _r,g(b)、f² _r,g(b)を求め、それらの関数群をまとめて主成分分析を用いて圧縮を行うことができる。ＬＵＴの数は当然何個でもよい。

より詳細に説明すると、第２図で表されているベクトルをf_r,g=[f_r,g(b₁),f_r,g(b₂),…,f_r,g(b_Nb)]¹で表す。[
]^tはベクトルや行列の転置を表す。r信号およびg信号がとりうる値の数だけf_r,gは存在することになるため、この場合関数群f_r,gはNr×Ng個存在することになる。

この関数群の情報量圧縮のため、f_r,gの次元数を削減することを考える。関数群f_r,gをn 個(n≦Nb)の基底関数e_i(i=1〜n)で近似するとし、近似された関数群を（３）で表す。

f_r,gを係数a_iを用いて次式のように表わす。

ここで、

は関数群f_r,gの平均を表す。

主成分分析は、以下の評価関数が最小となるような基底関数e_iを求めることによって行われる。

ここで、記号‖ ‖はノルムを表す。詳細は省略するが、第(６)式を最小にする基底関数e_iは以下の散布行列S

の固有ベクトルとなることが分かっている。すなわち、

である。

ここで、λ_iは固有ベクトルすなわち基底関数e_iに対する固有値である。（４）式より、主成分分析の考えを用いれば、少ない次元数nで関数群f_r,gを表現することができる。

上記の主成分分析の考え方は、第(６)式から明らかなように、平均２乗誤差が最小の意味で関数群f_r,gを近似する基底関数e_iを求めることになる。しかしながら、特定色についてのみ誤差を小さくし、その他の色についてはそれほど誤差を考慮しなくてもよいとき、第(６)式の評価関数では不十分である。そこで、以下に示す対角行列である重み行列ｗを考える。

w_i=1(i=1,2,・・・,n)のときは全て均等な重みとなり、通常の主成分分析と同等となる。

また、所望の特定色がb信号のb₁(ビーエル)〜b₀(ビーオー)の範囲にあるとき、w₁(ダブリュエル)〜w₀(ダブリュオー)を１、それ以外を０とすると、元のLUTと圧縮したLUTの２乗誤差を特定色の範囲においてのみ最小とする主成分分析となる。ここで、ｌ（エル）、ｏ（オー）は夫々１〜ｎの任意の値で、且つｌ（エル）≦ｏ（オー）である。W_iの値を０〜１の範囲で任意に設定すると、特定色と他の色との２乗誤差をコントロールできる主成分分析となる。なお、上記ではW_iの値を０〜１に限っていたが、当然この範囲に限られるものではなく、W_iの値はいくつでもよい。この重み行列を用いることによって、多次元データの任意の要素に重みをつけることが可能となる。

この重み行列wを用いて評価関数を求める。簡単のため、関数群f_r,gを１つの基底関数e₁で近似することを考える。すなわち、

で近似することを考える。重み行列wを用いた評価関数は(６)式から、

となる。

(１１)式の両辺をa_r,gで微分すると、

となる。ただし、C₁=(e₁ ^tWe₁)^-1である。次に最適な基底関数e₁を求める。

(１１)式を変形すると、

となる。

ここで、(１３)式のa_r,g
を第(１４)式に代入すると、

となる。

ここで、e₁ ^tWe₁=1となるようなe₁選ぶと、(１４)式は、

となる。

J_wを最小にするためには、e₁ ^tWSWe₁を最大にすればよい。e₁ ^tWe₁=1のもとで、e₁ ^tWSWe₁を最大にするためには、Lagrangeの未定乗数法により、

とおく。uをe₁で微分すると、

となる。これは固有値問題の形であることは容易にわかる。

したがって、(２２)式を用いることによって、最適な基底関数e₁を求めることが可能となる。また、他の基底関数についても同様に、

とすることによって求める事が可能である。

上記の概念に基づき、重み付け主成分分析を行う。図の信号の流れと対応させると、

は平均信号算出部１２によって算出され、平均信号格納部２１へ転送される。基底関数e_iをn^(n≦Nb)本用いてf_r,g、すなわちf(r,g,b)を近似すると、

となる。

ここで、a(r,g)=［a₁(r,g),・・・,a_n(r,g)］は展開係数を表し、E=［e_1,・・・,e_n］である。基底関数E=［e_1,・・・,e_n］は基底信号格納部２２へ転送される。展開係数a(r,g)は、係数信号算出部１４によって以下のように算出される。

展開係数a(r,g)は、係数信号格納部２３へ転送される。

次に、この展開係数a(r,g)は、変数固定部１１に転送され、圧縮処理が行われる。a(r,g)に対し変数固定部１１を用いて、rを固定し、gの関数a_r(g)=［a_1,r(g),a_2,r(g),・・・,a_n,r(g)］と考える。ここで、A_r=［a_1,r,a_2,r,・・・,a_n,r］、a_i,r=［a_i,r(g₁),a_i,r(g₂),・・・,a_i,r(g_ng)］^t,(i=1,2,・・・,n)とおく。この時点でa_i,rはn×N_r個存在することになる。

係数a_i,rに対しても第２図のように多次元空間上のベクトルと考え、重み付け主成分分析を行い、基底関数d_j=[d_j(g₁),d_j(g₂),
・・・,d_j(g_Ng)]^t,(j=1,2, ・・・,Ng)を求める。基底関数
ｄ_ｊをm(m≦N_g)本用いてa_i,rを近似すると、

となる。

ここで、

はa_i,rを近似したもの、

は平均信号算出部１２から算出されたもの、b_i(r)=[b_i,1(r),b_i,2(r),・・・b_i,m(r)]は係数信号算出部１４から算出された展開係数であり、D=[d₁,d₂,・・・d_m]は基底関数である。

は平均信号格納部２１へ、b_i(r)は係数信号格納部２３へ、Dは基底信号格納部２２へそれぞれ転送される。

(２７)式を用いて、係数行列A_rは次式のように表すことができる。

となる。

最終的にf(r,g,b)を近似したf´(r,g,b)は、

と表すことができる。

ある１つの出力信号、例えば、出力信号L*に対するLUTのデータ数はN_r×N_g×N_b個であるが、上記に示す主成分分析を行うことによって、データ数をN_r×m×n個に圧縮することができる。mおよびnの数、すなわち基底関数を何本用いるかによって、元のLUTに対する誤差が変化する。基底関数の本数は任意に決定することができるが、例えば、基底関数がどれだけもとの情報を表しているかは(２３)式における固有値λ_i大きさによって決まるので、この固有値の値によって基底関数の本数を決めてもよい。

なお、ここでは、r、 g を固定した関数f_r,g(b)から圧縮を始めているが、例えばr、bを固定した関数f_r,b(g)を用いて圧縮を始めてもよく、上記で述べた方法と同様に圧縮処理が行える。また、上記の場合は係数信号格納部２３にある係数信号を圧縮部１０に１回再転送しているが、この再転送の回数は入力色信号がM種類の場合、N(O≦N≦M-2)回となり、例えば、入力色信号の種類が３種類の場合、再転送する回数は０回または１回のいずれかとなる。

また、複数のＬＵＴ、例えば、ＬＵＴ１とＬＵＴ２が存在する場合でも、上記の方法と全く同様にそれぞれのLUTに対応する関数群、f¹ _r,g(b), f² _r,g(b)を求め、それらの関数群をまとめて主成分分析を用いて圧縮を行うことができる。ＬＵＴの数は当然何個でもよい。

第４図は、本発明の第２の実施例の構成を示すブロック図である。第４図において、第１図と同一番号が付されている構成部は同様な機能を有する構成部を示している。

第４図を参照すると、この実施例の圧縮装置は、変数固定部１１、平均信号算出部１２、重み付け主成分分析部１３、係数信号算出部１４及び基底数変更部１５を備え、第１図の構成に基底数変更部１５を追加している点が異なる。

基底数変更部１５は、制御部４０の制御に基づいて、重み付け主成分分析部１３から転送された基底信号の基底の本数を任意に変更する。基底の本数は、ユーザが決定しても良いし、固有値の値から決定しても良い。

第４図に示すような実施例の構成を用いることによって、基底数を任意に変更することができ、かつ必要な基底数だけを転送することができるため、データ量を少なくすることができ低コスト化できる。

上記構成を採用することにより、ＬＵＴを圧縮することが可能となり、保存するＲＯＭ容量が少なくなり低コスト化ができる。また、所望の特定色に対して重み付けを行うことによって、特定色の誤差を小さくすることができるため、効果的な圧縮が行えるようになる。特定色とは肌色、空、緑といった色でもよく、更に、画像中の色情報のヒストグラムを統計的に分類し、ある閾値以上の頻度で出現する色を上記特定色としても良い。また、ある輝度値以下の値を持った色の重みを小さくすることにより、輝度値が高い色での誤差が相対的に小さくなり、効果的な圧縮が可能となる。更に、主成分分析を用いて圧縮を行うため、データに依存した効率的な圧縮も可能となる。また、色差に応じて基底数を変更できるため、使用目的に応じて基底数の変更ができ、効果的な圧縮処理を行うことが可能となる。

第５図は重み付け主成分分析の第２の方法を説明する図であり、データ各々に重みを加える方法である。つまり、関数群の各々に重みを加えて主成分分析を行うものである。この処理はrgの色空間に対して重み付けをするのと同等の効果がある。

第６図は重み付け主成分分析の第３の方法を説明する図であり、関数群f_r,g(b)に対して重み関数w(b)をかけ、主成分分析を行うものである。この処理は重み関数を乗じた関数群に対して通常の主成分分析を行うため、処理が簡単である。

また、上記に示された方法で圧縮を行う際、ＬＵＴの入力色信号を変換することにより、効果的な圧縮が行える。例えば、ＬＵＴの色信号をrgb信号からYCbCr信号へ変換するような変換装置を読み込み部３０の前に配置し、入力色信号を変換したＬＵＴを読み込み部３０へ転送することにより、色差を考慮した圧縮が行える。

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能であることは勿論である。

第７図には、第１の実施例を示す第１図に相当する処理手順のフローチャートが示されている。

第７図を参照すると、先ず、ステップＳ１にてＬＵＴのデータを読み込み、ステップＳ２で、第１図の変数固定部１１に相当するＬＵＴの１変数を除く他の変数を固定する変数固定処理を行う。続いて、ステップＳ３にて第１図の重み付け主成分分析１３に相当する重み付け主成分分析処理を行う。次に、ステップＳ４にて第１図の平均信号算出部１２に相当する平均信号を算出し、ステップＳ５にて第１図の係数信号算出部１４に相当するステップＳ３及びＳ４の処理結果を用いて係数信号を算出する。そして、ステップＳ６にて処理回数がＮ回であるかを判断し、Ｎ回に満たない場合、ステップＳ２を実行するため係数信号を転送し、再び処理が行われる。処理回数がＮ回であった場合、ステップＳ７にて算出された平均信号、基底信号及び係数信号を格納し、処理を終了する。

次に、本発明の他の実施例について第８図を参照しながら説明する。本実施例は、デジタルカメラで撮影した映像データを色変換する出力システムについてのものである。

第８図を参照すると、レンズ系１１０とＣＣＤ１２０を介して撮影された映像は、Ｇａｉｎ増幅やＡ／Ｄ変換及びＡＦ、ＡＥ制御等の処理を行う前処理部１３０を経てデジタル信号に変換される。

前処理部１３０で処理されたデジタル信号はバッファ１４０に記憶される。バッファ１４０から読み出されたデータは、色変換を実行し、同一構成を有する複数の処理部１００（１）、・・・、１００（ｎ）に入力される。例えば、バッファ１４０から読み出されたデータは、処理部１００（１）の切り換え部２００に入力される。

切り換え部２００は、バッファ１４０から読み出されたデータを、色変換部３００及び色変換部４００に切り換え出力する。色変換部３００には、平均信号記憶部３０１、基底信号記憶部３０２及び係数信号記憶部３０３が含まれ、色変換部４００には、平均信号記憶部４０１、基底信号記憶部４０２及び係数信号記憶部４０３が含まれている。

色変換部３００及び色変換部４００で色変換処理されたデータは、エッジ強調やガマットマッピング等の処理を行う信号処理部１５０に送出される。信号処理部１５０で上記処理が施されたデータは、メモリカードなどの出力部１６０に出力される。

処理部１００（１）、・・・、１００（ｎ）は、出力色信号の種類によってその数が変化し、例えば、出力信号がL^*a^*b^*の場合、処理部の数は３個となる。

第８図に示す例では、出力色信号の種類がｎ種類の場合である。マイクロコンピュータ等で構成される制御部１７０は、全体を制御するもので、前処理部１３０、処理部１００（１）、・・・、処理部１００（ｎ）、信号処理部１５０及び出力部１６０に双方向に接続されている。また、電源スイッチ、シャッターボタン、撮影時の各種モードの切り換えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１８０も制御部１７０に双方向に接続されている。

第８図に示す構成における信号の流れを説明する。外部Ｉ／Ｆ部１８０を介してＩＳＯ感度などの撮影条件を設定した後、シャッターボタンを押すと映像信号が取り込まれる。レンズ系１１０、ＣＣＤ１２０を介して撮影された映像信号は、Ｇａｉｎ増幅やＡ／Ｄ変換及びＡＦ、ＡＥ制御等を行う前処理部１３０を経てバッファ１４０へ転送される。バッファに転送される信号はrgb信号だけでなく、YCbCr等でもよいことは勿論である。

バッファ１４０から読み出された色信号は、例えば、処理部１００（１）内の切り換え部２００に転送される。切り換え部２００は、色信号が予め定めた特定色の範囲に含まれているとき、色変換部３００へ色信号を転送する。また、色信号が特定色以外の範囲に含まれているとき、色変換部４００へ色信号を転送する。

処理部１００（１）に含まれる色変換部３００は、平均信号記憶部３０１、基底信号記憶部３０２及び係数信号記憶部３０３の情報を用いて、制御部１７０の制御に基づいて色変換処理を行う。処理部１００（１）に含まれる色変換部４００は、平均信号記憶部４０１、基底信号記憶部４０２及び係数信号記憶部４０３の情報を用いて、制御部１７０の制御に基づいて色変換処理を行う。平均信号記憶部３０１、基底信号記憶部３０２及び係数信号記憶部３０３はＬＵＴに対して特定色の重み付けを行い、主成分分析を行った際に得られた情報を格納しており、平均信号記憶部４０１、基底信号記憶部４０２及び係数信号記憶部４０３はＬＵＴに対して通常の主成分分析を行った際に得られた情報を格納している。色変換部３００及び色変換部４００はそれぞれ映像信号に対して色変換処理を行い、その結果は信号処理部１５０へ転送される。

出力色信号がｎ種類の場合、色変換部３００及び色変換部４００を含んだ処理部の個数はｎ個となる。信号処理部１５０は、制御部１７０の制御に基づいてエッジ強調やガマットマッピング等の処理を行う。処理後の信号は、出力部１６０に転送される。上記処理部１００（１）及び処理部１００（ｎ）における処理は制御部１７０の制御に基づいて同期して実行される。

すなわち、本実施例では所定領域単位で処理が行われ、色変換処理後の映像信号が順次出力部１６０へ転送されることになる。出力部１６０は、転送された映像信号をメモリカードなどへ順次記録保存する。

第９図は第８図における色変換部３００の構成例を示すブロック図である。色変換部３００は、係数信号算出部３１０、色信号切り換え部３１１、基底信号算出部３１２、平均信号算出部３１３、バッファ３１４、バッファ３１５、積和演算部３１６及び積和演算部３１７から成る。色変換部４００の構成も同様であり、図示は省略する。

係数信号算出部３１０は、制御部１７０の制御に基づいて、係数信号記憶部３０３から転送された信号と、切り換え部２００を介して転送されたr信号に基づいて係数信号を算出して積和演算部３１６に出力する。切り換え部２００を介して転送されたg信号及びb信号は色信号切り換え部３１１に転送され、１つの信号、例えばg信号を基底信号算出部３１２及び平均信号算出部３１３に転送する。

基底信号算出部３１２は、基底信号記憶部３０２から転送された信号と、色信号色信号切り換え部３１１から転送された信号に基づいて基底信号を算出する。平均信号算出部３１３は、平均信号記憶部３０１から転送された信号と、色信号切り換え部３１１を介して転送された信号に基づいて平均信号を算出する。算出された基底信号及び平均信号はバッファ３１４に転送され、記憶される。

積和演算部３１６は、係数信号算出部３１０とバッファ３１４から転送された信号を用いて積和演算処理を行い、その結果を積和演算部３１７に転送する。この処理は前掲(２７)式の処理に相当する。

次に、色信号切り換え部３１１は、他の信号、例えばb信号を基底信号算出部３１２及び平均信号算出部３１３に転送する。基底信号算出部３１２及び平均信号算出部３１３は、同様に、基底信号及び平均信号を算出し、バッファ３１５に転送する。積和演算部３１７は、同様に、バッファ３１５及び積和演算部３１６から転送された信号を用いて積和演算処理を行い、その結果を信号処理部１５０に転送する。

ここで、バッファ１４０に含まれる色信号はrgbであるが、他の信号、YCbCr等でもよいことは勿論である。また、係数信号算出部３１０に転送される信号は、どれでもよく、g信号あるいはb信号であってもよい。同様に、色信号切り換え部３１１に転送される色信号もどれでもよい。この場合、色信号切り換え部３１１に転送される色信号は２種類であったが、転送される色信号は何種類でもよく、例えば、色信号切り換え部３１１に転送される色信号が３種類の場合、バッファ３１４や積和演算部３１６の個数は３個となる。ここで述べた色変換部はひとつの出力値に対応しており、例えば出力値がL^*a^*b^*の３種類であった場合、処理部は３つ必要となる。

平均信号記憶部３０１や基底信号記憶部３０２に記憶される平均信号及び基底信号の個数は、平均信号と基底信号の数が同じであればいくつでもよく、圧縮処理が１回行われているならば、平均信号記憶部３０１や基底信号記憶部３０２に記憶される平均信号及び基底信号の個数は１個となる。

次に、本発明の更に他の実施例について第１０図を参照しながら説明する。本実施例は、デジタルカメラで撮影した映像データを色変換して出力システムについてのものであり、一つの処理部１００Ａを備える。

第１０図において、第８図において付与した番号と同一機能を有する構成部を示し、重複する説明は省略する。また、番号にＡを追加した構成は当該番号と同様な機能を有する。

バッファ１４０から出力されたデータは、切り換え部２００Ａで切り換え出力されて色変換部３００Ａと４００Ａに出力される。色変換部３００Ａには、平均信号記憶部３０１Ａ、基底信号記憶部３０２Ａ及び係数信号記憶部３０３Ａが含まれ、色変換部４００Ａには、平均信号記憶部４０１Ａ、基底信号記憶部４０２Ａ及び係数信号記憶部４０３Ａが含まれている。

平均信号記憶部３０１Ａ、基底信号記憶部３０２Ａ、係数信号記憶部３０３Ａ、平均信号記憶部４０１Ａ、基底信号記憶部４０２Ａ及び係数信号記憶部４０３Ａには、色変換後の出力色信号の種類に応じた信号が記憶されている。例えば、出力色信号がL^*a^*b^*であった場合、L^*に対する信号、a^*に対する信号及びb^*に対する信号が記憶されている。その他の信号の流れは第８図と同様であるので、省略する。

第１１図は第１０図における色変換部３００Ａの構成例を示すブロック図である。第１１図において、第９図において示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。なお、色変換部４００Ａの構成も同様でありため、図示は省略する。

係数信号変更部３２９は、制御部１７０の制御に基づいて、係数信号記憶部３０３Ａから転送された係数信号を変更する。例えば、出力値L^*に対する係数信号を出力値a^*に対する係数信号に変更することができる。基底信号変更部３３０は、基底信号記憶部３０２Ａから転送された基底信号を変更する。例えば、出力値L^*に対する基底関数を出力値a^*に対する基底信号に変更する。平均信号変更部３３１は、平均信号記憶部３０１Ａから転送された平均信号を変更する。例えば、出力値L^*に対する平均信号を出力値a^*に対する平均信号に変更する。色変換処理は第９図と同様であるので省略する。

第８図においては出力する色信号の種類に応じて処理部が複数個必要であったが、色変換部３００Ａ及び色変換部４００Ａの処理を用いれば、第１０図のように処理部は１つで済むことになる。

第１２図は本発明の更に他の実施例を示し、第８図における処理部１００（１）等の構成を示す。第８図の構成と同様な機能を有する構成は同一の符号が付され、または符号Ｂが追加されており、重複する説明は省略する。

バッファ１４０から転送されたデータは、処理部１００Ｂ内の切り換え部２００Ｂを介して色変換部３００Ｂと４００Ｂに入力される。

色変換部３００Ｂには、平均信号記憶部３０１Ｂ、基底信号記憶部３０２Ｂ及び係数信号記憶部３０３Ｂが含まれ、色変換部４００Ｂには、平均信号記憶部４０１Ｂ、基底信号記憶部４０２Ｂ及び係数信号記憶部４０３Ｂが含まれている。

平均信号記憶部３０１Ｂ、基底信号記憶部３０２Ｂ、係数信号記憶部３０３Ｂ、平均信号記憶部４０１Ｂ、基底信号記憶部４０２Ｂ及び係数信号記憶部４０３Ｂには、色変換後の出力色信号の種類に応じた信号が記憶されている。

色変換部３００Ｂと色変換部４００Ｂの出力は結合部５００に接続され、後述するような結合処理が実行される。

切り換え部２００Ｂは、第１３図に示すように、色信号が特定色の範囲Ｒ１に含まれているときには、バッファ１４０からの出力色信号を色変換部３００Ｂに転送する。色信号がＲ２の領域に存在するとき、切り換え部６０１は色変換部３００Ｂ及び色変換部４００Ｂの両方に色信号を転送する。色信号がＲ１及びＲ２以外の範囲にあるときには、切り換え部６０１は色変換部４００Ｂに色信号を転送する。

結合部２００Ｂは、色変換部３００Ｂ及び色変換部４００Ｂの片方からのみ色信号が転送されたとき、信号処理部１５０にそのまま色信号を転送する。もし両方から色信号が転送されたならば、結合部５００は、色変換部３００Ｂの色信号と色変換部４００Ｂの色信号に対して結合処理を行うことによって新たな色信号を生成し、信号処理部１５０に生成された信号を転送する。

ここで、第１３図はxy の２次元空間で示されているが、この空間は当然何次元であってもよい。

結合処理の方法としては、例えば以下の方法が考えられる。第１３図において、色変換部３００Ｂで得られる信号を(x₁,y₁)、色変換部４００Ｂで得られる信号を(x₂,y₂)とする。結合処理の結果得られる信号を(x^’,y^’)とすると、結合処理は以下の式で表される。

ただし、Wは重み係数を表し、以下のような関係で与えられる。

W( )に関しては様々な関数が考えられるが、例えば、第１４図のような形が考えられる。これは、第１３図のように色の境界が円で表せるときに極座標表示を用いて１次元で表したものである。ここで、Δrは第１３図におけるΔrに対応している。この処理により、色の境界において変換結果をなめらかにつなぐことができる。
上記構成により、圧縮したＬＵＴを用いて色変換を行うことが可能となるため、保存するＲＯＭ容量が少なくなり低コスト化ができる。また、色変換処理において、平均信号、基底信号及び係数信号を変更することができるので、色変換に用いる演算回路が１つでよく、低コスト化ができる。

また、上記実施例におけるＣＣＤは、原色系の単版ＣＣＤや、補色系の単版ＣＣＤや二板、三板ＣＣＤ等が考えられる。単版ＣＣＤの場合、前処理部１３０には単版三版化の補間処理が含まれる。

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１２０からの信号を未処理のままのＲａｗデータとして、ISO感度情報や画像サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

第１５図は、第１２図に示す第２の実施例について処理手順のフローチャートである。色変換処理に関しては第１２図の処理をフロー化している。ステップＳ１１にてＩＳＯ感度や画像サイズの情報が含まれたヘッダ情報を読み込み、ステップＳ１２にて画像を読み込む。次に、ステップＳ１３の切り換え処理で第１２図の切り換え部２００Ｂに相当する処理を行い、色信号をステップＳ１４の色変換処理１あるいはステップＳ１８の色変換処理２へ転送する。Ｓ１５にて平均信号１を読み込み、ステップＳ１６にて基底信号１を読み込み、ステップＳ１７にて係数信号１を読み込み、ステップＳ１４へ転送する。ステップＳ１４にて画素単位ごとに色変換処理を行う。この処理は第１２図の色変換部３００Ｂの処理に相当する。ステップＳ１９にて平均信号２を読み込み、ステップＳ２０にて基底信号２を読み込み、ステップＳ２１にて係数信号２を読み込み、ステップＳ１８へ転送する。ステップＳ１８にて、画素単位ごとに色変換処理を行う。この処理は色変換部４００Ｂの処理に相当する。ステップＳ２２にて第１２図の結合部５００に相当する処理を行い、ステップＳ２３にて第１２図の信号処理部１５０に相当するエッジ強調やガマットマッピング処理等の信号処理を行う。ステップＳ２４にてすべての画素について処理が行われたかを判断し、行われていない場合、未処理の別の画素に対し、ステップＳ１３から再び処理が行われる。すべての画素において処理が行われた場合、処理を終了する。

以上説明したように、本発明によれば、以下のような顕著な効果を奏することができる。なお、これらの効果はあくまでも例であり、上述実施例を参照すれば、ここに列挙されていない効果を得ることもできることは勿論である。

（１）ＬＵＴを圧縮処理しているため、データ量が少なくなり低コスト化できる。
（２）ＬＵＴを重み付け主成分分析を用いて圧縮し、特定色に関して重み付けを行い、ＬＵＴを圧縮処理しているため、特定色に関する精度が高くなる。
(３)圧縮処理後の基底数を変更し、その基底数を任意に変更することができるように構成しているため、必要な基底数だけを転送することができ、データ量が少なくなり低コスト化できる。
（４）ＬＵＴの入力色空間を変換し、圧縮を行っているため、圧縮率を高めることができ、あるいは色差を考慮した圧縮が行える。
(５)重み付け主成分分析の代わりに１変数関数群に重み関数をかけ、そのデータに対して主成分分析を行っているため、処理が簡単に行える。
(６)１変数関数群に対して評価値を算出し、その評価値を最大化する基底関数を求めており、評価値に基づいた基底関数を導出することができる。
(７)平均２乗誤差に重みを加えたものを評価値としているため、特定色における誤差を小さくすることができる。
(８)上記特定色を肌色、緑、空とし重み付け主成分分析を行っており、人間の記憶色を精度良く圧縮できる。
(９)画像中の色情報に対して統計的処理を行い、最も頻度が高い色を特定色としているため、画像全体を精度良く圧縮できる。
(１０)ある輝度値以下の色における重みを小さくすることにより、人間にとってあまり重要でない、暗い色の精度を落とすことによって、相対的に明るい色での精度が高くなる。
(１１)圧縮されたＬＵＴの情報を用いて色変換を行うため、保存するＲＯＭ容量が小さくなり、低コスト化できる。
(１２)２つの変換部から出力された色信号の結合処理を行って２つの変換部からの変換結果をなめらかにつなぐことができ、違和感のない色再現も行える。

以上、本発明の好適実施例の構成及び動作を詳述した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であること、当業者には容易に理解できよう。

本発明の第１の実施例の構成を示すブロック図である。 多次元空間への投影を説明するための図である。 本発明の実施例における重み付けを説明するための図である。 本発明の第２の実施例の構成を示すブロック図である。 本発明における重み付け主成分分析の第２の方法を説明する図である。 本発明における重み付け主成分分析の第３の方法を説明する図である。 第1図に示す第１の実施例の処理を実行するソフトウェア処理に関するフローチャートである。 本発明の他の実施例を示し、デジタルカメラで撮影した映像データを色変換して出力するシステムの構成図である。 第８図における色変換部３００の構成例を示すブロック図である。 本発明の更に他の実施例を示し、デジタルカメラで撮影した映像データを色変換して出力するシステムの構成図である。 第１０図における色変換部３００Ａの構成例を示すブロック図である。 第８図に示す実施例における処理部１００Ｂの構成ブロック図である。 本発明の実施例における色空間の領域を説明するための図である。 本発明の実施例における重み係数を説明するための図である。 第８図に示す第２の実施例の処理手順を示すフローチャートである。

符号の説明

１１ 変数固定部
１２ 平均信号算出部
１３ 重み付け主成分分析部
１４ 係数信号算出部
１５ 基底数変更部
２０ 格納部
２１ 平均信号格納部
２２ 基底信号格納部
２３ 係数信号算出部
３０ 読み込み部
４０ 制御部
１００（１）・・・１００（ｎ）、１００Ａ、１００Ｂ 処理部
１１０ レンズ系
１２０ ＣＣＤ
１３０ 前処理部
１４０ バッファ
１５０ 信号処理部
１６０ 出力部
１７０ 制御部
１８０ 外部Ｉ／Ｆ部
２００ 切り換え部
３００、３００Ａ、３００Ｂ、４００、４００Ａ、４００Ｂ 色変換部
３０１、３０１Ａ、３０１Ｂ、４０１、４０１Ａ、４０１Ｂ 平均信号記憶部
３０２、３０２Ａ、３０２Ｂ、４０２、４０２Ａ、４０２Ｂ 基底信号記憶部
３０３、３０３Ａ、３０３Ｂ、４０３、４０３Ａ、４０３Ｂ 係数信号記憶部
３１０、３２１ 係数信号算出部
３１１、３２２ 色信号切り換え部
３１２、３２３ 基底信号算出部
３１３、３２４ 平均信号算出部
３１４、３１５、３２５、３２６ バッファ
３１６、３１７、３２７、３２８ 積和演算部
３２９ 係数信号変更部
３３０ 基底信号変更部
３３１ 平均信号変更部
５００ 結合部

Claims (23)

1. Ｍ種類（Ｍは２以上の整数）の色信号成分からなる入力色信号の各々に対応する色変換を行うルックアップテーブルの圧縮処理を行う圧縮装置において、
   前記入力色信号に対応する前記色変換を関数群で表し、前記入力色信号のうち１つを除く他の入力色信号を固定し１変数関数群を算出する変数固定部と、
   前記変数固定部で算出した前記１変数関数群に対して主成分分析を行い、基底関数を算出する主成分分析部と、
   前記１変数関数群の平均信号を算出する平均信号算出部と、
   前記１変数関数群と前記平均信号と前記基底関数とを用いて係数信号を算出する係数信号算出部と、
   前記係数信号を格納する格納部と、
   前記格納部に格納されている係数を変数固定部に送出する制御部と、
   を備えて成ることを特徴とする圧縮装置。
2. 前記入力色信号内に含まれる特定の色信号成分に対して重み付けを行うことを特徴とする請求項１に記載の圧縮装置。
3. 前記特定の色信号成分の色は、肌色、緑色又は空色であることを特徴とする請求項２に記載の圧縮装置。
4. 前記主成分分析部における主成分分析は、前記関数群の平均値と前記係数信号が乗算された前記基底関数の累積和との加算値と、前記関数群との二乗誤差が最小となる前記基底関数を求めることを特徴とする請求項１に記載の圧縮装置。
5. 前記主成分分析部における前記基底関数の基底の本数は任意に定められることを特徴とする請求項１に記載の圧縮装置。
6. 前記主成分分析部における前記基底関数の基底の本数は任意に定められることを特徴とする請求項２に記載の圧縮装置。
7. 前記主成分分析部における前記係数は、前記１変数関数群と前記基底関数に基づいて求められることを特徴とする請求項１に記載の圧縮装置。
8. 前記入力色信号の色空間を他の色空間に変換する変換部を有することを特徴とする請求項１に記載の圧縮装置。
9. 前記入力色信号の色空間を他の色空間に変換する変換部を有することを特徴とする請求項２に記載の圧縮装置。
10. 前記変数関数群の所定の変数に対して所定の重み関数を乗ずる重み関数乗算部を有することを特徴とする請求項１に記載の圧縮装置。
11. 前記変数関数群の所定の変数に対して所定の重み関数を乗ずる重み関数乗算部を有することを特徴とする請求項２に記載の圧縮装置。
12. Ｍ種類（Ｍは２以上の整数）の色信号成分からなる入力色信号の各々に対応する色変換を行うルックアップテーブルの圧縮処理を行う圧縮方法において、
    前記入力色信号に対応する前記色変換を関数群で表し、前記入力色信号のうち１つを除く他の入力色信号を固定し１変換関数群を算出し、
    前記１変数関数群に対して主成分分析を実行し基底関数を算出し、
    前記１変数関数群の平均信号を算出し、
    前記１変数関数群と前記平均信号と前記基底関数とを用いて係数を算出し、
    前記係数に基づいて前記主成分分析を実行する、
    ことを特徴とする圧縮方法。
13. 前記入力色信号のうち特定の色信号成分に対して重み付けを行うことを特徴とする請求項１２に記載の圧縮方法。
14. 前記特定の色信号成分の色は、肌色、緑色又は空色であることを特徴とする請求項１３に記載の圧縮方法。
15. 前記特定の色信号成分の色は、画像の統計的処理によって最も頻度が高い色であることを特徴とする請求項１３に記載の圧縮方法。
16. 前記主成分分析は、前記関数群の平均値と前記係数信号が乗算された前記基底関数の累積和との加算値と、前記関数群との二乗誤差が最小となる前記基底関数を求めることを特徴とする請求項１３に記載の圧縮方法。
17. 前記主成分分析における前記基底関数の基底の本数は任意に定められることを特徴とする請求項１２に記載の圧縮方法。
18. 前記主成分分析における前記基底係数の基底の本数は任意に定められることを特徴とする請求項１３に記載の圧縮方法。
19. 前記主成分分析における前記係数は、前記１変数関数群と前記基底関数に基づいて求められることを特徴とする請求項１２に記載の圧縮方法。
20. 前記入力色信号の色空間を他の色空間に変換することを特徴とする請求項１２に記載の圧縮方法。
21. 前記入力色信号の色空間を他の色空間に変換することを特徴とする請求項１３に記載の圧縮方法。
22. 前記変数関数群の所定の変数に対して所定の重み関数を乗ずることを特徴とする請求項１２に記載の圧縮方法。
23. 前記変数関数群の所定の変数に対して所定の重み関数を乗ずることを特徴とする請求項１３に記載の圧縮方法。

Images