JP4533989B2 - 球面平均多原色分解法およびそれを用いた画像表示法 - Google Patents

Description

この発明は、コンピュータの表示装置などに用いられ、３原色を超える多原色を用いて色再現性を高めた、ＣＲＴ（Cathode − Ray Tube）ディスプレイ、ＰＤＰ（Plasma Display Panel）ディスプレイ、ＬＣＤ（Liquid Crystal Display）ディスプレイ、プロジェクタ、あるいは、プリンタなどの出力装置に係り、特に、測色特性を正確に制御して忠実な色再現ができる映像信号処理装置に用いるための球面平均多原色分解法およびそれを用いた画像表示法に関する。

既によく知られている様に、人間の視覚系は、３種類の異なる分光感度を有する網膜細胞で構成されており、色を再現する際に３原色が用いられる。しかし、３原色のみを用いた表示装置では、人間の目で知覚できる全ての色域をカバーすることができない、ということもよく知られている。そこで、４原色以上の多原色用いることにより、より正確な色として入力や出力することが行われている。

ここで、多数の原色で被写体の色を再現する技術は、多原色分解技術と称され、物理的な色（分光分布）と人間の知覚的な色（ＸＹＺ３刺激値）という概念に着目した二つの色再現技術に分けられる。

まず、色スペクトル上の色再現は照明光が被写体に当たって反射された色スペクトルと分光スペクトル空間上の近い色を表示させる技術である。しかし、被写体の分光分布と再現色の分光分布を等しくさせることは理想的であるが、写真、印刷、テレビジョンともに、通常は有限個の原色を持つのみであるから、正確にこれを実現することはできない。

一方、人間の視覚系は三種類の分光感度特性を持った網膜で構成され、それに基づいて作られたＸＹＺ３刺激値色空間上で同じ値であれば、異なる分光分布の色でも同じ色に見える、という事が知られている。これは、メタメリズム(Metamerism)と呼ばれ、これを利用して被写体の色と再現色とのＸＹＺ３刺激値が等しくなるように再現すればよい。

ＸＹＺ３刺激値の再現には、３原色を用いることができるが、一般に、さらに多くの原色を用いることによって、より多くの色を再現できる。このように、３原色での表示ではなく多原色を用いて色再現を行う場合は、色域が拡大されるが、一方では、多原色分解が一意に決められないという課題が発生する。

例えば、ＸＹＺ空間についての図１（ａ）では、原点から伸びるベクトルＣ１、Ｃ２、Ｃ３の頂点を結ぶ面上の点Ａについて、ベクトルＣ１、Ｃ２、Ｃ３を用いて一意に表現することができる。これに対して、図１（ｂ）では、原点から伸びるベクトルＣ１、Ｃ２、Ｃ３、Ｃ４の頂点を結ぶ面上の点Ｂについて、多数の表現方法があり、一意に表現することができない。

ここで、Ｎ個の原色の発光スペクトル分布をそれぞれｐ_i（λ）、そのスペクトル強度を制御する信号値を、
０≦ｃ_i≦１、（ｉ＝１、・・・、Ｎ）、
とする。ＸＹＺ３刺激値空間内の座標に対応する色域内の測色値、
ｘ＝（ｘ₁、ｘ₂、ｘ₃）^T は以下の式で与えられる。

ここで、ｍ₁（λ）；ｍ₂（λ）；ｍ₃（λ）、はＸＹＺ３刺激等色関数である。

数１は、信号値ベクトル
ｃ＝（ｃ₁、・・・、ｃ_N）^Tと、

で構成される３×Ｎマトリクス、Ｐ＝（ｐ_ij）_3×N を用いて、以下のように書き換えられる。

多原色分解を行う、という事は、信号値ベクトルｃの値を決定することであるから、これが一意に決められないということは、数３のｃが不定になることである。被写体の３次元測色値ｘに対して、原色の信号値ｃは、Ｎ−３、自由度があるので、数３のｃの解は不定になる、ということである。従って、多原色分解においては、数３に他の制約条件をさらに加えて解くことになる。

例えば、非特許文献１に記載されているように、数３に加える制約条件としては、例えば、次のものがある。被写体の分光分布を取得して、数３にスペクトル空間上で近似するという制約条件を加えることにより、必要なだけの制約条件を得て、最も近い近似の条件で良好な色再現をするというアプローチがある。

また、視覚特性は個人、年齢により一致していないことがある。この場合は、非特許文献２に記載されているように、視覚特性の個人差、年齢差によらない多原色分解を適用するというアプローチもある。

しかし、現在の映像処理装置では膨大な映像データを扱うことが困難であることから、３次元ＸＹＺ測色値空間上で多原色分解を行うことが行われている。そのために、いくつかの多原色分解法が開発された。

例えば、非特許文献３に記載されているように、行列切り替え法は高速演算ができる、ということが知られている。この行列切り替え法では、原色表示可能な色域を幾つかの領域に分割する。その分割された各領域内においては、線形変換により制限付きの信号値への変換を実現する。

上記のように、表示ディバイスの表示信号値が急激に変化する場合には、表示装置の動作誤差や画像鑑賞者の視覚特性差が増加する。このため、多原色分解においては、ＸＹＺ空間において滑らかに変化する表示信号値を得ることのできる信号値変換（つまり、数３におけるｃとｘとの変換）が要求される。その中、非特許文献４に記載された等輝度面線形補間法は、色度値を再現する際に、全ての原色を使用することで信号値の滑らかさを向上させる一つ方法である。

また、一般に、数３を満たす解は多面体領域になる。非特許文献５には、その多面体の唯一の重心点を表示信号値とするメタメリックブラック法が提案されている。メタメリックブラック法は輝度、色相、彩度各方向とも滑らかに変換していることが検証され、良好な多原色分解法として評価される。

上記の様に、既にいくつかの方法が提案されているが、それぞれには特有の欠点があることが知られている。行列切り替え法は、幾つかの分割した領域に異なる線形変換を適用しているため、表示信号値が急激に変化することがある。このような表示信号の急激な変化は、メタメリズムに関する個人視覚特性差、あるいは、表示信号値の急激な変化に対する応答性に関する表示装置の誤差を増加する要因になり、画質の劣化を招くことが分かっている。また、等輝度面線形補間法は、高速な演算が可能となるが、表示信号値の滑らかさを欠いている。また、メタメリックブラック法は重心を求めるため、計算が複雑という問題を抱えている。

Y. Murakami, J. Ishii, T. Obi, M. Yamaguchi, and N.Ohyama, "Color conversion method for multi-primary display for spectral color reproduction", Journal of Electronic Imaging, 13(4）. F. K・nig, K. Ohsawa, M. Yamaguchi, N. Ohyama, and B. Hill, "Multiprimary display: Discounting observer metamerism" , Proc. of SPIE 4421 9th Congress of ICA: 898-901 (2002). T. Ajito et. al., "Color conversion method for multiprimary display using matrix switching", Optical Review,8(3), 191-197 (2001) H.Motomura, "Color conversion for a multi-primary using linear interpolation on equi-luminance plane method (LIQUID)", Journal of the SID, 11(2), 371-378 (2003). F.K・nig, K. Ohasawa,, M. Yamaguchi and N. Ohyama, "A multiprimary display: Optimized control values for displaying tristimulus values", Proc. of PICS, 215-220 (2002)

本発明の課題を正確に表現するために数学言語を用いると次のようになる。
まず、多原色で表示可能な色度値開集合を、
Ω＝{ｘ｜ｘ＝Ｐｃ、０＜ｃ＜１}
とする。ΩはＮ×（Ｎ−１）凸多面体であり、その表面∂Ωは、Ｎ以下のいずれかのｍのｃ_mのみがゼロで無い場合の稜線と、Ｎ以下のいずれかのｍ、ｎのｃ_m、ｃ_nのみがゼロで無い場合の多面体の面で形成される。この４原色表示における凸多面体の例を図２に示す。ｘは３次元であるから、上記の表面∂Ω上つまりｘ∈∂Ω、では、ｃについて解くことができて、多原色分解が一意に決まる事が分かる。これを、数４のように置く。

一方、上記の凸多面体の色域内部では、多原色数Ｎが３より大きい場合、数３を満たす信号値ベクトルｃ（ｘ）に任意性がある。

しかし、上記の凸多面体の色域内部で、滑らかに変化する原色信号値ｃ（ｘ）が望まれるので、この発明は、再現色の測色値の変化に対して、表示信号が滑らかに変化するという特性を持ち、色再現性の優れた映像信号処理装置を実現するための球面平均多原色分解法を提供することを目的とする。

この発明によれば、測色特性を正確に制御して忠実な色再現ができる映像信号処理装置を実現できる。

この発明は、画像表示装置において４以上の整数ｎのｎ原色の色彩を混合して予め決められた色彩を持った画像を表示する球面平均多原色分解法に関し、３値刺激ＸＹＺ空間におけるｎ原色で表示可能な色度値開集合で形成される凸多面体内の任意の点αについて、αの色彩を表現するためのそれぞれの原色の強度を表す信号強度を、
１）αを中心として、予め決められた球を想定し、
２）点αにおけるそれぞれの原色の強度を表す信号強度は、上記の球面の面上の点βのそれぞれの原色の強度を表す信号強度を、前記の球面に渡って平均化することによって求めるものである。

また、この発明は、上記の、球面上の点βの色彩を表現するためのそれぞれの原色の強度を表す信号強度を、αとβを結ぶ直線と上記の凸面体表面との２つの交点のそれぞれの原色の強度を表す信号強度を、距離に応じた比例配分によって求めるものである。

また、この発明は、画像表示法に関しており、上記の発明により、３刺激値空間上の点の座標から、予め決められた色空間において信号強度への変換における変換係数を、予め求めておき、画像表示装置において画像表示を行う際に、表示すべき３刺激値空間上の点の座標と上記の変換係数とを用いて、ｎ原色のそれぞれの信号強度を求めて表示することによって計算処理時間を改善し、リアルタイム表示を図るものである。

以下に、この発明の原理を説明し、続いて実際の計算方法を説明する。

ＸＹＺ ３刺激値空間上では任意の二色ｘ_Aとｘ_Bに対して、ｘ_Aとｘ_Bを繋ぐ直線上の任意色ｘ_Oが数５によりｘ_Aとｘ_Bの二色で合成できる。

また、数３から、ｃ＝Ｐ^-1ｘであり、線形関係にあるために、ｘ_Oの多原色信号値ｃ（ｘ_O）が、数６に示すように、色ｘ_Aとｘ_Bの多原色信号値ｃ（ｘ_A）とｃ（ｘ_B）から得られる事が分かる。

行列切り替え法や等輝度面線形補間法はこの性質を用いて開発された。しかし、色ｘ_Oの多原色信号値ｃ（ｘ_O）が色ｘ_Aとｘ_Bの多原色信号値ｃ（ｘ_A）とｃ（ｘ_B）で計算されるため、ｘ_Aとｘ_Bを繋ぐ直線の方向で滑らかになっているが、その他の方向の値として評価される、彩度、輝度、色相については、必ずしも滑らかになるわけではない。

本発明は、全方向への滑らかさを保持するようにするため、色域Ω内の測色値ｘ_Oに対して、数５のように、２点の算術平均で決まると解釈するのではなく、中心ｘ_Oは、半径ｒの球面Ｓｒ（ｘ_O）の平均であると解釈する。つまり、次の数７のように解釈する。

ここで、ω_rは半径ｒの３次元単位球面の面積である。数７では、定義した測色値ｘ_Oが各方向とも考慮したことになり、彩度、色相、輝度三方向とも滑らかな多原色分解が実現できることを次に示す。

Ｎ原色の場合は、上記の様にＮ×（Ｎ−１）個の表面を持った凸多面体がその色域となる。例えば、８原色の場合は、色域は８×７＝５６個面の多面体となる。このように、Ｎ原色の色域ΩのＮ×（Ｎ−１）個表面を
Ｓ_ij； １≦ｉ≦Ｎ； １≦ｊ≦Ｎ−１
で記述するとき、表面Ｓ_ij上の点ｙは次式で表せる。

ここでは、［Ｉ］は整数Ｉを整数Ｎで割った余りである。

また、図３に示すように、球心ｘ_Oから球面上の点ｘに沿って延長線を色域の表面∂Ω上のｙに達することにより、数５に従って、ｘを決める。

このとき、ｘとｙは以下の式を満たす。

ここで、一般に、色域Ω内の任意中心ｘ_O、半径ｒの立体球面Ｓｒ（ｘ_O）上で以下の積分式が成立する。

次に、球面Ｓｒ（ｘ_O）上の積分を色域Ωの表面に変換する。ここで、ｎは、球面Ｓｒ（ｘ_O）上の単位法線ベクトルである。

数１１を数１０に代入すると、次式が得られる。

これを、数９を用いて整理すると、次式になる。

ここで、Ａ（ｘ_O）を以下のように定義する。

ｘ_Oは次式で求められる。

多原色信号値ｕ（ｘ_O）は次式で設定する。

この結果は、ｘ_O＝Ｐｕ（ｘ_O）を満たすので、ｕ（ｘ_O）は多原色分解であることがわかる。

次に、より具体的に、計算方法について説明する。
まず、表面Ｓ_ij上では、

を用いて、式（９）と（１１）より多原色信号値ｕ（ｘ_O）が次式から得られる。

ここで、α_ij＝p_[i+j]＋ ・・・＋p_[i+j-1] −ｘ_Oである。

ここで、数１４、数１５の積分を以下の微分公式で解くことが出来る。

以下に計算結果を述べる。まず幾つかの記号を定義する。

信号値ｕ（ｘ_O）は、以下の式から得られる。

ここで、ｅ_iは、ｉ番目が１、それ以外が０、のＮ次元ベクトルである。

以上の定義を用いると、数２７と数２８が以下の様に書き換えられる。

つぎに、本発明の計算手順について説明する。画像処理全体のブロック図における本発明を適用する部分ついては、図４に示すように、まずディジタルカメラで撮影された撮影信号については、カメラ特性、照明情報、被写体情報、などの撮影情報を用いて撮影信号補正処理が行われる。補正後の撮影信号映像は、上記の情報のほかにレンダリング照明スペクトル、等色関数などの色変換情報などを用いて色空間変換処理が行われる。出力された色空間映像は、上記の情報に加えて、観察照明スペクトル、ディスプレイ特性情報、などの表示色変換情報を用いて、本発明の表示色空間変換処理される。この処理で得られる補正前の表示信号映像は、上記の表示色変換情報を考慮して表示信号補正処理され、補正された表示信号映像は、画像表示装置で表示される。

［ステップ１］
初期処理として数３の行列Ｐを求める。
ここで、分光スペクトル空間はＭ次元空間とする。等色関数をｍ_ik、多原色発光スペクトルをｄ_jkとする。行列Ｐの各要素ｐ_ijは以下の式で求める。

［ステップ２］
測色値ｘ_Oに対して、各係数を計算する。
数２２の係数（１≦ｉ≦３、１≦ｊ≦Ｎ）を計算する。

［ステップ３］
数２９、３０、３１のＵ_ij、Ｖ_ij、Ｗ_ijに対して、以下の式を計算しておく。

［ステップ４］
数３２のＡ（ｘ_O）を求める。
［ステップ５］
数３３の多原色信号値ｕ（ｘ_O）を求める。
上記手順により３刺激値ｘｘ_Oに対して、多原色信号値ｕ（ｘ_O）が得られる。

実際の使用に当たっては、Ｎ個の原色の発光スペクトル分布は、それぞれ変化しないので、上記のＵ_ij、Ｖ_ij、Ｗ_ijについては、一度求めて保存する。多原色信号値ｕ（ｘ_O）を求めるに当たっては、前記の保存した値を用いて、上記のステップ４とステップ５を繰り返す。

６原色ディスプレイについて、擬似境界のパターンをCIEL*a*b*空間で画像化して表示した例を図５（ａ）、（ｂ）、（ｃ）、（ｄ）に示す。画像中の白い部分が評価値の高い部分を表している。また周囲のグレー領域は色域外を意味している。図５（ａ）行列切替法や図５（ｂ）等輝度面線形補間法では色空間を分割する様に擬似境界が知覚される。それに対して、図５（ｃ）メタメリックブラック法では色域の縁（主に高彩度・高輝度の部分）に特徴的な境界が知覚されることが分かる。図５（ｄ）は、本発明を適用した結果であるが、上記のような特徴的な境界が抑制されていることがわかる。

本発明は測色値空間上の映像を表示装置信号値に変換する際、表示装置信号値が測色値に対して滑らかに変化する特性を持つ。それにより表示装置の誤差、又等色関数の個人差を吸収でき、従って画質の向上を実現できる。その多原色分解の演算は、条件判断がなく単純であり、半導体集積回路によるハードウェアで演算することにより、多原色表示装置を用いた自然な映像をリアルタイムに表示することができる。

多原色分解の一意性を説明する図である。 ４原色表示における凸多面体の例を示す図である。 球面上の点ｘを決めるための手順を説明する図である。 画像処理全体のブロック図である。 擬似境界のパターンを画像化して表示した例を示す図である。

Claims (3)

1. 画像表示装置において４以上の整数ｎのｎ原色の色彩を混合して予め決められた色彩を持った画像を表示する方法で、
   ３値刺激ＸＹＺ空間におけるｎ原色で表示可能な色度値開集合で形成される凸多面体内の任意の点αについて、αの色彩を表現するためのそれぞれの原色の強度を表す信号強度を、
   １）αを中心として、予め決められた球を想定し、
   ２）点αにおけるそれぞれの原色の強度を表す信号強度は、あらかじめ求めた上記の球の球面上の点βのそれぞれの原色の強度を表す信号強度を、前記の球面に渡って平均化することによって求めることを特徴とする球面平均多原色分解法。
2. 球面上の点βの色彩を表現するための、それぞれの原色の強度を表す信号強度を、αとβを結ぶ直線と上記の凸面体表面との２つの交点のそれぞれの原色の強度を表す信号強度を、距離に応じた比例配分によって求めることを特徴とする請求項１に記載の球面平均多原色分解法。
3. 請求項１あるいは２に記載の球面平均多原色分解法を用いて、３刺激値空間上の点の座標から、予め決められた色空間において信号強度への変換における変換係数を、予め求めておき、
   画像表示装置において画像表示を行う際に、表示すべき３刺激値空間上の点の座標と上記の変換係数とを用いて、ｎ原色のそれぞれの信号強度を求めて表示することを特徴とする画像表示法。

Images