JP4482685B2

JP4482685B2 - 広色域動画カメラ

Info

Publication number: JP4482685B2
Application number: JP2004036937A
Authority: JP
Inventors: 美文下平; 昇市横井
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2004-02-13
Filing date: 2004-02-13
Publication date: 2010-06-16
Anticipated expiration: 2024-02-13
Also published as: JP2005229408A

Description

本発明は、人の色域と等しい色域をもった動画用カメラに関する。

人の色域と等しい色域をもつカメラで対象物体の動画像を撮影した場合には、そのカメラ信号の表す色は対象物体のもつ色に正確に一致する。このような特徴をもつ動画のとれるカメラは現在、製作されていない。
すなわち、現在広く使われている画像システムに使用されているカメラの出力信号は、その色域がディスプレイの色域に等しくなるように処理されて出力されている。そのため対象物体の色がディスプレイの色域外の場合には色域内の色に変換して出力される。従って、ディスプレイの色域以外の色を正確な信号として取り出すことはできない。さらに、対象物体の色がたとえ色域内であっても、対象物体の元の色とは異なった色信号として表示器側に出力される。

現在、使用されている動画用カメラの原理および構成を説明する。カメラは集光器、分光器、複数の受光器より構成された受光部を主要素として成り立つ。受光部に入射した光はレンズ系よりなる集光器により集められ、分光フィルタよりなる分光器で複数の波長域に分光される。各波長域の信号は、複数の受光器を通してＲＧＢの３原色に変換される。ここで、複数の受光器を一枚のシリコン基板チップ上に２次元マトリクス状に配置することにより、受光部の表面に結像された対象物体の画像が認識される。この形式の受光器はＣＣＤとして公知である。

本発明の背景を説明する第１の特許文献として特開２００２−５４９９４号「撮像装置、撮像表示システムおよび撮像印刷システム」を挙げることができる。特開２００２−５４９９４号において、集光器には球状レンズと導波路を使用して入射光を効率よく分光器に出力している。ここで、分光器には回折格子、プリズム、フォトニック結晶、あるいは酸化膜、誘電体膜、高分子膜等によって構成された膜フィルタを使用している。
複数の受光器は、一枚のシリコン基板チップにより構成したＣＣＤイメージングデバイスを使用して構成している。

同上分光器ではＣＩＥ色度図上で色度域を４領域〜１１領域に分割して対象物体の色を求め、対象物体の元の色とは異なった色信号が表示器側に出力されるという色再現上の制約を取り除こうとしている。このような、現在実現されているマルチバンド広色域カメラは具体的に４枚以上の多数の色フィルタを使って対象物体の色のスペクトル情報を取得し、これらのスペクトルから物体の色を推定している。色のスペクトル分布は自然物体と人工物体とでは異なるので、このような色の推定は正確でない。更に、対象物体の色をスペクトル情報から算出するための演算量が大変多いのが問題である。
特開２００２−５４９９４号公報

本発明の背景を説明する第２の特許文献として特開平６−２６１３３２号「多原色表示用原色変換方法」を挙げることができる。特開平６−２６１３３２号においては、３原色表示用の信号を３原色を越える多原色表示用の信号に変換する２つの演算方法を提供している。この方式では入力された３原色がＣＩＥ色度図上でいかなる位置にあるかを判定器により判定する。
第１の方法では判定結果によって変換される３原色を越える多原色の中から３つの色を選びだして、それらの一次結合を演算処理装置により生成する。第２の方法では、判定結果によって変換される３原色を越える多原色信号を、３原色信号の一次結合としてすべて演算処理装置により求めて出力しておく。この多原色信号の中から３つの色を選び出す。それ以外の色の出力が負になるときには、その出力を零にするとともに補正信号を用意し、上の選び出された３つの原色信号の一次結合に対して補正信号を加算して出力する。

これらの多原色表示用原色変換方法では、演算処理に使用される一次結合の変数に仮定値を与えているため、変数値を与える具体的根拠と方法が現実に指定されないかぎり、具体的に動画用のカメラに実用されるのは不可能である。さらに、このままでは動画カメラのリアルタイムの要求も現実には満足されない。
特開平６−２６１３３２号公報

人の色域と等しい色域をもつ動画を撮像することのできる動画用カメラは未だ存在していないが、人の色域についての解析は理論的に構築されている。
例えば、Ａ．Ｎ．Ｎetravali and Ｂ．Ｇ．Ｈaskell著“Ｄigital Ｐictures （ディジタル画像）”（1988, Plenum Press）によれば、Chapter1: Numerical Representation
of Visual Information （第１章視覚情報の数値表現）において、計算方式が要約して提示されている。スペクトルで表した色の３つの刺激値は、色マッチング関数（color matching function ）と呼ばれるが、この関数〔ｒ（λ），ｇ（λ），ｂ（λ）〕は与えられた３原色に関する３つの刺激値である。例えば、３原色波長を７００．０ｎｍ（Ｒ₀ ），５４６．１ｎｍ（Ｇ₀ ），４３５．８ｎｍ（Ｂ₀ ）としたときの、色マッチング関数（ｒ₀ （λ），ｇ₀ （λ），ｂ₀ （λ））を人の色域を表すものとして波長に対してプロットすることができる。

Ｒ₀ Ｇ₀ Ｂ₀ を使用してＣＩＥ色度図上のＸＹＺを求めれば、次の（１）式が成り立つ。
Ｘ＝２．３６５Ｒ₀ −０．５１５Ｇ₀ ＋０．００５Ｂ₀
Ｙ＝−０．８９７Ｒ₀ ＋１．４２６Ｇ₀ −０．０１４Ｂ₀ （１）
Ｚ＝−０．４６８Ｒ₀ ＋０．０８９Ｇ₀ ＋１．００９Ｂ₀

次に、ＸＹＺからＲ₀ Ｇ₀ Ｂ₀ を求めれば（２）式が得られる。
Ｒ₀ ＝０．４９０Ｘ＋０．１７７Ｙ
Ｇ₀ ＝０．３１０Ｘ＋０．８１３Ｙ＋０．０１Ｚ（２）
Ｂ₀ ＝０．２００Ｘ＋０．０１０Ｙ＋０．９９０Ｚ

一般論として３原色（Ｒ₀ Ｇ₀ Ｂ₀ （ベクトル））の（Ｘ，Ｙ，Ｚ（ベクトル））刺激値座標をそれぞれ（Ｘ_R0，Ｙ_R0，Ｚ_R0）、（Ｘ_G0，Ｙ_G0，Ｚ_G0）、（Ｘ_B0，Ｙ_B0，Ｚ_B0）とすれば、次のベクトルを表す（３）式が得られる。
Ｒ₀ ＝Ｘ_R0Ｘ＋Ｙ_R0Ｙ＋Ｚ_R0Ｚ
Ｇ₀ ＝Ｘ_G0Ｘ＋Ｙ_G0Ｙ＋Ｚ_G0Ｚ（３）
Ｂ₀ ＝Ｘ_B0Ｘ＋Ｙ_B0Ｙ＋Ｚ_B0Ｚ
なお、上記（３）式において、Ｒ₀ Ｇ₀ Ｂ₀ およびＸ，Ｙ，Ｚは、ベクトルである。
同様にして、刺激値（Ｒ_C ，Ｇ_C ，Ｂ_C ）および（Ｘ_C ，Ｙ_C ，Ｚ_C ）をもつ任意の色刺激値Ｃ（ベクトル）は次の（４）式により与えられる。
Ｃ＝Ｒ_C Ｒ₀ ＋Ｇ_C Ｇ₀ ＋Ｂ_C Ｂ₀ ＝Ｘ_C Ｘ＋Ｙ_C Ｙ＋Ｚ_C Ｚ（４）
上記（４）式において、Ｃ，Ｒ₀ Ｇ₀ Ｂ₀ およびＸ，Ｙ，Ｚは、ベクトルである。
基本的に演算処理は上の理論によって実現されるので、上記理論式と、人の視感度特性によって動画用カメラを設計することになる。
Ａ．Ｎ．Ｎetravali and Ｂ．Ｇ．Ｈaskell，"Ｄigital Ｐictures "（1988, Plenum Press），１〜８７頁

解決しようとする問題点は、動画用カメラにおいて、人の色域とカメラの色域とが等しくないため、カメラ出力信号の表す色が物体のもつ色と一致しない点である。

本発明は、それぞれが、ＣＩＥ色度図上に定められたＸＹＺ表色系における標準観察者の分光感度に等しい４つの異なる波長域特性のうちの１つをもつ複数の色フィルタを備え、これらの色フィルタを通過した光学像を光学センサで電気信号に変換することにより、得られた電気信号を簡易な構成の演算処理装置により処理して、対象物体の色についての色度値を得る広色域動画カメラである。広色域を実現するためには、厳密には４つの光フィルタを通して対象物体の色情報を取得する。

現在までのところ、人と等しい色域をもつ動画カメラは実現されていないが、本発明の広色域動画カメラは、４つの分光フィルタにより分光情報を取り出すことにより、それらの理論計算により正確に色情報を得ることができるので、その演算処理はスペクトルから求めるものに比べて演算量が少なく、動画を容易にリアルタイムで映像信号化できるという利点がある。

人の色域と等しい色域をもつ動画用カメラを実現するという目的を、必要最小限の数の分光フィルタにより分光情報を取り出し、これらの分光情報を使うことにより少ない演算量で容易にリアルタイムで動画を映像信号化した。

図１は、本発明による広色域動画カメラの原理的構成を示すブロック図である。広色域動画カメラはレンズ系１と、光ビームスプリッタ２と、４つの色フィルタ３〜６と、４つの光学センサ７〜１０と、演算処理装置１１とを備えて構成したものである。レンズ系１は対象物体１２からの入射光を、光ビームスプリッタ２を介して光学センサ７〜１０の表面に結像させ、その倒立像をセンサ７〜１０の光電変換面上に生成する。色フィルタ３〜６はそれぞれ異なった波長域の、ＣＩＥ色度図上に定められたＸＹＺの分光感度に等しい波長域成分の光ビームを通過させる。光ビームスプリッタ２は単純な構成例を示したが、各色フィルタ３〜６に入射する光パワーの比が明確である必要がある。４つの光学センサ７〜１０は入射光に対して光電変換を行い、対象物体１２に対応した投影像をその光電変換面上に形成する。光学センサ７〜１０はそれぞれＣＣＤイメージングデバイスなどの広い色域に対して十分な感度特性をもつものとする。

４つの光学センサ７〜１０から得られた、それぞれ異なった色フィルタ３〜６に対応する色域の実像の映像信号は、それぞれ演算処理装置１１に入力される。演算処理装置１１は高速で動作し、対象物体１２の色についての色度値をリアルタイムで得る。演算処理装置１１による演算は、例えばＡ．Ｎ．Ｎetravali and Ｂ．Ｇ．Ｈaskell著“Ｄigital
Ｐictures ”（1988, Plenum Press）Ｃhapter1: Ｎumerical Ｒepresentation of
Ｖisual Ｉnformation に記載の方法に従った、前記計算方式と理論的概念によって計算される。すなわち、人の視感度特性に基づいて３原色波長を７００．０ｎｍ（Ｒ₀ ），５４６．１ｎｍ（Ｇ₀ ），４３５．８ｎｍ（Ｂ₀ ）としたとき、得られる色マッチング関数（color matching function ）〔ｒ₀ （λ），ｇ₀ （λ），ｂ₀ （λ）〕を求め、（１）〜（４）式に従ってカメラ出力を演算処理装置１１によって計算すればよい。

以上の説明を要約すると、本発明による広色域動画カメラを小型、軽量化して実現するには、具体的には以下に記載の、第１または第２の方式を採用する。

図２は、本発明による広色域動画カメラの一実施例を示すブロック図である。図２において、１は光学系、２は光ビームスプリッタ、３〜６はそれぞれ色フィルタ、２’は第２の光ビームスプリッタ、７’は光学センサ、１１’は演算処理装置である。第２の光ビームスプリッタ２’には、各フィルタ３〜６の出力光がＣＣＤイメージングデバイスのマトリクスアレイの画素単位、または行あるいは列単位に対応してＸ，Ｙ，Ｚ等の波長域特性をもつマスク２１〜２４を備えていて、ＣＣＤイメージングデバイス等により成り立つ光学センサ７’に対してＸ，Ｙ，Ｚ等の空間分割を行う。したがって、上記構成によって分光された光ビームが上記マスクに密着した光学センサ７’上に入力され、分光された光学像が形成される。
上記画素単位の分割を実現する方法にはＣＲＴで公知のシャドウマスクがあり、行単位あるいは列単位の分割を実現する方法には単板式ＣＣＤカメラで公知のストライプフィルタがある。

第１の方式では、レンズより成る光学系１を通して得られた光学像を光ビームスプリッタ２によってさらに４方向に分配し、それぞれの光路上に４つの異なった波長域特性をもった色フィルタ３〜６に挿入する。それぞれの色フィルタ３〜６を通った４つの光学像を第２の光ビームスプリッタ２’によって集め、ひとつのセンサ７’上に空間分割等の方法で、順次結像させる。光学センサ７’から得られた映像信号に対し演算処理装置１１’により必要な演算を施し、ＸＹＺ信号を得る。
このとき、第２の光ビームスプリッタ２’および光学センサ７’には空間分割を実現するためのマスク２１〜２４を備えている。したがって、このカメラ方式では空間解像度は犠牲になる。レジストレーションを除けば比較的容易に実現でき、リアルタイム性も実現できる。

図３は、本発明による光色域動画カメラの他の実施例を示すブロック図である。図３において、１は光学系、３”は４つの画素をひとつのマイクロブロックとしてそれぞれ異なった波長域特性をもった色フィルタ、７”はＣＣＤイメージングデバイス等のマトリクスアレイより成り立つ光学センサ、１１”は演算処理装置である。図３の色フィルタ３”では、４つの画素のひとつに対応してＣＩＥ色度図上の異なった４つの波長域特性をもつ色フィルタ膜を空間分割により形成してある。したがって、たとえば、ひとつのマイクロブロックの各セグメントの波長域特性は、ＣＩＥ色度図上のＸ，Ｙ，Ｚのいずれかである。図４は色フィルタの詳細な構成の実施例を示す説明図である。

第２の方式では、光学センサ７”の直前におかれたタイル状に並んだ４つの色フィルタセグメントを通して光学センサ７”により画像信号を取得し、これに前記（１）〜（４）式にもとづいた適切な演算を行ってＸＹＺ信号を得る。通常のＲＧＢカメラではＲＧＢの色フィルタが光学センサの直前におかれている。この色フィルタをＸＹＺの分光感度特性をもつフィルタ４つと置き換えることで上記構成が実現できる。従来のカメラから見ると１画素あたりのフィルタ数が３から４になり、解像度が３／４になるが、色フィルタさえ実現できれば小型でリアルタイムの実現ができる方法である。

原理的には次の方法もある。すなわち、カメラの光学センサの直前に４つのフィルタを配置した円盤を回転させて光学像を電気信号に変換する。時間的に異なる４つの画像信号を演算して、ひとつのＸＹＺ画像信号を得る。このフィルタを回転させる方法は色彩輝度計などに使われているが、１枚の画像を取得するために時間がかかり、動画像の取得には向かない。

上述のように広い色域を実現するためには、厳密には４つの色フィルタを通して対象物体の色情報を取得する。

人の色域と等しい色域をもつ動画カメラの用途は極めて広く、例えば人間に代わる役目をするロボット、手術などの外科医療現場、絵画のような美術品、その他、人の感性や視覚が求められる分野で利用が期待される。

人の色域に等しい色域をもつ動画カメラの基本原理を示す説明図である。４つの色フィルタを使った広色域動画カメラの第１の実施例を示す説明図である。１つの色フィルタを使った広色域動画カメラの第２の実施例を示す説明図である。広色域動画カメラの第２の実施例に使用する色フィルタの構成例を示す説明図である。

符号の説明

１レンズ系
２，２’ 光ビームスプリッタ
３〜６，３” 色フィルタ
７〜１０，７’，７” 光学センサ
１１，１１’，１１” 演算処理装置
２１〜２４光マスク

Claims

対象物体からの光学実像を入射して内部で光学投影像を形成するためのレンズ系と、
前記レンズ系から入射した光ビームをそれぞれ等しい強度になるように４分割して光出力を得るための第１の光ビームスプリッタと、
前記第１の光ビームスプリッタの光出力に対応して設けられ、それぞれが、ＣＩＥ色度図上に定められたＸＹＺ表色系における標準観察者の分光感度に等しい４つの異なる波長域特性のうちの１つをもつ４枚の色フィルタと、
前記４枚の色フィルタに対応して設けられ、前記各色フィルタの光出力を画素単位、または行単位あるいは列単位に３原色よりなる色信号を空間分割して出力するための光マスクを備えた第２の光ビームスプリッタと、
前記第２の光ビームスプリッタの光マスクに密着して設けられ、前記光マスクに対応して画素単位、または行単位あるいは列単位に空間分割の整列をとり、前記光出力の光学像を入力して順次、電気像に変換するための光学センサと、
前記光学センサの出力電気信号を入力して、前記空間分割された電気信号から前記ＸＹＺ表色系における標準観察者の分光特性をもつ映像信号に戻し、人の色域と等しい映像信号を生成するための演算処理装置と
を具備し、人の色域と等しい色域をもつ広色域動画カメラ。