JP3925681B2 - マルチバンド画像出力方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、マルチバンド画像の出力方法および装置に関する。
【０００２】
【従来の技術】
近年、撮像技術の進歩により、多チャンネル撮影機（マルチバンドカメラ）、とくに、撮影対象の分光波形を実用上充分な精度で復元できる程度のチャンネル数を有する撮影機が実用化されつつある。これは、複数種類（多くは、４種類以上）の光を透過する波長領域（マルチバンド）で、被写体を撮影して複数の画像データ（マルチバンド画像データ）を得るカメラである。これらについては、宮川他、光学、１１（６）、pp.573〜578(１９８２）等に記載されている。
このマルチバンドカメラにより撮影されたマルチバンド画像データは、画素毎に分光波形を持っているので、様々な応用が期待されている。
【０００３】
また、マルチバンド画像データの出力についても、様々な出力方法が知られており、その代表的なものは、被写体の色度を再現する方法（以下、色度再現法という）と、被写体の分光波形を再現する方法（以下、波形再現法という）である。
以下、これらの画像出力方法について説明するが、話を簡単にするために、被写体をマルチバンドカメラで撮影し、カラープリンタで出力するものとする。そして、被写体の分光反射率をｆ₀(λ）とし、プリントの分光反射率をｆ( λ）とし、等色関数をｘ^- ( λ）、ｙ^- ( λ）、ｚ^- ( λ）とする。
【０００４】
まず、色度再現法は、原画像（オリジナル）と複製画像の人間の見た目の一致を重視するものであり、次の式（１）を満たすｆ（λ）を選択するものである。
（ｆ₀ ，ｘ^- ） ＝ （ｆ ，ｘ^- ）
（ｆ₀ ，ｙ^- ） ＝ （ｆ ，ｙ^- ） ・・・（１）
（ｆ₀ ，ｚ^- ） ＝ （ｆ ，ｚ^- ）
なおここで、記号（Ａ，Ｂ）は、λの関数Ａ（λ）、Ｂ（λ）の内積を表すものであり、次の式（２）によって定義される。
（Ａ，Ｂ） ＝ ∫Ａ（λ）Ｂ（λ）ｄλ ・・・（２）
【０００５】
上記式（１）が成り立つようなｆ（λ）をなんらかの方法で選び出すのであるが、実際には、出力機（プリンタ）の色再現域の制約から、上記式（１）を厳密な意味で満足するｆ（λ）が存在するとは限らない。そこで、このような場合には、ｆ₀ ( λ）とｆ（λ）との距離‖ｆ₀ −ｆ‖を、次の式（３）で定義して、この距離を最小にする分光波形ｆ（λ）を選択して出力すればよい。

もちろん上記式（１）が成立するときは、式（３）で表される距離は０となるのであるが、０にならずとも、なるべく０に近い、すなわちｆ₀ （λ）に最も近いｆ（λ）を選ぼうというものである。
【０００６】
一方これに対して波形再現法では、分光波形を一致させるために、距離‖ｆ₀−ｆ‖として式（３）の代わりに、ｆ₀とｆの差について全ての波長に関する積分を行う次の式（４）を用い、これを最小とするｆ（λ）を選んで出力するようにする。
‖ｆ₀−ｆ‖＝｛ ∫｜ｆ₀（λ）−ｆ（λ）｜²ｄλ ｝^1/2・・・（４）
あるいはまた、これ以外にも、距離‖ｆ₀−ｆ‖として次の式（５）のように単に差の絶対値の積分を用いてもよいし、式（６）のように差の絶対値の上限（ｓｕｐ）を用いてもよい。
‖ｆ₀−ｆ‖＝ ∫｜ｆ₀（λ）−ｆ（λ）｜ｄλ ・・・（５）
‖ｆ₀−ｆ‖＝ ｓｕｐ｛ ｜ｆ₀（λ）−ｆ（λ）｜ ｝・・・（６）
ただし、式（６）におけるｓｕｐは、すべての波長λについてとるものとする。また、実際の計算では離散的な値のみを扱うため、ｓｕｐ（上限）はｍａｘ（最大）でよい。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記色度再現法および波形再現法には、以下のような問題がある。
すなわち、色度再現法は、限られた光源の下で色再現を行う場合には、オリジナルと複製画像の間での高い見えの一致度を与えるが、観察光源等の観察条件が変わると、見えの一致度が大きく劣化するという問題がある。
また、波形再現法は、観察光源等の観察条件に依らない安定した見えの一致度を与えるが、限られた観察条件の下での一致度は色度再現法に劣るという問題がある。
【０００８】
本発明は、前記従来の問題に鑑みてなされたものであり、マルチバンド画像データを出力する際、画像再現方法を連続的に切り換えて、原画像と複製画像の見えの一致度と、見えの安定性のどちらを優先して色再現するかといった目的に最も適合した画像再現方法で画像を出力することのできるマルチバンド画像出力方法および装置を提供することを課題とする。
【０００９】
【課題を解決するための手段】
前記課題を解決するために、本発明の第一の態様は、マルチバンド画像データの出力方法であって、マルチバンドカメラによって撮影された画像の各画素毎の分光波形を、画像出力機に出力するための、前記画素毎の分光波形の色度再現と波形再現を含む複数の画像再現法に対応した複数の制御信号に変換し、この複数の制御信号を合成して、最終的な制御信号を得ることを特徴とするマルチバンド画像出力方法を提供する。
【００１０】
ここで、前記複数の画像再現法に対するプライオリティを設定し、前記複数の制御信号を前記プライオリティに基づいて合成することが好ましい。
また、前記プライオリティが、対話的に設定されることが好ましい。
【００１３】
また、前記課題を解決するために、本発明の第二の態様は、マルチバンドカメラによって撮影された画像から得られるマルチバンド画像データを入力するデータ入力手段と、画素毎の分光波形を画像出力機に出力するための画素毎の分光波形の色度再現と波形再現を含む複数の画像再現法に対応した制御信号に変換する制御信号変換手段と、
この制御信号変換手段により変換された前記複数の制御信号を合成し、最終的な制御信号を得る制御信号合成手段とを備えたことを特徴とするマルチバンド画像出力装置を提供する。
【００１４】
また、前記複数の画像再現法に対するプライオリティを設定する手段を有し、前記制御信号合成手段が、前記制御信号変換手段により変換された前記複数の制御信号を、前記プライオリティに基づいて合成し、最終的な制御信号を得ることが好ましい。
【００１５】
【発明の実施の形態】
以下、本発明に係るマルチバンド画像出力方法について、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００１６】
図１は、本発明のマルチバンド画像出力装置を組み込んだ画像再現システムの概略を示すブロック図である。
図１に示すように、本システムは、撮影対象（被写体）１０を画像入力部１２よりマルチバンド画像データとして取り込み、撮影対象１０の分光波形を推定し、これを画像出力部（画像出力装置）１４において目的に応じた画像を出力するための制御信号に変換し、この制御信号によりレーザプリンタ１６から複製画像１８として出力するものである。
【００１７】
限定された観察条件の下での、原画像と複製画像の見えの一致度が求められる場合には、色度再現が適している。一方、観察条件が変わっても見え方が大きく変化しないという、複数の観察条件の下での見えの安定性が求められる場合には、波形再現が適している。
本実施形態は、見えの一致度と、見えの安定性のいずれを優先するかという画像再現の目的に応じて、画像再現方法を切り換えてその目的に適合した画像を出力するようにしたものである。
【００１８】
本実施形態においては、画像入力部１２は、マルチバンドカメラによるマルチバンド写真法により撮影された複数の画像をデジタル画像データに変換して画像出力部１４に送るものである。本システムにおいては、マルチバンド画像を用いて撮影対象１０全面の分光反射率を測定する。
【００１９】
図２に示すように、例えば人物をスタジオ撮影する場合を例にとり、マルチバンド写真法の原理を説明する。図２に示すように、撮影対象（被写体）１０に所定の光源２０をあて、撮影対象１０の色情報を、異なる透過波長帯域を持つ８つのフィルタ２２を用いて、分光感度の異なる複数のチャンネルを通して、レンズ２４により、可視波長域においてほぼ均一な分光感度を持った白黒フィルム２６上に結像させ、８枚の写真を撮影する。この８枚の画像を入力装置（例えばスキャナ）で読み取り、デジタルデータに変換し、その情報から撮影対象１０の分光反射率を復元する。図３に、各チャンネルごとに得られた相対感度を示す。これらのデータから、補間技法を用いることにより、撮影対象１０の分光反射率ｆ₀ （λ）が推定できる。
【００２０】
また、例えば、撮影用レンズおよび結像した光の像を光電的に読み取るＣＣＤセンサを有し、上記撮影用レンズの前に複数個、少なくとも４個のカラーフィルタからなるバンドパスフィルタを配し、撮影時にこのバンドパスフィルタを順次取り替えながら同一被写体を撮影する方法も挙げられる。
また、撮影用レンズと、分光感度特性の異なる少なくとも４種の波長域で結像した画像を光電的に読み取ることのできる少なくとも４種のＣＣＤセンサを有した、上記バンドパスフィルタを用いない撮影法も挙げることができ、この場合ＣＣＤセンサにバンドパスフィルタが組み込まれているものでもよい。また、バンドパスフィルタは液晶チューナブルフィルタでもよい。
【００２１】
このときチャンネルの数は、多ければ多い程、高精度で撮影対象の分光反射率を復元できるが、装置の簡便さと撮影時間の短縮を考えると、６〜２０チャンネル程度の方がよい。コンピュータでのシミュレーションによれば、チャンネル数の増大による改善の度合いが８チャンネル程度で飽和することから、８チャンネル程度で充分であることが分かっている。
【００２２】
画素毎の分光波形が推定されたマルチバンド画像データは、画像出力部１４により、目的に応じた画像を出力するための制御信号に変換される。画像出力部１４の概略構成を図４に示す。図４に示すように、画像出力部１４は、画像入力部１２より推定された画素毎の分光波形を受け取るデータ入力手段３０、該データから、見えの一致度が得られるような波形を求める色度再現による分光反射率算出手段３２、見えの安定性が得られるような波形を求める波形再現による分光反射率算出手段３４、これら各波形をそれぞれ画像を出力するための制御信号に変換する制御信号変換手段３６、目的に応じて色度再現と波形再現のどちらを優先するかというプライオリティを指定するプライオリティ設定手段３８および上で得られた各制御信号をプライオリティに応じて合成し、画像出力用の一つの制御信号を作成する制御信号合成手段４０とを含んでいる。
【００２３】
色度再現による分光反射率算出手段３２は、撮影対象１０の分光反射率ｆ₀ （λ）から、見えの一致度が得られるプリントの分光反射率ｆ（λ）を算出する。これは、前記式（３）を最小とするような波形ｆ（λ）として求められる。
一方、波形再現による分光反射率算出手段３４は、撮影対象１０の分光反射率ｆ₀ （λ）から、見えの安定性が得られるプリントの分光反射率ｆ（λ）を算出する。これは、前記式（４）を最小とするような波形ｆ（λ）として求められる。もっとも、波形再現の場合、式（４）の代わりに式（５）あるいは式（６）を用いてもよい。
【００２４】
次に制御信号変換手段３６では、レーザプリンタ１６が印画紙にＲ、Ｇ、Ｂのレーザビームをあてて画像露光する際の制御信号（Ｒ、Ｇ、Ｂ）と分光反射率ｆ（λ）との関係を示すルックアップテーブル（ＬＵＴ）により、上で求めた各分光反射率ｆ（λ）をそれぞれ制御信号に変換する。
このＬＵＴは、予めシステムに与えておいてもよいし、システムで作成してもよい。作成する場合には、例えば、レーザプリンタ１６から複数のパッチを出力し、それを分光測色計等で読み取り、レーザプリンタ１６がパッチを出力する際の制御信号と測定された分光反射率との関係を求めるようにすればよい。
色度再現によって得られた分光反射率を変換した制御信号を（Ｒ₀ ，Ｇ₀ ，Ｂ₀ ）とし、波形再現によって得られた分光反射率を変換した制御信号を（Ｒ₁ ，Ｇ₁ ，Ｂ₁ ）とする。
【００２５】
また、画像の用途等により、見えの一致を重視する場合や、見えの安定性が必要とされる場合があり、それぞれの目的に従ってどちらをより優先するかを示すプライオリティｋをプライオリティ設定手段３８により設定する。
そして、制御信号合成手段４０により、プライオリティｋを用いて、上で得られた２つの制御信号（Ｒ₀ ，Ｇ₀ ，Ｂ₀ ）と（Ｒ₁ ，Ｇ₁ ，Ｂ₁ ）を合成して１つの画像出力用の制御信号（Ｒ_k ，Ｇ_k ，Ｂ_k ）を得る。この合成は、次の式（７）によって行われる。

ここで、制御信号の右肩のｔは転置（transpose)を表す。
【００２６】
上記式（７）によって最終的な制御信号が与えられる場合には、プライオリティｋは、任意の実数値をとり得るが、好ましい範囲は、０≦ｋ≦１である。
このように、プライオリティｋを導入することにより、見えの一致度を求める場合には、ｋを０とすれば色度再現（Ｒ₀ ，Ｇ₀ ，Ｂ₀ ）が得られ、見えの安定性を求める場合には、ｋを１とすれば波形再現（Ｒ₁ ，Ｇ₁ ，Ｂ₁ ）が得られ、ｋにその他の値を入れることにより中間的な再現も可能となる。
これをまとめると次の表１のように表される。

この表で、・・・の部分は中間的な再現を表している。
こうして目的に適合した色再現の行われた画像がレーザプリンタ１６より出力される。このとき必要に応じた各種画像処理が施されるがそれについては説明を省略する。
【００２７】
なお、プライオリティ設定手段３８は、実際には本システムの主要部をなす画像出力装置を構成するパーソナルコンピュータに接続されたキーボード等であり、オペレータがこれからプライオリティｋを打ち込む。そして、変換後の出力画像をパーソナルコンピュータのディスプレイ等に表示して、オペレータがそれを見ながらプライオリティｋを設定し直す等して、求める画像が得られるように対話的に処理を進めることが好ましい。
【００２８】
なお、出力機（プリンタ）にとって、色度再現と波形再現との相違は撮影対象の分光波形ｆ₀ （λ）とプリントの分光波形ｆ（λ）の近さを表す距離‖ｆ₀ −ｆ‖の定義の相違（上の場合、式（３）を用いるか（色度再現）、式（４）を用いるか（波形再現）の違い）に過ぎない。従って、例えば式（３）や式（４）の他に前記式（５）若しくは式（６）あるいは他の距離の定義を用い、これら複数の与えられた距離の数だけ制御信号（Ｒi ，Ｇi ，Ｂi ）を求めて、各制御信号毎にプライオリティｋ_i を与えて、次の式（８）のように、これらの制御信号を合成して出力機に供給することもできる。
（Ｒ，Ｇ，Ｂ）^t ＝Σｋ_i ・（Ｒi ，Ｇi ，Ｂi ）^t ／Σｋ_i ・・・（８）
ここで、Σは異なる距離の数ｉ（ｉ＝０，・・・，ｎ）だけ加えられる。
従って、目的が同じであっても、距離の定義が異なっていれば、上のように与えられた距離の数だけ制御信号を求めて、式（８）で合成して出力するようにしてもよい。
上記式（８）で最終的な制御信号が与えられる場合には、各プライオリティｋ_i は、任意の実数値をとり得るが、好ましい範囲は、非負の実数である。
このように本実施形態によれば、目的に応じて再現方法を連続的に切り換えることができる。
【００２９】
以下、具体的な実施例について説明する。
（実施例１）
本実施例では、マルチバンドカメラにより、人物をスタジオ撮影し、得られた複数チャンネルの画像データから、補間技法により画素毎の分光反射率を推定する。この補間技法は、特に限定されるものではなく、通常よく知られた補間方法でよい。
次に、富士写真フイルム社製プリンタPictrography３０００により、９×９×９通りのプリントパッチを出力、作成する。そして、このプリントパッチの分光反射率を日立製作所製カラーアナライザＣ２０００により、測定する。
前記プリントパッチを出力する際の制御信号と、前記プリントパッチの分光反射率を同時に参照して、制御信号と分光反射率の関係を示すルックアップテーブルＬＵＴを作成する。
【００３０】
前記画素毎の分光反射率に対し、前記式（３）を最小とする分光反射率ｆ（λ）を求め、これを前記ＬＵＴを用いて、制御信号（第一制御信号）（Ｒ₀ ，Ｇ₀ ，Ｂ₀ ）に変換する。
また、前記式（４）を最小とする分光反射率ｆ（λ）を求め、同様に前記ＬＵＴを用いて、制御信号（第二制御信号）（Ｒ₁ ，Ｇ_{1 ,} Ｂ₁ ）に変換する。
【００３１】
そしてプライオリティｋ（０≦ｋ≦１）を設定し、前記第一制御信号と第二制御信号を前記式（７）により合成し、出力画像データとして出力する。
ここでプライオリティｋは、出力画像がある一定の基準光源の下でしか観察されないものであれば、プライオリティｋを０とすれば、式（３）を用いた色度再現による第一制御信号により見えの一致度が得られるし、様々な観察光源の下で観察されるものである場合には、プライオリティｋを１とすれば、前記式（４）を用いた波形再現による前記第二制御信号により見えの安定性が得られる。また、プライオリティｋを０と１の中間の値とすれば、中間の色再現が得られる。例えば、見えの安定性は必要だが、多少安定性は落としても見えの一致度もほしいという場合には、プライオリティｋを例えば０．８にする等の再現方法の切り換えを容易に行うことができる。
【００３２】
（実施例２）
本実施例では、次のような構成で製作されたマルチバンドカメラを用いる。
すなわち、本実施例のマルチバンドカメラは、ＣＣＤカメラ部、分光フィルタ部およびパーソナルコンピュータから構成される。
ＣＣＤカメラは、ＤＡＬＳＡ社製ＣＡ−Ｄ４−１０２４Ａ、ＰＣＩ Ｉ／Ｆを用いた。このＣＣＤカメラはモノクロで、ピクセル数１０２４×１０２４（pixel)、ピクセルサイズ１２×１２（μ）である。
分光フィルタは、ＣＲＩ社製の液晶チューナブルフィルタ、Varispec Tunable Filter ＲＳ２３２Ｃ Ｉ／Ｆを用いた。これは、波長範囲４００〜７２０nm、で中心波長を任意に選択可能であり、波長半値幅３０nm、透過率６〜６０％（波長に依存）である。
また、パーソナルコンピュータは、ＰＲＯＳＩＤＥ社製のブック型ＰＣ（Windows95)Ｃ＋＋であり、ＣＰＵは１６６ＭＨｚ、ＲＡＭは１２８Ｍbyteである。
【００３３】
上のようなマルチバンドカメラを用いて、次のような撮影条件で、被写体としてマクベスチャートおよび人物顔を撮影した。
撮影条件は、光源としては、被写体照度１２０００lux のメタルハライドランプを用い、レンズは、Ｎikomart(ｆ＝５０mm、Ｆ１．４）で、Ｆ２．８を使用した。また、紫外および赤外カットフィルタを用いて、４１０nm以下および７３０nm以上の波長帯域をカットし、波長範囲４１０nm〜７１０nmを波長間隔２０nmで分割した、図５に示すような１６の波長（チャンネル）に関するデータ（デジタルデータ）として、１６枚のスペクトル画像を得た。なお、撮影時間は、１ショットの露出時間は２５msecで、トータルの撮影時間は３sec である。
【００３４】
このようにして得られた１６枚の各波長の入力画像中にあるマクベスチャートのグレーチャートの中から６段を選び、そのデジタルデータ値を抜き取る。このデジタルデータ値と、既に得られているマクベスチャートグレー６段の分光反射率とを対比して１次元のルックアップテーブル（１ＤＬＵＴ）を作成する。
そして、この各波長ごとの１ＤＬＵＴを用いて、入力画像のデジタルデータ値をすべて分光反射率に変換する。そして、画素毎の分光反射率を得る。
【００３５】
以下前記実施例１と同様に、画素毎の分光反射率に対し、前記式（３）を最小とする分光反射率を求め、これを前記実施例１のＬＵＴを用いて（第一）制御信号へと変換する。
また一方、前記式（４）を最小とする分光反射率を求め、これも同様に前記ＬＵＴを用いて（第二）制御信号に変換する。
そして、プライオリティｋ（０≦ｋ≦１）を設定し、前記第一制御信号と第二制御信号とを式（７）により合成して、出力画像データとして出力する。
【００３６】
以上説明したように、本実施形態によれば、画像再現の目的に応じて、画像再現方法を連続的に切り換えることが可能となる。その結果、原画像と複製画像の見えの一致度と、見えの安定性のどちらを優先して色再現するかといった目的に最も適合した画像再現方法で画像を出力することができる。
【００３７】
以上、本発明のマルチバンド画像の画像出力方法および装置について詳細に説明したが、本発明は、以上説明したものには限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な改良や変更を行ってもよいのはもちろんである。
【００３８】
【発明の効果】
以上説明した通り、本発明によれば、画像再現の目的に応じて、画像再現方法を連続的に切り換えることができ、原画像と複製画像の見えの一致度と、見えの安定性のどちらを優先して色再現するかといった目的に最も適合した画像再現方法で画像を出力することが可能となった。
【図面の簡単な説明】
【図１】 本発明のマルチバンド画像出力装置を組み込んだ画像再現システムの概略を示すブロック図である。
【図２】 マルチバンド写真法の原理を示す説明図である。
【図３】 マルチバンド写真法によって得られた各チャンネルごとの相対感度を示す線図である。
【図４】 本実施形態における画像出力装置の概略を示すブロック図である。
【図５】 実施例２におけるマルチバンドカメラで撮影する１６チャンネルごとの各感度を示す線図である。
【符号の説明】
１０ 撮影対象
１２ 画像入力部
１４ 画像出力部（画像出力装置）
１６ レーザプリンタ
１８ 複製画像
２０ 光源
２２ フィルタ
２４ レンズ
２６ 白黒フィルム
３０ データ入力手段
３２ 色度再現による分光反射率算出手段
３４ 波形再現による分光反射率算出手段
３６ 制御信号変換手段
３８ プライオリティ設定手段
４０ 制御信号合成手段

Claims (5)

1. マルチバンド画像データの出力方法であって、
   マルチバンドカメラによって撮影された画像の各画素毎の分光波形を、画像出力機に出力するための、前記画素毎の分光波形の色度再現と波形再現を含む複数の画像再現法に対応した複数の制御信号に変換し、
   この複数の制御信号を合成して、最終的な制御信号を得ることを特徴とするマルチバンド画像出力方法。
2. 前記複数の画像再現法に対するプライオリティを設定し、前記複数の制御信号を前記プライオリティに基づいて合成する請求項１に記載のマルチバンド画像出力方法。
3. 前記プライオリティが、対話的に設定される請求項２に記載のマルチバンド画像出力方法。
4. マルチバンドカメラによって撮影された画像から得られるマルチバンド画像データを入力するデータ入力手段と、
   画素毎の分光波形を画像出力機に出力するための画素毎の分光波形の色度再現と波形再現を含む複数の画像再現法に対応した制御信号に変換する制御信号変換手段と、
   この制御信号変換手段により変換された前記複数の制御信号を合成し、最終的な制御信号を得る制御信号合成手段と、
   を備えたことを特徴とするマルチバンド画像出力装置。
5. 前記複数の画像再現法に対するプライオリティを設定する手段を有し、前記制御信号合成手段が、前記制御信号変換手段により変換された前記複数の制御信号を、前記プライオリティに基づいて合成し、最終的な制御信号を得ることを特徴とする請求項４に記載のマルチバンド画像出力装置。

Images