JP4098122B2

JP4098122B2 - 画像形成方法

Info

Publication number: JP4098122B2
Application number: JP2003056784A
Authority: JP
Inventors: 公治高橋; 磴　　秀康
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-10-04
Filing date: 2003-03-04
Publication date: 2008-06-11
Anticipated expiration: 2023-03-04
Also published as: JP2004177396A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像形成方法に関し、より具体的には、人口光源（例えば、ＣＩＥで規定している１２種類の蛍光灯）を含む撮影光源の種類を推定し、この結果に基づいて適正な画像処理を施すことを可能とした画像形成方法に関する。
【０００２】
【従来の技術】
フィルム画像を印画紙等の複写感材へ焼付けるときの焼付露光量は、フィルムが撮影時に被写体から受けた光量によって決定され、１コマ毎に異っている。色再現性の良好なプリントを得るためには、撮影条件に応じた焼付露光量の補正が必要となる。このため、一般に、カラー原画から複写感材へカラー画像を再現するときの露光量は、色素フィルタや蒸着フィルタで構成された色分解フィルタを備えた測光装置を用いて赤（Ｒ），緑（Ｇ），青（Ｂ）光の積算透過濃度を測定し、Ｒ，Ｇ，Ｂ光各々について決定することによって、グレイバランスを定めている。
【０００３】
しかしながら、背景等のカラーフェリアや現像条件等によって撮影光質情報が変化することがあるため、光質を正確に推定することができず、被写体照明光の光質の変化によって色再現性が悪化することがある。これは、写真フィルム上の何れの位置がグレイであるかの判断ができないためである。
この写真フィルム上にあるグレイを検出するのに最も有効な方法は、撮影光源の色温度を推定することである。
【０００４】
ここで問題になるのは、室内撮影の場合には、蛍光灯下での撮影が多いことであり、周知のように、蛍光灯はそれ以外の一般的な光源とは異なり、上述のような色温度検出によっては、光源種を適正に推定できないということである。
【０００５】
この問題を解消しようとして、従来から種々の提案がなされているが、未だに完全な（少なくとも、実用上、十分な精度を持つの意）対応方法は見出されてはいない。
【０００６】
【発明が解決しようとする課題】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、蛍光灯を含めた撮影光源の種類、すなわち光源種を推定し、この結果に基づいて適正な画像処理を施すことを可能とした画像形成方法を提供することにある。
【０００７】
なお、本発明は、特願平６−２５３６５６号（特開平８−１２２１５７号公報参照、以下、先願という）により提案された、「色温度推定方法、色温度推定装置、及び露光量決定方法」を改良した、蛍光灯を含めた撮影光源の種類を識別可能とした光源種の識別方法を用いて、この方法により識別した撮影光源の種類に基づいて、適正な画像処理を施すことを可能としたものということができるものである。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像形成方法は、被写体が撮影された撮影画像の画像データを読み取って、これに必要な補正を加える画像形成方法であって、前記撮影画像の画像データを読み取るセンサとして、一般的なカラー画像の解析に用いられるＲ，Ｇ，Ｂ３色に対応する分光感度を有するセンサに加えて、前記Ｒ，Ｇ，Ｂ３色に対応する分光感度と少なくともピーク波長が重複しない分光感度を有する第４のセンサＸを配して、これらＲ，Ｇ，Ｂ，Ｘ４つのセンサで取得した、前記画像データの読み取り情報それぞれを用いて、予め定められた複数の光源種のなかから、前記被写体を撮影した際に前記被写体に照射されていた照射光の光源種を推定し、上記推定された光源種で得られるセンサ出力と所望の光源種で得られるセンサ出力とから定義される色変換方法により、前記画像データの読み取り情報を処理して、前記画像データを、前記照射光を所望の光源種とした際に得られる画像を再現する画像データに変換することを特徴とする画像形成方法であって、前記光源種を推定する際、前記照射光の光源種を特定の光源種とした場合に前記４つのセンサで読み取られて取得される想定センサ情報を、前記特定光源種の分光エネルギー分布、既知である前記４つのセンサそれぞれの分光感度分布、および固有ベクトルの１次結合で表した前記被写体の分光反射率分布の積算で表した方程式を用い、前記方程式における前記特定の光源種の分光エネルギー分布として、既知である前記複数の光源種それぞれを用いた各場合について、前記４つのセンサによる前記画像データの前記読み取り情報と、前記方程式によって定まる前記想定センサ情報との差を最小にする際の、前記１次結合に係る前記固有ベクトルの係数を求めることで、前記差を最小とする際の前記被写体の分光反射率の想定データをそれぞれ求め、前記複数の光源種それぞれについて求めた前記想定データに基づいて、前記照明光の光源種を推定し、前記第４のセンサＸは、それぞれ異なる複数の分光感度候補から選択されて設定された分光感度をもつセンサであり、前記センサを配するとき、異なる複数の分光感度候補それぞれについて、所定の被写体を前記複数の光源種で照射した各場合の、前記Ｒ、Ｇ、Ｂ、の３つのセンサそれぞれのセンサ信号とともに、前記分光感度候補を有するセンサによるセンサ信号とを求め、前記複数の分光感度候補それぞれについて、前記複数の光源種のうちの１つである基準光源種で照射した際の各センサ信号と、前記複数の光源種のうちの前記基準光源種以外の光源種で照射した際の各センサ信号との類似度の大きさを表す類似度情報を求め、前記複数の分光感度候補のうち、前記類似度の大きさが最小となる前記類似度情報に対応する分光感度候補を分光感度としてもつセンサを、前記第４のセンサＸとして配することを特徴とするものである。なお、前記照明光の光源種を推定する際、前記分光反射率の前記想定データの最大値が１．０を越えた異常成分の、前記画像データにおける和を評価値として求め、前記特定の光源種として用いた前記複数の光源種のうち、前記評価値を最小とする際の前記光源種を、前記照明光の光源種と推定することが好ましい。
【０００９】
ここで、前記第４のセンサＸとしては、前記Ｒセンサの有する吸収のピークよりも３０ｎｍ以上長波側で、かつ、７００ｎｍ以下の領域に吸収のピークを有するもの、または、前記ＧセンサとＢセンサの中間に吸収のピークを有し、かつ、５００ｎｍ〜５２０ｎｍの領域に吸収のピークを有するものを用いることが可能である。
【００１０】
また、ここで、前記色変換方法は、前記入力画像中のグレイ部分もしくはこれに準ずる部分に関し、その推定された光源種に対応するセンサ出力Ｅ_ｉｊ ^ZEが、前記所望の光源種に対応するセンサ出力Ｅ_ｉｊ ^Z0となるように補正するものであることを特徴とする。
ここで、ｉ：画素位置
ｊ：Ｒ，Ｇ，Ｂ，Ｘ
である。
【００１１】
また、前記画像の変換における、前記色変換方法は、下記式（１）で表される色変換であることを特徴とする。
【数１】

ここで、係数行列Ｃは０であってもよい。
【００１２】
また、前記画像の変換における、前記色変換方法は、下記式（２）で表される色変換であることを特徴とする。
【数２】

ここで、係数行列Ｃは０であってもよい。
【００１３】
また、前記画像の変換における、前記色変換方法は、下記式（３）で表される色変換であることを特徴とする。
【数３】

ここで、係数行列Ｃは０であってもよい。
【００１４】
なお、前記Ｒ，Ｇ，Ｂ，Ｘ４つのセンサから得た情報を用いての光源種の識別は、色温度が既知の黒体放射に基づく光源および分光エネルギー分布が規定されている蛍光灯の分光エネルギー分布、測光系の分光感度分布並びに予め定めた前記４つのセンサ出力信号関数の１次結合で表わした分光反射率分布の積の積和または積分値で定められる基準値を求め、色温度もしくは蛍光灯種別推定対象光源からの反射光の少なくとも一部を前記各センサにより信号として測定し、前記基準値とこの各センサによる測定値との差が最小となる分光反射率分布を黒体放射光源の色温度毎並びに蛍光灯種別毎に求め、さらにここで求めた分光反射率の最大値が１.０を越えた異常成分の和を評価値として求め、この評価値の最小値に対応する黒体放射光源の色温度もしくは蛍光灯種別を前記光源種の識別結果とするものである。
【００１５】
本発明に係る画像形成方法は、これを組み込んだ写真プリンタとして構成することが可能である。
【００１６】
具体的には、本発明に係る画像形成方法を適用した写真プリンタは、前記光源種の識別装置により推定した光源種に応じて、例えば予め用意された露光補正アルゴリズムを選択し、これに基づいて補正した露光量による露光を行って写真プリントを得るものである。
【００１７】
【発明の実施の形態】
以下、本発明に係る画像形成方法の基礎となる、蛍光灯を含む光源種の推定方法について説明した後、本発明の実施の形態を詳細に説明する。
なお、以下に説明する光源種の推定方法は、光源類似度の指標を基準とする方法であり、ここでは、Ｒ，Ｇ，Ｂの３原色に対応させて設けた３個のセンサに加えて、適宜の波長域に吸収のピークを有する第４のセンサ（本明細書中では、これを、Ｘセンサという）を配して、このＲ，Ｇ，ＢおよびＸの４つのセンサを用いて、光源および被写体に関する先見情報なしに、撮像手段（カラーネガフィルム，ＤＳＣ：デジタルスチルカメラ等）からのセンサ信号だけから、撮影光源を推定しようとするものである。
【００１８】
ここで説明する蛍光灯を含む光源種の推定方法においては、色温度Ｔ＝５５００Ｋの黒体放射に対して、反射率１.０の白色の信号値がＳ_b＝Ｓ_g＝Ｓ_r＝１.０となるようにセンサ出力を調整し、また、任意の光源に対して白色信号のＧ信号が一定（Ｓ_g＝１.０）となるようにセンサの露光量調整を行う。
以上の条件の下で、マクベスチャートＮo.１９の白色の信号値を、ＣＩＥ蛍光灯１２種（Ｆ１〜Ｆ１２），黒体放射光源４種（Ｔ＝３０００Ｋ，５０００Ｋ，７０００Ｋ，９０００Ｋ）について求めた。
【００１９】
また、ここでは、上述の信号値を基に光源の色温度を推定するとともに、上記１２種の蛍光灯（現状では、上記Ｆ１〜Ｆ１２）をも含めて識別可能としようとするものである。図１に、上述の、ＣＩＥにより規定されている１２種類の蛍光灯（Ｆ１〜Ｆ１２）の概略の特性を、また、図２に、色温度Ｔの黒体放射光源の特性を示した。なお、被写体の分光反射率は、下記の式（４）に示すように固有ベクトル（例を、図３に示す）の加重和で近似できると仮定する。
【００２０】
【数７】

【００２１】
この仮定により、被写体の分光反射率には奇想天外なもの（例えば、ギザギザな反射率）は論外にして、現実にありそうな分光反射率の変化のスムーズなものだけを対象にすることができる。なお、図３に示した固有ベクトルは、マクベスチャート２４色を主成分分析して求めたものである。
【００２２】
さて、前述の光源類似度の指標についてであるが、ある光源のセンサ信号値を基準として、他の光源のセンサ信号値がこれに近いか否かの指標として、下記の式（５）で定義されるΔ_b，Δ_r，Δ_xを用いることとする。
【００２３】
【数８】

【００２４】
上述の式（５）中において、Δ_b，Δ_r，Δ_xは基準光源のセンサ信号（Δ_b ⁰，Δ_r ⁰，Δ_x ⁰）と他光源のセンサ信号（Δ_b，Δ_r，Δ_x）との対数信号差を示している。一例として、ＣＩＥ蛍光灯Ｆ８を基準光源とした場合について、Δ_bとΔ_rをプロットしたもの（３信号系）を、図４に示す。
【００２５】
図４において、原点は基準のＣＩＥ蛍光灯Ｆ８であり、原点からの距離が大きいほど、基準光源（Ｆ８）と他光源との類似度は小さいことになる。
４信号系では、図４の紙面に垂直方向の成分Δ_xが加わる。三次元空間における原点との距離Ｌにより、４信号系における基準光源（Ｆ８）と他光源との類似度（下記の式（６）参照）が評価できる。
【００２６】
【数９】

【００２７】
式（６）中のＬに添字を付けてＬｉ（ｊ）と表記し、基準光源がｉのときの他光源ｊとの距離を示すことにする。例えば、基準光源と他光源がともにＣＩＥ蛍光灯（１２種）とすれば、Ｌｉ（ｊ）は各基準光源毎に１１個存在することになる。そこで、その１１個の中の最小値をＬ（ｉ）_minとし、下記の式（７）によりＬ_minを計算する。
【００２８】
【数１０】

【００２９】
ここで、Ｌ_minはＣＩＥ蛍光灯１２種間の平均最小距離であり、この値が小さいほど、蛍光灯同士の類似度が大きいことを意味し、誤認を起こしやすいことになる。
【００３０】
図５は、前述のＸセンサ（第４のセンサ）の分光感度のピーク位置（波長）を変化させた場合の、上記ＣＩＥ蛍光灯１２種間の平均最小距離Ｌ_minの動きを示している。図５に示したように、Ｘセンサのピーク波長６７５ｎｍ付近で上記Ｌ_minが最大になることが判る。すなわち、ＣＩＥ蛍光灯（１２種）同士をなるべく誤認しないようにするためには、第４のセンサのピーク波長は、６７５ｎｍ付近に設定するのがよいことになる。
【００３１】
また、蛍光灯と黒体放射光源との類似度についても、同様の方法で調べた結果を、図６に示す。図６に示す結果では、第４のセンサの分光感度のピーク位置が長波長になるほど、平均最小距離Ｌ_minが大きくなり、蛍光灯と黒体放射光源との誤認は生じ難くなることが判る。
【００３２】
以上の結果から、第４のセンサの分光感度のピーク位置は６８０ｎｍ付近に設定するのが最適といえる。
図７に、この場合の各センサの分光感度特性をまとめた。
【００３３】
以下、よリ具体的に説明する。
ここでは、光源データとして、ＣＩＥ蛍光灯１２種と黒体放射光源４種（いずれも、前述）を対象とし、光源推定プログラムとして、前述の先願に示したものを用いた。なお、センサ分光感度対は、３信号系，４信号系（Ｘセンサのピーク波長６４５ｎｍ），４信号系（Ｘセンサのピーク波長６７５ｎｍ）の三つで比較した。
【００３４】
また、上述の、先願に係る光源推定プログラムは、簡単にいえば、入力画像に対して、その画像がある光源（仮想光源）下で作成されたものと仮定し、各画素の分光反射率を再生した場合、仮想光源が実際に撮影に用いられた光源（実写光源という）と違っていると、分光反射率に異常（反射率１.０を越える）が観測されることを利用して、反射率異常が最小となる光源を、実写光源と推定するものである。
【００３５】
ここでは、Ｒ，Ｇ，Ｂの３原色に対応させて設けた３個のセンサ（３信号系の場合）に加えて、第４のセンサとして６４５ｎｍ（４信号系の場合の▲１▼），６８０ｎｍ（４信号系の場合の▲２▼）に吸収のピークを有するセンサを配して，これらのセンサを用いるものとする。
【００３６】
一般的に、ある色温度の黒体放射光源またはある種類の蛍光灯で照明された被写体を撮影した場合のセンサ出力信号Ｅ_ij ^Zは、下記の式（８）で表わすことができる。なお、ここで、Ｚは色温度Ｔの黒体放射光源またはある種類の蛍光灯を示す。
【００３７】
【数１１】

【００３８】
ここで、上記センサ信号Ｅ_ij ^Zは、二つの未知な変量Ｐ^Z（λ）とρ_i（λ）を含む積分値であり、センサ信号Ｅ_ij ^Zを与えるＰ^Z（λ）とρ_i（λ）の可能な組み合わせは、多数考えられる。従って、一般には、光源Ｐ^Z（λ）を特定することは不可能であるが、可能な組み合わせの中には、数学的には矛盾しないが物理的に矛盾するものも多数含まれると考えられ、それらを除くと光源の推定が、ある精度内で可能になる。
【００３９】
なお、上記式（８）中の被写体の分光反射率分布ρ_i（λ）は、データを得るための情報形態によってｉが定まる。すなわち、被写体を撮影したときの撮影画像を想定すると、その撮影画像を多数に分割した各々の画素から情報を得ることができるので、ｉ番目の画素に対応する被写体の分光反射率分布がρ_i（λ）となる。
【００４０】
前記式（４）を式（８）に代入し、Ｐ^Z（λ）をＰ（Ｔ；λ）と表記し直すと、センサ信号Ｅ_ij ^Zは、下記の式（９）となる。
【００４１】
【数１２】

【００４２】
ここでは、この条件で、光源と被写体の可能な組み合わせを求めるために、未知数の一つである色温度Ｔを固定して被写体の分光反射率を復元する。このため、加重係数α_ikに初期値を与え、式（９）の右辺の積分値がセンサ信号Ｅ_ij ^Zに一致するまで、加重係数α_ikの最適化計算を繰り返した。収束した加重係数α_ikを用いることにより、式（４）から被写体の分光反射率が復元することができる。
【００４３】
この一例を、図８に示す。この例では、センサ信号Ｅ_ij ^ZをＥ_B＝Ｅ_G＝Ｅ_R＝Ｅ_X＝０.６とし、色温度を、Ｔ＝３０００Ｋ，５０００Ｋ，７０００Ｋ，９０００Ｋと変化させている。Ｔ＝３０００Ｋと９０００Ｋでは、分光反射率の一部が反射率１.０を超えており、前述の物理的に矛盾したデータ（反射率異常）になっている。これから、撮影光源の色温度が、３０００Ｋまたは９０００Ｋである可能性は低いということができる。
【００４４】
上述のように、分光反射率の復元データは、色温度の推定に利用することができると考えられる。また、この際に用いる推定に寄与する評価値も、幾つか考えられる。ここでは、その一つとして、分光反射率ρ_i（λ）は０≦ρ_i（λ）≦１.０であるという事実を重視して、分光反射率ρ_i（λ）が１.０を越える程度が強いほど「真の色温度」からのずれが大きいと考えて、式（１０）に示すような評価値ｖを導入した。
【００４５】
【数１３】

【００４６】
この評価値ｖは、色温度Ｔの関数となるが、それを多くの画素について集計したものをＶとする。ここで、Ｖは下記の式（１１）で表わされる。なお、ここで、ρ_i（λ）^maxはρ_i（λ）の最大値を示すものとする。
【００４７】
【数１４】

【００４８】
図９に、上述の色温度の変化に対応する評価値Ｖの変化の模式的な一例を示した。図９は光源種が色温度５０００Ｋの黒体放射光源の場合を示すものであり、図中のＵ字状曲線の底に対応する部分は、前述の、被写体の分光反射率が反射率１.０を超える確率が最も小さい部分と言えるので、これに対応する色温度を、撮影光源の色温度と推定（識別）することができる。
【００４９】
図１０には、光源種が蛍光灯Ｆ１である場合を例示している。蛍光灯を含めた光源種識別を行う場合には、前述の式（１１）の評価値Ｖを黒体放射光源の色温度および蛍光灯光源種の種別（１２種）に対して計算し、Ｕ字状ないしＶ字状の曲線の最小値に対応する色温度もしくは蛍光灯の種類を、撮影光源の光源種と推定する。図１０では、最小値に対応する光源種は、蛍光灯Ｆ１と読み取れる。
【００５０】
図１１は、ここでの光源種の識別動作の流れを示すフローチャートである。なお、ここでは、カラーネガフィルムを濃度測定して、その結果に基づいて撮影光源の種類を識別する場合を例に挙げる。
【００５１】
ステップ１２：事前準備として、ここでは、種々の光源種（前述のように、蛍光灯種別を含む）を仮定し、測定対象カラーネガフィルムについて、加重係数α_ikに任意の４つの数値対を与えることにより分光反射率を復元し（式（４））、式（８）によってＥ_ij ^Zを計算してメモリに蓄積しておく。これを繰り返すことにより、（α_ik対Ｅ_ij ^Z）のデータ対を構成できる。この計算結果は、テーブル化しておいてもよい。
【００５２】
ステップ１４：実際の動作では、未知の光源種におけるカラーネガフィルムの測光データ（Ｅ_ij ⁰）を得て、次の式（１２）に示すように、データＥ_ij ⁰とセンサ出力値Ｅ_ij ^Zとの差ΔＥを最小にする分光反射率（すなわちα_ik）を求める。これは、前述の、蓄積されている多数のＥ_ij ^Zを用いることによって実行できる。
【００５３】
【数１５】

【００５４】
ステップ１６：ΔＥを最小にする分光反射率に対して評価値Ｖを計算し、評価値Ｖの最小値に対応する光源種を撮影光源と推定する。
【００５５】
表１に、３信号系，４信号系の▲１▼（Ｘ１センサを用いた場合），４信号系の▲２▼（Ｘ２センサを用いた場合）とにおける、各種の光源種に対応して評価値Ｖが最小値となった点を示した。
【００５６】
【表１】

【００５７】
この表１は、ある光源種が、本実施形態に係る光源種の識別方法によってどのように識別されたかを、従来の方法、すなわちＲ，Ｇ，Ｂの３センサのみを用いた３信号系の場合との対比の形で示しているものである。光源種が蛍光灯Ｆ１〜Ｆ１２である場合における識別結果の欄を見れば判るように、殆どの光源種が正しく識別されているということを示しているものである。
【００５８】
また、例えば、黒体放射５０００Ｋという色温度が、３信号系の場合（表１中では、３ｃｈ入力と示されている）では４４１９ｋであるのに対して、Ｘ１センサを用いた場合（表１中では、４ｃｈ入力（６４５ｎｍ）と示されている）では４５１０Ｋとなっており、さらに、Ｘ２センサを用いた場合（表１中では、４ｃｈ入力（６７５ｎｍ）と示されている）では、４５４１Ｋとなっている点からも判るように、色温度の推定においても精度が向上する効果が得られている。
【００５９】
すなわち、この、先願に係る光源推定プログラムによれば、第４のセンサを導入したことにより、未知の光源種におけるカラーネガフィルムの測光データ（Ｅ_ij ⁰）を得た場合に、そのカラーネガフィルムの撮影に用いられた光源の種別を、蛍光灯の種別までを含めて、適確に識別することが可能になるという効果が得られる。
【００６０】
以下、上述のような光源推定プログラムにより、前述の、Ｒ，Ｇ，Ｂ，Ｘ４つのセンサを用いて識別（推定）した光源種に基づいて、入力画像データを、色バランスの取れた画像として再現する画像形成方法について説明する。
【００６１】
上記光源推定プログラムにより推定（識別）された光源種をＺＥ、再現したい光源種をＺ０とする。上記Ｚ０は、昼光撮影用のフィルムを用いる撮影の場合には、昼光光源で撮影するのが設計に合致し、色バランスの良好な画像が得られる。ここでは、例えば、約５５００Ｋの黒体放射の光源を再現したい光源を、上記Ｚ０とする。
【００６２】
撮影光源Ｚに対応するセンサ出力Ｅｉｊ^Zは、前述の式（８），（９）で与えられ、これも前述の、事前準備ステップ（段落００５１参照）において、種々の光源Ｚ毎にテーブル化されて、メモリに蓄積されているものとする。
【００６３】
また、ここでは、推定された光源種ＺＥに対し、各色分光感度毎のセンサ出力Ｅｉｊ^ZE（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）が得られるとする。
一方、再現したい光源種Ｚ０に対しては、上述のテーブルを参照することにより、各色分光感度毎のセンサ出力Ｅｉｊ^Z0（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）が得られるとする。
【００６４】
上述のような状況下で、入力画像中のグレイ部（あるいは、ＬＡＴＤ的に考えた平均的な部分）ｉについて、センサ出力Ｅｉｊ^ZE（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）がセンサ出力Ｅｉｊ^Z0（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）となるような係数行列を求める。
【００６５】
【数１６】

【００６６】
より具体的には、下記の通りである。
【数１７】

ここで、係数Ｃは０であってもよい。
【００６７】
また、上式の要素数は、最低で３色でもよく、通常の撮影に利用される、感度がＲ，Ｇ，Ｂの３色の場合には、Ｘの項は考慮しなくてもよい。
係数行列Ａが対角行列であるこの場合は、光源種の違いに合わせて、それぞれの色の分光感度の感度比を調節したことになり、すなわち、グレイのバランスを調整したことになる。
【００６８】
上記変換処理によって、取得画像（すなわち、光源種ＺＥでの画像）から、バランス調整された画像（すなわち、光源種Ｚ０での画像）が計算される。
実際にこれを画像として出力するためには、上記バランス調整された画像の信号に対し、各種の色信号処理等を実施してもよい。
【００６９】
例えば、適正な出力を得るための、装置に依存した色信号変換が例示される。また、上述のバランス調整された画像信号を対数処理して露光濃度として扱い、優れた色再現を有する感光材料によるプリント作製に供するための濃度信号に変換してもよい。なお、これらの適宜の組み合わせも有効である。
【００７０】
また、上述の説明においては、感光材料（カラーネガフィルム）を撮影材料として用いた例を説明したが、本発明はこれに限定されるものではなく、いわゆるデジタルカメラ（ＤＳＣ）の分光感度特性に付いても、全く同様に扱うことが可能である。
【００７１】
前述の変換式では、係数行列Ａが対角行列である場合を説明したが、本発明においては、係数行列Ａが非対角成分を持つような色変換の実施も含まれる（下記式（３）参照）。
【００７２】
【数１８】

【００７３】
このためには、マクベスカラーチェッカに例示される豊富な色を含むデータについて、係数行列Ａ，Ｃを求めればよく、後段の処理は、上記実施例の場合と同様に行えばよい。この場合の効果としては、グレイ部以外の他の色についても色合わせが可能となることが挙げられる。
【００７４】
また、色修正として、ここでは、信号の線形変換を行う場合を例に挙げたが、いわゆる、２次以上の信号成分を考慮した変換行列を用いることなども、本発明に係る画像形成方法の範囲内で実施することが可能である。
さらに、撮影光源の雰囲気を残すために、式（１）で得られたセンサ出力Ｅｉｊ^Z0（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）と、撮像光源のセンサ出力Ｅｉｊ^ZE（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）の内分操作を行うことが有効な場合もあり、これも、本発明に係る画像形成方法の範囲内で実施することが可能である。
【００７５】
なお、上記実施形態は本発明の一例を示したものであり、本発明はこれに限定されるものではなく、本発明の要旨を逸脱しない範囲内で、適宜の変更・改良を行ってもよいことはいうまでもないことである。
【００７６】
例えば、前述の色変換処理としては、本出願人の先願に係る特願平９−３３８６３９号「画像処理方法および装置」（特開平１１−１７７８３２号公報参照）、特願平１０−３１１０９０号「色補正方法および装置」（特開２０００−１３７３０５号公報参照）等、各種の処理を適用することが可能である。
【００７７】
【発明の効果】
以上、詳細に説明したように、本発明に係る画像生成方法によれば、光源種識別対象の光源からの反射光の少なくとも一部を用いて、光源種の識別（推定）を行った後に、この推定された光源種と所望（基準）の光源種で得られるセンサ出力から定義される色変換方法に基づいて、画像データの変換を行うようにしたので、撮影光源の種類、すなわち光源種の推定結果に基づく適正な画像処理を施すことを可能とした画像形成方法を実現できるという顕著な効果が得られるものである。
【図面の簡単な説明】
【図１】（ａ）〜（ｄ）は、ＣＩＥに規定される１２種類の蛍光灯（Ｆ１〜Ｆ１２）の概略特性を示す図である。
【図２】色温度Ｔの黒体放射の概念を説明する図である。
【図３】被写体の固有ベクトルの分光分布を例示する図である。
【図４】本発明の原理である光源類似度の指標についての説明図である。
【図５】実施形態に係るＸセンサの分光感度のピーク位置（波長）を変化させた場合の蛍光灯間の平均最小距離の動きを示す説明図である。
【図６】同、蛍光灯と黒体放射光源とを含めた場合の類似度の変化を示す説明図である。
【図７】実施形態において用いたＲ，Ｇ，ＢおよびＸの各センサの分光感度を例示した図である。
【図８】被写体の分光反射率を復元した状況を例示する図である。
【図９】一実施形態における、色温度Ｔと評価値Ｖとの関係を例示する図である。
【図１０】実施形態における、色温度Ｔおよび１２種類の蛍光灯と評価値Ｖとの関係を例示する図である。
【図１１】実施形態における光源種の識別動作の流れを示すフローチャートである。
【符号の説明】
１２，１４，１６処理ステップ

Claims

被写体が撮影された撮影画像の画像データを読み取って、これに必要な補正を加える画像形成方法であって、
前記撮影画像の画像データを読み取るセンサとして、一般的なカラー画像の解析に用いられるＲ，Ｇ，Ｂ３色に対応する分光感度を有するセンサに加えて、前記Ｒ，Ｇ，Ｂ３色に対応する分光感度と少なくともピーク波長が重複しない分光感度を有する第４のセンサＸを配して、
これらＲ，Ｇ，Ｂ，Ｘ４つのセンサで取得した、前記画像データの読み取り情報それぞれを用いて、予め定められた複数の光源種のなかから、前記被写体を撮影した際に前記被写体に照射されていた照射光の光源種を推定し、
上記推定された光源種で得られるセンサ出力と所望の光源種で得られるセンサ出力とから定義される色変換方法により、前記画像データの読み取り情報を処理して、前記画像データを、前記照射光を所望の光源種とした際に得られる画像を再現する画像データに変換することを特徴とする画像形成方法であって、
前記光源種を推定する際、
前記照射光の光源種を特定の光源種とした場合に前記４つのセンサで読み取られて取得される想定センサ情報を、前記特定光源種の分光エネルギー分布、既知である前記４つのセンサそれぞれの分光感度分布、および固有ベクトルの１次結合で表した前記被写体の分光反射率分布の積算で表した方程式を用い、
前記方程式における前記特定の光源種の分光エネルギー分布として、既知である前記複数の光源種それぞれを用いた各場合について、
前記４つのセンサによる前記画像データの前記読み取り情報と、前記方程式によって定まる前記想定センサ情報との差を最小にする際の、前記１次結合に係る前記固有ベクトルの係数を求めることで、前記差を最小とする際の前記被写体の分光反射率の想定データをそれぞれ求め、前記複数の光源種それぞれについて求めた前記想定データに基づいて、前記照明光の光源種を推定し、
前記第４のセンサＸは、それぞれ異なる複数の分光感度候補から選択されて設定された分光感度をもつセンサであり、
前記センサを配するとき、異なる複数の分光感度候補それぞれについて、所定の被写体を前記複数の光源種で照射した各場合の、前記Ｒ、Ｇ、Ｂ、の３つのセンサそれぞれのセンサ信号とともに、前記分光感度候補を有するセンサによるセンサ信号とを求め、
前記複数の分光感度候補それぞれについて、前記複数の光源種のうちの１つである基準光源種で照射した際の各センサ信号と、前記複数の光源種のうちの前記基準光源種以外の光源種で照射した際の各センサ信号との類似度の大きさを表す類似度情報を求め、
前記複数の分光感度候補のうち、前記類似度の大きさが最小となる前記類似度情報に対応する分光感度候補を分光感度としてもつセンサを、前記第４のセンサＸとして配することを特徴とする画像形成方法。
前記照明光の光源種を推定する際、
前記分光反射率の前記想定データの最大値が１．０を越えた異常成分の、前記画像データにおける和を評価値として求め、
前記特定の光源種として用いた前記複数の光源種のうち、前記評価値を最小とする際の前記光源種を、前記照明光の光源種と推定することを特徴とする請求項１記載の画像形成方法。
前記第４のセンサＸとして、前記Ｒセンサの有する吸収のピークよりも３０ｎｍ以上長波側で、かつ、７００ｎｍ以下の領域に吸収のピークを有するものを用いることを特徴とする請求項１または２に記載の画像形成方法。
前記第４のセンサＸとして、前記ＧセンサとＢセンサの中間に吸収のピークを有し、かつ、このピーク値が５００ｎｍ〜５２０ｎｍの領域にあるものを用いることを特徴とする請求項１または２に記載の画像形成方法。
前記色変換方法は、前記入力画像中のグレイ部分もしくはこれに準ずる部分に関し、その推定された光源種に対応するセンサ出力Ｅ_ｉｊ ^ZEが、前記所望の光源種に対応するセンサ出力Ｅ_ｉｊ ^Z0となるように補正するものであることを特徴とする請求項１〜４のいずれか１項に記載の画像形成方法。
ここで、ｉ：画素位置
ｊ：Ｒ，Ｇ，Ｂ，Ｘ
前記画像の変換における、前記色変換方法は、下記式（１）で表される色変換であることを特徴とする請求項５に記載の画像形成方法。

ここで、係数行列Ｃは０であってもよい。
前記画像の変換における、前記色変換方法は、下記式（２）で表される色変換であることを特徴とする請求項６に記載の画像形成方法。

ここで、係数行列Ｃは０であってもよい。
前記画像の変換における、前記色変換方法は、下記式（３）で表される色変換であることを特徴とする請求項７に記載の画像形成方法。

ここで、係数行列Ｃは０であってもよい。