WO2001022737A1

WO2001022737A1 - Systeme de saisie d'images, processeur d'images et camera associee

Info

Publication number: WO2001022737A1
Application number: PCT/JP2000/006294
Authority: WO
Inventors: Mohamed Abolella Abdellatif; Koji Kitamura
Original assignee: Nature Technology Co., Ltd.
Priority date: 1999-09-17
Filing date: 2000-09-14
Publication date: 2001-03-29
Also published as: KR20020032595A; CN1284381C; CA2385173A1; AU7313000A; US20050117045A1; EP1220547A1; EP1220547A4; JP3796174B2; CN1375166A

Description

明細書撮影システム並びに画像処理装置及びカメラ技術分野

本発明は、撮影された物体の色を補正し又は画像の濃度を安定させるための撮影システム、並びに、これらに用いるカメラ及び画像処理装置に関する。背景技術

物体の色は入射光に影響されやすく、カメラにより撮影された像の色を入射光の種類によらず常に一定に表示するのは困難である。人間はそのような環境にあつても、物体の色を常に一定に認識することができ、このような能力を色の不変性（カラ一コンスタンシー）という。

従来より、色の不変性を実現するために、カメラにより撮影された画像の色補正を行う方式としては、撮像を各区分毎に補正する区分的（Spat i a l) 補正方式と、画像を全体として均一に補正する全体的（Gl oba l) 補正方式とが存在する。前者の例として Re t inex方式が存在し、後者の例としてホヮィトパッチ方式及びハイライト部参照方式等が存在する。

第一の Ret inex方式は、物体の表面色に関し光検出路における平均した色はグレーであるという仮定を内容とする GWA (Gr ay Wo r ld As sumpt i on) 理論に基づいている。そして、ある区分、例えばあるビクセルの周囲に広がる光検出路の色情報を用いて当該ピクセルの色補正を行っている。したがって、この Re t i nex方式によれば、各ピクセルについて光検出路色に基づく複雑な計算が実行されねばならず、全体としてのコンピュータにおける計算量が非常に膨大で問題である。また、たとえば、シーンの色がある色に偏つている場合、この偏った色が光源の色として認識されるので、適用に限界がある。

一方、第二のホワイトパッチ方式では、シーンにホワイトパッチが挿入され、そのホワイトパッチ上の反射光が光源色として求められ、これに基づいて色補正が行われる。ところが、現実問題として、撮影しょうとするシーンにホワイトパツチを直接挿入するのは事実上非常に困難である。

第三のハイライト部参照方式では、例えば飽和ピクセルの周囲の光をハイライト部と仮定し、この周囲の光を光源色として求める。したがって、一旦、撮影されたシーン上からハイライト部を個別に見つけなければならず、画像処 S^^'非常に複雑である。また、ハイライト部に対応するピクセルは飽和しているので、そこから光源色を見つけるのは不可能である。

そこで、これらの方式における問題を解消する方式として、発明者は区分的補正方式として国際出願番号 P C TZJ P 9 6 / 0 3 6 8 3号（国際公開番号 WO 9 8 / 2 7 7 4 4号）のノ一ズ方式を提唱した。同ノーズ方式の撮影システムには、レンズ、撮像素子及び反射面を有し、主シーンを前記撮像素子上に撮影するカメラと、反射面により得られた参照用シーンの情報を用いて前記主シーンにおける画像を補正する画像処理装置とが設けられている。そして、あらかじめ参照用シ一ンと主シーンとの間で両者を対応させるマツピングを行い、画像処理装置において、各主シーンのピクセルにおける色をこれに対応する参照用シーンの色で実質的に除することで、主シーンの色補正を行っていた。

しかし、同ノ一ズ方式では、参照用シーンと主シーンとの間で両者を対応させるマッピングを行う必要がある。よって、色補正を正確に行うためには、マツピングを前提とした精密なキヤリブレーシヨンを行う必要があり、そのキヤリブレーシヨン作業が煩雑であった。また、マッピングのためには、ある程度の広さの参照用画像を撮影した画像上に確保することが必要である。したがって、主画像と参照用画像とが同一の画像範囲に存在する場合、主画像が参照用画像の分だけ減少する。かかる従来の実状に鑑みて、本発明の第一の目的は、簡易なキヤリブレ一ションで色の不変性を実現させ又は画像の濃度を安定させるために色を補正することの可能な撮影システム、並びに、これらに用いるカメラ及び画像処理装置を提供することにある。

また、本発明の第二の目的は、参照用画像部の面積が小さくても十分に色補正を行うことの可能な撮影システム等を提供することにある。発明の開示

上記課題を達成するため、本発明に係る撮影システムの特徴は、画像の色を補正するためのものであって、レンズ、撮像素子、受光素子及び反射面を有し主シーンを前記撮像素子上に撮影するカメラを備え、前記撮像素子及び前記受光素子は複数の色チャンネルを有し、前記反射面は前記カメラの視野内に配置されており、且つ前記主シーン又はその近傍に属する参照用シーンからの光を反射すると共に前記レンズを介して前記受光素子に受光させるものであり、さらに、前記受光素子により受け入れられた参照用シーンの反射光のうち 1ビクセル部の値又は複数ビクセル部の前記各色チャンネル毎における平均値を参照用信号値（r n， gn, bn) として求める光源色測定部と、この参照用信号値により画像の色を補正する補正装置とを備えていことにある。

この撮影システムにおいて、前記補正装置をデジタル又はアナログ回路で電気的に画像処理を行うように構成する場合には、この補正装置を例えば前記撮像素子により撮影された主シーンの各座標位置における主信号値（r [x][y]，g[x] [y],b[x][y]) を前記各色チャンネル毎に求めた前記参照用信号値（rn, gn, bn) によってそれぞれ実質的に除することにより前記主信号値を補正した補正信号値 (rc[x][y]₅gc[x][y],bc[x][y]) を得るための補正部として構成すればよい。

上記特徴を備えた撮影システムはカラー画像における色の不変性を実現するために有用であって、そのためには、前記カメラの撮像素子及び前記受光素子が複数の色チヤンネルを有し、前記画像処理装置が前記各色チヤンネル毎に求めた前記参照用信号の値により前記各主信号の値を前記各色チャンネル毎に実質的に除することで主信号の補正を行うものであることが求められる。

ここで、本発明による画像の濃度を安定させる作用を説明するに当たり、カラ一力メラによる色の不変性を例にとって説明する。もちろん、本発明は白黒カメラにおける画像の濃度を安定させる用途にも用いることができる。

あるシーンにおける物体の表面が一つの光源により照らされているとき、反射光 I ( λ )は次式により表現される。

I ） =Ε ） S (え） (1)

ここで、 S (人）は物体表面の反射関数、 Ε(入）は形状幾何学によって変わる光源のスペクトル強度分布（SPD)、えは光源の波長である。

不均質な絶縁性表面からの反射は、境界反射及び固体（body)反射という二つの構成要素を線形的に加えたものよりなる。世の中における非常に多くの種類の物体表面、例えば衣服、人、壁、塗装された金属、プラスチック等は、不均質な絶縁性表面に分類される。図 36はカラ一媒介物中にカラー顔料の分散した表面の構造を示している。いくつかの入射光は、カラ一媒介物の表面と周囲の媒体との境界で反射され、この成分は境界反射（I) とよばれ、光源の色を代表する。他の入射光は、複数のカラー顔料間の連続した再反射を経て、光原色により変更させられた表面色と呼ばれる顔料の色を伝達する固体（body)反射 (B) とよばれる成分となる。これらのモデルはダイク口マティックモデルとよばれ、物体表面の反射関数 S ( Λ )は次式の如く表現される。

S (え） = [m ） c ） + m_B(g)c_B (入）] (2)

m.(g), m_B(g)は、それぞれ境界反射と固体反射とを示す基準係数であり、ラィティングと撮影範囲（vi ewing) との幾何学的関係のみに依存する。また、 C , (人）、 CB (人）はそれぞれ境界反射と固体反射との光学的構成要素であり、光源の波長（人）のみに依存する。

物体が金や銅である場合、上述の境界反射（I) は入射光の色を変化させる。しかし、銀、アルミニウム等の金属の他、脂肪、油又はワックス等のカラー媒介物等、世の中の多くの物体の表面は、中立境界反射（NIR)理論にしたがい、入射光の色を変化させないで光の上記 SPDを伝達する。境界反射（I) はハイライト部として表れる場合が多く、したがって、多くの物体の鏡面反射（I) は入射光の色を伝達すると考えられる。

上記境界反射がカメラに到達したとき、撮像素子のそれぞれの要素はそれらの上の有限の大きさで光輝を積分し、ある点のスペクトル的観察結果 k i(x, y) は次のように求められる。

ki(x,y)=[S S SRi(A)I(X,Y₃A)dAdXdY]"+b (3)

ここで、添字の iがとる 1， 2， 3のいずれかの値は、赤、緑又は青にそれぞれ対応し、（x， y)は撮像の座標である。（X, Y)は撮像の中心に関するワールド座標である。 Ri (入）は、サンプリングフィル夕の特性と関連づけられた i番目のスペクトル的応答を示す。ァは画像—電気変換指数であり、 bはセンサ一ォフセット又はダークノイズと呼ばれる。これら指数ァ及びダークノイズ bはァゥトプヅトをァ = 1、 b= 0として確実にリニアイメージであるようにするために調整されうる。

次に、図 37を参照しつつ、物体からの反射光の前記反射面における再反射 (inter-ref lect ion) について考える。物体への入射光は表面反射（I)及び固体反射（B) としてカメラ及び反射面にそれぞれ向かう。そして、反射面に到達したこれら反射光は、反射面がダイク口マティックモデルに従うとき、表面—表面反射（11) 、固体一表面反射（BI)、表面一固体反射 (IB)及び固体—固体反射（BB) として再反射する。もちろん、反射面は N I R理論に従って光源色をそのまま反射すべきであるから、反射面はアルミニゥム、白又はグレーの樹脂又は紙等により作成されることが望ましい。これら再反射の反射光のうち、固体—固体反射 (BB) は非常に強度が弱いので考慮外としても構わない。また、表面—固体反射（IB) は、反射面が光学的にフラットであることから、光のスペクトルを変えることはなく、また、表面一表面反射（I I) よりも小さくなつている。したがって、反射面の材料として、ダイクロマティックモデルに従わないアルミニウム等を選択するか、ダイクロマティックモデルに従う物体とするかに拘わらず、再反射光の要素は同じとみなすことができる。ここで、反射面に入射し再反射した反射面上のある座標における光 C(Xn，Yn，人）は次式により表示される。

C(Xn，Yn， λ )=SSBl(X，Y)Sn(X,Y， λ )S(X,Y, λ )Ε(Χ,Υ, Λ )dXdY ( 4 )

ここで、図 38は、反射面の表面における拡散鏡面反射に基づく第一のぼかし現象の過程を表した図である。入射光路 S 1に沿って入射した入射光は鏡面反射の反射光路 S 1' に対して最も強度が強くなり、これから離れるにつれて強度が低下する曲線 G1に示すような強度分布を呈する。また、入射光路 S 2に沿って入射した入射光は、同様に鏡面反射の反射光路 S 2' に対して最も強度が強くなり、曲線 G2に示すような強度分布を呈する。そして、反射光路 C' に沿った反射光の強度は、例えば曲線 Gl, G2と反射光路 Sn' との交差によりそれぞれ決定される値が加算された強度となる。上記式（4) における B 1(X,Y)項は、この第一のぼかし現象の関数であり、表面の粗さのみに依存する。一方、上記式 (4) における Sn(X，Y，人）項は、反射面のスペクトル的反射率を示し、ヮ一ルド座標及び波長人に依存している。なお、 Sn(X，Y，人）項は、 NIRの仮定下では 1となる。

例えば、反射面により反射した再反射光がレンズを通して受光素子の一種である撮像素子に入射するとき、反射面はレンズの近くに設置されているので、この再反射光はレンズによりデフォーカスされる。反射面上の一点は、空間的ぼかし関数 B 2(Xn,Yn)に従って濃度を変化させる円として投影される。図 39はこのデフォーカスによるぼかしを表し、撮像素子上の点に到達する再反射光 C in( X n i, Yni, 人）は次式により表示される。

Cin(Xni,Yni, λ )=SSB2(Xn,Yn)C(Xn，Yn，入） dXndYn ( 5 )

ここで、添字 n iは例えば反射面から再反射することにより得られた参照用シ —ンの撮像素子上における各ビクセルに対応する。この光 Cin(Xn i，Yni, 入）が例えば撮像素子上に到達したとき、この光のスぺクトル的観察結果 kin (x， y)は先の式（3) に鑑みて次のように求められる。

kni(x,y)=[S S S Ri( λ )Cin(Xni,Yni, λ )dAdXnidYni] +b (6)

簡略化していうと、参照用シーンにおける各座標の RGBそれぞれの強度成分 kni(x, y)は、上述の境界—境界反射 I Iと固体一境界反射 BIとを上記 B 1 B 2なる 2つのぼかし関数のコンボリューシヨンとして表現したものである。主シーンにおけるハイライト部からの境界反射 Iの光線が直接的に撮像素子により撮影されるとき、多くの場合、光線は撮像素子のダイナミックレンジを越え、しかも小さな面積を占めるに留まる。したがって、ハイライト部には光源の情報が含まれているにもかかわらず、これを有効利用し難い。

これに対し、反射面及びさらにレンズのぼかしを用いた場合には、上記 2つのコンボリューシヨンによりハイライト部からの光は拡散し、さらにダイナミックレンジが反射で減ぜられて小さくなる。したがって、直接像のみによりハイライト部を捉える場合に比べて、反射面を用いてハイライト部を捉えた場合には、ノヽィライト部を利用して、より光源色を捉えることが容易となる。また、ハイライト部からの境界反射 Iは、固体反射 Bに比較して輝度が高いので、固体一境界反射 B Iよりも支配的となる。但し、ハイライト部が殆どないようなシーンでは、固体一境界反射 B Iが参照用シーンにおいて主シーンの補正用として用いられる。この場合、上記 2つのコンボリューシヨンが、実質上、先の GWA理論の光学的実行に相当する。したがって、本発明では、ハイライト部の参照による補正と G WA理論による補正とが平行して同時に行われていることとなる。

ところで、上述した従来の第四の公報に記載の手法では、参照用シーンの各座標位置におけるスペクトル k n i ( x， y )と、主シーンの各座標位置におけるスベクトル k n ( x , y )とをマヅビングし、各座標毎の値を用いて除算を行うことにより、区分的手法として色補正を行っていた。

しかし、多くの場合、太陽光や屋内の電灯等、光源の色が主として一つであるとして取り扱っても特に差し支えのないとの結論に達した。また、反射面を用いたことに起因する上述のコンボリューシヨンによりハイライト部の情報が参照用シーン内に拡散するので、参照用シーンの一部から全体の光源色をサンプリングすることの可能性を見いだした。

したがって、本発明では、前記受光素子により受け入れられた参照用シーンの反射光のうち 1ピクセル部の値又は複数ピクセル部の平均値を参照用信号として求めることにより、光源色を代表する一つの値（3色の色数に対応するべクトル）を求めている。また、反射面は、主シーン又はその近傍に属する参照用シーンからの光を反射すると共に受光素子に受光させれば足りる。この反射面の設計に当たっては、主たる光の行程が主シーン又はその近傍に属する参照用シーンからの光を反射すればよい。

そして、デジタル又はアナログ回路により画像の補正を行うには、例えば、撮像素子により撮影された主シーンの各座標位置における主信号の値を一つの参照用信号の値（ベクトル）によって実質的に除することにより主信号の補正を行つている。

本発明は、原則として単一の光源色を代表する値を用いるグロ一バル補正方式である。よって、反射面に対応する参照用画像部と主画像部との間の対応関係は上述の従来技術よりもラフで足りるので、キヤリブレーシヨンも非常に簡易に行える。また、参照用画像部と主画像部との間の対応関係は上述の従来技術よりもラフで足りるから、その結果、参照用画像部の面積を小さくしても色補正が行えるようになった。さらに、色補正において、同じく参照用信号の値として一つの値を用い全画像範囲に均一に適用でき、実質的に各色チャンネル内で一つの値により除算を行えば足りるので、補正スピ一ドを非常に高速化することができるようになつた。

ところで、コンピュータ一において、除算は乗算に比較して処理負荷が非常に高い。しかし、本発明によれば、除算を行う際の分母となる参照用信号の値が各色チャンネルにおいて一つであるため、前記参照用信号の値（rn， gn, b n) を分母に有する係数（s r, s g， s b) をあらかじめ求め、この係数（s r, s g, sb) を前記各主信号の値（r[x][y]，g[x][y]，b[x][y]) に掛け合わせることで主信号の補正を行うように前記画像処理装置を容易に構成することができる。この場合、画像処理のスピードは飛躍的に向上するものとなる。また、前記各色チャンネルにおける前記各係数（s r, s g, sb) が各色チャンネルにより異なる前記参照用信号値（rn， gn, bn) を分母に有し各色チャンネルで共通の他の係数（s) を分子に有するものとして処理してもよい。

前記撮像素子又は前記受光素子から順次送られるフレーム信号のうち、あるフレーム信号から前記係数（s r， s g, sb) を求め、この係数（s r， s g, sb) をさらに時間経過後の他のフレームから得た前記各主信号値（r[x][y]，g [x] [y] , b [χ] [y] ) に掛け合わせることで主信号の補正を行うものとして前記画像処理装置を構成してもよい。このとき、前記係数（s r, s g, sb) を複数の他のフレームからそれぞれ得た前記各主信号値（ r [X] [y] , g [x] [y]， b [x] [y] ) に共通に掛け合わせることで主信号の補正を行えば、前記係数の算出回数がその分減少し、さらに高速処理が可能となる。このような構成は、前記他のフレームからの信号に前記係数（s r₃ s g, s b) を掛け合わせるためのビデオアンプを設けることで実現できる。

上述の画像処理装置では、前記他の係数（s) が、前記主信号値（r[x][y]，g [x][y],b[x][y]) がこの信号の集合における最大値とみなせる値（rm， gm, bm) をとる場合に、その最大値と見なせる値（rm， gm, bm) を前記主信号値の最大スケール値（D) に近づけるように設定することができる。この設定により、ハイライト部とその周囲の補正画像との極端な濃度差を低減することができる。

また、前記他の係数（s) が、あるピクセルにおける 2チャンネル内の主信号値が前記最大スケール値（D) に達し且つ残りの他チャンネル内の主信号値が前記最大スケール値（D) に達していない場合に当該ピクセルを不正ピクセルと定義し、当該不正ピクセルの集合における前記他チャンネル内での主信号値の最小値とみなせる値（rcm、 b cm) が前記最大スケール値（D) に少なくとも達するだけの値を有するように画像処理装置を構成してもよい。同構成により、不正ピクセルの色をハイライト部と同様に修正し、補正画像の不自然さをより低減する。

実験によれば、これはあるピクセルにおける青チャンネル内の主信号値のみが前記最大スケール値（D) に達し且つ残りの赤緑チャンネル内の主信号値が前記最大スケール値（D) に達していない場合に、当該青チャンネルの主信号の補正値（be) を、赤緑チャンネル内の補正値（rc、 g c) の比に基づいて算出することが可能であることが判明した。

インターネット技術等では画像圧縮が用いられる。圧縮は有用な色データの欠落を生じさせるので、本発明の画像処理装置では、圧縮に先立った補正を適用している。

本発明のカメラを構成するにあたっては、前記反射面を前記力メラの視野外に配置することの可能な反射面移動機構を備えてもよい。そして、前記反射面により前記参照用信号値（rn, gn, bn) を求めた後に前記反射面移動機構により前記反射面を前記カメラの視野外に配置した状態で主画像を撮影し、前記参照用信号値（rn， gn, bn) により主信号値 ( r [x][y], g[x][y], b [x][y]) を補正するようにしてもよい。同構成により、撮影された画像範囲に参照用画像部が現れるのを防ぐことが可能となる。

一方、本発明の撮影システムにおいては、前記撮像素子及び前記受光素子が別体の同一特性の素子よりなり、前記レンズをこれら撮像素子及び前記受光素子に対応させてそれぞれ設けると共にこれら両レンズのズーミングと絞りとを連動させ、前記反射面が前記レンズの焦点距離に応じてその始点の座標位置と角度とを連続して変更するように形成すると共にこの反射面を前記レンズの最大視野内に固定してもよい。このとき、前記受光素子上の補正用画像部のうち選択補正部から前記焦点距離に応じた前記反射面に対応するものを選択することで、ズーミングと参照用画像部とを可動部品無しで連携させることが可能となった。なお、受光素子としては欠陥ピクセルが多く撮像素子として不適当な受光素子を用いることで若干のコストダウンが可能である。このとき、受光素子のうち欠陥ピクセルを前記補正部の選択時に除去する座標テーブルを設けることで、処理スピ一ドを維持できる。

前記反射面の配置又は前記参照用信号のための前記複数ピクセルの選択により、前記参照用シーンを主として主シーンの中央部又はその近傍に限定することができる。係る構成により、主シーンの重要な部分である中央部又はその近傍の色補正を特に正確に行い得る。

本発明に係る撮影システムは、画像合成時にも適用することができる。前記力メラを少なくとも 2台有し、一方のカメラにおける前記補正信号値（rc[x] [y]，g c[x] [y] ,bc[x] [y] ) に対し、他方のカメラにより得られた参照用信号値を前記各色チヤンネル毎に実質的に掛け合わせて二次補正画像を得、この二次補正画像を他方のカメラの画像と合成して合成画像を得るように撮影システムを構成するとよい。同構成により、 2つの画像は、同じ光源色で照らされたかの如く、自然に組み合わされることが可能となる。

また、コンビユー夕画像を作成する C G (コンピュータグラフィックス）画像作成部とこのコンピュータ画像の光源色を決定する C G光源色決定部とを有し、前記補正信号値 (rc [x] [y] ,gc[x] [y] ₃bc[x] [y] ) に対し、 C G光源色決定部により得られた光源色値を前記各色チャンネル毎に実質的に掛け合わせて二次補正画像を得、この二次補正画像を前記 C G画像作成部により作成されたコンピュータ画像と合成して合成画像を得るものとして同撮影システムを構成してもよい。同構成によれば、コンビュ一夕画像と現実の画像とを、ごく自然な状態で、同様に組み合わせることが可能である。

上述のカメラにおいて、撮像素子及び受光素子を同一特性の素子より構成することが望ましい。上記式（6 ) に示すように、各色チャンネルの強度成分は、ある関数のァ乗として表現されている。ところが、このァは撮像素子等の特性により異なり、したがって、主信号値を参照用信号値により除する前に、これら両者の乗数を合わせておく必要があり、その信号処理は複雑となる。よって、撮像素子及び受光素子を同一特性の素子より構成することで、無駄な信号処理のためのハードウェアを省略している。なお、同一特性の素子であっても、ロット間で特性のばらつきが存在し、安価な撮像素子ではなおさらである。しかし、前記受光素子を前記撮像素子の一部とすることで、かかる問題の生じる余地はなく、非常に良好な補正結果をえることができる。

上述のカメラにおいて、前記撮像素子上の画像を収めた画像ファイルを記憶する記憶部又は前記画像を記録するフィルムの収納部を備え、前記画像は主画像部と全画像範囲の端に位置する参照用画像部とを備えてもよい。

また、上述のカメラにおいて、前記全画像範囲が四角形を呈し、いずれかの角部に前記参照用画像部が位置するように構成してもよい。同構成によれば、参照用画像部の面積を非常に小さくすることができる。かかる構成において、前記反射面が前記レンズの中心軸周りで回転可能であり、前記反射面の位置により前記いずれの角部に前記参照用画像部を位置させるか又は前記参照用画像部を前記全画像範囲内に位置させないかの選択を行い得るものとしてもよい。また、前記主画像部が横に細長い四角形を呈し、前記全画像範囲の上部又は下部に前記参照用画像部が位置するように、いわゆるパノラマ撮影に本発明を適用することも可能である。上述のカメラにおいて、前記レンズをズームレンズとし、前記反射面が前記レンズの焦点距離に応じてその始点の座標位置と角度とを変更してもよい。このとき、前記反射面が前記レンズの焦点距離に応じてその始点の座標位置と角度とを連続して変更するように形成し、この反射面と前記レンズとの相対位置を前記レンズの焦点距離に合わせて変更する反射面移動機構を設けるとよい。

本発明は、上記特徴に記載の画像処理装置で実現される機能を備えた I Cチップ又は同機能を備えた電気回路として実現することが可能である。また、本発明は、上記特徴に記載の画像処理装置で実現される機能をコンピュータに口一ドされることで実現するソフトウェアを記録した記録媒体として実現することも可能である。さらに、上記特徴に記載の画像処理装置は、前記画像補正が電話回線又はィン夕ーネット等の通信回線で接続される二台のコンビュ一夕間で実現されるように構成することができる。

上記カメラにあっては、反射面からの参照用画像が外部光により影響を受けることを防ぐために、前記反射面に前記主シーン外又は前記参照用シーン外からの光が入射することを防止する覆いを設けてもよい。但し、他の光源色が反射面に入射する余地のないときは、覆いを省略することが可能である。

本発明は、白黒カメラ等の単一チャンネルのカメラにも適用可能である。このとき、本発明は画像の濃度を安定させるための撮影システムとして構成される。そして、レンズ、撮像素子、受光素子及び反射面を有し主シーンを前記撮像素子上に撮影するカメラを備え、前記反射面は前記カメラの視野内に配置されており、且つ前記主シーン又はその近傍に属する参照用シーンからの光を反射すると共に前記レンズを介して前記受光素子に受光させるものであり、さらに、前記受光素子により受け入れられた参照用シーンの反射光のうち 1ピクセル部の値又は複数ピクセル部の平均値を参照用信号値（r n , g n， b n ) として求め、前記撮像素子により撮影された主シーンの各座標位置における主信号値（r [x] [y]，g [x] [y] , b [x] [y]) を前記参照用信号値（r n , g n , b n ) によって実質的に除することにより主信号を補正した補正信号値 (rc[x][y]₃gc[x][y],bc[x][y]) を得る画像処理装置を備えていることを特徴とする。

ところで、上述の議論では、色の補正装置が画像の信号を電気的に補正する場合について説明している。すなわち、撮像素子ゃ受光素子に画像が取り込まれてから後の信号処理を行っている。一方、 CCD等の撮像素子は撮影できる明るさに限界があり、ハイライト部の周囲のピクセルはその一部が上述の如く飽和し、画像の色補正に好ましくない影響を与えることがある。また、参照用シーンの反射光が弱い場合には、補正時にノイズが大きくなり、色補正に同じく好ましくない影響を与えかねない。さらに、デジタル処理により色補正を行うと、補正された画像の色はなだらかに連続するのではなく、間欠的なギヤップを有することになる。

そこで、本発明では、色の補正を光学的に行う構成を提唱する。この場合、前記補正装置は、前記参照用信号値（rn, gn₅ bn) により定まる色に対する補色を測定する手段と、この補色を再現し且つ前記撮像素子に達する画像の色を変更する光学フィル夕を含む光学フィル夕手段とを備えている。なお、この光学的実行の補正装置は、前記反射面を利用した光源色測定部以外の光源色測定手法と共に実施することができる。例えば、上述の Re t in ex方式、ホワイトパツチ方式、ハイライト部参照及び他の光源色測定センサを利用した方式と共に実施することができる。

前記光学フィル夕を構成するに当たっては、基本的には前記受光素子に達する画像の色をも変更するように配置されており、前記補色を求める手段は前記参照用信号値（rn, gn, bn) のカラ一バランスが求められるカラ一バランスにできるだけ近づくように前記光学フィル夕を制御させるとよい。

前記光学フィル夕手段の具体的態様のひとつとして、それぞれカラーバランスを異ならせた複数のプリセットフィル夕を設け、前記補色に最も近いプリセットフィル夕の選択される構成がある。このプリセットフィル夕は複数のものを組み合わせて同時使用可能としてもよい。

前記光学フィル夕手段は、媒質のポンプと、複数色の色インクを独立して吹き出し可能なィンキ吹き出し部と、これら複数色のインキ及び媒質の混合物を作成するミキサ一と、前記光学フィル夕に相当する前記混合物を流すための透明通路とを備えてた構成としてもよい。また、前記光学フィル夕手段は、媒質のポンプと、複数色の色インクを独立して吹き出し可能なインキ吹き出し部と、媒質と各インキとを個別に混合して混合物を作成する複数のミキサ一と、これら各混合物を個別に通過させる前記光学フィル夕に相当する複数の透明通路とを備えた構成としてもよい。さらに、前記光学フィル夕手段は、媒質のポンプと、複数色の色ィンクを独立して吹き出し可能なィンキ吹き出し部と、各ィンキ及び媒質を個別に混合する複数のミキサーと、これらの混合物を個別に通過させる前記光学フィル夕に相当する複数の透明のセルとを備えており、各セルは、白黒撮像素子の前面に 1ピクセル毎の R G Bに対応させて設けられ、同色のセル同士がプリッジパスにより接続されている構成としてもよい。

前記光学フィル夕としては、そのフィル夕特性を変更なものを用いてもよい。このとき、前記光学フィル夕手段がこのフィル夕特性の変更に伴って透過度を変更可能な透過度変更手段を有すれば、フィル夕特性毎の色の強度を変更することができる。

前記カメラは、光を R G Bに分解するオプティカルブロックと、 R G Bそれぞれに対応する 3つの撮像素子とを備えた例えば 3 C C Dカメラ等の場合がある。この場合、前記光学フィル夕がこのオプティカルブロックであり、前記各光学フィル夕手段は各撮像素子に達する画像の濃度を変更させる透過度変更手段をそれそれ備えていれば、光学的補正が可能となる。前記各透過度変更手段は、例えば、互いに角度を変えることの可能な 2枚の偏光フィル夕を備えたものとすることができる。また、前記各透過度変更手段は互いに角度を変えることの可能な 2枚の偏光フィルタを備え、 2枚の偏光フィル夕のうちの一方を前記オプティカルプロヅクの前に共通に設け、他の一方を各色チャンネル毎にオプティカルブロヅクの後に個別に設けてもよい。

前記撮像素子としてフィルムを用い、本発明をフィルムから印画紙への焼き付け過程において実施することも可能である。すなわち、前記補色を測定する手段は、ランプと、前記受光素子部分を通過したランプの光の色を検出する光色検出器と、光源色測定部と、この光源色測定部に基づく補色測定部とを備え、前記光学フィル夕手段が、前記ランプから前記フィルムを経て印画紙に至る光をさらに通過させるフィル夕と、このフィル夕の色を前記補色にするフィル夕変更装置とを有している構成とすることも可能である。

ところで、前記光学フィル夕手段では、色補正を行うまでにタイムラグを生じる場合がある。そこで、この光学フィル夕手段に加えて、前記補正装置が、さらに前記撮像素子により撮影された主シーンの各座標位置における主信号値（r [x] [y] , g [x] [y]，b [x] [y] ) を前記各色チャンネル毎に求めた前記参照用信号値 ( r n , g n , b n) によってそれぞれ実質的に除することにより前記主信号値を補正した補正信号値 (rc[x] [y] ,gc[x] [y] ,bc[x] [y] ) を得るための電気的補正部を有しており、前記電気的補正部が、前記光学的フィル夕手段による色補正の完了前に補正処理を過渡的に行うように構成してもよい。

このように、本発明の上記特徴によれば、簡易なキャリブレーションで色の不変性を実現させ又は画像の濃度を安定させるために色を補正することの可能な撮影システム、並びに、これらに用いるカメラ及び画像処理装置を提供することが可能となった。

また、本発明の上記特徴によれば、主画像と参照用画像との関係が従来よりもラフであっても足り、したがって、参照用画像部の面積が小さくても十分に色補正を行うことが可能となった。

さらに、色の補正装置を上述の如く光学的実行を伴う構成とした場合には、シーンの光が強い場合にも弱い場合にも鮮明で自然な補正画像を得ることができるようになった。

本発明の他の目的、構成及び効果については、以下の記載から明らかになるであろう。図面の簡単な説明

図 1は、撮影システムを示すブロック図である。

図 2は、撮影システム用カメラを示し、同図（a ) は側面図、同図（b ) は正面図、同図（c ) は斜視図である。

図 3 ( a ) 〜（c ) は主シーンと参照用シーンとの関係を説明するための全画像範囲を示す図であり、同図（d ) 〜（f ) は参照用画像部の拡大図である。図 4は、撮影システム用カメラの改変例を示し、同図（a ) は側面図、同図 ( b ) は正面図、同図（c ) は斜視図である。

図 5は、撮影システムの補正部における処理手順を示すフローチャートである。図 6は、図 5に連続する第二のフローチャートである。

図 7は、図 6に連続する第三のフローチャートである。

図 8は、図 7に連続する第四のフローチャートである。

図 9は、図 8に連続する第五のフローチャートである。

図 1 0は、図 9に連続する第六のフローチャートである。

図 1 1は、主シーンと参照用シーンとのさらに他の関係を説明するための全画像範囲を示す図である。

図 1 2は、赤チャンネルにおけるカラ一応答の値 krとカラーヒストグラム rh[k r]との関係を示すグラフである。

図 1 3は、赤チャンネルでの不良ピクセルにおけるカラ一応答の値 krcと不良ピクセルにおけるカラーヒストグラム rhc[krc]との関係を示すグラフである。

図 1 4は、パ一ソナルコンビユー夕内での参照用信号と主信号との関係を示すタイミングチャートである。図 15は、本発明の第二実施形態における図 2相当図である。

図 16は、. 本発明の第三実施形態における図 2相当図である。

図 17は、本発明の第四実施形態を示すブロック図である。

図 18は、本発明の第五実施形態を示すブロック図である。

図 19は、本発明の第六実施形態を示すブロック図である。

図 20は、被写体、反射面の傾斜角及び撮像素子上の視野角の関係を示す線図である。

図 21 (a) は、本発明の第七実施形態を示す線図、同図（b) は（a) における反射面移動機構の正面図である。

図 22は、本発明の第八実施形態を示すブロック図である。

図 23 (a) 〜（c) は、同第八実施形態における図 2相当図、同図（d) は全画像範囲を示す図である。

図 24は、本発明の第九〜第一八実施形態に用いられる光学フィル夕を用いた一般的モデルを示すブロック図である。

図 25は、本発明の第 9実施形態におけるフィル夕回転機構を示し、同図 (a) は縦断面図、同図（b) は正面図である。

図 26は、本発明の第 10実施形態におけるフィルタスライド機構を示し、同図（a) は縦断面図、同図（b) は正面図である。

図 27は、本発明の第 1 1実施形態におけるフィル夕回転機構を示し、同図 (a) は縦断面図、同図（b) は正面図である。

図 28は、本発明の第 12実施形態を示すブロック図である。

図 29は、本発明の第 13実施形態を示すブロック図である。

図 30は、本発明の第 14実施形態を示し、同図（a) は CCDフィル夕の正面図、同図（b) は同フィル夕の縦断面図である。

図 31は、本発明の第 15実施形態を示す写真焼き付け装置のブロック図である。図 3 2は、本発明の第 1 6実施形態を示すブロック図である。

図 3 3は、本発明の第 1 6実施形態における偏光フィル夕と液晶可変フィル夕との関係を示す斜視図である。

図 3 4は、本発明の第 1 7実施形態を示すオプティカルプロック周辺の機構である。

図 3 5は、本発明の第 1 8実施形態を示す図 3 4の改変例である。

図 3 6は、不均一非電導表面からのダイクロマティック反射モデルを示す図である。

図 3 7は、物体からの反射光の反射面における再反射の状況を示す線図である ₍ 図 3 8は、反射面の表面における拡散鏡面反射に基づく第一のぼかし現象の過程を表した図である。

図 3 9は、レンズのデフォーカスによるぼかしの過程を説明するための図であ

発明を実施するための最良の形態

次に、図 1〜1 4を参照しながら、本発明の第一の実施形態について説明する _c 説明に先立ち、本実施形態で使用する記号についてあらかじめ定義をしておく。

XMX：画像の水平方向に対するピクセル数の最大値

YMX：画像の垂直方向に対するピクセル数の最大値

NMIN：最小の反射面境界ラインの値

NMAX：最大の反射面境界ラインの値

S：ユーザー定義画像輝度係数

X：ピクセル単位での画像の水平座標

y：ピクセル単位での画像の垂直座標

rd[x] [y] ,gd[x] [y] ,bd[x] [y]：赤緑青各チャンネルでの直接画像信号値 rz[x] [y] ₅gz[x] [y] ,bz[x] [y]：赤緑青各チャンネルでの零画像信号値 r[x][y],g[x][y],b[x][y]：赤緑青各チャンネルでの有効入力画像信号値（主信号値）

rc[x][y],gc[x][y],bc[x]Cy]：赤緑青各チャンネルでの補正画像信号値（補正信号値）

rn,gn,bn：赤緑青各チャンネルでの反射面平均信号値（参照用信号値） kr,kg,kb：赤緑青各チャンネルでのカラー応答の値

krckbc：赤青各チャンネルでの不良ピクセルにおけるカラ一応答の値 rh[kr]₅gh[kg],bh[kb]：赤緑青各チャンネルでの正常ピクセルのカラ一ヒス卜グラム

rhc[kr],bhc[kb]：赤青各チャンネルでの不良ピクセルのカラーヒストグラム ϋ：不良ピクセルのヒストグラムにおけるピクセル数

i：補正に使用される反射画像におけるピクセル数

rm，gm，bm：通常ビクセルにおけるヒストグラム群の上限値

rcm,bcm：不良ピクセルにおけるヒストグラム群の開始値

ra[i],ga[i],ba[i]：反射面信号値の累積

s：比例定数

ssr，ssg,ssb：通常ピクセルヒストグラムのヒストグラム最大値に基づく比例係数

sr，sg，sb：補正色を得るために有効入力画像信号値に掛け合わされる比例定数 scr，scb：不良ピクセルに色が現れることを排除するために必要な比例定数 C：飽和ピクセルのための最大補正信号値

まず、図 1に示す撮影システム 1は、カメラ 2と画像処理装置 7とを備えている。カメラ 2は、図 1， 2に示すように、カメラ本体部 3にレンズユニット 4と覆い 5を取り付け、さらに覆い 5の内側に反射体 6を取り付けてある。カメラ本体部 3の CCD 31上にはレンズュニヅ卜 4のレンズ 41を介して画像が結像され、その画像信号が後述のパーソナルコンビユー夕一 8に送られると共にフレ一ム平均化部 32で処理される。フレーム平均化部 32は CCD31に入射した全体の光量を計算し、 CCD 31での飽和ピクセルが多数発生する等、 CCD31 に入射する光量が多すぎるときは開口調節モーター 44により絞り 43を縮小させ、光量が少なすぎるときは絞り 43を拡大させるように挙動する。本実施形態における CCD 31はカラー CCDであり、 1ピクセル当たり赤緑青の 3色のフィル夕を備えた 3つの受光部が存在している。 1ピクセルに割り当てられた赤緑青 3つの受光部は、単一の CCD素子に割り当てられる他、図示省略するがプリズムを用いて 3つの CCD素子に分散され得る。

覆い 5は、 CCD 31及びレンズ 41により決定される最大視野及びその近傍以外からの光が入射することを防ぐ。本実施例では、ノッチ状の反射体 6が覆い 5の内側に取り付けられ、その内側にノッチ状のフラットな反射面 61を形成する。例えば、 0の像はレンズ 41を直接通過して CCD 31上の主撮像部 31 a に結像され、反射面 61に入射した 0の像は反射面 61の表面で上述した第一のぼかしを受け、レンズ 41に反射面 61を近接させたことで第二のぼかしを受けた状態で CCD31の参照撮像部 3 lbに到達する。図 2 (b) 及び図 3 (a) (d) に示す如く、反射面 61からの反射光が全画像範囲 100の下角に参照用画像部 130を形成するように、反射体 6を全画像範囲 100の角部に対応させて設けてある。主画像部 110が主撮像部 31 aに対応し、参照用画像部 130 が参照撮像部 31 bに対応する。反射体 6の反射面後端 63の像は全画像範囲 1 00の下角周辺に位置し、反射体 6の反射面先端 62の像は反射面捕捉部 120 と参照用画像部 130との間で拡散する。

反射体 6は、例えばアルミニウム等により構成されている。そして反射面 61 は平坦であり、光を散乱反射させるように少しだけマツト状に仕上げられているもちろん、反射面 61は白又はグレーの紙等により構成してもよく、反射面 61 は上記 N I R理論に従う素材で構成することができる。

ここで、図 3は説明の便宜のために、撮影対象となるシーンと撮影された全画像範囲 1 0 0とを重ねて表示したものであり、主シーン 1 1 0は主画像部でもある。 0から反射面 6 1に入射する光は入射角と同角で反射し、 C C D 3 1に到達する。反射面先端 6 2表面から C C D 3 1に到達する光線の経路は上述のぼかし作用により広がりをもちながら存在するが、ここでは輝度の最も高い光線が通過する主要光線経路について考える。反射面捕捉部 1 2 0は先の反射面先端 6 2の配向方向及び主要光線経路により決定されるものであり、反射面捕捉部 1 2 0の中心を通る参照主軸 1 0 1が全画像範囲 1 0 0の下辺となす主軸角 Aが 4 5度となるように設定してある。

反射面捕捉部 1 2 0の反射面 6 1による像は全画像範囲 1 0 0の下角に参照用画像部 1 3 0として現れる。反射面捕捉部 1 2 0を参照用シーン 1 2 1と非利用シーン 1 2 2とに区分するには、例えば、参照主軸 1 0 1に垂直な選択内境界 1 3 2と選択外境界 1 3 3とで囲まれた選択参照部 1 3 1を参照用画像部 1 3 0から後述の計算過程で選択すればよい。本実施形態では、全画像範囲 1 0 0の解像度は、水平方向 6 8 0、垂直方向 4 8 0であり、全ビクセル数はこれらを掛け合わせた 3 2 6 4 0 0ピクセルとなる。この場合、反射面による参照用画像部 1 3 0のぼけた範囲の像は全体の 3 %程度に留まることがわかった。また、本実施形態では、 x， yが 5 0より大きく 7 0より小さい区間を選択参照部 1 3 1の対象とする。もっとも、これらの値は一例であり、本発明はこれらの具体的値に限定されるものではない。

もちろん、参照用シーンは図 3 ( a ) の符号 1 2 l xに示す全画像範囲 1 0 0 の外側且つ近傍部や符号 1 2 1 yに示す全画像範囲 1 0 0を含む範囲でもよい。本例では、覆い 5をレンズユニット 4周りで回転させることができるので、例えば、反射体 6を全画像範囲 1 0 0の上角側に移動させて、図 3 ( c ) に示すように参照用シーン 1 2 1の範囲を変更してもよい。また、反射体 6が全画像範囲 1 0 0の外部に位置するように反射体 6を全画像範囲 1 0 0の各辺間に移動させてもよい。図 3 ( b ) の例では、参照主軸 1 0 1が全画像範囲 1 0 0の対角線となるように反射面 6 1を覆い 5に配置したものである。また、本例では反射面捕捉部 1 2 0の中間部を参照用シーン 1 2 1として選択している。この場合、例えば、選択内境界 1 3 4，選択外境界 1 3 5はそれぞれ先の例よりも小さな 3 0より大きく 5 0より小さい値としてある。図 3 ( f ) では補正用画像を得るために、スキヤンライン 1 3 6 a〜cや選択点 1 3 6 dに示すように選択内境界 1 3 2及び選択外境界 1 3 3間で部分的に参照用信号を得ることができる。このように、参照用シーン 1 2 1を主シーン 1 1 0の中心部に限定することで、主シーン 1 1 0の端部で生じた異なる光の影響を減少させることが可能である。全画像範囲 1◦ 0の対角についての反射面 6 1の位置変更（ 1 8 0度回転）のみを考慮するのであれば、図 4のように覆い 5を角錐台状に構成してもよい。

次に、画像処理装置 7を構成するパーソナルコンピュータ一 8について説明する。このパーソナルコンピューター 8では、 C C D 3 1よりビデオキヤプチヤーボード 7 1を介して画像が一旦取り込まれる。このビデオキヤプチヤーボード 7 1では、 8ビットフレームバッファを採用しており、上述の信号値及び力ラ一応答の値のダイナミックレンジは 0〜 2 5 5となる。本明細書では、ダイナミックレンジの最大値を Dと定義し、本実施形態では D = 2 5 5となる。ビデオキヤプチヤ一ボード 7 1は夕イマ一により画像信号の座標を時間に換算し、以下に示す処理を行えるようにする。

補正部 7 2は前記反射面 6 1を利用して光源色を測定するための光源色測定部としても働き、この補正部 7 2では先の選択内境界 1 3 2及び選択外境界 1 3 3 により囲まれる選択参照部 1 3 1を限定するように、映像信号として時間ゲ一卜を設定している。補正部 7 2では後述の補正処理が行われる。また、出力調整部 7 3は後述する補正部 7 2のユーザー定義画像輝度係数 Sを調整するためのものである。

開口操作部 7 4は C C D 3 1の零調整のためにフレーム平均化部 3 2、開口調節モーター 44を介して絞り 43を完全に閉じると共に、補正部 72での零調整を制御する。開口操作部 74による絞り 43の閉じ操作及び零調整は、手動の他、カメラ 2の動作開始時に少なくとも自動的に行われる。

補正部 72の出力はビデオァクセラレ一夕一 75を介してモニタ一 9に表示されると共に 1/076を介してカラ一プリン夕一 10より出力され、さらに、記憶部 77に記憶される。記憶部 77は固定又は脱着の可能なハードディスク、メモリ素子又はフレキシブルデイスク等よりなる。

次に、図 5〜9を参照しながら、先の光源色測定及び補正部 72における処理手順について説明する。

図 5は、絞り完全閉時における赤緑青各チャンネルでの零画像信号値を求めるルーチンである。まず、 S 1において、原点からスキャンを始めるために、 x、 yにそれぞれ 0を代入し、 S 2で開口操作部 74の操作によりフラグが立っているか否かについて判断する。開口操作部 74の操作により絞り 43を完全に閉じた場合、フラグが立って F= 1となる。この場合は、零画像を求める必要ありと判断して、 S 3でフラグをリセットするために F = 0とし、 S 4で原点における赤緑青各チャンネルでの零画像信号値 rz[x][y]，gz[x][y],bz[x][y]を求める。その後、 S 5， S 7に示すように画像の水平、垂直方向それぞれに対するピクセル数の最大値 XMX、 YMXに達するまで、 S 6， S 8において x、 yがそれぞれ 1ピクセルずつ増加させられ、全画像範囲 100の全ての座標におけるカメラのダークノイズを意味する零画像信号値 rz[x][y],gz[x][y]，bz[x][y]が求められる。図 6では、入力信号の零調整及びヒストグラム処理が行われる。本ルーチンでも、 S 9による座標のリセットが行われ、 S 18〜S 21による全画像範囲 10 0における全ピクセルのスキャンが行われる。 S 10では、赤緑青各チャンネルでの直接画像信号値 rd[x][y]，gd[x][y],bd[x][y]が記憶される。そして、 S 1 1 では、ダークノイズをキャンセルするために、赤緑青各チャンネルごとに直接画像信号値 ] ]，^ ] ]，1₃(1[ ]^]から零画像信号値 ] ] 2 ] ] 2 [x][y]を減ずることにより、赤緑青各チャンネルでの有効入力画像信号値（主信号値） r[x][y]，g[x][y]，b[x][y]が求められる。なお、カメラにおいてダークノィズを除去するための入力信号の零調整が既に行われている場合は、 S l〜l 1のステツプ及び開口操作部 74を設ける必要がない。

S 12では、赤緑青各チャンネルの直接画像信号値 rd[x][y]，gd[x][y],bd[x] [y]が全て 255飽和していないか否か（255より小であるか否か）が判断される。飽和していない場合は、 S 13において、赤緑青各チャンネルでのカラ一応答の値 kr,kg，kbに、有効入カ画像信号値 ]^] [ ]^]，1) ] ]がそれぞれ入カされる。そして、赤緑青各チャンネルでの正常ピクセルのカラーヒストグラム rh [kr]，gh[kg]，bh[kb]がそれぞれ累積されていく。

赤緑青各チャンネルの直接画像信号値 rd[x][y],gd[x][y]，bd[x][y]のうち少なくとも 2つが飽和している場合は、 S 14~ 17において不良ピクセルの処理が行われる。ここに、不良ピクセルとは、 3色のうち赤又は青のうち一色のみ飽和しておらず、残りの 2色が飽和しているものをいう。

まず、 S 14の Ye sに示すように、緑青 2チャンネルの直接画像信号値 gd [x][y],bd[x][y]が飽和しており、赤チャンネルの直接画像信号値 rd[x][y]が飽和していない場合には、 S 15において不良ビクセルのヒストグラムにおけるピクセル数 iiが累積され、赤チャンネルでの有効入力画像信号値 r[x][y]が不良ビクセルにおけるカラ一応答の値 krcとされる。そして、赤チャンネルでの不良ビクセルのカラーヒストグラム rhc[krc]が累積されていく。

一方、 S 16の Ye sに示すように、赤緑 2チャンネルの直接画像信号値 rd [x][y],gd[x][y]が飽和しており、青チャンネルの直接画像信号値 bd[x][y]が飽和していない場合にも、 S 17において不良ピクセルのヒストグラムにおけるピクセル数 iiが累積され、青チャンネルでの有効入力画像信号値 b[x][y]が不良ピクセルにおけるカラ一応答の値 kbcとされる。そして、青チャンネルでの不良ピクセルのカラ一ヒストグラム bhc[kbc]が累積されていく。図 7のルーチンでは、通常ピクセルにおけるヒストグラム群 F 1の上限値 rm，g m,bmが求められる。まず、 S 22において、赤緑青各チャンネルでのカラ一応答の値 kr,kg，kbがリセットされ、 S 25， S 26 , S 29， S 30, S 33， S 3 4に示すように、零からダイナミックレンジ最大値の 255に至るまでルーチンが順次繰り返される。 S 23, S 24のルーチンが、 krの 1ずつ増分を伴って繰り返されることにより、赤チャンネルの通常ピクセルにおけるヒストグラム群の上限値 rmが求められる。この上限値 rm=krは、図 12に示すように、 10よりも大きくかつヒストグラム rhが 1000を越えているときの最も大きな krの値である。同じく、 S 27, S 28, S 31, S 32のルーチンの繰り返しにより、同様に緑青チャンネルの通常ビクセルにおけるヒストグラム群 F 1の上限値 gm,bmが求められる。なお、 rffl,gm，bmの定義手順はこのようなルーチンに限られるものではなく、以下同様であるが、上記 1000の値は画面サイズにより異なる値をとるかも知れない。

図 8のルーチンでは、飽和ビクセルにおけるヒストグラム群の開始値 rcm，bcmが求められる。まず、 S 35において、赤青各チャンネルでの不良ビクセルにおけるカラー応答の値 krc,kbcがリセットされ、 S 39， S40, S 43, S44に示すように、零からダイナミックレンジ最大値の 255に至るまでルーチンが順次繰り返される。 S 37, S 38のルーチンが、 krcの 1ずつ増分を伴って繰り返されることにより、赤チャンネルの不良ビクセルにおけるヒストグラム群 F 2の開始値 remが求められる。この開始値 rcnFkrcは、図 13に示すように、 10よりも大きくかつヒストグラム r hが 0を越え始めたときの最も小さな krcの値である。同じく、 S41， S 42のルーチンの繰り返しにより、同様に青チャンネルの不良ピクセルにおけるヒストグラム群 F 2の開始値 bcmが求められる。なお、 S 36 で iiが零である場合、不良ピクセルは存在しないので、 S 45において rcm,bcmはそれぞれ 255となる。

図 9のルーチンでは、赤緑青各チヤンネルでの反射面平均信号値 ra，gn，bnが求められ、これを利用して、補正色を得るために有効入力画像信号値に掛け合わされる比例定数 sr，sg,sbが求められる。先の図 3 ( d ) にみられるように、参照用画像部 1 3 0は選択参照部 1 3 1と選択内境界 1 3 2との間の部分を採用している。同図では、 NMAXが 7 0であり、 NM I Nが 5 0である。 3 4 6で， y をリセットすると共に、 S 4 7で参照用画像部 1 3 0の選択条件を付し、 S 5 0 , S 5 1 , S 5 2 , 3 5 3で、 yが 1ずつ増加して NMAXに達するまで S 4 8， S 4 9の処理が繰り返し行われる。 S 4 8では補正に使用される反射画像におけるピクセル数 iが累積され、 S 4 9では反射面信号値の累積 ra[i] ,ga[i]，ba[i]が求められる。

S 5 4では、反射面信号値の累積 ra[i]，ga[i]，ba[i]をそれぞれ iで除することにより、赤緑青各チャンネルでの反射面平均信号値（参照用信号値） rn，gn,bnが求められる。また、赤緑青各チャンネルでの反射面平均信号値 rn，gn，bnにダイナミックレンジ最大値 D = 2 5 5を掛け合わせると共にそれぞれ通常ピクセルにおけるヒストグラム群の上限値 rm,gm,bmで除することにより、通常ピクセルヒストグラムのヒストグラム最大値に基づく比例係数 ssr，ssg，ssbが求められる。同様に、赤青各チャンネルでの不良ピクセルにおける反射面平均信号値 rn，bnに D = 2 5 5 を掛け合わせると共にそれぞれ不良ビクセルにおけるヒストグラム群の開始値 rc m,bcmで除することにより、不良ピクセルに色が現れることを排除するために必要な比例定数 scr,scbが求められる。 S 5 4の意義は、例えば、図 1 2， 1 3における r m、 r c mを 2 5 5に近づけてフレームバッファをより有効に活用することである。これらの比例定数の決定により、同時にハイライト部又はその近傍とそれらの周辺部との明暗の極端な差を減少させることができる。

S 5 5では、通常ピクセルヒストグラムのヒストグラム最大値に基づく比例係数 ssr， ssg, ssbのうち、最小のものと最大のものとの平均値が比例定数 sとして求められる。これらの比例係数 ssr， ssg, ssbのうち最大のもの又は最小のものを sとして求めてもよい。また、 S 5 6， 5 7では不良ピクセルのヒストグラムにおけるピクセル数 iiが 1000を越えるときは不良ピクセルが無視できない程度存在すると判断し、先の s及び不良ピクセルに色が現れることを排除するために必要な比例定数 scr，scbのうち最大のものが比例係数 sとして求められる。そして、この比例係数 sをそれぞれ赤緑青各チャンネルでの反射面平均信号値 rn，gn，bnであらかじめ除することにより、補正色を得るために有効入力画像信号値に掛け合わされる比例定数 sr,sg，sbが求められる。なお、 1000という値は全画像範囲の全ピクセル数の約 0. 3%を考慮したものであるが、その値は適宜選択が可能である。

図 10に示すアルゴリズムでは、赤緑青各チャンネルでの補正画像信号値（補正信号値） rc[x][y]，gc[x][y：]， bc[x][y]が求められると共に、ダイナミックレンジ Dを越える値等の処理が行われる。本ルーチンでも、 S 59による座標のリセッ卜が行われ、 S 68〜S 71による全画像範囲 100における全ピクセルのスキャンが行われる。まず、 S 60では、赤緑青各チャンネルでの有効入力画像信号値 1" ]^] [ ]| ],1[ ]^]に対して比例定数31>，33,3ゎがそれぞれ掛け合ゎされ、赤緑青各チャンネルでの補正画像信号値1"(； ] ]^(：[^]^]，1)(； ] ]が求められる。この演算は乗算であるため、従来の除算を用いていた方式に比較して、非常に高速な処理が可能となる。

このとき、同一フレームから有効入力画像信号値と比例定数 sr， sg, sbとの双方を抽出してもよい。また、図 14のタイミングチャート T Cに示すように、第一、第二参照フレーム群 I I， I 2のうちの 1フレームである第一、第二参照フレーム R 1 , R 2よりそれぞれ比例定数 sr，sg，sbを求め、この比例定数 sr，sg,sbを次の第二、第三参照フレーム群 12， I 3それぞれにおける複数のフレームから抽出した有効入力画像信号値 r[x] [y],g[x] [y],b[x] [y]に掛け合わせても良い。比例定数 sr，sg，sbの算出ル一チンがボトルネックとならず且つ処理スピードもさらに向上する。

S 61では、赤緑青各チャンネルでの有効入力画像信号値 r[x][y],g[x][y]，b [x][y]のうち一つも 255以上のものが無い場合に、 S 62〜65のルーチンがバイパスにより省略される。 S 62で全ての赤緑青各チャンネルでの直接画像信号値 rd[x][y]，gd[x][y],bd[x][y]が 255以上の場合、 S 63で赤緑青各チャンネルでの補正画像信号値 1^ ] ]^(3|^] ]，1)0 ] ]のぅち最も大きなものが0 として求められ、この cの値が赤緑青各チャンネルでの補正画像信号値 rc,gc，bc に再び代入される。

S 64では、赤緑両チャンネルでの直接画像信号値 rd[x][y],gd[x][y]がそれぞれ 255未満であり、且つ、青チャンネルでの直接画像信号値 bd[x][y]が 255 以上の場合、 S 65で、青チャンネルでの補正画像信号値 beが再修正される。ここでは、赤及び緑の信号値を用いて、青の信号値を類推している。青チャンネルでの補正画像信号値 beは、赤緑両チヤンネルでの直接画像信号値 rd[x][y]，gd[x] [y]の差分の半分を緑チャンネルでの直接画像信号値 gd[x][y]に加えたものである c 発明者の実験によれば、この類推手法は非常に良い結果を得ている。

S 66では、赤緑青各チャンネルでの補正画像信号値 rc[x][y]，gc[x][y],bc [x][y]が 255を越える場合には 255を代入し、 0未満の場合には 0を代入している。その後、 S 67で以上全ての修正が選択的に加えられた赤緑青各チャンネルでの補正画像信号値 rc[x][y]，gc[x][y]，bc[x][y]が出力される。そして、 S 68， S 70において、全画像範囲 100に対する全てのスキャンが完了したところで、全てのルーチンが終了する。

上述の画像処理装置で実現される各機能は、フレキシブルディスク、ハードデイスク、 CD— ROM等の記録媒体に記録されたソフトウエアをコンピュータにロードさせることで実現することが可能である。もちろん、同機能は、単数若しくは複数の I Cチップ又は電気回路により実現することも可能である。

ここで、図 1 1を参照しながら、本実施形態における反射面 61, 主シーン 1 10，選択参照部 131の改変例について説明する。

上述の例では反射面 61が平面であつたが、この反射面 61を凸曲面とすることで、図 1 1 (a) に示すように、参照用シーン 121 aを選択参照部 131 a の割に大きく設定することができる。また、反射面 61を全画像範囲 100の角に対応させたノッチ状とする代わりに全画像範囲 100の横端に細長く配置することで、同（b) に示すように、縦に細長い選択参照部 131 bを設定することができる。

同（ c) では、全画像範囲 100の下側に配置した 100 aの一部に選択参照部 13 1 cを設定し、参照用シーン 121 cから照明色を求めている。さらに、同（d) では反射面 61を同（a) と同様に凸曲面とすることで、選択参照部 1 31 dの横幅よりも広い幅の参照用シーン 121 dから照明色を求めている。なお、同（c) (d) では、全画像範囲 100に対応する CCD 3 1の下側に、この CCD 31とは別に 100 aに対応する第二 CCD 33を設けている。

同（ e ) では全画像範囲 100の上下に横長の選択参照部 131 e， 131 e を設定し、中央部の参照用シーン 121 eからいずれかの選択参照部 131 eに照明色を集めている。同改変例は、画像を横長のパノラマ画像として撮影する場合を想定している。但し、選択参照部 13 1 e， 13 1 eに像を得るために通常のパノラマ撮影のように撮影範囲の一部を隠すのではなく、ファインダ一に現れる画像のみが横長となるように、ファインダ一の一部のみを隠している。なお、図 1 1の各例では、 C CD素子上の参照用シーン 121と選択参照部 131との関係について説明したが、撮像素子としてフィルムを利用した場合でも同様の関係が成立する。

次に、本発明のさらに他の実施形態について以下説明する。なお、上記第一実施形態と同様の部材には同様の符号を付してある。

図 15に示す第二実施形態では、 CCD 31の主撮像部 3 l aから送られる主画像がアナログ又はデジタルのビデオアンプ 79により直接的に色補正され、モ二夕装置 1 1に映し出される。補正部 72における比例定数 sr，sg,sbの算出は、 i l 4の第一、第二参照フレーム R l， R 2を用いて行われ、これらが時間経過後の第一、第二参照フレーム群 I 2， I 3を補正する際に使用される。出力調整部 7 3はビデオアンプ 7 9からの出力調整を行う操作部である。同構成によれば、主画像の補正がビデオレート処理スピードで行われる利点がある。なお、主画像と参照画像とを同一のフレームから抽出して詳細な補正を行った画像は、ビデオァクセラレーター 7 5を介してビデオレコーダー 1 2に録画することも可能である。

図 1 6に示す第三実施形態では、撮像素子として化学剤を使用したカラーフィルム 3 7、例えば銀塩フィルムを用いている点が異なる。すなわち、本発明において、撮像素子、受光素子の色チャンネルは形状的に分離しているものではなく、化学的物性変化により複数の色チャンネルを構成するものであってもよい。カラ —フィルム 3 7はフィルム収納部 3 6内に着脱可能に収納されている。

レンズ 4 1からの入射光はプリズム 3 4により分離されてカラーフィルム 3 7 に到達すると共に受光素子 3 5にも到達する。受光素子 3 5はフレーム平均化部 3 2に画像のデータを伝達し、絞り 4 3，開口調節モー夕一 4 4が制御される。本実施形態においては、カメラ 2とは別体の画像処理装置 7がパーソナルコンビユー夕一 8とフィルムスキャナ 1 6とを有している点が異なる。現像されフィルムスキャナ 1 6にセットされたカラ一フィルム 3 7から主画像及び参照画像を含む画像データ一がスキャンされ、 1 /0 7 6に送られる。その画像信号は、上記他の実施形態と同様に処理される。

図 1 7に示す第四実施形態では、一方の画像処理装置 7に接続したカメラ 2から他方の第二パーソナルコンピュータ一 1 3に接続したモニター 9に映像を通信により送信するシステムを示している。上記他の実施形態と同様に処理され得られた補正画像が画像圧縮部 8 1により J P E G等の手法により画像圧縮される。本実施形態によれば、画像圧縮後の補正を実行した場合に比べて、色データーが一部欠落することはないので、良好な補正結果が期待できる。

補正及び圧縮後の画像信号は、通信用端末 1 4及び通信用端末 1 5並びにィン夕ーネット又は電話回線を通じて電送され、画像処理部 8 2及びビデオァクセラレーター 7 5を経てこの画像がモニタ一 9に表示される。なお、これらの構成は 2台のコンピューターに相互に設けられることで、双方向通信が可能である。図 1 8に示す第五実施形態では、第一、第二カメラ 2 a， 2 bからそれぞれ A、 B画像 S a， S bがそれぞれ撮影され、ビデオキヤプチヤーボード 7 1、 7 1に取り込まれる。例えば、 A画像 S aはスタジオ撮影されたアナウンサーの像等であり、 B画像 S bは夕焼け空の屋外風景画像等である。 A画像 S aは上述の処理手順に従って補正部 7 2で色補正される。一方 B画像 S bからはシーン光算出部 8 3を介して B画像 S bのシーンにおける光源色が反射面の作用により求められる。そして、第二補正部 8 4により色補正された A画像 S aに対して光源色が掛け合わされて二度目の色補正がなされた後、画像合成部 8 5において B画像 S b と画像合成され、モニター 9を介して自然な色合いの A、 B画像 S a bが表示される。

図 1 9に示す第六実施形態では、第五実施形態とは異なり、 B画像 S bにコンビュー夕グラフィックス画像を用いている。この B画像 S bは C G画像作成部 8 6を介してモニタ一 9により表示可能である。また、 C G画像作成部 8 6における仮想の光源色が C G光源決定部 8 7により求められ、これが第二補正部 8 4において補正後の A画像 S aに掛け合わされ、二回目の色補正が行われる。このようにして二度の色補正を行われた A画像 S aは画像合成部 8 5において B画像 S bと画像合成され、モニタ一 9を介してコンピュータグラフィックの風景に自然に人物のとけ込んだ A、 B画像 S a bが求められる。なお、第五、第六実施形態における第一、第二の色補正のための光源色を求めるに際しては、上述の反射面に限らず、ホワイトパッチ等他の手法を用いても構わない。

図 2 0、 2 1に示す第七実施形態では、レンズ 4 1がズームレンズとして構成され、その焦点距離の変更に伴って反射面 6 1の位置と角度とが変更される。図 2 0はその決定原理を示すものである。まず、最大視野 V Fは C C D 3 1とレンズ 4 1とによって決定される。反射面 61の反射面後端 63は最大視野 VF上の適当な位置に決定される。その後、次の関係に従って、反射面 6 1の反射面角 A nが決定される。

撮像素子面 Fdは CCD 3 1表面の平面、反射位置頂点面 Fnは反射面 6 1上の反射点を通る撮像素子面 Fdに平行な面、被写体面 Foは被写体 0を通る撮像素子面 Fdに平行な平面である。まず、反射位置頂点面 Fnの左側について反射角 A sと他の角との関係を考えると次式が成立する。

A s =7Γ- An- A o ( 7 )

また、反射面 6 1の下側について考えると、次式が成立する。

2 As =7T-Ad-Ao (8)

そして、これら両式を反射角 Asについて整理すると、次の関係が成り立つ。

7T-An-A o - (π-Αά-Αο) /2 (9)

この式を反射面角 Anについて整理し、次式を得る。

An = 7T/2+Ad/2~Ao/2 ( 10)

ここで、被写体角 Aoは被写体 0の位置により殆ど変化しないので Ao/2は定数とみることができる。反射面角 Anは視野角 Adにより定まり、視野角 Ad は最大視野 VFの位置により定まる。よって、反射面 6 1の反射面後端 63と視野角 Adとはレンズ 4 1の焦点距離により一意的に定まる。

ここで、図 2 1 (a) (b) により反射面 63と反射面角 Anとを連続的に変更させた反射面 6 1を備えたカメラ 2について説明する。レンズ 41が図 2 1 (a) の実線で示す位置にある場合、反射面 6 1の一部である反射面 6 1 aは反射面後端 63 aと反射面角 An 1とにより決定される。また、レンズ 41，が焦点距離が少し長くなつた一点鎖線の位置にある場合、反射面 61 bの反射面後端 63 bは反射面後端 63 aよりも少しレンズ 4 1より離れる側に移動し、反射面角 An2は反射面角 An 1よりも大きくなる。反射面 6 1の反射面先端線、後端線 62 L, 63 Lに沿って反射亜面先端、後端 62 a, 62 b, 63 a, 63 b がそれぞれ配置され、これら反射面先端線、後端線 6 2 L， 6 3 Lの間に反射面 6 1 a , 6 1 bが位置することとなる。

このような連続的変化を有する反射面 6 1の反射体 6は、反射面移動機構 6 5 をなす支持棒 6 6に連結されると共に第一枢軸 6 6 a周りでレンズ 4 1の執心軸にほぼ直交する軸周りで揺動可能である。さらに、支持棒 6 6の根本は第一枢軸 6 6 aを介して基礎部材 6 7に支持され、さらにカメラ本体部 3に対して第一枢軸 6 6 aに直交する第二枢軸 6 7 a周りで揺動可能に支持される。また、覆い 5 には反射体 6を挿入するための開口 5 aが先の実施例の如く全画像範囲 1 0 0の角部に対応させて形成されている。また、カメラ 2には C C D 3 1に対する画像の取り込みと連動するストロボ 2 1を設けてある。

図 2 1に示すカメラ 2の使用に際しては、レンズ 4 1の焦点距離に合わせて適切な反射面 6 1 a， 6 1 b等が選択されるように、第一枢軸 6 6 a周りで反射体 6が揺動する。また、最大視野外からの光を遮るように、フラップ 5 aが適当な位置まで揺動する。スチル撮影の場合は、この状態でまずストロボ 2 1がー度点灯し、 C C D 3 1を介して上述の参照用シーン 1 2 1が取り込まれる。次に、第二枢軸 6 7 a周りで支持棒 6 6が外側に揺動して反射面 6 1がレンズュ二ット 4 の視野外に移動し、再びストロボ 2 1が点灯して主シーン 1 1 0が撮影される。そして、これら参照用シーン 1 2 1と主シーン 1 1 0とを用いて上述の色補正を行う。なお、ビデオ撮影の場合はストロボ 2 1は不要である。また、支持棒 6 6 を第一枢軸 6 6 a周りで揺動させて、反射面 6 1をレンズュニット 4の視野外に移動させてもよい。

図 2 2、 2 3に示す第八実施形態では、受光素子である第三 C C D 3 8が先の第一 C C D 3 1とは別体に設けられ、ズームレンズユニット 4、 4が第一、第三 C C D 3 1， 3 8にそれぞれ設けられている。各レンズユニット 4， 4の絞り 4 3 , 4 3及び開口調節モーター 4 4， 4 4は第一 C C D 3 1に連動するフレーム平均化部 3 2によって共通に制御される。また、レンズ 4 1， 4 1の焦点距離も両レンズにおいて連動する。各第一、第三 CCD31, 38に対しては、第一、第二ビデオキヤプチヤーボード 7 lx， 71 yがそれぞれ設けられている。第三 CCD 38が第一 CCD 31と同種の素子であり、第一 CCD 31よりも不良ピクセルの多い点のみが異なる。第三 CCD 38に不良ピクセルの多いロットを使用できるのは、反射面 61を用いた参照用シーンから光源色を捉えれば足りるからである。そして、あらかじめ検査により把握した不良ピクセルの位置を 71 zに記憶させ、補正部 72における光源色の算出時に不良ビクセルを除外している。

第三 C C D 38側の覆い 5内には環状の反射体 6が取り付けられている。この反射体 6は、反射面 61の上記反射面角 A n及び反射面後端 63を連続的にレンズ 41の焦点距離に合わせてあらかじめ変化させたものである。例えば符号 61 aに示す反射面 61に反射した参照用シーンは第三 C CD 38上の選択参照部 3 8alに像を形成し、符号 6 lbに示す 61に反射した参照用シーンは第三 C C D 38上の選択参照部 38 a 2に像を形成する。このように、連続した反射面 6 1により全画像範囲 100上に撮影された参照用画像部 130のうち、適当な参照部 137 a, 137 bを選択することで、レンズ 41の焦点距離に応じた適切な参照用シーンを選択することができ、主シーンの色補正を正確に行うことが可能となる。

次に、図 24〜35を参照しながら、光学的補正装置を用いた構成について説明する。特に断りがなく矛盾が生じない限り、図示していない部材も上記各実施形態と同様であるが省略されており、例えば絞り 43は図示しないフレーム平均化部 32，開口調節モー夕一 44により制御される。

図 24は第九〜第一八実施形態に用いられる光学フィル夕を用いた一般的モデルを示すブロック図である。画像処理装置 151は、 CCD 31からの信号を並列的に受け入れる画像処理部 152及び光源色測定部 153を含んでいる。画像処理部 152の基本構成は上述の各実施形態のものと近似していているが、光源色測定部及び補正部を含んでいない点が異なる。画像処理部 152へ受け入れられた信号はカメラ出力 3 aへ出力され、モニタ等に接続される。

参照撮像部 31 b及び光源色測定部 153により求められた光源色の出力は補色測定部 154に受け入れられ、ここで光源色の補色が求められる。参照撮像部 31 b等により求められた光源色の RGB成分の強度をそれぞれ Rn， Gn₅ B nとし、補色の RGB成分の強度をそれぞれ Rc， Gc, Beとすれば、一般的に次の関係が成り立つ。

C=RnRc=GnGc=BnB c

但し、 Cは定数である。

そして、 Rc/Gc二 Gn/Rn、 R c/B c =B n/Rnなる関係より、補色の RGB成分のカラ一バランス R c， Gc， Beが求まる。

色制御手段 155は、補色測定部 154により求められた補色を第一〜第三位置 P 1~3のいずれかにおいてフィル夕として実現する。色制御手段 155の具体的手段は以下の各実施形態で示されるが、そのフィル夕の設置位置は第一〜第三位置 P 1〜3のいずれとしてもよい。レンズュニット 4において示されるレンズ 41はバーチャルなレンズであり、実際には複数枚のレンズでレンズ 41が構成されるため、この複数枚のレンズ間にフィル夕を設置してもよい。

第一〜第三位置 P 1〜3のいずれかに設置されるフィル夕は、撮影視野（vi ewing) 及び反射面 61からの光の双方を透過させて主撮像部 31 a及び参照撮像部 31 bに到達させる。光源色測定部 153は、参照撮像部 31わにより検出された前記参照用信号値（rn， gn, bn) のカラ一パランスが求められるカラ一バランスにできるだけ近づくように、前記光学フィル夕をフィードバヅク制御する。すなわち、光源色測定部 153は、光源色を求めてこの光源色を白色に近づける作用と、これに加えさらに白色光とは異なる求められるカラーバランスを前記参照用信号値（rn, gn, bn) が有するように、フィードバック制御を行う。すなわち、本発明は、最終的に光源色が白色光であるように補正する以外の場合でも、内在的に光源色が白色光であるように補正する作用が含まれているものとする。補正の最終目標値は加色混合の理論により定められるに過ぎないからである。

図 2 5に示す第九実施形態は、色制御手段 1 5 5の一例であるフィルタ回転機構 1 6 0を示す。このフィル夕回転機構 1 6 0では、軸 1 6 1周りでモ一夕一 1 6 2によりステップ的に回転される円盤 1 6 3に複数の貫通孔を設けている。そして、この貫通孔にカラ一バランスがそれぞれ異なる複数のプリセットフィル夕 1 6 4 a〜hを設けたものである。これらプリセットフィル夕 1 6 4 a〜hの特性は色温度にあわせて選ぶことができ、例えば、昼光では色温度 5 5 0 0 Kであり、タングステンタイプの人工光では色温度は 3 2 0 0 K程度に設定される。補色の有する色温度に最も近い色温度を有するプリセットフィル夕 1 6 4 a〜hが選択される。

図 2 6に示す第十実施形態は、色制御手段 1 5 5の一例であるフィルタスライド機構 1 7 0を示す。このフィルタスライド機構 1 7 0では、 C C D 3 1やレンズ 4 1の光軸に直交する X y方向に図示しない駆動部材で移動可能なフィル夕支持板 1 7 1と、このフィル夕支持板 1 7 1に形成した貫通孔にそれぞれ設けられる複数のプリセットフィル夕 1 7 2 a〜iとを備えている。同実施形態でも、先の実施形態と同様に、適切な色温度のプリセットフィル夕 1 7 2 a〜iが選択される。

上記第九及び第十実施形態はそれぞれ二枚以上の軸 1 6 1又はフィル夕支持板

1 7 1を組み合わせて用いることができる。この場合、いくつかの貫通孔にはフィルターを設けなくてもよい。これにより、フィル夕一を複数組み合わせて用いることもできる。

フィル夕一を複数組み合わせて用いることのできる構成としては、図 2 7に示す第十一実施形態のフィル夕回転機構 1 8 0が考えられる。同実施形態では、軸 1 8 1周りでモ一夕一 1 8 2によりステップ的に揺動されるように複数のプリセットフィル夕 1 8 3 a〜fが支持されている。

図 2 8に示す第十二実施形態では、色制御手段 1 5 5に相当する液体を用いた光学フィル夕手段として液体フィル夕システム 1 9 0が提供される。この液体フィル夕システム 1 9 0において、タンク 1 9 1に蓄えられた水又は油等の媒質はポンプ 1 9 2によりミキサー 1 9 3へ送られる。ポンプ 1 9 2はダイヤフラム型のボンピング等、ごく僅かな量の液体を送り出すことができる簡素な構成のもので足りる。カラ一コントローラ 1 9 4は補色測定部 1 5 4からの情報に基づいて、ィンキ吹出部 1 9 5 a ~ cのそれぞれからのィンキの吹き出し量を制御する。ィンキ吹出部 1 9 5 a〜cはシアン、マゼン夕又はイェロー（C MY ) のィンキを貯留している。これらのインキは、例えばそれぞれアシッドブル一 # 2 5，ァシヅドレツド # 2 8 9、ァシッドイエロ一 # 2 3を用いて調合することができる。インキの色は R G Bとすることも可能であるが、撮像素子のフィル夕一等が通常 R G Bであり、この液体フィル夕システム 1 9 0は補色を求めることが目的であるから、 C M Yのインキを用いることが望ましい。

インキ吹出部 1 9 5 a〜cから吹き出したインキはミキサー 1 9 3で媒質と混合され、透明通路 1 9 6に送られる。この透明通路 1 9 6は透明なガラス板を非常に小さな隙間を隔てて重ね合わせて薄い通路を形成したものであり、内部を流れるインキの混合物がフィル夕として作用する。透明通路 1 9 6を通過した混合物は排出口 1 9 7を介して排出される。図示省略するが、レンズ 4は実際には複数枚のレンズを組み合わせてなるので、組合せを構成するレンズ間の空間を透明通路 1 9 6としてもよい。なお、ィンキの漂白剤等を混合するトリートメント手段 1 9 8を設けて媒質をフィードバックしてもよい。

図 2 9に示す第十三実施形態は、先の第十二実施形態の改変例である。本実施形態では、 3つのインキ吹出部 1 9 5 a〜cに対し、 3つのミキサー 1 9 3 a〜 c及び 3つの透明通路 1 9 6 a〜cがそれぞれ互いに混合し合わないように独立に設けられている。各色チャンネルのフィル夕の特性はィンキの濃度により変更される。

図 3 0に示す第十四実施形態は、カラー C C D等 C C D 3 1の表面に存在する C C Dフィル夕 2 0 0の色を変更するシステムを示す。この C C Dフィル夕 2 0 ◦は、隔壁 2 0 1により各セル 2 0 2を仕切っている。セル 2 0 2はピクセル 2 0 3の R G B各色チャンネルに対応させて設けてある。また、同じ色チャンネルのセル 2 0 2同士がプリッジパス 2 0 4により連通されている。赤流入路 2 0 5 r、緑流入路 2 0 5 g、青流入路 2 0 5 bはそれぞれ第十三実施形態のミキサー 1 9 3 a〜c如きものに接続される。赤流入路 2 0 5 r、緑流入路 2 0 5 g、青流入路 2 0 5 bにより供給された媒質インキ混合物は各セル 2 0 2を通過してフィル夕として作用すると共に、赤流入路 2 0 5 r、緑流入路 2 0 5 g、青流入路 2 0 5 bを介して排出される。

図 3 1に示す第十五実施形態は、撮像素子としてカラーフィルム 3 7を用い、印画紙 2 1 3に対するプリントを行う場合の色補正に関する。ランプ 2 1 1は色補正用のフィル夕 2 1 2を介して光をカラーフィルム 3 7に投光し、印画紙 2 1 3にカラーフィルム 3 7の像を焼き付ける。光色センサ 2 1 4及び光源色測定部 2 1 5は参照撮像部 3 7 bから撮影時の光源色を求める。補色測定部 2 1 6はこの光源色の補色を求めフィル夕交換装置 2 1 7を制御してフィル夕 2 1 2の色を変更する。フィル夕 2 1 2及びフィル夕交換装置 2 1 7を含む色制御手段 1 5 5 は、上述又は以下の実施形態で示したいずれかの構成を用いることができる。図 3 2に示す第十六実施形態は液晶可変フィル夕システム 2 2 0に関し、 C C D 3 1が白黒 C C D等であり、色制御手段 1 5 5として液晶可変フィル夕 2 2 3 及び明暗度可変フィル夕 2 2 4が用いられる。この液晶可変フィル夕 2 2 3はフィル夕の特性、すなわち色チャンネルを R G B等に切り替えることが可能である L C T F (Liquid Crystal Tunable Filter) を用いることができる。すなわち、液晶可変フィル夕 2 2 3の色を微少時間間隔で変更してカラ一画像を撮影するものであり、各フィル夕特性毎に明暗度可変フィル夕 2 2 4の明暗度を変更することで、実質的に補色フィル夕を構成することができる。

明暗度可変フィル夕 224の一例としては、図 33に示すように、レンズュニット 4の光軸に垂直に二枚の第一，第二偏光フィル夕 224 a, bを設け、これらの相対角を変更させる構成を採用することができる。その他、明暗度可変フィル夕 224としては、明暗度の異なるニュートラルグレイの NDフィル夕を複数枚切り替えて用いることができる。

図 33に示す第十七実施形態は 3 CCDカメラ 230に関し、レンズュニット 4から入射した光をォプティカルブロック 231のプリズム 232で RGBに分光し、白黒 CCD素子である 3つの赤 CCD 233 r、緑 CCD 233 g、青 C CD 233 bのそれぞれに画像を投影する。各赤 CCD 233 r、緑 CCD 23 3 g、青 CCD233 bとオプティカルブロック 23 1との間にはそれぞれ赤明暗度可変フィル夕 234 , 青明暗度可変フィル夕 235，緑明暗度可変フィル夕 236が設けられ、実質的に補色フィル夕を形成するように、これらの明暗度を個別に変更可能としてある。各赤明暗度可変フィル夕 234, 青明暗度可変フィル夕 235，緑明暗度可変フィル夕 236は、先の実施形態同様、それぞれ第一, 第二偏光フィル夕 234 a， b， 235 a, b， 236 a, bを有している。なお、ハイライト等の入射状況を調節する目的であれば、第一，第二偏光フィル夕 234 a， b， 235 a, b, 236 a, bの全てを回転制御することが望ましい。

図 35に示す第十八実施形態は、先の第十七実施形態の改変例である。本実施形態では、ひとつの第一偏光フィル夕 237をオプティカルブロック 231の前段、例えばレンズユニット 4の採光側に取り付け、他の第二偏光フィル夕 234 b， 235 b, 236 bを各色チャンネルに対応させて設けてある。ハイライト等の光量は第一偏光フィル夕 237で調節でき、各チャンネルの明暗度は、第二偏光フィルタ 234 b， 235 b, 236 bをオプティカルブロック 231に対し回転させることで独立して調節することができる。最後に、本発明のさらに別の実施形態の可能性について言及する。

上記各実施形態では、 R G B 3色チャンネルを有するカラ一カメラについて本発明を説明した。しかし、本発明は R G B 3色チャンネル以外の複数チャンネルを有するカラーカメラ又は可視光を撮影する白黒カメラや非可視光である赤外線等を撮影する赤外線カメラ等の単一チャンネルカメラについても適用可能であるこのとき、有効入力画像色値を反射面平均色値で除した値に乗ずる係数 sは定数でなければならない。なお、色チャンネルとして、可視光チャンネル及び赤外線等の非可視光チャンネルを含む 2チャンネル構成とすることも可能である。上記各実施形態では、反射面 6 1を平面、凸面又は凹面として形成した。しかし、この反射面はメッシュ状でもよく、小さな半球面状でもよい。

上記第一二〜一四に示す実施形態では、 R G Bまたは C M Yの全てについて制御を行った。しかし、 3色の内 2色についてのみ制御を行うようにしても色補正は可能である。なお、制御を行わない色チャンネルについては、 N Dフィルターを介在させ、絞り 4 3により実質的に荒い制御が可能であるように構成することも可能である。

上記実施形態では、撮像素子として C C D素子やカラ一フィルムを用いた。しかし、撮像素子としては、これに限らず、例えば、ビジコン等を用いても良い。また、受光素子にはフォトダイオード等を用いることも可能である。

上記実施形態は、互いに矛盾しない限り、複数のものをそれぞれ組み合わせて実施することが可能である。また、いずれの実施形態も、ビデオカメラ又はスチルカメラとして実施することができる。特に、上記第九〜一四及び第一六〜一八の実施形態は、上記第一〜八の実施形態と組み合わせることで、双方の利点を生かすことができる。すなわち、上記第一〜八の実施形態は処理時間が非常に迅速であるため、撮影対象補足当初に有効であり、上記第九〜一四及び第一六〜一八の実施形態による補正をその後行うことで、より精密な色補正を行うことが可能となる。上記第五実施形態では、 A画像 S aはスタジオ撮影されたアナウンサーの像等であり、 B画像 S bは夕焼け空の屋外風景画像等であった。また、上記第六実施形態では、 A画像 S aは第五実施例同様にスタジオ撮影されたアナウンサーの像等であつたが、 B画像 S bにコンビユー夕グラフィックス画像を用いている点が異なった。しかし、 A画像 S aを風景とし、 B画像 S bをアナウンサーの肖像等としてもよい。また、頭部又は顔のみを入れ替えて合成画像を作成する際に、本発明に係る色補正を実施してもよい。例えば、肖像等である A画像 S aのうち人物の頭部又は顔部分のみを切り出す。一方、 B画像 S bとして、被服を着用したモデルの撮影画像から頭部を除去し、又は、髪型等の参考となる頭部の撮影画像のうちからモデルの髪型のみを残して顔を除去したものを用いる。そして、 A画像と B画像とを上述の色補正後に合成することで、統一された照明状況下において、被服や髪型等が本人に似合うか否かを自然な色合いの合成画像により判断することが可能となった。産業上の利用可能性

本発明は、撮影された物体の色を補正し又は画像の濃度を安定させるための撮影システム、並びに、これらに用いるカメラ及び画像処理装置に関する。本発明は、カメラの撮像素子が複数の色チヤンネルを有するカラ一カメラの色補正に適用されるが、白黒カメラ等の単一チャンネルのみのカメラにも適用することがでぎる。

Claims

請求の範囲

1. 画像の色を補正するための撮影システムであって、レンズ（41) 、撮像素子（ 31， 37) 、受光素子（31, 33, 37, 38) 及び反射面（ 61 ) を有し主シーン（1 10) を前記撮像素子（31, 37) 上に撮影するカメラ

( 2 ) を備え、前記撮像素子（31， 37)及び前記受光素子（31， 33, 3 7, 38) は複数の色チャンネルを有し、前記反射面（61) は前記カメラ (2) の視野内に配置されており、且つ前記主シーン（1 10) 又はその近傍に属する参照用シーン（ 121 , 121 a〜e) からの光を反射すると共に前記レンズ（41) を介して前記受光素子（31， 33, 37, 38) に受光させるものであり、さらに、前記受光素子（31， 33， 37， 38) により受け入れられた参照用シーン（ 121， 121 a〜e) の反射光のうち 1ピクセル部（ 13 6 d) の値又は複数ピクセル部（ 131， 131 a〜e、 136 a〜c) の前記各色チャンネル毎における平均値を参照用信号値（rn， gn, bn) として求める光源色測定部（72， 153) と、この参照用信号値（rn, gn, bn) により画像の色を補正する補正装置（72) とを備えている。

2. 請求項 1に記載の撮影システムであって、前記補正装置が、前記撮像素子 (31, 37) により撮影された主シーン（1 10) の各座標位置における主信号値 (r[x][y]₃ [x][y],b[x][y]) を前記各色チャンネル毎に求めた前記参照用信号値（rn， gn, bn) によってそれぞれ実質的に除することにより前記主信号値を補正した補正信号値（rc[x][y]，gc[x][y]，bc[x][y]) を得るための補正部（72) である。

3. 請求項 2に記載の撮影システムに用いられる画像処理装置であって、これは前記参照用信号値（rn， gn, bn) を分母に有する係数（s r， s g, s b) あらかじめ求め、この係数（s r， s g, sb) を前記各主信号値（r[x] [y],g[x][y]₅ [x][y]) に掛け合わせることで主信号の補正を行うものである。

4. 請求項 3に記載の画像処理装置であって、これは前記各色チャンネルにおける前記各係数（s r， s g, sb) が各色チャンネルにより異なる前記参照用信号値（rn， gn, bn) を分母に有し各色チャンネルで共通の他の係数（s) を分子に有しているものである。

5. 請求項 4に記載の画像処理装置であって、これは前記撮像素子（3 1， 3 7) 又は前記受光素子（3 1， 33, 37, 38) から順次送られるフレーム信号のうち、あるフレーム信号から前記係数（s r, s g, sb) を求め、この係数（s r， s g, s b) をさらに時間経過後の他のフレームから得た前記各主信号値（r[x][y]，g[x][y],b[x][y]) に掛け合わせることで主信号の補正を行うものである。

6. 請求項 5に記載の画像処理装置であって、これは前記係数（s r, s g, s b) を複数の他のフレームからそれぞれ得た前記各主信号値（r [x][y]，g[x] [y] , b [x] [y] ) に共通に掛け合わせることで主信号の補正を行うものである。

7. 請求項 5に記載の画像処理装置であって、これは前記他のフレームからの信号に前記係数（s r, s g, sb) を掛け合わせるためのビデオアンプ（79) を有している。

8. 請求項 4に記載の画像処理装置であって、前記他の係数（s) は、前記主信号値（r[x][y],g[x][y],b[x][y]) がこの信号の集合における最大値とみなせる値（rm, gm, bm) をとる場合に、その最大値と見なせる値（rm， gm, bm) を前記主信号値の最大スケール値（D) に近づけるものである。

9. 請求項 4に記載の画像処理装置であって、前記他の係数（s) は、あるピクセルにおける 2チャンネル内の主信号値が前記最大スケール値（D) に達し且つ残りの他チャンネル内の主信号値が前記最大スケール値（D) に達していない場合に当該ピクセルを不正ピクセルと定義し、当該不正ピクセルの集合における前記他チャンネル内での主信号値の最小値とみなせる値（r cm、 bcm) が前記最大スケール値（D) に少なくとも達するだけの値を前記他の係数（s) は有している。

10. 請求項 2に記載の撮影システムに用いられる画像処理装置であって、これはあるピクセルにおける青チャンネル内の主信号値のみが前記最大スケ一ル値

(D) に達し且つ残りの赤緑チヤンネル内の主信号値が前記最大スケール値 (D) に達していない場合に、当該青チャンネルの主信号の補正値（b e) を、赤緑チャンネル内の補正値（r c、 g c) の比に基づいて算出するものである。

1 1. 請求項 2に記載の撮影システムに用いられる画像処理装置であって、これはさらに前記主信号の圧縮装置（8 1) を有しており、前記主信号を前記補正後に圧縮するものである。

12. 請求項 1に記載の撮影システムに用いられるカメラであって、前記反射面 (6 1) を前記カメラ（2) の視野外に配置することの可能な反射面移動機構 (65) を備えている。

13. 請求項 1に記載の撮影システムであって、前記反射面（6 1) を前記カメラ（2) の視野外に配置することの可能な反射面移動機構 (65) を備え、前記反射面（6 1) により前記参照用信号値（rn, gn, bn) を求めた後に前記反射面移動機構（65) により前記反射面（6 1) を前記カメラ（2) の視野外に配置した状態で主画像を撮影し、前記参照用信号値（rn, gn, bn) により主信号値 (r[x][y]₃g[x][y],b[x][y]) を補正するものである。

14. 請求項 1に記載の撮影システムであって、前記撮像素子（3 1) 及び前記受光素子（38) が別体の同一特性の素子よりなり、前記レンズ（41, 4 1) をこれら撮像素子（31) 及び前記受光素子（38) に対応させてそれぞれ設けると共にこれら両レンズ（4 1， 41) のズーミングと絞りとを連動させ、前記反射面（6 1) が前記レンズ（41) の焦点距離に応じてその始点の座標位置と角度とを連続して変更するように形成すると共にこの反射面（6 1) を前記レンズ（41) の最大視野内に固定し、前記受光素子（38) 上の補正用画像部（ 1 30) のうち選択補正部（ 1 37 a， 137 b) から前記焦点距離に応じた前記反射面（6 1 a, 6 1 b) に対応するものを選択する。

15. 請求項 14に記載の撮影システムであって、前記受光素子（38) のうち欠陥ピクセルを前記選択補正部（ 137 a， 137b) の選択時に除去する座標テーブルを有している。

16. 請求項 1に記載の撮影システムであって、前記反射面の配置又は前記参照用信号のための前記複数ビクセルの選択により、前記参照用シーンを主として主シーンの中央部又はその近傍に限定してある。

17. 請求項 2に記載の撮影システムであって、前記カメラを少なくとも 2台有し、一方のカメラにおける前記補正信号値 (rc[x][y],gc[x][y]₃bc[x][y]) に対し、他方のカメラにより得られた参照用信号値を前記各色チャンネル毎に実質的に掛け合わせて二次補正画像を得、この二次補正画像を他方のカメラの画像と合成して合成画像を得るものである。

18. 請求項 2に記載の撮影システムであって、コンビュ一夕画像を作成する C G画像作成部（86) とこのコンピュータ画像の光源色を決定する CG光源色決定部（87) とを有し、前記補正信号値 (rc[x][y],gc[x][y],bc[x][y]) に対し、 CG光源色決定部（87) により得られた光源色値を前記各色チャンネル毎に実質的に掛け合わせて二次補正画像を得、この二次補正画像を前記 C G画像作成部

(86) により作成されたコンピュータ画像と合成して合成画像を得るものであ。

19. 請求項 1に記載の撮影システムに用いられるカメラであって、前記撮像素子（ 31， 37) 及び前記受光素子（31， 33， 37, 38) が同一特性の素子よりなるものである。

20. 請求項 19に記載のカメラであって、前記受光素子（31, 37) が前記撮像素子（31, 37) の一部である。

21. 請求項 1に記載の撮影システムに用いられるカメラであって、前記撮像素子（31， 37) 上の画像を収めた画像ファイルを記憶する記憶部（77) 又は前記画像を記録するフィルム（37) の収納部（36) を有しており、前記画像は主画像部（110) と全画像範囲（100) の端に位置する参照用画像部（ 1 30) とを備えている。

22. 請求項 1に記載の撮影システムに用いられるカメラであって、前記全画像範囲（ 100) が四角形を呈し、いずれかの角部に前記参照用画像部（130) が位置している。

23. 請求項 22に記載のカメラであって、前記反射面（61) が前記レンズ (41) の中心軸周りで回転可能であり、前記反射面（61) の位置により前記いずれの角部に前記参照用画像部（13) を位置させるか又は前記参照用画像部 (130) を前記全画像範囲（100) 内に位置させないかの選択を行い得るものである。

24. 請求項 1に記載の撮影システムに用いられるカメラであって、前記主画像部が横に細長い四角形を呈し、前記全画像範囲（100) の上部又は下部に前記参照用画像部が位置している。

25. 請求項 1に記載の撮影システムに用いられるカメラであって、前記レンズ (41) がズームレンズであり、前記反射面（61) が前記レンズ（41) の焦点距離に応じてその始点の座標位置と角度とを変更するものである。

26. 請求項 1に記載の撮影システムに用いられるカメラであって、前記反射面 (61) が前記レンズ（41) の焦点距離に応じてその始点の座標位置と角度とを連続して変更するように形成してあり、この反射面と前記レンズとの相対位置を前記レンズ（41) の焦点距離に合わせて変更する反射面移動機構（65) を有している。

27. 請求項 3〜 11に記載の画像処理装置又は 13〜 18に記載の撮影システムのいずれかで実現される機能を備えた I Cチップ又は同機能を備えた電気回路。 28. 請求項 3〜 11に記載の画像処理装置又は 13〜 18に記載の撮影システムのいずれかで実現される機能をコンピュータにロードされることで実現するソフトウエアを記録した記録媒体。

29. 請求項 3〜 1 1のいずれかに記載の画像処理装置又は 13〜 18のいずれかに記載の撮影システムであって、前記画像補正が電話回線又はイン夕一ネット等の通信回線で接続される二台のコンピュータ間で実現されるように構成されている。

30. 請求項 13又は 19〜25のいずれかに記載のカメラであって、前記反射面に前記主シーン外又は前記参照用シーン外からの光が入射することを防止する覆いを設けてある。

31. 画像の濃度を安定させるための撮影システムであって、レンズ（41) 、撮像素子（31, 37) 、受光素子（31， 33, 37， 38) 及び反射面（ 6

1) を有し主シーン（ 1 10) を前記撮像素子（31， 37) 上に撮影するカメラ（2) を備え、前記反射面（61) は前記カメラ（2) の視野内に配置されており、且つ前記主シーン（1 10) 又はその近傍に属する参照用シーン（121,

121 a〜e) からの光を反射すると共に前記レンズ（41) を介して前記受光素子（31, 33, 37) に受光させるものであり、さらに、前記受光素子（3

1， 33, 37， 38) により受け入れられた参照用シーン（121， 121 a 〜e) の反射光のうち 1ピクセル部（ 136 d) の値又は複数ビクセル部（ 13

1, 131 a〜e、 136 a〜c ) の平均値を参照用信号値（ r n， gn, b n) として求め、前記撮像素子（31) により撮影された主シーン（1 10) の各座標位置における主信号値 (r[x][y]₃g[x][y],b[x][y]) を前記参照用信号値（rn， gn, bn) によって実質的に除することにより主信号を補正した補正信号値 (rc[x][y],gc[x][y],bc[x][y]) を得る画像処理装置 (7) を備えてい o

32. 請求項 31に記載の撮影システムに用いられるカメラであって、前記カメラの撮像素子は可視光又は非可視光を感知するものである。

33. 請求項 2に記載の撮影システムであって、前記補正装置が、前記参照用信号値（rn， gn, bn) により定まる色に対する補色を測定する手段と、この補色を再現し且つ前記撮像素子に達する画像の色を変更する光学フィル夕を含む光学フィルタ手段とを備えている。

3 4 . 請求項 3 3に記載の撮影システムであって、前記光学フィル夕は前記受光素子に達する画像の色をも変更するように配置されており、前記補色を求める手段は前記参照用信号値（r n , g n , b n ) のカラーバランスが求められるカラ —バランスにできるだけ近づくように前記光学フィル夕を制御する。

3 5 . 請求項 3 3に記載の撮影システムであって、前記光学フィル夕手段はそれぞれカラ一バランスを異ならせた複数のプリセットフィル夕を有しており、前記補色に最も近いプリセットフィル夕が選択される。

3 6 . 請求項 3 5に記載の撮影システムであって、前記プリセットフィル夕は複数のものを組み合わせて同時使用が可能である。

3 7 . 請求項 3 3に記載の撮影システムであって、前記光学フィル夕手段は、媒質のポンプと、複数色の色ィンクを独立して吹き出し可能なィンキ吹き出し部と、これら複数色のィンキ及び媒質の混合物を作成するミキサ一と、前記光学フィル夕に相当する前記混合物を流すための透明通路とを備えている。

3 8 . 請求項 3 3に記載の撮影システムであって、前記光学フィル夕手段は、媒質のポンプと、複数色の色ィンクを独立して吹き出し可能なィンキ吹き出し部と、媒質と各インキとを個別に混合して混合物を作成する複数のミキサーと、これら各混合物を個別に通過させる前記光学フィル夕に相当する複数の透明通路とを備えている。

3 9 . 請求項 3 3に記載の撮影システムであって、前記光学フィル夕手段は、媒質のポンプと、複数色の色ィンクを独立して吹き出し可能なィンキ吹き出し部と、各ィンキ及び媒質を個別に混合する複数のミキサーと、これらの混合物を個別に通過させる前記光学フィル夕に相当する複数の透明のセルとを備えており、各セルは、白黒撮像素子の前面に 1ピクセル毎の R G Bに対応させて設けられ、同色のセル同士がプリッジパスにより接続されている。

40. 請求項 33に記載の撮影システムであって、前記光学フィルタはそのフィル夕特性を変更であり、前記光学フィル夕手段がこのフィルタ特性の変更に伴つて透過度を変更可能な透過度変更手段を有している。

41. 請求項 33に記載の撮影システムであって、前記カメラは、光を RGBに分解するオプティカルプロックと、 RGBそれぞれに対応する 3つの撮像素子とを備え、前記光学フィル夕がこのオプティカルブロックであり、前記各光学フィル夕手段は各撮像素子に達する画像の濃度を変更させる透過度変更手段をそれぞれ備えている。

42. 請求項 40又は 41のいずれかに記載の撮影システムであって、前記各透過度変更手段は互いに角度を変えることの可能な 2枚の偏光フィル夕を備えている。

43. 請求項 41に記載の撮影システムであって、前記各透過度変更手段は互いに角度を変えることの可能な 2枚の偏光フィル夕を備え、 2枚の偏光フィル夕のうちの一方は前記ォプティカルプ口ックの前に共通に設けられ、他の一方は各色チャンネル毎にオプティカルブロックの後に個別に設けられる。

44. 請求項 33に記載の撮影システムであって、前記撮像素子がフィルム（3 7)であり、前記補色を測定する手段は、ランプと、前記受光素子部分を通過したランプの光の色を検出する光色検出器と、光源色測定部と、この光源色測定部に基づく補色測定部とを備え、前記光学フィル夕手段は、前記ランプから前記フィルムを経て印画紙に至る光をさらに通過させるフィル夕と、このフィル夕の色を前記補色にするフィル夕変更装置とを有している。

45. 請求項 33〜41又は 43， 44のいずれかに記載の撮影システムであつて、前記補正装置が、さらに前記撮像素子（31, 37) により撮影された主シーン（110) の各座標位置における主信号値 (r[x][y]₃g[x][y],b[x][y]) を前記各色チャンネル毎に求めた前記参照用信号値（rn， gn, bn) によつてそれぞれ実質的に除することにより前記主信号値を補正した補正信号値（rc [x][y]₃gc[x][y],bc[x][y]) を得るための電気的補正部（72) を有しており、前記電気的補正部は、前記光学的フィル夕手段による色補正の完了前に補正処理を過渡的に行う。