JP3876932B2

JP3876932B2 - 画像処理方法

Info

Publication number: JP3876932B2
Application number: JP15719596A
Authority: JP
Inventors: 学兵藤; 宏志田中
Original assignee: 富士フイルムホールディングス株式会社
Priority date: 1995-06-23
Filing date: 1996-06-18
Publication date: 2007-02-07
Anticipated expiration: 2016-06-18
Also published as: JPH0968764A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法に係り、特にフイルム画像の露光アンダー、オーバー等の露光状態を判定し、その判定結果に対応して画像処理する画像処理方法に関する。
【０００２】
【従来の技術】
図１１はネガフイルムの特性曲線を示すグラフであり、Ａ、Ｂ及びＣはそれぞれ標準、露光アンダー及びオーバーの露光域を示している。同図に示すように、撮影時の露光がアンダーもしくはオーバーなネガ画像は、標準露光のネガ画像と階調特性が異なり、ガンマ特性も異なる。尚、種々の階調特性をもった画像信号に対応できるように、可変ガンマを用いた信号処理回路としては、特開平４−１０７０８３号公報に記載のものがある。この信号処理回路は、アナログ処理で、ニー特性をもつガンマ補正回路の前段及び後段にそれぞれ可変ゲイン増幅回路を設け、これらの可変ゲイン増幅回路のゲインを調整することによりガンマを変えるようにしている。
【０００３】
また、露光アンダー及びオーバーのネガ画像は、図１１からも明らかなように濃度域が標準露光のものよりも狭い。特願平６−２７４９４６号明細書には、軟調な画像や硬調な画像の調子を整える画像処理方法が提案されている。
一方、従来、カラー画像を撮像して得たＲ，Ｇ，Ｂの画像信号のホワイトバランス、ブラックバランスを調整する画像処理方法として、Ｒ，Ｇ，Ｂの画像信号からそれぞれ基準最大値及び基準最小値を求め、これらの基準最大値及び基準最小値がそれぞれ所定の階調となるようにオフセット及びホワイトバランスゲインを求め、これらのオフセット及びホワイトバランスゲインによってＲ，Ｇ，Ｂの画像信号のオフセット及びゲイン制御を行う方法がある。尚、上記基準最大値及び基準最小値は、画像信号の各階調に対するヒストグラムを求め、そのヒストグラムから基準最大値及び基準最小値を決定するようにしている。
【０００４】
【発明が解決しようとする課題】
ところで、対数変換を用いないで画像信号のガンマ補正等を行う場合には、アンダーもしくはオーバーなネガ画像は、標準露光のネガ画像とガンマ特性が異なるため、露光状態に応じたガンマ補正を行う必要がある。標準露光のネガ画像と同様なガンマ補正を行うと、アンダーなネガ画像は暗くなり、オーバーなネガ画像は明るすぎて調子が好ましくないという問題がある。
【０００５】
また、軟調な画像や硬調な画像の調子を整える際に、アンダーもしくはオーバーなネガ画像に対して、標準露光のネガ画像と同様にして画像の調子を整えると、調子が変わり過ぎて不自然になるという問題がある。
更に、極端に彩度の高い領域が存在するカラー画像においては、Ｒ，Ｇ，Ｂ毎の基準最大値、基準最小値がばらつく傾向にあり、例えば、図１２に示すように、Ｂの基準最小値が他の色の基準最小値よりも極端に大きくなる場合がある。
【０００６】
このような場合に、Ｒ，Ｇ，Ｂの画像信号から得られた基準最大値及び基準最小値をそのまま使用して、Ｒ，Ｇ，Ｂの画像信号のオフセット及びゲイン制御を行うと、ホワイトバランスもしくはブラックバランスを崩し、良好な色再現が実現できないという問題が生じる。
即ち、図１２に示すようなシーンでは、Ｂの画像信号のホワイトバランスゲインが他の色の画像信号よりも極端に強くかけられてしまうため、全体的に青くなってしまうという問題（カラーフェリア）が生じる。
【０００７】
本発明の目的は、フイルム画像の露光アンダー、オーバー等の露光状態を簡単に且つ精度よく判定することができる画像処理方法を提供することにある。
本発明の他の目的は、フイルム画像の露光状態がばらついていても、良好な調子再現ができる画像処理方法を提供することにある。
本発明の更に他の目的は、極端に彩度の高い領域が存在し、各色別の基準最大値、基準最小値が大きくばらつくようなカラー画像であっても、良好な色再現が実現できる画像処理方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は前記目的を達成するために、現像済み写真フイルムに写し込まれたフイルム画像を撮像し、前記撮像時に得られた画像信号の基準最大値及び前記画像信号の平均値を求め、前記求めた基準最大値を用いて前記フイルム画像の露光状態を判定し、前記求めた基準最大値が、当該基準最大値に基づく前記フイルム画像の露光状態の判定精度が保証される値以上になると、前記基準最大値に代えて前記平均値に基づいて前記フイルム画像の露光状態を判定し、これにより精度の高い露光状態の判定を可能にしている。
例えば、ネガフイルムの露光状態の判定は基準最大値を用い、この基準最大値がオーバー露光判定のための基準値以下の場合には、オーバー露光とみなし、アンダー露光判定のための基準値以上の場合には、アンダー露光とみなし、アンダー露光の場合には基準最大値に代えて平均値に基づいてネガフイルム画像の露光状態を判定する。
【０００９】
尚、これらの判定に用いる基準最大値及び基準最小値は、もともと画像処理に利用されるもので、露光状態の判定のために別途検出する必要がなく、露光状態の判定を簡便に行うことができる。更に、複数回の撮像によって得た複数の基準最大値等を平均した値に基づいてフイルム画像の露光状態を判定し、これにより精度の高い露光状態の判定を可能にしている。更にまた、フイルムの未露光部分の撮像時に得られる画像信号の平均値に基づいて前記基準最大値等を正規化し、これによりフイルムベースの濃度やアンプゲイン等の影響を受けない値を得るようにしている。
【００１０】
また、本発明は、フイルム画像を撮像して得た画像信号の基準最大値及び基準最小値を求め、該基準最大値及び基準最小値がそれぞれ所定の階調となるように前記画像信号を補正した後、ガンマ補正する画像処理方法において、前記フイルム画像の露光状態を判定し、前記露光状態の判定結果に基づいてアンダー露光と判定すると、前記ガンマ補正時のガンマを標準露光時に比べて小さくし、これにより中間調が暗くならないようにし、また、オーバー露光と判定すると、前記ガンマ補正時のガンマを標準露光時に比べて大きくし、これにより中間調が明るすぎないように調子を整えるようにしている。
【００１１】
更に、本発明は、フイルム画像を撮像して得た画像信号の基準最大値及び基準最小値を求め、前記基準最大値と基準最小値との比又は差が、所望の調子が得られるように予め設定した第１の閾値と第２の閾値との範囲に入るように前記基準最大値及び基準最小値のうちの少なくとも一方を補正し、その補正した基準最大値及び基準最小値がそれぞれ所定の階調となるように前記画像信号を補正し、これにより硬調及び硬調の画像が所望の調子となるように整えるようにしている。このとき、前記基準最大値及び基準最小値のうちの少なくとも一方を補正する時の前記第１の閾値及び第２の閾値を、フイルム画像の露光状態によって変更するようにしている。即ち、アンダー露光又はオーバー露光と判定すると、前記第１の閾値及び第２の閾値を、それらよりもそれぞれ低い第３の閾値及び第４の閾値に変更し、これにより、アンダー露光又はオーバー露光のフイルム画像の調子が不自然に変わらず、良好な調子再現ができるようにしている。
【００１２】
また、本発明は、カラー画像を撮像して各色別の画像信号を得、この撮像時に得られた各色別の画像信号の基準最大値及び基準最小値を求め、該基準最大値及び基準最小値がそれぞれ所定の階調となるように前記画像信号を補正し、これにより各色別の基準最大値、基準最小値が大きくばらつくようなカラー画像であっても良好な色再現が実現できるようにしている。即ち、各色別の基準最大値の比又は差を求め、この比又は差が所望のホワイトバランス調整が可能な所定の範囲内か否かを判別し、前記所定の範囲を越えている場合には、各基準最大値及び／又は各基準最小値が互いに近づくように各色別の基準最大値及び／又は基準最小値を補正する。これにより、各基準最大値、基準最小値のバラツキが抑制され、良好な色再現が実現できるようになる。尚、基準最大値の代わりに基準最小値を用いて上記と同様な判別を行うようにしてもよい。
【００１３】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像処理方法の好ましい実施の形態に付いて詳説する。
図１は本発明が適用されるフイルムスキャナの実施の形態を示す要部ブロック図である。このフイルムスキャナは、主として照明用の光源１０、撮影レンズ１２、ＣＣＤラインセンサ１４、アナログアンプ１６、Ａ／Ｄコンバータ１８、デジタル信号処理回路２０、モータ３１、キャプスタン３２及びピンチローラ３３を含むフイルム駆動装置、中央処理装置（ＣＰＵ）４０、積算ブロック４１等を備えている。
【００１４】
光源１０は、フイルムカートリッジ５０内から引き出される現像済みのネガフイルム５２を図示しない赤外カットフィルタを介して照明し、フイルム５２を透過した透過光は、撮影レンズ１２を介してＣＣＤラインセンサ１４の受光面に結像される。
ＣＣＤラインセンサ１４は、フイルム搬送方向と直交する方向に１０２４画素分の受光部が配設されており、ＣＣＤラインセンサ１４の受光面に結像された画像光は、Ｒ，Ｇ，Ｂフィルタが設けられた各受光部で電荷蓄積され、光の強さに応じた量のＲ，Ｇ，Ｂの信号電荷に変換される。このようにして蓄積されたＲ，Ｇ，Ｂの電荷は、ＣＣＤ駆動回路１５から加えられる１ライン周期のリードゲートパルスが加えられると、シフトレジスタに転送されたのちレジスタ転送パルスによって順次電圧信号として出力される。また、このＣＣＤラインセンサ１４は、各受光部に隣接してシャッターゲート及びシャッタードレインが設けられており、このシャッターゲートをシャッターゲートパルスによって駆動することにより、受光部に蓄積された電荷をシャッタードレインに掃き出すことができる。即ち、このＣＣＤラインセンサ１４は、ＣＣＤ駆動回路１５から加えられるシャッターゲートパルスに応じて受光部に蓄積する電荷を制御することができる、いわゆる電子シャッター機能を有している。
【００１５】
上記ＣＣＤラインセンサ１４から読み出されたＲ，Ｇ，Ｂ電圧信号は、図示しないＣＤＳクランプによってクランプされてアナログアンプ１６に加えられ、ここで後述するようにゲインが制御される。アナログアンプ１６から出力される１コマ分のＲ，Ｇ，Ｂ電圧信号は、Ａ／Ｄコンバータ１８によって点順次のＲ，Ｇ，Ｂデジタル画像信号に変換されたのち、デジタル信号処理回路２０によって後述する白バランス、黒バランス、ネガポジ反転、ガンマ補正等が行われたのち、図示しない画像メモリに記憶される。
【００１６】
尚、画像メモリに記憶された１コマ分の画像信号は、繰り返し読み出され、Ｄ／Ａコンバータによってアナログ信号に変換されたのち、エンコーダでＮＴＳＣ方式の複合映像信号に変換されてモニタＴＶに出力される。これにより、モニタＴＶよってフイルム画像を見ることができるようになる。
フイルム駆動装置は、フイルムカートリッジ５０のスプール５０Ａと係合し、そのスプール５０Ａを正転／逆転駆動するフイルム供給部と、このフイルム供給部から送出されるフイルム５２を巻き取るフイルム巻取部と、フイルム搬送路に配設され、フイルム５２をモータ３１によって駆動されるキャプスタン３２とピンチローラ３３とで挟持してフイルム５２を所望の速度で搬送する手段とから構成されている。尚、上記フイルム供給部は、フイルムカートリッジ５０のスプール５０Ａを図１上で時計回り方向に駆動し、フイルム先端がフイルム巻取部によって巻き取られるまでフイルムカートリッジ５０からフイルム５２を送り出すようにしている。また、ＣＰＵ４０は、モータ回転数／方向制御回路３４を通じてモータ３１の正転／逆転、起動／停止、パルス幅変調によるフイルム搬送速度の制御を行うことができる。
【００１７】
次に、図２に示すフローチャートを参照しながら画像処理の手順を説明する。まず、フイルムカートリッジ５０がカートリッジ収納部（図示せず）にセットされ、フイルムカートリッジ５０からフイルム５２が送り出されてフイルム先端がフイルム巻取部の巻取軸に巻き付けられると（フイルムローディングが完了すると）、以下に示すキャリブレーションを実行する（ステップＳ１０）。
【００１８】
即ち、ＣＣＤラインセンサ１４の電子シャッタ値Ｔ₁を規定値（例えば４０％）に設定し、フイルム５２の未露光部分（例えば、フイルム先端のネガベース）を撮像する。そして、Ｒ，Ｇ，Ｂの各信号がそれぞれ所定の最大値（即ち、Ａ／Ｄコンバータ１８の入力レンジが最大）になるようにアナログアンプ１６のゲインを決定する。
【００１９】
このようにしてアナログアンプ１６のゲインを調整したのち、フイルム５２を一定速度で搬送し、フイルム画像のスキャン（プリスキャン）を実行する（ステップＳ２０）。このプリスキャン中に、ＣＣＤラインセンサ１４、アナログアンプ１６及びＡ／Ｄコンバータ１８を介して積算ブロック４１に点順次のＲ，Ｇ，Ｂデジタル画像信号が取り込まれる。
【００２０】
積算ブロック４１は、Ｒ，Ｇ，Ｂデジタル画像信号毎に所定の積算エリアのデジタル画像信号の階調（この実施の形態では、８ビット（０〜２５５）の階調）を積算し、その積算エリアの平均階調を求め、１画面に付き５０００〜１００００点数の積算エリアの各階調データを作成する。更に、積算ブロック４１は、順次作成される階調データに基づいて各階調毎の度数をカウントし、この度数が階調データの総点数に対して設定された閾値ＴＨ（この実施の形態では総点数の１％）を越えた場合にはカウントを停止する。
【００２１】
即ち、積算ブロック４１は、図３に示すように０〜２５５までの全ての階調に対して最大閾値ＴＨまでカウントした簡易ヒストグラム（図３中の斜線で示すヒストグラム）を作成する（ステップＳ２１）。尚、上記閾値ＴＨを越える度数をカウントしないことにより、カウンタのビット数を大幅に低減することができる。また、図３上で２点鎖線は、総点数をカウントした場合の本来のヒストグラムである。
【００２２】
ＣＰＵ４０は、図３に示した簡易ヒストグラムの階調の小さい方から度数を順次累算し、その累算度数が前記閾値ＴＨと一致又は最初に越えたときの階調を基準最小値としてＲ，Ｇ，Ｂ毎に求めるとともに、簡易ヒストグラムの階調の大きい方から度数を順次累算し、その累算度数が前記閾値ＴＨと一致又は最初に越えたときの階調を基準最大値としてＲ，Ｇ，Ｂ毎に求める。更に、簡易ヒストグラムより、Ｒ，Ｇ，Ｂ中の最大値Ｄmax を求める（ステップＳ２２）。
【００２３】
次に、上記のようにして求めた基準最大値及び基準最小値に基づいてフイルム画像の露光アンダー、オーバー等の露光状態の判定、及び軟調、硬調等の調子判定を行い、また、最大値Ｄmax により電子シャッタ値Ｔ₂を決定する（ステップＳ２３）。即ち、露光状態の判定は基準最大値を用い、この基準最大値がオーバー露光判定のための基準値以下の場合には、オーバー露光とみなし、アンダー露光判定のための基準値以上の場合には、アンダー露光とみなす。
【００２４】
尚、フイルム画像の露光状態の判定は、アンダー露光、標準露光、及びオーバー露光の判定に限らず、より細かく露光状態を判定するようにしてもよい。また、露光状態の判定は基準最大値を用いる場合に限らず、上記基準最小値や前述した全階調データの平均値を用いるようにしてもよく、更には基準最大値、基準最小値及び平均値のうちの任意の２つ又は３つを使用して露光状態の判定を行うようにしてもよい。
【００２５】
図４はフイルム画像の露光状態に対応する基準最大値と平均値とを示す折れ線グラフである。
ここで、図４に示す基準最大値及び平均値は、それぞれステップＳ１０でのキャリブレーション後に、ネガベースを撮像して得られた画像信号の平均値によって、次式に示すように正規化した値である。
【００２６】
【数１】

【００２７】
【数２】

尚、上記のように正規化した値を使用することにより、キャリブレーション時の最大値に若干変動幅（アナログゲインの決定にある幅）があっても、その影響を受けない基準最大値及び平均値が得られる。
【００２８】
図４に示す基準最大値の３本の折れ線グラフは、標準露光のフイルム画像と、−１ＥＶ〜−３ＥＶのアンダー露光のフイルム画像と、ネガベースと、１ＥＶ〜６ＥＶのオーバー露光のフイルム画像をそれぞれ３０回撮像し、この撮像によって求めた３０個の基準最大値の平均値（図４上の◆）から作成した折れ線グラフと、３０個の基準最大値の最大値（図４上の■）から作成した折れ線グラフと、３０個の基準最大値の最小値（図４上の▲）から作成した折れ線グラフである。同様に、図４に示す平均値の折れ線グラフは、或る１回の撮像によって求めたフイルム画像の平均値から作成した折れ線グラフである。
【００２９】
同図に示すように、アンダー露光（−１ＥＶ〜−３ＥＶ）のフイルム画像は、露光状態の変化に対する基準最大値の変化が小さく（即ち、折れ線グラフの勾配が小さく）、式（１）によって求めた正規化した基準最大値に基づいてフイルム画像の露光状態を正確に判定することができない。例えば、−２ＥＶのフイルム画像の３０個の基準最大値のうちの最大値（図４上の■）は、−３ＥＶのフイルム画像の３０個の基準最大値のうちの最小値（図４上の▲）よりも大きくなり、基準最大値の大きさとフイルム画像の露光状態との関係が逆になる場合がある。
【００３０】
そこで、本発明の他の実施の形態では、基準最大値以外にフイルム画像の平均値を用い、アンダー露光のフイルム画像の露光状態は、平均値に基づいて判定するようにしている。
即ち、正規化した基準最大値が所定の値（基準最大値に基づくフイルム画像の露光状態の判定精度が保証される値で、図４に示す実施の形態では１１０）以上になると、前記正規化した基準最大値に代えて、式（２）によって求めた正規化した平均値に基づいてフイルム画像の露光状態を判定するようにしている。
【００３１】
正規化した平均値は、フイルム画像がアンダー露光の場合には図４に示すように正規化した基準最大値よりも勾配が大きい。従って、フイルム画像がアンダー露光の場合に、正規化した平均値に基づいてフイルム画像の露光状態を判定することにより、精度の良い判定ができる。
また、夜間に人物をフラッシュ撮影したフイルム画像の場合、そのフイルム画像の最大基準値は、フラッシュの届かない背景に依存した値となるが、平均値はフラッシュによって照明された人物の明るさが加味される。従って、正規化した平均値を用いてフイルム画像の露光状態を判定することにより、人物（主要被写体）を重視した露光状態の判定ができるという利点がある。
【００３２】
尚、上記実施の形態では、基準最大値と平均値とを切り替えて使用するようにしたが、これに限らず、基準最大値、基準最小値及び平均値のうち、フイルム画像の露光状態に応じてフイルム画像の露光状態の判定精度が高くなる値を適宜選択し、その選択した値に基づいてフイルム画像の露光状態を判定するようにしてもよい。
【００３３】
また、フイルム画像の露光状態を判定するためのフイルム画像から得られる情報として、同一のフイルム画像を複数回撮像して得られた複数の基準最大値を平均した値（図４上の◆で示した折れ線グラフ参照）を使用してもよい。この場合には、アンダー露光のフイルム画像でも高精度に基準最大値を求めることができるため、フイルム画像の露光状態を正確に判定することができる。尚、上記平均化した基準最大値に限らず、平均化した基準最小値、平均化したフイルム画像の平均値等を用いてフイルム画像の露光状態を判定してもよい。
【００３４】
一方、フイルム画像の軟調、硬調等の調子判定は、基準最大値と基準最小値との比（以下、輝度比という）に基づいて行う。即ち、Ｇの輝度比Ｇ_max／Ｇ_minと、硬調を示す所定の閾値Ｔｈ₁及び軟調を示す所定の閾値Ｔｈ₂とを比較する。そして、輝度比Ｇ_max／Ｇ_minが閾値Ｔｈ₁以下の場合には硬調とみなし、輝度比Ｇ_max／Ｇ_minが閾値Ｔｈ₂以上の場合には軟調とみなす。ここで、上記閾値Ｔｈ₁及び閾値Ｔｈ₂は、標準露光と判定されたネガ画像に対して設定されたものであり、前述したオーバー露光又はアンダー露光と判定されたネガ画像に対しては、上記閾値Ｔｈ₁及び閾値Ｔｈ₂よりもそれぞれ低く設定された閾値Ｔｈ₃及び閾値Ｔｈ₄に基づいて調子判定を行う。
【００３５】
また、電子シャッタ値Ｔ₂の決定は、簡易ヒストグラムより求めた最大値Ｄmax を用い、後述するファインスキャン時における最大値が所定値（例えば８ビット系の場合には２５５）になるように電子シャッタ値Ｔ₂を決定する。即ち、電子シャッタ値Ｔ₂を、次式、
【００３６】
【数３】
Ｔ₂＝２５５＊Ｔ₁／Ｄmax …（３）
により決定する。ここで、Ｔ₁は、プリスキャン時の電子シャッタ値である。
次に、Ｒ，Ｇ，Ｂ毎に求めた基準最大値Ｒ_{max ,}Ｇ_max，Ｂ_max及び基準最小値Ｒ_{min ,}Ｇ_min，Ｂ_minを、上記露光状態、調子の判定結果及び電子シャッタ値Ｔ₂に基づいて補正する（ステップＳ２４）。
【００３７】
先ず、上記調子判定によって硬調あるいは軟調と判定されると、標準露光のネガ画像では、輝度比Ｇ_max／Ｇ_minが上記閾値Ｔｈ₁〜閾値Ｔｈ₁の範囲に入るように、オーバー露光又はアンダー露光のネガ画像では、輝度比Ｇ_max／Ｇ_minが上記閾値Ｔｈ₃〜閾値Ｔｈ₄の範囲に入るように基準最大値Ｇ_max及び基準最小値Ｇ_minのうちの少なくとも一方を補正する。また、基準最大値Ｒ_{max ,}Ｂ_max及び基準最小値Ｒ_{min ,}Ｂ_minも基準最大値Ｇ_max及び基準最小値Ｇ_minの補正に対応して補正する。尚、輝度比が上記閾値の範囲に入っている場合には、基準最大値及び基準最小値の補正は行わない。また、この実施の形態では、基準最大値と基準最小値との比に基づいて軟調、硬調等の調子判定を行うようにしたが、これに限らず、基準最大値と基準最小値との差に基づいて調子判定を行うようにしてもよい。
【００３８】
次に、ファインスキャン時にはプリスキャン時に比べて、Ｔ₂／Ｔ₁倍だけ露出量が大きくなるため、プリスキャン時とファインスキャン時との電子シャッタ値の変更量だけ基準最大値及び基準最小値を補正する。
このようにして最終的に求めた基準最大値及び基準最小値に基づいて、白バランス及び黒バランスを合わせるために使用するオフセット、ホワイトバランスゲイン（ＷＢゲイン）を決定する（ステップＳ２５）。
【００３９】
即ち、ＣＰＵ４０は、最終的に求めた基準最大値に基づいてＲ，Ｇ，Ｂ毎のオフセットを次式、
【００４０】
【数４】
オフセット＝２５５−Ｇ_max …（４）
により算出するとともに、基準最大値及び基準最小値に基づいてＲ，Ｇ，Ｂ毎のゲインを、次式、
【００４１】
【数５】
ＷＢゲイン＝２５５／（Ｇ_max−Ｇ_min） …（５）
により算出する。尚、式（４）、（５）は、Ｇに関するものであるが、他の色チャンネルも同様にして算出する。
また、ステップＳ２５では、ネガ画像の露光状態に基づいてＲ，Ｇ，Ｂ毎のガンマゲインを決定するが、その詳細については後述する。
【００４２】
次に、上記決定された電子シャッタ値Ｔ₂、オフセット、ＷＢゲイン及びガンマゲインに基づいてネガ画像のファインスキャンを実行する（ステップＳ３０）。
即ち、ファインスキャン時には、ＣＣＤラインセンサ１４の電子シャッタ値をＴ₂に設定し、フイルム５２を一定速度で搬送し、フイルム画像のスキャン（ファインスキャン）を実行する。このファインスキャン中に、ＣＣＤラインセンサ１４、アナログアンプ１６及びＡ／Ｄコンバータ１８を介してデジタル信号処理回路２０に点順次のＲ，Ｇ，Ｂデジタル画像信号が出力される。
【００４３】
次に、デジタル信号処理回路２０における信号処理について説明する。
ファインスキャン時にＡ／Ｄコンバータ１８から出力されるオリジナルＧ_orgに対して、次式、
【００４４】
【数６】
Ｇ１＝Ｇ_org＋オフセット …（６）
に示すようにＧのオフセットを加算することによって黒点オフセットされたデジタル画像信号Ｇ１を得ることができる。Ｒ，Ｂのオリジナルについても同様の処理を行うことににより、Ｒ，Ｇ，Ｂデジタル画像信号のピーク値（ポジ画像の黒）が一致させられる（図５（Ａ）参照）。
【００４５】
続いて、上記オフセットされたデジタル画像信号Ｇ１に対して、次式、
【００４６】
【数７】
Ｇ２＝２５５−Ｇ１ …（７）
の演算を実行することにより、ネガポジ反転が行われる（図５（Ｂ）参照）。
次に、ネガポジ反転されたデジタル画像信号Ｇ２に対して、式（５）で求めたＷＢゲインを、次式に示すように乗算することにより、
【００４７】
【数８】
Ｇ３＝Ｇ２×ＷＢゲイン …（８）
Ｒ，Ｇ，Ｂデジタル画像信号の他方のピーク値（ポジ画像の白）が一致させられる（図５（Ｃ）参照）。
最後に、５Ｂゲインが乗算されたＲ，Ｇ，Ｂデジタル画像信号にそれぞれ異なるガンマ補正を行うことにより、グレーが合わせられる（図５（Ｄ）参照）。
【００４８】
次に、上記ガンマ補正について更に詳細に説明する。
先ず、ガンマ補正をする際の基準となるルックアップテーブル（以下、ベースＬＵＴという）を準備する。
このベースＬＵＴは、ネガフイルムがもっているガンマの曲線とブラウン管に出力される映像信号がもっているガンマ（一般的にはγ＝0.45）の曲線との差分を示すガンマ補正値が各階調毎に記憶されている。尚、入出力特性を示す実際のルックアップテーブル（以下、実際のＬＵＴという）は、図６（Ａ）に示すように関数ｙ＝ｘからベースＬＵＴ（ガンマ補正値）を差し引いたものである。
【００４９】
また、ベースＬＵＴに対して、ガンマゲインを乗算することにより、ベースＬＵＴを変化させることができる（図６（Ｂ）参照）。これにより１つのベースＬＵＴから適宜のガンマゲインを乗算することにより、Ｒ，Ｇ，Ｂ毎にガンマ補正値が伸長又は圧縮されたＬＵＴを得ることができる。尚、図６（Ｃ）は、関数ｙ＝ｘからそれぞれＲ，Ｇ，Ｂ毎にガンマ補正値が伸長又は圧縮されたＬＵＴを差し引くことにより得られるＲ，Ｇ，Ｂ毎の実際のＬＵＴである。
【００５０】
従って、前述した式（６）〜（８）によって白バランス及び黒バランスが合わされ、ネガポジ反転された点順次のＲ，Ｇ，Ｂデジタル画像信号に対してガンマ補正を行う場合には、点順次のＲ，Ｇ，Ｂデジタル画像信号に基づいて前記ベースＬＵＴから順次ガンマ補正値を読み出し、そのガンマ補正値にＲ，Ｇ，Ｂ毎のガンマゲインを乗算して適宜伸長又は圧縮したガンマ補正値を求め、点順次のＲ，Ｇ，Ｂデジタル画像信号から色別に伸長又は圧縮したガンマ補正値を減算することにより点順次で各色別にガンマ補正を行うことができる。
【００５１】
ところで、Ｒ，Ｇ，Ｂ毎の上記ガンマゲインは、予め標準露光のネガフイルムの階調特性に応じて設定されているが、図７（Ａ）に示すように撮影時の露光状態の異なるネガは、階調特性が異なり、図７（Ｂ）に示すようにガンマ特性も異なる。従って、図７（Ｃ）に示すようにネガの露光量に応じてベースＬＵＴを変化させる必要がある。
【００５２】
そこで、ネガ画像の露光状態の判定結果を利用し、色別のガンマゲイン（Ｒ_gamgain,Ｇ_gamgain,Ｂ_gamgain）を露光状態に応じて変化させ、ネガ画像の露光状態に応じたガンマ補正を行うようにしている。即ち、ネガ画像がアンダー露光状態と判定された場合には、標準露光のガンマゲインよりもガンマゲインを小さくし、一方、オーバー露光状態と判定された場合には、標準露光のガンマゲインよりもガンマゲインを大きくし、これにより調子を整えるようにしている。
【００５３】
図８は図１に示したデジタル信号処理回路２０の内部構成を含むブロック図である。このデジタル信号処理回路２０は上述したデジタル信号処理を行うもので、主として加算器２１、２２、２４、乗算器２３、２６、及びベースＬＵＴ２５から構成されている。加算器２１には、Ａ／Ｄコンバータ１８から点順次のＲ，Ｇ，Ｂデジタル画像信号CMPAD が入力している。尚、デジタル画像信号CMPAD は、所定のクロックにしたがって時系列的にＲ，Ｇ，Ｂ，Ｇと流れている。
【００５４】
一方、ＣＰＵ４０は、式（４）及び（５）に示したようにＲ，Ｇ，Ｂ毎にオフセット（Ｒ_offset,Ｇ_offset，Ｂ_offset）及びＷＢゲイン（Ｒ_wbgain,Ｇ_wbgain，Ｂ_wbgain）を算出して記憶するとともに、Ｒ，Ｇ，Ｂ毎にガンマゲイン（Ｒ_gamgain,Ｇ_gamgain,Ｂ_gamgain）を記憶している。また、これらのオフセット等は、各コマ毎に記憶されている。そして、アドレスデコーダ４２によってスキャンしようとするコマに対応するオフセット等が選択され、図８中のINTDATA によってＲ，Ｇ，Ｂのオフセットはレジスタ４３Ｒ，４３Ｇ，４３Ｂに格納され、Ｒ，Ｇ，Ｂのゲインはレジスタ４４Ｒ，４４Ｇ，４４Ｂに格納され、Ｒ，Ｇ，Ｂのガンマゲインはレジスタ４５Ｒ，４５Ｇ，４５Ｂに格納される。尚、これらのレジスタには、１コマ分のＲ，Ｇ，Ｂデジタル画像信号が処理されるまで保持される。
【００５５】
レジスタ４３Ｒ，４３Ｇ，４３Ｂに格納されたオフセット（Ｒ_offset,Ｇ_offset，Ｂ_offset）はマルチプレクサ４６に加えられており、マルチプレクサ４６の他の入力には、前記所定のクロックを分周して作成されたタイミング信号INTCOLSL０，１が加えられている。マルチプレクサ４６は、タイミング信号INTCOLSL０，１によって３つのオフセットからいずれか１つのオフセットを選択し、この選択したオフセットをデジタル信号処理回路２０の加算器２１の他の入力に出力する。
【００５６】
同様にして、マルチプレクサ４７は、レジスタ４４Ｒ，４４Ｇ，４４Ｂから入力する３つのＷＢゲイン（Ｒ_wbgain,Ｇ_wbgain，Ｂ_wbgain）のうちの１つのゲインを選択し、この選択したＷＢゲインを乗算器２３に出力し、また、マルチプレクサ４８は、レジスタ４５Ｒ，４５Ｇ，４５Ｂから入力する３つのガンマゲイン（Ｒ_gamgain,Ｇ_gamgain,Ｂ_gamgain）からいずれか１つのガンマゲインを選択し、この選択したガンマゲインを乗算器２６に出力する。
【００５７】
一方、加算器２１には前述したようにデジタル画像信号CMPAD が入力しており、加算器２１はデジタル画像信号CMPAD とオフセットとを加算する。これにより、黒点オフセットされたデジタル画像信号が得られる（式（６）、図５（Ａ）参照）。
加算器２１から出力される黒点オフセットされたデジタル画像信号は、加算器２２の負入力に加えられ、加算器２２の正入力には白ピークレベルを示す値（２５５）が加えられており、加算器２２は２５５から黒点オフセットされたデジタル画像信号を減算する。これによりネガポジ反転されたデジタル画像信号が得られる（式（７）、図５（Ｂ）参照）。
【００５８】
続いて、ネガポジ反転されたデジタル画像信号は、乗算器２３に加えられる。乗算器２３の他の入力にはマルチプレクサ４７からＷＢゲインが加えられており、乗算器２３は２入力を乗算することにより、Ｒ，Ｇ，Ｂデジタル画像信号のポジ画像の白を合わせる（式（８）、図５（Ｃ）参照）。
次に、乗算器２３から出力されるデジタル画像信号は、加算器２４及びベースＬＵＴ２５に加えられる。ベースＬＵＴ２５は、図６（Ａ）に示したように入力信号の階調に応じたガンマ補正値を有しており、入力するデジタル画像信号の階調に応じたガンマ補正値を読み出し、このガンマ補正値を乗算器２６に出力する。乗算器２６の他の入力にはマルチプレクサ４８からネガ画像の露光状態に応じたガンマゲイン（ネガ画像の露光状態がアンダーになるにしたがって小さく、オーバーになるにしたがって大きいガンマゲイン）が加えられており、乗算器２３は２入力を乗算することにより、Ｒ，Ｇ，Ｂデジタル画像信号の色別のガンマ補正値を生成し、これを加算器２４の負入力に出力する。
【００５９】
加算器２４は入力するＲ，Ｇ，Ｂデジタル画像信号から各色別に伸長又は圧縮されたガンマ補正値を減算する。これによりガンマ補正された正規のＲ，Ｇ，Ｂデジタル画像信号ＲＧＢＧ_gamが得られる。
尚、ガンマ補正方法は、この実施の形態に示すベースＬＵＴを使用する方法に限らず、可変ガンマが可能なガンマ補正方法であれば、いかなる方法でもよい。例えば、ネガ画像の露光状態に応じた複数のガンマ補正用のＬＵＴを設け、ネガ画像の露光状態の判定結果に基づいて前記複数のガンマ補正用のＬＵＴから最適なＬＵＴを選択し、その選択したＬＵＴを用いてガンマ補正を行うようにしてもよい。
【００６０】
次に、良好な色再現を可能にする画像処理方法について、図９に示すフローチャートを参照しながら説明する。
まず、プリスキャンを実行し（ステップＳ１１０）、簡易ヒストグラム（図３参照）を作成して基準最小値Ｒ_{min ,}Ｇ_min，Ｂ_min及び基準最大値Ｒ_{max ,}Ｇ_max，Ｂ_maxを求める（ステップＳ１１２）。尚、ここまでの処理は、図２のフローチャートで示した処理と同様なため、その詳細な説明は省略する。
【００６１】
次に、上記のようにして求めた基準最大値Ｒ_{max ,}Ｇ_max，Ｂ_maxから、各基準最大値の比Ｘ及びＹを、次式、
Ｘ＝Ｒ_max／Ｇ_max
Ｙ＝Ｂ_max／Ｇ_max
により求める（ステップＳ１１４）。そして、これらの比Ｘ、Ｙに基づいて各色別の基準最大値のバラツキが、所望のホワイトバランス調整が可能な所定の範囲内か否かを判別する（ステップＳ１１６）。
【００６２】
即ち、図１０に示すようにカラーフェリア検出枠を設定し、上記比Ｘ、Ｙによって定まる図１０上の座標が、このカラーフェリア検出枠から外れた場合には、カラーフェリアシーンと判断する。そして、カラーフェリアシーンと判断すると、Ｒ，Ｂの基準最大値Ｒ_{max ,}Ｂ_maxをＧの基準最大値Ｇ_maxに近づけるように補正するとともに、Ｒ，Ｂの基準最小値Ｒ_min，Ｂ_minをＧの基準最小値Ｇ_minに近づけるように補正する（ステップＳ１１８）。
【００６３】
このステップＳ１１８では、例えば上記比Ｘ、Ｙに対する基準の比をそれぞれＸ_ref＝Ｋ１、Ｙ_ref＝Ｋ２とすると、Ｒ，Ｂの基準最大値Ｒ_{max ,}Ｂ_maxは、それぞれ、次式に示すＲ_max′_,Ｂ_max′に補正される。
Ｒ_max′＝Ｋ１＊Ｇ_max
Ｂ_max′＝Ｋ２＊Ｇ_max
また、基準最小１Ｒ_min，Ｂ_minも同様に補正する。即ち、Ｒ，Ｂの基準最小値Ｒ_min，Ｂ_minは、それぞれ、予め決められた基準の比Ｋ３、Ｋ４及びＧの基準最小値Ｇ_minにより、次式に示すＲ_min′，Ｂ_min′に補正される。
【００６４】
Ｒ_min′＝Ｋ３＊Ｇ_min
Ｂ_min′＝Ｋ４＊Ｇ_min
次に、カラーフェリアシーンと判断すると、上記補正した基準最小値、基準最大値を使用し、カラーフェリアシーンでないと判断すると、ステップＳ１１２で求めた基準最小値、基準最大値をそのまま使用して、前述した式（４）、（５）により白バランス及び黒バランスを合わせるために使用するオフセット、ホワイトバランスゲイン（ＷＢゲイン）を決定する（ステップＳ１２０）。
【００６５】
次に、上記決定されたオフセット及びＷＢゲインに基づいてネガ画像のファインスキャンを実行する（ステップＳ１２２）。
即ち、ファインスキャン時には、フイルム５２を一定速度で搬送し、フイルム画像のスキャン（ファインスキャン）を実行する（ステップＳ１２２）。このファインスキャン中に、ＣＣＤラインセンサ１４、アナログアンプ１６及びＡ／Ｄコンバータ１８を介してデジタル信号処理回路２０に点順次のＲ，Ｇ，Ｂデジタル画像信号が出力される。
【００６６】
尚、この実施の形態では、各色別の基準最大値の比に基づいて基準最大値、基準最小値を補正するか否かを判別するようにしたが、これに限らず、各色別の基準最大値の差を求め、この差から基準最大値、基準最小値を補正するか否かを判別してもよい。また、基準最大値の代わりに基準最小値を用いて、上記と同様な判別を行うようにしてもよい。また、この実施の形態では、基準最大値と基準最小値の両方を補正するようにしたが、基準最大値及び基準最小値のいずれか一方を補正するようにしてもよい。更に、Ｒ，Ｂの基準最大値及び基準最小値を、Ｇの基準最大値、基準最小値に近づけるように補正するようにしたが、これに限らず、各色別の基準最大値及び／又は各色別の基準最小値を、各値が近づくように補正する方法であれば如何なる方法でもよい。
【００６７】
【発明の効果】
以上説明したように本発明に係る画像処理方法によれば、フイルム画像の撮像時に得られる画像信号の基準最大値及び基準最小値に基づいて画像処理する際に、フイルム画像の露光状態に応じて画像処理を行うため、良好な調子再現が可能となる。特に、フイルム画像の露光状態の判定に前記基準最大値又は基準最小値を用いると、露光状態の判定に必要な回路やソフトの負荷を最小限にすることができ、露光状態の判定を簡便に行うことができる。また、複数回の撮像によって得た複数の基準最大値等を平均した値に基づいてフイルム画像の露光状態を判定し、あるいはフイルム画像の基準最大値、基準最小値及び平均値からフイルム画像の露光状態の判定精度が高い値を当該フイルム画像の露光状態に応じて適宜選択し、その選択した値に基づいてフイルム画像の露光状態を判定しているため、露光アンダー、オーバーのフイルム画像であっても精度の高い露光状態の判定ができる。更にまた、フイルムの未露光部分の撮像時に得られる画像信号の平均値に基づいて前記基準最大値等を正規化するようにしているため、フイルムベースの濃度やアンプゲイン等の影響を受けないフイルム画像の露光状態の判定ができる。
【００６８】
また、本発明によれば、フイルム画像の露光状態がアンダー露光時には、ガンマ補正時のガンマを小さくし、また、オーバー露光時には、ガンマを大きくするようにしたため、アンダー露光及びオーバー露光時の中間調の明るさを適正にすることができる。また、フイルム画像の基準最大値と基準最小値との比又は差が、予め設定した第１、第２の閾値の範囲に入るように基準最大値及び基準最小値のうちの少なくとも一方を補正し、これにより硬調及び硬調の画像の調子を整えるようにしているが、更にフイルム画像の露光状態がアンダー露光又はオーバー露光時には、前記第１、第２の閾値をそれらよりもそれぞれ低い第３、第４の閾値に変更するようにしたため、フイルム画像の調子が不自然に変わらず、良好な調子再現ができる。
【００６９】
更に、本発明によれば、極端に彩度の高い領域が存在し、各色別の基準最大値、基準最小値が大きくばらつくようなカラーフェリアシーンであっても、このようなシーンの場合には各色別の基準最大値及び／又は基準最小値のバラツキを補正するようにしたため、所望のホワイトバランス調整が可能となり、良好な色再現が実現できる。
【図面の簡単な説明】
【図１】図１は本発明が適用されるフイルムスキャナの実施の形態を示す要部ブロック図である。
【図２】図２は図１に示したフイルムスキャナでの画像処理手順を説明するために用いたフローチャートである。
【図３】図３は基準最大値及び基準最小値の求め方を説明するために用いたヒストグラムである。
【図４】図４はフイルム画像の露光状態に対応する基準最大値と平均値とを示す折れ線グラフである。
【図５】図５（Ａ）乃至（Ｄ）はそれぞれ図１のデジタル信号処理回路の各部における処理内容を示すグラフである。
【図６】図６（Ａ）乃至（Ｃ）はそれぞれガンマ補正方法の一例を説明するために用いたグラフである。
【図７】図７（Ａ）乃至（Ｃ）はそれぞれ露光状態の異なるネガの階調特性、ガンマ特性及びベースＬＵＴを示すグラフである。
【図８】図８は図１のデジタル信号処理回路の詳細な構成を示すブロック図である。
【図９】図９は図１に示したフイルムスキャナでの他の画像処理手順を説明するために用いたフローチャートである。
【図１０】図１０はカラーフェリアシーンの判別等を説明するために用いたグラフである。
【図１１】図１１はネガフイルムの特性曲線を示すグラフである。
【図１２】図１２はＢの基準最小値が他の色の基準最小値よりも極端に大きい場合のＲ，Ｇ，Ｂのヒストグラムである。
【符号の説明】
１０…光源
１２…撮影レンズ
１４…ＣＣＤラインセンサ
１５…ＣＣＤ駆動回路
１８…Ａ／Ｄコンバータ
２０…デジタル信号処理回路
２１、２２、２４…加算器
２３、２６…乗算器
２５…ベースＬＵＴ
４０…中央処理装置（ＣＰＵ）
４１…積算ブロック
５０…フイルムカートリッジ
５２…ネガフイルム

Claims

現像済み写真フイルムに写し込まれたフイルム画像を撮像し、前記撮像時に得られた画像信号の基準最大値及び前記画像信号の平均値を求め、
前記求めた基準最大値を用いて前記フイルム画像の露光状態を判定し、前記求めた基準最大値が、当該基準最大値に基づく前記フイルム画像の露光状態の判定精度が保証される値以上になると、前記基準最大値に代えて前記平均値に基づいて前記フイルム画像の露光状態を判定することを特徴とする画像処理方法。
前記フイルム画像の露光状態を判定するための前記基準最大値又は平均値として、同一のフイルム画像を複数回撮像して得られた複数の基準最大値又は複数の平均値を平均した値を使用することを特徴とする請求項１に記載の画像処理方法。
前記撮像時に得られた画像信号から１コマ分の全ての階調データを求め、前記１コマ分の全ての階調データを階調毎にカウントしてヒストグラムを作成する際に、所定の度数を上限とした簡易ヒストグラムを作成し、前記基準最大値は、前記簡易ヒストグラムの階調の大きい方からカウントした累積度数が前記階調データの総点数に対する所定の割合を超えた点に基づいて求めるようにしたことを特徴とする請求項１に記載の画像処理方法。
前記階調データは、複数画素単位で分割されたエリアにおける平均の階調データである請求項３に記載の画像処理方法。
前記フイルム画像を撮像する前に、前記現像済み写真フイルムの未露光部分を所定の露出状態で撮像し、前記未露光部分の撮像時に得られた画像信号が所定の信号レベルとなるように前記所定の露出状態を修正し、前記修正した露出状態で前記フイルム画像を撮像するようにしたことを特徴とする請求項１に記載の画像処理方法。
前記フイルム画像の露光状態を判定するための前記基準最大値又は平均値は、前記未露光部分の撮像時に得られた画像信号の平均値に基づいて正規化された値である請求項１に記載の画像処理方法。
フイルム画像を撮像して得た画像信号の基準最大値及び基準最小値を求め、該基準最大値及び基準最小値がそれぞれ所定の階調となるように前記画像信号を補正するとともに、ガンマ補正する画像処理方法において、前記フイルム画像の露光状態を請求項１に記載の方法で判定し、前記露光状態の判定結果に基づいてアンダー露光と判定すると、前記ガンマ補正時のガンマを標準露光時に比べて小さくし、オーバー露光と判定すると、前記ガンマ補正時のガンマを標準露光時に比べて大きくするようにしたことを特徴とする画像処理方法。
フイルム画像を撮像して得た画像信号の基準最大値及び基準最小値を求め、前記基準最大値と基準最小値との比又は差が、所望の調子が得られるように予め設定した第１の閾値と第２の閾値との範囲に入るように前記基準最大値及び基準最小値のうちの少なくとも一方を補正し、その補正した基準最大値及び基準最小値がそれぞれ所定の階調となるように前記画像信号を補正する画像処理方法において、前記フイルム画像の露光状態を請求項１に記載の方法で判定し、前記露光状態の判定結果に基づいてアンダー露光又はオーバー露光と判定すると、前記第１の閾値及び第２の閾値を、該第１の閾値及び第２の閾値よりもそれぞれ低い第３の閾値及び第４の閾値に変更するようにしたことを特徴とする画像処理方法。
カラー画像を撮像して各色別の画像信号を得、前記撮像時に得られた各色別の画像信号の基準最大値及び基準最小値を求め、各色別の基準最大値の比又は差、及び各色別の基準最小値の比又は差のうちの少なくとも一方の比又は差を求め、前記求めた比又は差が、所望のホワイトバランス調整が可能な所定の範囲内か否かを判別し、前記求めた比又は差が前記範囲を超えている場合には、前記各色別の基準最大値及び／又は各色別の基準最小値を、各値が近づくように補正し、前記求めた比又は差が前記範囲を超えていない場合には、前記補正前の基準最大値及び基準最小値がそれぞれ所定の階調となるように前記画像信号を補正し、前記求めた比又は差が前記範囲を超えている場合には、前記補正した基準最大値及び基準最小値がそれぞれ所定の階調となるように前記画像信号を補正することを特徴とする画像処理方法。
前記各色別の画像信号はＲ、Ｇ、Ｂの画像信号であり、前記求めた比又は差が前記範囲を超えている場合には、Ｇの基準最大値及び／又は基準最小値に近づくように、他の色の基準最大値及び／又は基準最小値を補正することを特徴とする請求項９に記載の画像処理方法。