JP4309695B2 - 画像処理システム、画像処理制御方法、及びプログラム - Google Patents
画像処理システム、画像処理制御方法、及びプログラム Download PDFInfo
- Publication number
- JP4309695B2 JP4309695B2 JP2003136509A JP2003136509A JP4309695B2 JP 4309695 B2 JP4309695 B2 JP 4309695B2 JP 2003136509 A JP2003136509 A JP 2003136509A JP 2003136509 A JP2003136509 A JP 2003136509A JP 4309695 B2 JP4309695 B2 JP 4309695B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shading
- unit
- correction
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理技術に関し、特に、画像の露出若しくはホワイトバランスの補正処理の技術に関する。
【０００２】
【従来の技術】
撮像装置におけるレンズ等の結像光学系自体の特性等の影響により、シェーディングと一般的に称されている、撮像された画像の光量がその画像内で不均一にばらついてしまう現象が発生することがある。従来は、撮像後の画像に対し、経験的に得られている補正値や実測結果に基づいた画像処理を施すことによってシェーディングによる画像劣化の補正を行っている。
【０００３】
このシェーディングは結像光学系の特性や、電子カメラの場合にはＣＣＤ（Charge Coupled Device ）等の撮像素子の特性により撮像画像内で様々な形状となって現れる。このうち、光の三原色の色毎の輝度分布特性の違いに起因して撮像画像が不自然に着色してしまう現象は色シェーディングと称されている。
【０００４】
顕微鏡によって得られる標本像を専ら撮像する顕微鏡用撮像装置においては、シェーディングが標本の観察にとりわけ大きな影響を及ぼすが、対物レンズの種類、検鏡法、照明等の違いによって多種多様なシェーディングの発生が想定される。このようなシェーディングの補正を行えるようにする技術として、例えば特許文献１には、標本の存在しない背景のみの画像を対物レンズ毎に予め撮影しておき、この撮影によって得られた背景画像に基づいて生成される対物レンズ毎の補正データを用いて撮像画像に生じているシェーディングを補正する手法が開示されている。
【０００５】
【特許文献１】
特開２００１−２８１５５４号公報
【０００６】
【発明が解決しようとする課題】
多くの撮像装置では、撮像画像の明るさ・色彩の表現を適切なものとするために、操作者の指定する画像内の部分領域に対して露出やホワイトバランスの補正を自動的に行う機能が設けられている。しかしながら、光量低下や色変化といった前述したシェーディングが発生している画像部分に対してこのような露出やホワイトバランスの補正を施しても、適切な撮像画像が得られないことがある。
【０００７】
このような補正が施された後の撮像画像に対して前述したシェーディング補正を行っても、適切な画像が得られないことがある。例えば、シェーディングによって光量の低下している画像部分に対して露出補正を施し、その部分の明るさを適切なものとした後にシェーディング補正を単純に施すと、その画像部分を更に明るくしてしまって過補正の状態となってしまう。
【０００８】
ここで、未補正の撮像画像に対してシェーディング補正を先に行い、その後に露出やホワイトバランスの補正を行うようにすることも考えられる。しかし、画像に生じているシェーディングを補正する画像処理というものは一般的には処理量が膨大である。その一方で、標本の状態の観察等のためにリアルタイム若しくはそれに近いフレームレートでの表示が要求される観察画像としては、露出やホワイトバランスの補正が施されたものを表示する必要があるため、シェーディング補正を露出やホワイトバランスの補正前に行うと、観察画像表示のリアルタイム性が失われてしまうことがある。
【０００９】
本発明は上述した問題を鑑みてなされたものであり、その解決しようとする課題は、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させて適切な画像を提供できるようにすることである。
【００１０】
【課題を解決するための手段】
本発明の態様のひとつである画像処理システムは、被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を行う画像処理手段と、当該被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理手段を制御する制御手段と、を有し、前記制御手段は、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理手段を制御するように構成するというものであり、このシステムを使用することによって前述した課題が解決される。
【００１１】
この構成によれば、被写体画像に発生することが予測されるシェーディングについての予測結果に基づいて露出補正処理若しくはホワイトバランス補正処理が制御されるので、これらの処理の後に更にシェーディング補正を行ってもシェーディング補正後の被写体画像が不適切なものとならないようにこれらの処理を制御することにより、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させた適切な画像が提供できるようになる。
【００１２】
また、画像処理制御手段は、被写体画像に対してシェーディング補正を行う画像処理よりも処理量が遥かに少ない、被写体画像の露出の補正若しくはホワイトバランスの補正の処理の制御を行うので、観察画像表示のリアルタイム性が失われることがない。
また、この画像処理システムは、制御手段が、前述した被写体画像とは別に撮像された画像であって前述した被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から予測されるシェーディングの予測結果に基づいて画像処理手段を制御する。この構成は、被写体画像に露出の補正若しくはホワイトバランスの補正の処理が施されたときに発生するシェーディングの予測手法の一例として、背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域に基づくシェーディング予測を行うというものである。
また、この制御手段は、前述した被写体画像とは別に撮像された画像であって前述した被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から予測されるシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前述した画像処理を施させるように画像処理手段を制御する。こうすることにより、画像処理制御手段によって行われるシェーディング予測結果に基づいた制御のための処理負担が軽減される。
【００１３】
なお、上述した本発明に係る画像処理システムにおいて、被写体画像を、例えば被写体である観察標本についての顕微鏡での観察像を撮像して得られた画像とすることができる。
前述したように、顕微鏡での観察像の撮像画像に生じているシェーディングは標本の観察にとりわけ大きな影響を及ぼすので、こうすることにより、シェーディングが標本の観察に及ぼしている影響を排除することができる。
【００１４】
また、前述した本発明に係る画像処理システムにおいて、前述した画像処理制御手段により処理が施された後の被写体画像に発生しているシェーディングを補正するシェーディング補正手段を更に有するように構成してもよい。
【００１５】
この構成によれば、この画像処理システムで被写体画像に対するシェーディング補正を施すこともできるようになる。
【００１７】
また、ここで、制御手段が、前述した背景画像内の中央部分に位置する矩形状領域に含まれている各画素の輝度値の平均値と、その背景画像内の周辺部分に位置する矩形状領域に含まれている各画素の輝度値若しくはこの輝度値の平均値と、の差分値に基づいてシェーディングを予測するようにしてもよい。
【００１８】
この構成は、画像処理制御手段の具体的な構成の一例として、上述した差分値に基づいて被写体画像の露出の補正若しくはホワイトバランスの補正の処理の制御を行うというものである。
【００１９】
本発明の別の態様のひとつである画像処理制御方法は、被写体が表されている被写体画像の露出若しくはホワイトバランスを補正する画像処理を、当該被写体画像に発生することが予測されるシェーディングの予測結果に基づいて制御する方法であって、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように制御するというものであり、この方法を使用することによって、前述した本発明に係る画像処理システムと同様の作用・効果が得られ、前述した課題が解決される。
【００２０】
また、被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を当該被写体画像に対して施す画像処理と、この被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理を制御する制御処理と、をコンピュータに行わせるためのプログラムであって、前記制御処理が、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理を制御することを特徴とするプログラムについても本発明に係るものであり、このプログラムをコンピュータで実行させることにより、前述した本発明に係る画像処理システムと同様の作用・効果が得られる結果、前述した課題が解決される。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。なお、ここでは、顕微鏡によって得られる標本像を専ら撮像する顕微鏡用撮像システムにおいて本発明を実施する形態について説明する。
【００２２】
図１は本発明を実施する顕微鏡用撮像システムの概略構成を示している。
図１において、撮像部１０２によって撮像された顕微鏡１の観察像を表現している画像データ（画像を構成する全ての画素の輝度を示すデータ）が画像処理部１０３に入力されると、画像処理部１０３はその画像データを一旦画像処理部制御部１０４へ出力する。
【００２３】
画像処理部制御部１０４は、画像処理部１０３からの画像データの補正を行い、補正後の画像データを画像処理部１０３へ出力する。
画像処理部１０３は、画像処理部制御部１０４からの補正画像データに対して画像制御部１０６より指示された所定の画像処理を施し、その処理後の画像データを画像制御部１０６へ出力する。画像制御部１０６は画像処理部１０３によって処理された後の画像データを表示部１０７へ送付して顕微鏡１での観察画像の表示を表示部１０７に行わせると共に、撮影指示に応じて観察画像の記録を行う。
【００２４】
次に、本発明を実施する顕微鏡用撮像システムの各構成の詳細について、図２を用いて説明する。
顕微鏡１は透過観察用光学系３と落射観察用光学系４とを備えている。
透過観察用光学系３では、ハロゲンランプ等の透過観察用光源５から放射された光がコレクタレンズ６、透過用フィルタユニット７、透過視野絞り８、折り曲げミラー９、コンデンサ光学素子ユニット１０及び１１、トップレンズユニット１２を経て、ステージ１８上に載置されている図示しない標本に照射される。
【００２５】
一方、落射観察用光学系４では、落射照明用光源１３から放射される光が落射用フィルタユニット１４、落射シャッタ１５、落射視野絞り１６、落射開口絞り１７、キューブユニット２１、対物レンズ１９を経て上述した標本に照射される。ここで、キューブユニット２１では、明視野観察や蛍光観察などといった各種検鏡法に応じ、そこに設置されているダイクロイックミラーを切り換えることができる。
【００２６】
落射照明光学系４の光軸と透過照明光学系３の光軸とが重なっている観察光路Ｓ上には、対物レンズ１９を切り換えるためのレボルバ２０と、観察光路Ｓを接眼レンズ側と撮像装置側とに分岐するビームスプリッタ２２とが配置されている。
【００２７】
ビームスプリッタ２２及び観察光路Ｓを通過した光は撮像部１０２に入射する。
撮像部１０２は観察光路Ｓ上に配置されており、撮像素子３１、Ａ／Ｄ変換部４９、前置処理部３２、及びＣＣＤ駆動部４８から構成されている。撮像素子３１の出力はＡ／Ｄ変換部４９に、Ａ／Ｄ変換部４９の出力は前置処理部３２に、そしてＣＣＤ駆動部４８の出力は撮像素子３１に、各々導かれるように接続されている。
【００２８】
顕微鏡１から入射する、所定の倍率まで拡大された観察標本像が撮像素子３１上で結像すると、この観察標本像は撮像素子３１によって光電変換されてアナログ電気信号としてＡ／Ｄ変換部４９へ出力される。なお、本実施形態においては、撮像素子３１としてＣＣＤ（Charge Coupled Device ）を使用している。
【００２９】
Ａ／Ｄ変換部４９はこのアナログ電気信号をデジタルデータである画像データへ変換する。その後、この画像データは前置処理部３２において光の三原色であるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の画像データに分離されて画像処理部１０３へ出力される。この他に、前置処理部３２からはアドレス信号も出力される。これは、前置処理部３２から出力される画像データの各々が１フレームの画像内におけるどの位置の画素に対応するものであるかを２次元アドレス（ｘ，ｙ）で表したものである。
【００３０】
画像処理部１０３は、ＷＢ可変利得増幅器３３、ＷＢ利得設定部３４、ホワイトバランス検出部３５、ＡＥ可変利得増幅器３７、ＡＥ設定部３８、ＡＥ評価部３９、フレームメモリ４１、メモリコントローラ４２、及びＩ／Ｆ部４５から構成されている。
【００３１】
前置処理部３２から画像処理部１０３に入力されるＲＧＢ各色の画像データに対し、ＡＥ（Auto Exposure ：自動露出）可変利得増幅器３７はＡＥ設定部３８によって設定された各色一様の係数値を乗じて露出補正を施し、補正後の画像データをＷＢ可変利得増幅器３３へ出力する。
【００３２】
ＷＢ（White Balance ）可変利得増幅器３３は、可変利得増幅器３７から送られてきた画像データに対してＷＢ利得設定部３４によって設定されるＲＧＢ各色別の係数値を乗じてホワイトバランスの補正を施し、補正後の画像データをフレームメモリ４１へ出力する。
【００３３】
フレームメモリ４１は、撮像部１０２において撮像された観察標本像の１フレーム分の画像データを一時的に記憶するものである。
画像制御部１０６は、パーソナルコンピュータ本体（以下ＰＣと略す）４６とキーボードやマウス等の入力装置４７とから構成される。なお、ＰＣ４６は、制御プログラムを実行することで各構成要素を制御するＣＰＵ（Central Processing Unit ：中央演算装置）と、ＲＯＭやＲＡＭ及び磁気記憶装置などからなり、ＣＰＵに各構成要素を制御させる制御プログラムの記憶やＣＰＵが制御プログラムを実行する際のワークエリアあるいは各種データの記憶領域として使用される記憶部と、図２に示したシステム（以下、「本システム」ともいう）の使用者による操作に対応付けられている各種のデータが取得される入力部と、表示部１０７等の出力装置に各種のデータを提示して使用者に通知する出力部と、画像制御部１０６等の他の機器に接続して各種のデータの授受を可能とするためのインタフェース機能を提供するＩ／Ｆ部とを備える、ごく標準的な構成を有するものでよい。
【００３４】
ＰＣ４６は、入力装置４７に対してなされた本システムの使用者による操作に対応付けられている入力に応じた画像処理の実行を画像処理部１０３に指示する一方で、画像処理がされた後の画像データを画像処理部１０３から取り込んでその画像データで表現されている観察画像を表示部１０７に表示させると共に、図３に示すような矩形の指定領域３０５をその観察画像内に表示させる。
【００３５】
図３に示す観察画像の表示例において、標本像３０６と共に表示されている指定領域３０５は移動可能であり、またその形状や大きさを観察画像内で任意に変えることができる。本システムの使用者は、この指定領域３０５を自動露出補正若しくはホワイトバランス補正を施す領域として指定する。使用者がマウス等の入力装置４７を操作して図３では不図示であるポインタで自動露出補正ボタン３０３上のいずれかの位置をクリックさせる指示を行うことにより、指定領域３０５に対する測光及び露出補正の処理が実行される。同様にして自動ホワイトバランス補正ボタン３０４上のいずれかの位置をクリックさせる指示を使用者が行えばホワイトバランス補正処理が実行される。
【００３６】
なお、背景撮影ボタン３０１及び本撮影ボタン３０２については後述する。
図２の説明へ戻る。
メモリコントローラ４２は、ＰＣ４６によってＩ／Ｆ部４５を介して指定された観察画像上の任意領域内の画像データとアドレスデータとをフレームメモリ４１から読み出し、これらのデータを、画像処理部制御部１０４を構成している輝度分布検出部４３及び画像データ修正部４４へ出力する。
【００３７】
輝度分布検出部４３は、メモリコントローラ４２から送られてきたこれらのデータに基づいて露出補正制御及びホワイトバランス補正制御のための制御データを生成し、生成された制御データを画像データ修正部４４へ出力する。
画像データ修正部４４は，メモリコントローラ４２から送られてきた画像データに対し、輝度分布検出部４３から送られてきた制御データを用いて修正処理を施し、修正された画像データをホワイトバランス検出部３５とＡＥ評価部３９とへ出力する。なお、画像データ修正部４４による修正処理の動作はメモリコントローラ４２からの指示によってＯＮ／ＯＦＦ（補正／スルー）の切り替えがなされる。
【００３８】
ＡＥ評価部３９は、画像データ修正部４４から送られてきた修正後の画像データに基づき、指定領域３０５内に含まれている画素についての輝度積算値を算出してＡＥ設定部３８へ出力する。
ＡＥ設定部３８は、ＡＥ評価部３９から受け取った輝度積算値から指定領域３０５内の輝度平均値を算出し、指定領域３０５内の輝度値が適切なものとするために、この算出結果を用いて下記の式
利得＝最適輝度値（目標値）／指定領域３０５内の輝度平均値……（１）
によって算出される利得値をＡＥ可変利得増幅器３７に設定する。
【００３９】
また、画像記録の際の撮像時の露出が適切となるように、下記の式
画像記録時露出時間＝利得×現在の露出時間………（２）
によって算出される画像記録時露出時間の値をＣＣＤ駆動部４８へ出力する。この値を受け取ったＣＣＤ駆動部４８は、画像記録の際の撮像時には、この画像記録時露出時間に従って撮像されるように撮像素子３１を駆動させる。
【００４０】
ホワイトバランス検出部３５は、画像データ修正部４４から送られてきた修正後の画像データに基づいて指定領域３０５内のホワイトバランスを算出する。この算出結果からホワイトバランスが崩れていると判定される場合には、ホワイトバランスを適正化させる補正のためにＷＢ可変利得増幅器３３に設定すべき利得値をこの算出結果から求めてＷＢ利得設定部３４へ出力する。ＷＢ利得設定部３４はこの利得値をＷＢ可変利得増幅器３３に設定する。
【００４１】
ホワイトバランスが適正である場合には、画像データ修正部４４から送られてきた画像データで表現されている画像の輝度積算値の各色の比（Ｒ：Ｇ：Ｂの比）は１：１：１であるとすることができる。そこで、ホワイトバランス検出部３５は、ＷＢ可変利得増幅器３３に設定すべき利得値として、この比が得られるような値を求めてＷＢ利得設定部３４へ出力する。
【００４２】
ＡＥ可変利得増幅器３７とＷＢ可変利得増幅器３３とに対して上述した設定がなされた後は、ＡＥ可変利得増幅器３７とＷＢ可変利得増幅器３３とは、前置処理部３２から画像処理部１０３に入力される画像データに対し、その設定に基づく露出補正とホワイトバランス補正とをそれぞれ施す。
【００４３】
ＡＥ可変利得増幅器３７とＷＢ可変利得増幅器３３とによって露出調整及びホワイトバランスの補正がなされた画像データは、フレームメモリ４１で一旦保持された後、Ｉ／Ｆ部４８を介してＰＣ４６へ出力される。
ＰＣ４６では、フレームメモリ４１からＩ／Ｆ部４８を介して受け取ったこの画像データで表現されている観察画像を表示部１０７で表示させる。また、本システムの使用者から撮影指示がなされたときには、この画像データに対し、ＰＣ４６自身の有している不図示の記憶部に格納されている、予め撮像しておいた画像であって標本が視野内に表されていない画像である背景画像についての画像データに基づいてシェーディング補正を施した後、その補正後の画像データをＰＣ４６の有する記憶部に記録して保存する。
【００４４】
図２に示す顕微鏡用撮像システムは以上のように構成されている。
次に、この顕微鏡撮像システムの動作について説明する。図４は、この顕微鏡撮像システムによって実行される観察画像の撮影・記録動作の手順をフローチャートで示したものである。なお、以下の説明において、ＰＣ４６によって行われる処理は、ＰＣ４６の記憶部に予め格納されている制御プログラムをＰＣ４６の有するＣＰＵが読み込んで実行することによって実現される。
【００４５】
まず、シェーディング予測に基づいた露出補正制御について説明する。
本システムの使用者は、まず、ステージ１８上の観察標本を観察画像の視野から外しておく。ここでマウス等の入力装置４７を操作し、表示部１０７の撮像画面（図３）に表示されている背景撮影ボタン３０１上のいずれかの位置を図３では不図示であるポインタでクリックさせる指示を行う。この指示をＰＣ４６が取得すると、図４に示されている手順の実行が開始される（Ｓ５０１）。
【００４６】
すると、ＰＣ４６は、ホワイトバランス補正値及び露出補正値の初期値をメモリコントローラ４２へＩ／Ｆ部４５を介して送付する処理、及び画像データ修正部４４をＯＦＦする指示を送付する処理を実行する。
【００４７】
また、ＰＣ４６は、表示部１０７に表示されている撮像画面における本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４に対するクリック操作を禁止状態とする処理を実行する。
ＰＣ４６から上述した値を受け取ったメモリコントローラ４２は、ＡＥ設定部３８及びＷＢ利得設定部３４へこれらの値を送付し、ＡＥ可変利得増幅器３７及びＷＢ可変利得増幅器３３に利得の初期値である「１」を設定させる。この設定の下でフレームメモリ４１に格納される画像データは、撮像部１０２から受け取ったままで何らの画像処理もされていない生データとなる。
【００４８】
この後、メモリコントローラ４２は、観察標本が表されていない背景画像の撮像動作を画像処理部１０３に行わせる（Ｓ５０２）。なお、この背景画像の撮像時における撮影環境（照射光量や焦点位置など）は、後に行う観察標本画像の撮像時におけるものと同一にしておくことが望ましい。
【００４９】
その後、メモリコントローラ４２は、この撮像動作によってフレームメモリ４１に格納された背景画像である１フレーム分の画像データとアドレスデータとをＰＣ４６へＩ／Ｆ部４５を介して送付すると共に、これらのデータを輝度分布検出部４３と画像データ修正部４４とにも出力する（Ｓ５０３）。
【００５０】
ＰＣ４６では、送られてきたこれらのデータをＰＣ４６内の記憶部に格納する処理が実行される。
一方、輝度分布検出部４３では、送られてきたこれらのデータに基づいて露出補正制御のための制御値の算出が行われる（Ｓ５０４）。
【００５１】
以下、シェーディング予測結果に基づいた露出補正制御のための制御値の算出について図５から図９までの各図を用いて説明する。
輝度分布検出部４３は、受け取った画像データ及びアドレスデータに基づいて、図５に示すような背景画像の画像中心Ｏを通る直線に沿う複数の矩形領域、図５の例では５つの矩形領域（ｓ１〜ｓ５）の各々の輝度平均値を算出する。算出されたこれらの画像輝度平均値は画像データ修正部４４の有する不図示のメモリに格納される。
【００５２】
続いて、画像データ修正部４４は、上述した矩形領域のうちの中心Ｏに最も近いものを除いた矩形領域（ｓ２〜ｓ５）について、中心Ｏに最も近い矩形領域ｓ１との輝度平均値の差分値を算出し、算出された差分値を画像データ修正部４４の有するメモリに同様に格納する（Ｓ５０５）。この差分値がシェーディング予測結果に基づいた露出補正制御のための制御値として使用される。
【００５３】
以上のデータ処理によって、画像データ修正部４４のメモリには図６に示すテーブル内のデータが格納されることとなる。なお、同図において、「中心からの距離」の列は、矩形領域ｓｉが存在する範囲を中心Ｏからの距離の範囲として示したものであり、例えば矩形領域ｓ３は中心Ｏからの距離がｒ２からｒ３までの範囲に存在していることを示している。
【００５４】
この後、メモリコントローラ４２は、背景画像の撮影が終了したことをＰＣ４６へＩ／Ｆ部４５を介して通知する（Ｓ５０６）。
この通知を受け取ったＰＣ４６は、表示部１０７に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４を操作可能状態に戻す処理が実行される。
【００５５】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置４７を操作して自動露出補正ボタン３０３上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６はＩ／Ｆ部４５を介してメモリコントローラ４２に指示を与え、指定領域３０５内の画像データとその画像データを示すアドレスとをフレームメモリ４１から画像データ修正部４４へ送付させる処理を実行する。
【００５６】
画像データ修正部４４は、図７に示すように、入力されるアドレス（Ｘ，Ｙ）と画像中心Ｏの位置を示すアドレス（Ｘ’，Ｙ’）の差分値の絶対値（｜Ｘ−Ｘ’｜，｜Ｙ−Ｙ’｜）、すなわち入力画像の各画素の位置と画像中心Ｏとの間の距離Ｒを算出する。
【００５７】
ここで、この距離Ｒがｓｉ（ｉ＝１，２…）の領域に含まれていたとすると、ＡＥ評価部３９に出力される、アドレス（Ｘ，Ｙ）に位置する画素の輝度値（出力輝度値）は、入力画像においてそのアドレスに位置する画素の輝度値を入力輝度値とすると、
出力輝度値＝入力輝度値＋Δ差分（平均値１−平均値ｉ）……（３）
と算出される。具体例で説明すると、アドレス（Ｘ，Ｙ）に位置する画素の輝度値は、その画素についての中心Ｏからの距離Ｒが領域ｓ３に含まれている場合には、下式に従い、
出力輝度値＝入力輝度値＋Δ差分（平均値１−平均値３）……（４）
と算出される。つまり、中心Ｏからの距離Ｒが領域ｓ３に含まれる画素については、いずれの画素に対してもこの（４）の式の演算を実行する。このように、同一の領域に含まれる画素の各々に対しては一定の処理を施すようにすることにより、このシェーディング予測結果に基づいた修正のための処理負担が軽減される。
【００５８】
以上のように、上記の（３）式を指定領域３０５内の全ての画素に対して演算することによって露出補正における補正量の決定のためのデータに対し、シェーディング予測結果に基づいた修正が行われる。
ＡＥ評価部３９は、画像データ修正部４４から受け取った上述した修正後の画像データに基づいて指定領域３０５内の輝度積算値を算出してＡＥ設定部３８へ出力する。
【００５９】
ＡＥ設定部３８は受け取った輝度積算値から指定領域３０５内の輝度平均値を算出し、その輝度平均値に基づいて行われる前述した（１）式の演算によって算出される露出補正のための利得値をＡＥ可変利得増幅器３７に設定する。更に、ＡＥ設定部３８は、（２）式の演算によって算出される露出時間をＣＣＤ駆動部４８へそれぞれ出力する。この露出時間を受け取ったＣＣＤ駆動部４８は、この画像記録時露出時間に従って撮像されるように撮像素子３１を駆動する。以降、この撮像素子３１によって撮像される画像は前述したようにしてシェーディング予測結果に基づいて制御されている露出補正がされた画像データとしてフレームメモリ４１に格納される。
【００６０】
以上のようにして、シェーディング予測結果に基づいて制御されている露出補正処理が行われ、露出補正された観察画像がフレームメモリ４１を経てＰＣ４６に入力されるようになる（Ｓ５０７）。
ここで本システムの使用者が観察画像の撮像・記録を行わせるべく、マウス等の入力装置４７を操作して本撮影ボタン３０２上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６は、Ｉ／Ｆ部４５を介し、そのときにフレームメモリ４１に格納されている画像データを取得し、取得した画像データの全画素の各々に対して記憶部内の背景画像データに基づいて次式を演算する処理を実行する。
【００６１】
出力画素輝度値＝入力画素輝度値＋（背景画像中央部輝度平均値−背景画像の対応画素における輝度値）……（５）
なお、上式において、「背景画像の対応画素における輝度値」とは、演算対象である画素の観察画像上における位置と同様の関係の位置にある背景画像上の画素の輝度値である。
【００６２】
この（５）式の演算を実行することにより、図８に示すように、観察画像の輝度分布（図８（ｂ）の▲２▼）に背景画像の中央部輝度平均値と背景画像の輝度分布との差分値（図８（ａ）の▲１▼）が画素毎に加算される結果、観察画像の周辺部の画素の輝度レベルが観察画像の中央部に対してもちあげられ、シェーディングが適正に補正される（図８（ｃ）の▲１▼＋▲２▼）。
【００６３】
ＰＣ４６は、このようにして露出補正とシェーディング補正とが適正に行われた後の画像データをＰＣ４６内の記憶部に保存する処理を実行し（Ｓ５０８）、撮像動作を終了する（Ｓ５０９）。
次に本発明に係るシェーディング予測結果に基づく露出補正制御の効果について図９及び図１０を用いて説明する。
【００６４】
図９は、本発明に係るシェーディング予測結果に基づく露出補正制御を行わない顕微鏡用撮像システムの構成を示している。
図９のシステムを図２に示したものと比較すると分かるように、図９のシステムでは画像処理部制御部１０４を有しておらず、観察画像内の指定領域３０５の画像データが、メモリコントローラ４２から直接ホワイトバランス検出部３５とＡＥ評価部３９とに入力されている。
【００６５】
このような図９のシステムによって露出補正がされた観察画像に対して、同心円状に輝度分布が変化している典型的なシェーディングの補正を行ったときの輝度変化の様子を模式的に表したのが図１０（ｂ）である。
観察画像について図１０（ａ）に示すようなシェーディングが発生している画像の全領域に対して自動露出補正を行うと、ＡＥ評価部３９は、（２）として示す入力画像の中央部の輝度平均値よりも低い値である、（１）として示す輝度平均値を基準にし、この輝度平均値を図１０（ｂ）に（３）として示す目標値とするように露出補正を行う。そのため、この露出補正の時点で既に観察画像の中央部の輝度は（３）の目標値を超えて（４）として示す出力レベルに達してしまっており、観察画像の中心付近が不自然に明るくなってしまっている。
【００６６】
また、例えば図１０（ｂ）に示す位置（iii ）付近の領域を使用者が指定してスポット測光を行うと、露出補正によってこの位置の輝度を（３）目標値付近に調節することができる。しかし、その後にシェーディング補正を行えば、この位置付近の輝度値が更に大きくされるので、結局（４）の出力レベル付近にまで引き上げられてしまい、指定領域さえもが露出オーバーとなってしまう。
【００６７】
一方、本発明に係るシェーディング予測結果に基づく露出補正制御が行われる図２のシステムによって露出補正がされた観察画像に対して、同心円状に輝度分布が変化している典型的なシェーディングの補正を行ったときの輝度変化の様子を模式的に表したものが図１０（ｃ）である。
【００６８】
図２のシステムでは、使用者がまず背景画像の撮影を指示すると、撮像された背景画像についての画像データが輝度分布検出部４３へ渡され、図５に示す画像中心Ｏからの距離に応じた矩形領域毎の輝度平均値と中央領域の輝度平均値との差分値（図６）が算出されて、その差分値が画像データ修正部４４内のメモリに格納される。
【００６９】
その後、使用者が露出補正を指示すると、画像データ修正部４４が、メモリコントローラ４２から入力される観察画像に対し、前掲した（３）式に従って図６に示す差分値が加算されて得られる画像データがＡＥ評価部３９に渡される。この画像データは、図７に示したような、中心からの距離に応じて同心円状に一定の差分値が加算されたものとなっている。
【００７０】
画像データ修正部４４の機能を図１０（ｃ）に従って説明すると、画像データ修正部４４は、差分値の加算によって同図に▲１▼として示すシェーディング予測結果による修正を行い、観察画像の光量を近似的に補正したものである同図に（６）として示す輝度補正値をＡＥ評価部３９へ出力するということになる。この結果、ＡＥ評価部３９は、観察画像の周辺部分の光量の低下の影響で目標値を大きく越えてしまうような利得や露出時間の設定、すなわち露出補正の誤設定を生じさせることなく、同図に（５）として示す目標値近辺に観察画像の輝度分布を適切にシフトさせるので、露出補正された観察画像に対して同図に▲３▼として示すシェーディング補正を施しても、測光領域の輝度の上昇によりシェーディング補正後の観察画像が（５）の目標値を大きく上回って露出オーバーとなってしまうことが防止される。
【００７１】
次に、シェーディング予測に基づいたホワイトバランス補正制御について、図４に従って説明する。
図４において、本システムの使用者が入力装置４７を操作して背景画像の撮影を指示してから、背景画像の輝度分布をＰＣ４６へ送付してＰＣ４６内部の記憶部に保存するまでの処理手順（Ｓ５０１〜Ｓ５０３）は前述した露出補正制御のときと同様であるが、画像データはＲＧＢの各色別にＰＣ４６の記憶部に格納される。
【００７２】
輝度分布検出部４３は、露出補正制御のときと同様に、画像中心Ｏから周辺部方向への直線に沿う複数の領域（図５参照）に対して制御値である差分値を算出し（Ｓ５０４）、図１１に示すように、ＲＧＢの各色別のテーブルデータとして画像データ修正部４４のメモリに格納する（Ｓ５０５）。
【００７３】
この後、背景撮影が終了したことがメモリコントローラ４２からＩ／Ｆ部４５を介して通知される（Ｓ５０６）と、この通知を受け取ったＰＣ４６は、表示部１０７に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４を操作可能状態に戻す処理が実行される。
【００７４】
次に、使用者が観察標本を観察画像の視野内へ戻し、ホワイトバランス補正を行わせるべく、マウス等の入力装置４７を操作して自動ホワイトバランス補正ボタン３０４上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６はＩ／Ｆ部４５を介してメモリコントローラ４２に指示を与え、指定領域３０５内の画像データとその画像データを示すアドレスとをフレームメモリ４１から画像データ修正部４４へ送付させる処理を実行する。
【００７５】
画像データ修正部４４は、露出補正制御のときと同様に前掲した（３）式を用い、自身の有するメモリに格納されているテーブルデータ（図１１）の差分値を、観察画像を構成する画素の画像上の位置を示すアドレスに応じてその画素の輝度値（入力輝度値）にＲＧＢ別に加算し、その加算結果（出力輝度値）をホワイトバランス検出部３５に出力する。
【００７６】
ホワイトバランス検出部３５は、画像データ修正部４４から送られてきた指定領域３０５内の画像データの輝度値をＲＧＢの各色別に積算し、各色別の平均輝度値を求める。そして、この輝度平均値についてのＲ：Ｇ：Ｂの比を算出する。
ここで、平均輝度値についてＲ：Ｇ：Ｂ＝１：１：１の関係が成り立っておらず、ホワイトバランスが崩れていると判定された場合には、この比をＲ：Ｇ：Ｂ＝１：１：１とすべく、ホワイトバランス検出部３５はＷＢ可変利得増幅器３３に設定すべき利得値をＷＢ利得設定部３４へ出力する。
【００７７】
例えば、上述した輝度平均値が（Ｒ，Ｇ，Ｂ）＝（２００，１８０，１８０）であったならば、ホワイトバランス検出部３５は（Ｒ利得，Ｂ利得，Ｇ利得）＝（１，２００／１８０，２００／１８０）≒（１．０，１．１，１．１）をＷＢ利得設定部３４へ出力する。
【００７８】
ＷＢ利得設定部３４は、ホワイトバランス検出部３５から受け取った利得値をＷＢ可変利得増幅器３３に設定する。
以上のようにして、シェーディング予測結果に基づいて制御されているホワイトバランス補正処理が行われ、ホワイトバランス補正された観察画像がフレームメモリ４１を経てＰＣ４６に入力されるようになる（Ｓ５０７）。
【００７９】
ここで本システムの使用者が観察画像の撮像・記録を行わせるべく、マウス等の入力装置４７を操作して本撮影ボタン３０２上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６は、Ｉ／Ｆ部４５を介し、そのときにフレームメモリ４１に格納されている画像データを取得し、取得した画像データの全画素の各々に対して記憶部内の背景画像データに基づいて前述の（５）式の演算を各色別に実行する処理を行ってシェーディングの補正を行う。
【００８０】
この（５）式の演算を実行することにより、図９に示すように、観察画像の各色別の輝度分布（図８（ｂ）の▲２▼）に背景画像の中央部輝度平均値と背景画像の各色別の輝度分布との差分値（図８（ａ）の▲１▼）が画素毎に加算される結果、観察画像の周辺部の画素の輝度レベルが観察画像の中央部に対してもちあげられ、シェーディングが適正に補正される（図８（ｃ）の▲１▼＋▲２▼）。
【００８１】
ＰＣ４６は、このようにしてホワイトバランス補正とシェーディング補正とが適正に行われた後の画像データをＰＣ４６内の記憶部に保存する処理を実行し（Ｓ５０８）、撮像動作を終了する（Ｓ５０９）。
次に、本発明に係るシェーディング予測結果に基づく露出補正制御の効果について図１２、図１３及び図１４を用いて説明する。
【００８２】
図１２は、色シェーディングが発生している背景画像の輝度分布例を示している。同図を参照すると分かるように、Ｇ色及びＢ色は同様な輝度分布であるのに対し、Ｒ色は背景画像の周辺部分の光量の落ち方がＧＢに比べて大きくなっている。
【００８３】
図１３は、前掲した図９のシステムによってホワイトバランス補正がされた観察画像に対して、図１２に示したシェーディングを補正する処理を行ったときの輝度変化の様子を模式的に表したものである。
前述したように、図９のシステムでは、図２に示すシステムには設けられている画像処理部制御部１０４を有しておらず、観察画像内の指定領域３０５の画像データが、メモリコントローラ４２から直接ホワイトバランス検出部３５とＡＥ評価部３９とに入力されている。従って、図９のシステムでは、本発明に係るシェーディング予測結果に基づくホワイトバランス補正制御が行われない。
【００８４】
まず、システム使用者が、観察画像の中心付近（図１２の（ｂ）位置）の領域に対してホワイトバランス補正を指定した場合を考えてみる。この位置ではホワイトバランスがほぼ取れているので、ＷＢ利得設定部３４がＷＢ可変利得増幅器３３へ設定する利得値は、（Ｒ利得，Ｇ利得，Ｂ利得）≒（１，１，１）となる。
【００８５】
次に、システム使用者が、観察画像の周辺領域（図１２の例えば（ａ）位置）に対してホワイトバランス補正を指定した場合を考える。この位置の輝度平均値が（Ｒ，Ｇ，Ｂ）≡（１８０，２００，２００）であったとすると、ＷＢ利得設定部３４がＷＢ可変利得増幅器３３へ設定する利得値は、（Ｒ利得，Ｇ利得，Ｂ利得）＝（２００／１８０，１，１）≒（１．１，１．０，１．０）となる。この設定では観察画像の中心付近（図１２の（ｂ）位置）の領域は赤色に着色されてしまうこととなる（図１３の▲１▼参照）。
【００８６】
さらに、この撮像画像に対してシェーディング補正を行うとＲの周辺画索の輝度値を上昇させてしまうため、中心付近だけでなく観察画像全体が赤く着色されてしまう（図１３の▲２▼参照）。
これに対し、本発明に係るシェーディング予測結果に基づくホワイトバランス補正制御が行われる図２のシステムによってホワイトバランス補正がされた観察画像に対して、図１２に示したシェーディングを補正する処理を行ったときの輝度変化の様子を模式的に表したものが図１４である。
【００８７】
図２のシステムでは、使用者がまず背景画像の撮影を指示すると、撮像された背景画像についての画像データが輝度分布検出部４３へ渡され、露出補正制御のときと同様に、図１１に示す画像中心Ｏからの距離に応じた矩形領域毎の輝度平均値と中央領域の輝度平均値との差分値（図６）がＲＧＢ各色別に算出されて、その差分値が画像データ修正部４４内のメモリに格納される。
【００８８】
その後、使用者がホワイトバランス補正を指示すると、画像データ修正部４４が、メモリコントローラ４２から入力される観察画像に対し、前掲した（３）式に従って図１１に示す差分値がＲＧＢ各色別に加算されて得られる画像データがＡＥ評価部３９に渡される。この画像データは、図７に示したような、中心からの距離に応じて同心円状に一定の差分値がＲＧＢ各色別に加算されたものとなっている。
【００８９】
つまり、画像データ修正部４４は、差分値をＲＧＢ各色別に加算することで、図１２に示したような色シェーディングによる周辺部分の光量落ちを近似的に補正した、図１４に示すような輝度分布を呈している画像データをホワイトバランス検出部３５へ出力する。
【００９０】
従って、本システムの使用者がどのような領域を指定してホワイトバランス補正を指示しても、観察画像データの背景画像の色バランスが部位によらず一定に補正されているため、色シェーディングの影響で観察画像が所望していないような色彩に着色してしまうことが防止される。
【００９１】
以上までで説明した実施例を纏めると、本実施例によれば、シェーディングの発生の予測結果に基づいて露出補正とホワイトバランス補正とが制御されるので、シェーディング自体によりあるいはシェーディング補正により、露出オーバーやシステム使用者の所望していない色彩の着色が観察画像に生じることが防止される。
【００９２】
以下、本発明を実施する他の実施例について説明する。なお、以下の実施例と区別するために、ここまでで説明した本発明の実施例を「第一実施例」と称することとする。
まず、本発明の第二実施例について説明する。この実施例の特徴は、発生することが予想されるシェーディングのパターンを予め複数用意しておき、それらをシステム使用者が選択可能とした点にある。
【００９３】
本発明の第二実施例に係る顕微鏡撮像システムの構成は図１及び図２に示した第一実施例に係るものと同様であるが、表示部１０７に表示される表示画面に、予想パターン切り換えボタン１７０１とパターン表示部１７０２とが設けられている点が異なっている。この表示画面例を図１５に示す。
【００９４】
本システムの使用者が入力装置４７を操作して表示部１０７の表示画面に表示されている予想パターン切り換えボタン１７０１上のいずれかの位置を図１５では不図示であるポインタでクリックさせる指示を行う度に、ＰＣ４６は例えば図１６に示す順序の繰り返しでパターン表示部１７０２に表示されるシェーディングの予想パターンを切り換える（Ｓ１８０１〜Ｓ１８０４）処理を実行する。
【００９５】
次に、第二実施例におけるこの顕微鏡撮像システムの動作について説明する。図１７は、第二実施例におけるこの顕微鏡撮像システムによって実行される観察画像の撮影・記録動作の手順をフローチャートで示したものである。なお、以下の説明において、ＰＣ４６によって行われる処理は、ＰＣ４６の記憶部に予め格納されている制御プログラムをＰＣ４６の有するＣＰＵが読み込んで実行することによって実現される。
【００９６】
まず、シェーディング予測に基づいた露出補正制御について説明する。
観察標本を観察画像の視野から外しておいた状態で、本システムの使用者が入力装置４７を操作して表示部１０７の表示画面（図１５）に表示されている背景撮影ボタン３０１上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、図１７に示されている手順の実行が開始され、ＡＥ可変利得増幅器３７及びＷＢ可変利得増幅器３３に利得の初期値である「１」が設定されて背景画像の撮像動作が行われ、背景画像である１フレーム分の画像データとアドレスデータがＰＣ４６の記憶部で格納される一方で、これらのデータが輝度分布検出部４３と画像データ修正部４４とへ出力されるまでの動作（Ｓ１５０１からＳ１５０３にかけての動作）は、第一実施例における動作（図４のＳ５０１からＳ５０３にかけての動作）と同様である。
【００９７】
輝度分布検出部４３は、受け取った画像データ及びアドレスデータに基づいて、図１８に示すような背景画像の中央の矩形領域（ｓ１）及びその領域を通る水平線若しくは垂直線に沿う複数の矩形領域、図１８の例では１７個の矩形領域（ｓ１〜ｓ１７）の各々の輝度平均値を算出する。算出されたこれらの画像輝度平均値は画像データ修正部４４の有する不図示のメモリに格納される。
【００９８】
続いて、画像データ修正部４４は、上述した矩形領域のうちの矩形領域ｓ１を除いた矩形領域（ｓ２〜ｓ１７）について、矩形領域ｓ１との輝度平均値の差分値を算出し（Ｓ１５０４）、算出された差分値を画像データ修正部４４の有するメモリに同様に格納する（Ｓ１５０５）。この差分値がシェーディング予測結果に基づいた露出補正制御のための制御値として使用される。
【００９９】
以上のデータ処理によって、画像データ修正部４４のメモリには、第一実施例と同様、図６に示すテーブル内のデータが格納されることとなる。
この後、メモリコントローラ４２は、背景画像の撮影が終了したことをＰＣ４６へＩ／Ｆ部４５を介して通知する（Ｓ１５０６）。
この通知を受け取ったＰＣ４６では、表示部１０７に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４を操作可能状態に戻す処理が実行される。
【０１００】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置４７を操作して自動露出補正ボタン３０３上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６はＩ／Ｆ部４５を介してメモリコントローラ４２に指示を与え、指定領域３０５内の画像データとその画像データを示すアドレスとをフレームメモリ４１から画像データ修正部４４へ送付させる処理を実行する。なお、このとき、ＰＣ４６は、表示部１０７のパターン表示部１７０２におけるシェーディングの予想パターンの現在の表示内容（図１６に示した切り替え手順によって切り換えられた現在の表示内容）を示している情報を画像データ修正部４４へ送付する処理を併せて実行する。
【０１０１】
画像データ修正部４４は、ＰＣ４６から送られてきたシェーディング予想パターンの情報を読み出し（Ｓ１５０７）、この情報に応じた修正を行った画像データをＡＥ評価部３９へ送付する。
例えば、シェーディング予想パターンの情報がＯＦＦ（図１６のＳ１８０１）を示していたときには、画像データ修正部４４は、入力された画像データに対して何らの修正を行うことなくそのままその画像データをＡＥ評価部３９へ出力する。
【０１０２】
また、この予想パターン情報がパターン１（図１６のＳ１８０２）のときには、既に説明した第一実施例と同様のパターン（図７に示したシェーディング予想パターン）が選択されているものとし、画像データ修正部４４は、前掲した（３）式の演算、すなわち、入力された画像データで表現されている画像の各画素の位置と中心位置との距離に基づいた前述した差分値を入力輝度値に加算する演算を行い、得られた出力輝度値をＡＥ評価部３９へ出力する。
【０１０３】
また、この予想パターン情報がパターン２（図１６のＳ１８０３）のときには、画像データ修正部４４は、入力された画像データで表現されている画像の各画素の水平方向の位置が、その画面全体を水平方向に区切った複数の領域（図１９（ａ）のｈ１〜ｈ９の各領域）のうちのいずれに属するかを各画素の位置を示すアドレスに基づいて判別する。
【０１０４】
ここで、画素の位置を示すアドレスがｈｉ（ｉ＝１，２，３，…，９）のいずれかに含まれていることを示していたならば、画像データ修正部４４は、図６に示した画像データ修正部４４のメモリに格納されている差分値のうちｓｉで示される位置に格納されているものを、その画素についての入力画像輝度値に加算する演算を行い、得られた出力輝度値をＡＥ評価部３９へ出力する。
【０１０５】
また、この予想パターン情報がパターン３（図１６のＳ１８０４）のときには、画像データ修正部４４は、入力された画像データで表現されている画像の各画素の垂直方向の位置が、その画面全体を垂直方向に区切った複数の領域（図１９（ｖ）のｖ１及びｖ１０〜ｖ１７の各領域）のうちのいずれに属するかを各画素の位置を示すアドレスに基づいて判別する。
【０１０６】
ここで、画素の位置を示すアドレスがｖｉ（ｉ＝１，１０，１１，…，１７）のいずれかに含まれていることを示していたならば、画像データ修正部４４は、図６に示した画像データ修正部４４のメモリに格納されている差分値のうちｓｉで示される位置に格納されているものを、その画素についての入力画像輝度値に加算する演算を行い、得られた出力輝度値をＡＥ評価部３９へ出力する。
【０１０７】
つまり、パターン１〜３を操作者が切り換えて選択すると、画像データ修正部４４は画像データを異なった方法で修正し、また、ＯＦＦの選択を行ったときには画像データ修正部４４は画像データの修正を行わない。
この後、画像データ修正部４４からＡＥ評価部３９へ送られてきた画像データに基づいてＡＥ設定３８が指定領域３０５の画像データに対する露出時間と利得値との補正のための設定を行った後、本システムの使用者が入力装置４７を操作して本撮影ボタン３０２上のいずれかの位置を不図示のポインタでクリックさせる指示を行うことにより、露出補正が適正になされている画像データがフレームメモリ４１からＰＣ４６に取り込まれてシェーディング補正がされ、補正後の画像データがＰＣ４６内の記憶部に保存され撮像が終了するまでの処理の手順（Ｓ１５０８〜Ｓ１５１０）は、第一実施例におけるもの（Ｓ５０７〜Ｓ５０９）と同様である。
【０１０８】
以上のようにして実現される、第二実施例に係るシェーディング予測結果に基づく露出補正制御の効果について図２０を用いて説明する。
シェーディングの発生は、撮像レンズ等の光学的な要因によるものと、入射方向に対する撮像素子の感度ムラなど撮像デバイス自体に起因するものとに大別される。前者の要因によって生じるシェーディングのパターンの典型的な例としては、画像の中心部から周辺部にかけて同心円状に光量が落ちているものが知られている。前述したもののうち図７や図８（ａ）に示したシェーディングのパターンがまさにこのパターンであるといえる。
【０１０９】
一方、後者の要因によって生じるシェーディングのパターンの典型的な例としては、画像の水平方向や垂直方向などある一定の方向に沿って輝度分布が変化し、画面端の光量が落ちているものが知られている。図１９や図２０に示したシェーディングのパターンがこのパターンである。
【０１１０】
第一実施例においては、光量落ちが同心円状に発生していた場合、画像データ修正部４４は同心円状のパターンに応じて周辺部の輝度値を修正した値をＡＥ評価部３９へ出力する。この結果、ＡＥ設定部３８は近似的に画面全体で一様な輝度値を基にして露出補正のための設定値を求めるようになるので、撮像画像の中心付近が明る過ぎとなってしまうことや、その後のシェーディング補正によってシステム使用者による測光指定部位が明る過ぎとなってしまうことが回避される。
【０１１１】
しかし、光量落ちが水平方向に発生していた場合、例えば観察画面の左方が暗くなっている場合、第一実施例の手法でＡＥ評価部３９に入力される画像データの修正を行うと、画面右方の輝度値までも高めてしまうために輝度平均値が大きくなってしまう。こうなると、露出補正の設定は逆に光量を下げる方向とされる結果、観察画像が暗くなってしまうおそれがある。
【０１１２】
第二実施例では、光量落ちが水平方向に発生している場合に使用者がパターン１を選択した状態で露出補正を指示すると、第一実施例と同様に、同心円状のパターンに応じて周辺部の輝度値を修正した値で露出補正のための設定値を求めることとなるため、観察画像が暗くなってしまう。
【０１１３】
しかし、このような場合であっても、第二実施例では、使用者がパターン２の選択に切り換えた後に本システムに対して露出補正を指示すれば、画像の輝度が水平方向に落ちていたとしても（図２０（ａ）のＡ）、画像の中心付近の輝度に近似的に補正した輝度分布（同図Ｂ）に基づいてＡＥ設定部３８が露出補正のための設定値を求めるので、撮影・記録された観察画像が暗くなることが防止される。
【０１１４】
また、光量落ちが垂直方向に発生している場合に使用者がパターン１を選択した状態で露出補正を指示すると、第一実施例と同様に、同心円状のパターンに応じて周辺部の輝度値を修正した値で露出補正のための設定値を求めることとなるため、観察画像が暗くなってしまう。
【０１１５】
しかし、このような場合であっても、第二実施例では、使用者がパターン３の選択に切り換えた後に本システムに対して露出補正を指示すれば、画像の輝度が垂直方向に落ちていたとしても（図２０（ｂ）のＣ）、画像の中心付近の輝度に近似的に補正した輝度分布（同図Ｄ）に基づいてＡＥ設定部３８が露出補正のための設定値を求めるので、撮影・記録された観察画像が暗くなることが防止される。
【０１１６】
次に、第二実施例におけるシェーディング予測に基づいたホワイトバランス補正の制御について説明する。
ホワイトバランス補正の制御の処理手順は、上記の露出補正の制御（図１７）と同様であるため詳細な説明は省略するが、画像データにおける各画素の輝度値をすべてＲＧＢ各色別に取得してその各々について輝度分布を修正した値が画像データ修正部４４からホワイトバランス検出部３５へ送付する点が異なっている。
【０１１７】
第二実施例に係るシェーディング予測結果に基づくホワイトバランス補正制御の効果について図２１を用いて説明する。
背景画像が図２１に示すような輝度分布、すなわちＲ色の輝度分布がＧＢ色よりも落ちており、更にＲ色の輝度分布においてもその水平方向の右方が落ちている輝度分布を有している場合、第一実施例に係る手法でＲＧＢ各色別の輝度分布の修正を行うと、同心円状に等しく周辺部の輝度を上昇させるため、Ｒの輝度分布Ａ’はＣ’へと修正されてしまう。この状態において例えば画像の左端寄りのＳ５の領域を指定してホワイトバランス補正を指示した場合には、ＲＧＢの各色の輝度値はその領域内ではほぼ等しいためＲＧＢの利得値はほぼ同一の値となってしまう。従って、ＧＢに比べてＲが小さいシアン色の背景色を白とするように設定してもホワイトバランスの補正が適切になされない。
【０１１８】
一方、第二実施例においては、使用者がパターン１を選択した状態でホワイトバランス補正を指示すると、第一実施例と同様にホワイトバランスの補正が適切になされない。しかし、使用者がパターン２を選択した状態でホワイトバランス補正を指示すれば、ホワイトバランスを検出するための画像データの輝度分布が水平方向に対してほぼー様に修正される（図２１のＢ’）ので、Ｒ色の輝度を上昇させるように利得の設定がなされることとなり、背景色が適切に白色に補正される。
【０１１９】
また、輝度分布が垂直方向に変化しているのであれば、使用者がパターン３を選択した状態でホワイトバランス補正を指示すれば、同様に背景色が白色に適切に補正される。
このように、第二実施例によれば、使用者によって選択されるシェーディング予想パターンで近似的に周辺光量不足を修正した画像データに基づいて露出補正やホワイトバランス補正を行うため、観察状態によってシェーディングの状態が異なっていても適切な明るさ・色彩バランスの観察画像が得られるようになる。
【０１２０】
次に本発明の第三実施例について説明する。この実施例の特徴は、背景画像についての画像データから得られる全ての画索について、制御値である各画素の輝度修正値とその画像上の位置を示すアドレスとを予めシステム内のメモリに格納しておき、画素単位で修正した画像データに対して露出補正、ホワイトバランス補正を行うことにある。
【０１２１】
本発明の第三実施例に係る顕微鏡撮像システムの構成は図１及び図２に示した第一実施例に係るものと同様であるため詳細な説明は省略するが、第三実施例に係る顕微鏡撮像システムでは、画像処理部制御部１０４の動作が第一実施例に係るものと異なっている。
【０１２２】
観察標本を観察画像の視野から外しておいた状態で、本システムの使用者が入力装置４７を操作して表示部１０７の表示画面に表示されている背景撮影ボタン３０１上のいずれかの位置をポインタでクリックさせる指示を行うと、ＡＥ可変利得増幅器３７及びＷＢ可変利得増幅器３３に利得の初期値である「１」が設定されて背景画像の撮像動作が行われ、背景画像である１フレーム分の画像データとアドレスデータがＰＣ４６の記憶部で格納される一方で、これらのデータが輝度分布検出部４３と画像データ修正部４４とへ出力されるまでの動作は、第一実施例における動作（図４のＳ５０１からＳ５０３にかけての動作）と同様である。
【０１２３】
輝度分布検出部４３は、受け取った画像データ及びアドレスデータに基づいて、図２２に示すような背景画像の中央の矩形領域Ｓの輝度平均値を算出し、更に、アドレスデータを参照して各画索の輝度値と中心領域Ｓの輝度値との差分値を算出する（図４のＳ５０４に相当）。算出された全画素分の差分データは画像データ修正部４４の有する不図示のメモリに格納される（図４のＳ５０５に相当）。この差分値がシェーディング予測結果に基づいた露出補正制御及びホワイトバランス補正制御のための制御値として使用される。
【０１２４】
以上のデータ処理によって、画像データ修正部４４のメモリには、図２３に示すような、各画素に対応する差分データが画像データの全画素分格納されることとなる。
この後、メモリコントローラ４２は、背景画像の撮影が終了したことをＰＣ４６へＩ／Ｆ部４５を介して通知する（図４のＳ５０６に相当）。
この通知を受け取ったＰＣ４６では、表示部１０７に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４を操作可能状態に戻す処理が実行される。
【０１２５】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置４７を操作して自動露出補正ボタン３０３上のいずれかの位置をポインタでクリックさせる指示を行うと、ＰＣ４６はＩ／Ｆ部４５を介してメモリコントローラ４２に指示を与え、指定領域３０５内の画像データとその画像データを示すアドレスとをフレームメモリ４１から画像データ修正部４４へ送付させる処理を実行する。
【０１２６】
画像データ修正部４４は、メモリコントローラ４２から送られてきたアドレス（ｘ，ｙ）と自身のメモリに格納されているアドレスとを比較し、一致したアドレスに保存されている差分値をそのアドレスに対応する画素の輝度値に加算し、加算結果をＡＥ評価部３９へ出力する。
【０１２７】
この後、ＡＥ評価部３９から指定領域３０５の輝度積算値を受け取ったＡＥ設定部３８が露出利得と露出時間とを求め、ＡＥ可変利得増幅器３７及びＣＣＤ駆動部４８に設定した後、システム使用者が撮影を指示し、画像撮影及び画像データの記録が完了するまでの手順は第一実施例と同様である。
【０１２８】
また、本システムの使用者がホワイトバランス補正を指示したときの各部動作は、上述した露出補正の指示がなされたときの動作とほぼ同様であるため詳細は省略するが、輝度分布検出部４３が画像データの輝度分布をすべてＲＧＢ各色別に取得して処理し、その各々について輝度分布を修正した画像データをホワイトバランス検出部３５に入力する点が異なっている。
【０１２９】
以上のようにして実現される、第三実施例に係るシェーディング予測結果に基づく露出補正制御及びホワイトバランス補正制御の効果について図２４を用いて説明する。
背景画像が図２４に示すようなランダムな輝度分布を有する場合、第一実施例のように同心円状に画像データの輝度分布を修正したり、第二実施例のように一定方向に変化する輝度分布を仮定して輝度値を修正したりしても、修正後の輝度値は部位ごとにまちまちになってしまう。
【０１３０】
これに対し、第三実施例に係るシステムでは、画像を構成する全ての画素について、画像の中央近辺の輝度平均値との差分を画素単位で加算して得られる、背景画像の輝度値を全体で一様になるように修正した画像データに基づいて露出補正やホワイトバランス補正が行われる。
【０１３１】
従って、背景画像の輝度分布に規則性が見られない、全くのランダムな分布を呈しているものであっても、露出補正を適切に行うことができる。
また、背景画像がＲＧＢ各色別にランダムな輝度分布を有する場合も、画像全体でー様な輝度分布に修正した画像データに基づいたホワイトバランスの補正がなされるため、観察画像に対するシステム使用者の指定部位によって色バランスが変化してしまうことなく、一様にホワイトバランスを補正することができる。
【０１３２】
なお、以上までに説明した第一、第二、及び第三の各実施例において図１及び図２に示した顕微鏡撮像システムの画像処理部１０３及び画像処理部制御部１０４における各構成要素に行わせていた各種の処理を前述したような標準的な構成を有するコンピュータのＣＰＵに行わせるための制御プログラムを作成し、この作成された制御プログラムをこのコンピュータで読み取り可能な記録媒体に記録させておき、その制御プログラムを記録媒体からこのコンピュータに読み込ませてＣＰＵで実行させるようにすれば、本発明に係るシェーディング予測に基づいた露出補正制御若しくはホワイトバランス補正制御をこのコンピュータに行わせることもできる。
【０１３３】
記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置、フレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能記録媒体等が利用できる。
【０１３４】
また、記録媒体は通信回線を介してコンピュータシステムと接続される、プログラムサーバとして機能するコンピュータが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータシステムへ伝送するようにし、コンピュータシステムでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをＣＰＵで実行できるようになる。
【０１３５】
なお、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、前述した第一実施例において、制御値である輝度の差分値を算出する際の同心円パターンの中心位置を移動可能としてもよく、そのためには画像を構成する各画素の位置を示すアドレスに適当なオフセット値を加算するようにすればよい。また、前述した第一及び第二実施例において、制御値である輝度の差分値を算出する際の領域の形状は矩形に限定されるものではなく、任意の形状に変形可能である。また、その大きさも任意に変更可能である。こうすることにより、多種多様なシェーディングに対して本発明に係る手法を適用可能とするだけでなく，露出補正の精度を高め、システム使用者の意図に対してより忠実な露出補正処理やホワイトバランス補正処理を提供することが可能となる。
【０１３６】
【発明の効果】
以上詳細に説明したように、本発明は、被写体が表されている被写体画像の露出若しくはホワイトバランスを補正する画像処理を、この画像処理が施されると被写体画像に発生することが予測されるシェーディングについての予測結果に基づいて制御するようにする。
【０１３７】
こうすることにより、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させた適切な画像が提供できるようになるという効果を本発明は奏する。
【図面の簡単な説明】
【図１】本発明を実施する顕微鏡撮像システムの概略構成を示す図である。
【図２】本発明を実施する顕微鏡撮像システムの詳細構成を示す図である。
【図３】観察画像の表示例を示す図である。
【図４】観察画像の撮影・記録動作の処理手順を示す図である。
【図５】背景画像に設定される部分領域を示す図である。
【図６】画像データ修正部内のメモリに格納されるデータを示す図（その１）である。
【図７】シェーディングの発生パターンの例を示す図である。
【図８】シェーディング補正の様子を示す図である。
【図９】シェーディング予測結果に基づく露出補正制御を行わない顕微鏡用撮像システムの構成を示す図である。
【図１０】本発明に係るシェーディングの予測結果に基づいた露出補正制御の効果を示す図である。
【図１１】画像データ修正部内のメモリに格納されるデータを示す図（その２）である。
【図１２】色シェーディングが発生している背景画像の輝度分布例を示す図である。
【図１３】シェーディング予測結果に基づく制御のされていないホワイトバランス補正を行ったときの輝度分布を示す図である。
【図１４】シェーディング予測結果に基づく制御がされているホワイトバランス補正を行ったときの輝度分布を示す図である。
【図１５】第二実施例における観察画像の表示例を示す図である。
【図１６】シェーディング予想パターンの切換手順を示す図である。
【図１７】第二実施例における観察画像の撮影・記録動作の処理手順を示す図である。
【図１８】第二実施例において背景画像に設定される部分領域を示す図である。
【図１９】シェーディングの発生予想パターンの例を示す図である。
【図２０】第二実施例に係るシェーディング予想結果に基づいた露出補正制御の効果を説明する図である。
【図２１】第二実施例に係るシェーディング予想結果に基づいたホワイトバランス補正制御の効果を説明する図である。
【図２２】第三実施例において背景画像に設定される部分領域を示す図である。
【図２３】画像データ修正部内のメモリに格納されるデータを示す図（その３）である。
【図２４】第三実施例に係る制御の効果を説明する図である。
【符号の説明】
１ 顕微鏡
３ 透過観察用光学系
４ 落射観察用光学系
５ 透過照明用光源
６ コレクタレンズ
７ 透過用フィルタユニット
８ 透過視野絞り
９ 折曲げミラー
１０、１１ コンデンサ光学素子ユニット
１２ トップレンズユニット
１３ 落射照明用光源
１４ 落射用フィルタユニット
１５ 落射シャッタ
１６ 落射視野絞り
１７ 落射開口絞り
１８ ステージ
１９ 対物レンズ
２０ レボルバ
２１ キューブユニット
２２ ビームスプリッタ
３１ 撮像素子
３２ 前置処理部
３３ ＷＢ可変利得増幅器
３４ ＷＢ利得設定部
３５ ホワイトバランス検出部
３７ ＡＥ可変利得増幅器
３８ ＡＥ設定部
３９ ＡＥ評価部
４１ フレームメモリ
４２ メモリコントローラ
４３ 輝度分布検出部
４４ 画像データ修正部
４５ Ｉ／Ｆ部
４６ ＰＣ
４７ 入力装置
４８ ＣＣＤ駆動部
４９ Ａ／Ｄ変換部
１０２ 撮像部
１０３ 画像処理部
１０４ 画像処理部制御部
１０６ 画像制御部
１０７ 表示部
３０１ 背景撮影ボタン
３０２ 本撮影ボタン
３０３ 自動露出補正ボタン
３０４ 自動ホワイトバランス補正ボタン
３０５ 指定領域
３０６ 標本像
１７０１ 予想パターン切り換えボタン
１７０２ パターン表示部
【発明の属する技術分野】
本発明は、画像処理技術に関し、特に、画像の露出若しくはホワイトバランスの補正処理の技術に関する。
【０００２】
【従来の技術】
撮像装置におけるレンズ等の結像光学系自体の特性等の影響により、シェーディングと一般的に称されている、撮像された画像の光量がその画像内で不均一にばらついてしまう現象が発生することがある。従来は、撮像後の画像に対し、経験的に得られている補正値や実測結果に基づいた画像処理を施すことによってシェーディングによる画像劣化の補正を行っている。
【０００３】
このシェーディングは結像光学系の特性や、電子カメラの場合にはＣＣＤ（Charge Coupled Device ）等の撮像素子の特性により撮像画像内で様々な形状となって現れる。このうち、光の三原色の色毎の輝度分布特性の違いに起因して撮像画像が不自然に着色してしまう現象は色シェーディングと称されている。
【０００４】
顕微鏡によって得られる標本像を専ら撮像する顕微鏡用撮像装置においては、シェーディングが標本の観察にとりわけ大きな影響を及ぼすが、対物レンズの種類、検鏡法、照明等の違いによって多種多様なシェーディングの発生が想定される。このようなシェーディングの補正を行えるようにする技術として、例えば特許文献１には、標本の存在しない背景のみの画像を対物レンズ毎に予め撮影しておき、この撮影によって得られた背景画像に基づいて生成される対物レンズ毎の補正データを用いて撮像画像に生じているシェーディングを補正する手法が開示されている。
【０００５】
【特許文献１】
特開２００１−２８１５５４号公報
【０００６】
【発明が解決しようとする課題】
多くの撮像装置では、撮像画像の明るさ・色彩の表現を適切なものとするために、操作者の指定する画像内の部分領域に対して露出やホワイトバランスの補正を自動的に行う機能が設けられている。しかしながら、光量低下や色変化といった前述したシェーディングが発生している画像部分に対してこのような露出やホワイトバランスの補正を施しても、適切な撮像画像が得られないことがある。
【０００７】
このような補正が施された後の撮像画像に対して前述したシェーディング補正を行っても、適切な画像が得られないことがある。例えば、シェーディングによって光量の低下している画像部分に対して露出補正を施し、その部分の明るさを適切なものとした後にシェーディング補正を単純に施すと、その画像部分を更に明るくしてしまって過補正の状態となってしまう。
【０００８】
ここで、未補正の撮像画像に対してシェーディング補正を先に行い、その後に露出やホワイトバランスの補正を行うようにすることも考えられる。しかし、画像に生じているシェーディングを補正する画像処理というものは一般的には処理量が膨大である。その一方で、標本の状態の観察等のためにリアルタイム若しくはそれに近いフレームレートでの表示が要求される観察画像としては、露出やホワイトバランスの補正が施されたものを表示する必要があるため、シェーディング補正を露出やホワイトバランスの補正前に行うと、観察画像表示のリアルタイム性が失われてしまうことがある。
【０００９】
本発明は上述した問題を鑑みてなされたものであり、その解決しようとする課題は、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させて適切な画像を提供できるようにすることである。
【００１０】
【課題を解決するための手段】
本発明の態様のひとつである画像処理システムは、被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を行う画像処理手段と、当該被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理手段を制御する制御手段と、を有し、前記制御手段は、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理手段を制御するように構成するというものであり、このシステムを使用することによって前述した課題が解決される。
【００１１】
この構成によれば、被写体画像に発生することが予測されるシェーディングについての予測結果に基づいて露出補正処理若しくはホワイトバランス補正処理が制御されるので、これらの処理の後に更にシェーディング補正を行ってもシェーディング補正後の被写体画像が不適切なものとならないようにこれらの処理を制御することにより、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させた適切な画像が提供できるようになる。
【００１２】
また、画像処理制御手段は、被写体画像に対してシェーディング補正を行う画像処理よりも処理量が遥かに少ない、被写体画像の露出の補正若しくはホワイトバランスの補正の処理の制御を行うので、観察画像表示のリアルタイム性が失われることがない。
また、この画像処理システムは、制御手段が、前述した被写体画像とは別に撮像された画像であって前述した被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から予測されるシェーディングの予測結果に基づいて画像処理手段を制御する。この構成は、被写体画像に露出の補正若しくはホワイトバランスの補正の処理が施されたときに発生するシェーディングの予測手法の一例として、背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域に基づくシェーディング予測を行うというものである。
また、この制御手段は、前述した被写体画像とは別に撮像された画像であって前述した被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から予測されるシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前述した画像処理を施させるように画像処理手段を制御する。こうすることにより、画像処理制御手段によって行われるシェーディング予測結果に基づいた制御のための処理負担が軽減される。
【００１３】
なお、上述した本発明に係る画像処理システムにおいて、被写体画像を、例えば被写体である観察標本についての顕微鏡での観察像を撮像して得られた画像とすることができる。
前述したように、顕微鏡での観察像の撮像画像に生じているシェーディングは標本の観察にとりわけ大きな影響を及ぼすので、こうすることにより、シェーディングが標本の観察に及ぼしている影響を排除することができる。
【００１４】
また、前述した本発明に係る画像処理システムにおいて、前述した画像処理制御手段により処理が施された後の被写体画像に発生しているシェーディングを補正するシェーディング補正手段を更に有するように構成してもよい。
【００１５】
この構成によれば、この画像処理システムで被写体画像に対するシェーディング補正を施すこともできるようになる。
【００１７】
また、ここで、制御手段が、前述した背景画像内の中央部分に位置する矩形状領域に含まれている各画素の輝度値の平均値と、その背景画像内の周辺部分に位置する矩形状領域に含まれている各画素の輝度値若しくはこの輝度値の平均値と、の差分値に基づいてシェーディングを予測するようにしてもよい。
【００１８】
この構成は、画像処理制御手段の具体的な構成の一例として、上述した差分値に基づいて被写体画像の露出の補正若しくはホワイトバランスの補正の処理の制御を行うというものである。
【００１９】
本発明の別の態様のひとつである画像処理制御方法は、被写体が表されている被写体画像の露出若しくはホワイトバランスを補正する画像処理を、当該被写体画像に発生することが予測されるシェーディングの予測結果に基づいて制御する方法であって、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように制御するというものであり、この方法を使用することによって、前述した本発明に係る画像処理システムと同様の作用・効果が得られ、前述した課題が解決される。
【００２０】
また、被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を当該被写体画像に対して施す画像処理と、この被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理を制御する制御処理と、をコンピュータに行わせるためのプログラムであって、前記制御処理が、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理を制御することを特徴とするプログラムについても本発明に係るものであり、このプログラムをコンピュータで実行させることにより、前述した本発明に係る画像処理システムと同様の作用・効果が得られる結果、前述した課題が解決される。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。なお、ここでは、顕微鏡によって得られる標本像を専ら撮像する顕微鏡用撮像システムにおいて本発明を実施する形態について説明する。
【００２２】
図１は本発明を実施する顕微鏡用撮像システムの概略構成を示している。
図１において、撮像部１０２によって撮像された顕微鏡１の観察像を表現している画像データ（画像を構成する全ての画素の輝度を示すデータ）が画像処理部１０３に入力されると、画像処理部１０３はその画像データを一旦画像処理部制御部１０４へ出力する。
【００２３】
画像処理部制御部１０４は、画像処理部１０３からの画像データの補正を行い、補正後の画像データを画像処理部１０３へ出力する。
画像処理部１０３は、画像処理部制御部１０４からの補正画像データに対して画像制御部１０６より指示された所定の画像処理を施し、その処理後の画像データを画像制御部１０６へ出力する。画像制御部１０６は画像処理部１０３によって処理された後の画像データを表示部１０７へ送付して顕微鏡１での観察画像の表示を表示部１０７に行わせると共に、撮影指示に応じて観察画像の記録を行う。
【００２４】
次に、本発明を実施する顕微鏡用撮像システムの各構成の詳細について、図２を用いて説明する。
顕微鏡１は透過観察用光学系３と落射観察用光学系４とを備えている。
透過観察用光学系３では、ハロゲンランプ等の透過観察用光源５から放射された光がコレクタレンズ６、透過用フィルタユニット７、透過視野絞り８、折り曲げミラー９、コンデンサ光学素子ユニット１０及び１１、トップレンズユニット１２を経て、ステージ１８上に載置されている図示しない標本に照射される。
【００２５】
一方、落射観察用光学系４では、落射照明用光源１３から放射される光が落射用フィルタユニット１４、落射シャッタ１５、落射視野絞り１６、落射開口絞り１７、キューブユニット２１、対物レンズ１９を経て上述した標本に照射される。ここで、キューブユニット２１では、明視野観察や蛍光観察などといった各種検鏡法に応じ、そこに設置されているダイクロイックミラーを切り換えることができる。
【００２６】
落射照明光学系４の光軸と透過照明光学系３の光軸とが重なっている観察光路Ｓ上には、対物レンズ１９を切り換えるためのレボルバ２０と、観察光路Ｓを接眼レンズ側と撮像装置側とに分岐するビームスプリッタ２２とが配置されている。
【００２７】
ビームスプリッタ２２及び観察光路Ｓを通過した光は撮像部１０２に入射する。
撮像部１０２は観察光路Ｓ上に配置されており、撮像素子３１、Ａ／Ｄ変換部４９、前置処理部３２、及びＣＣＤ駆動部４８から構成されている。撮像素子３１の出力はＡ／Ｄ変換部４９に、Ａ／Ｄ変換部４９の出力は前置処理部３２に、そしてＣＣＤ駆動部４８の出力は撮像素子３１に、各々導かれるように接続されている。
【００２８】
顕微鏡１から入射する、所定の倍率まで拡大された観察標本像が撮像素子３１上で結像すると、この観察標本像は撮像素子３１によって光電変換されてアナログ電気信号としてＡ／Ｄ変換部４９へ出力される。なお、本実施形態においては、撮像素子３１としてＣＣＤ（Charge Coupled Device ）を使用している。
【００２９】
Ａ／Ｄ変換部４９はこのアナログ電気信号をデジタルデータである画像データへ変換する。その後、この画像データは前置処理部３２において光の三原色であるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の画像データに分離されて画像処理部１０３へ出力される。この他に、前置処理部３２からはアドレス信号も出力される。これは、前置処理部３２から出力される画像データの各々が１フレームの画像内におけるどの位置の画素に対応するものであるかを２次元アドレス（ｘ，ｙ）で表したものである。
【００３０】
画像処理部１０３は、ＷＢ可変利得増幅器３３、ＷＢ利得設定部３４、ホワイトバランス検出部３５、ＡＥ可変利得増幅器３７、ＡＥ設定部３８、ＡＥ評価部３９、フレームメモリ４１、メモリコントローラ４２、及びＩ／Ｆ部４５から構成されている。
【００３１】
前置処理部３２から画像処理部１０３に入力されるＲＧＢ各色の画像データに対し、ＡＥ（Auto Exposure ：自動露出）可変利得増幅器３７はＡＥ設定部３８によって設定された各色一様の係数値を乗じて露出補正を施し、補正後の画像データをＷＢ可変利得増幅器３３へ出力する。
【００３２】
ＷＢ（White Balance ）可変利得増幅器３３は、可変利得増幅器３７から送られてきた画像データに対してＷＢ利得設定部３４によって設定されるＲＧＢ各色別の係数値を乗じてホワイトバランスの補正を施し、補正後の画像データをフレームメモリ４１へ出力する。
【００３３】
フレームメモリ４１は、撮像部１０２において撮像された観察標本像の１フレーム分の画像データを一時的に記憶するものである。
画像制御部１０６は、パーソナルコンピュータ本体（以下ＰＣと略す）４６とキーボードやマウス等の入力装置４７とから構成される。なお、ＰＣ４６は、制御プログラムを実行することで各構成要素を制御するＣＰＵ（Central Processing Unit ：中央演算装置）と、ＲＯＭやＲＡＭ及び磁気記憶装置などからなり、ＣＰＵに各構成要素を制御させる制御プログラムの記憶やＣＰＵが制御プログラムを実行する際のワークエリアあるいは各種データの記憶領域として使用される記憶部と、図２に示したシステム（以下、「本システム」ともいう）の使用者による操作に対応付けられている各種のデータが取得される入力部と、表示部１０７等の出力装置に各種のデータを提示して使用者に通知する出力部と、画像制御部１０６等の他の機器に接続して各種のデータの授受を可能とするためのインタフェース機能を提供するＩ／Ｆ部とを備える、ごく標準的な構成を有するものでよい。
【００３４】
ＰＣ４６は、入力装置４７に対してなされた本システムの使用者による操作に対応付けられている入力に応じた画像処理の実行を画像処理部１０３に指示する一方で、画像処理がされた後の画像データを画像処理部１０３から取り込んでその画像データで表現されている観察画像を表示部１０７に表示させると共に、図３に示すような矩形の指定領域３０５をその観察画像内に表示させる。
【００３５】
図３に示す観察画像の表示例において、標本像３０６と共に表示されている指定領域３０５は移動可能であり、またその形状や大きさを観察画像内で任意に変えることができる。本システムの使用者は、この指定領域３０５を自動露出補正若しくはホワイトバランス補正を施す領域として指定する。使用者がマウス等の入力装置４７を操作して図３では不図示であるポインタで自動露出補正ボタン３０３上のいずれかの位置をクリックさせる指示を行うことにより、指定領域３０５に対する測光及び露出補正の処理が実行される。同様にして自動ホワイトバランス補正ボタン３０４上のいずれかの位置をクリックさせる指示を使用者が行えばホワイトバランス補正処理が実行される。
【００３６】
なお、背景撮影ボタン３０１及び本撮影ボタン３０２については後述する。
図２の説明へ戻る。
メモリコントローラ４２は、ＰＣ４６によってＩ／Ｆ部４５を介して指定された観察画像上の任意領域内の画像データとアドレスデータとをフレームメモリ４１から読み出し、これらのデータを、画像処理部制御部１０４を構成している輝度分布検出部４３及び画像データ修正部４４へ出力する。
【００３７】
輝度分布検出部４３は、メモリコントローラ４２から送られてきたこれらのデータに基づいて露出補正制御及びホワイトバランス補正制御のための制御データを生成し、生成された制御データを画像データ修正部４４へ出力する。
画像データ修正部４４は，メモリコントローラ４２から送られてきた画像データに対し、輝度分布検出部４３から送られてきた制御データを用いて修正処理を施し、修正された画像データをホワイトバランス検出部３５とＡＥ評価部３９とへ出力する。なお、画像データ修正部４４による修正処理の動作はメモリコントローラ４２からの指示によってＯＮ／ＯＦＦ（補正／スルー）の切り替えがなされる。
【００３８】
ＡＥ評価部３９は、画像データ修正部４４から送られてきた修正後の画像データに基づき、指定領域３０５内に含まれている画素についての輝度積算値を算出してＡＥ設定部３８へ出力する。
ＡＥ設定部３８は、ＡＥ評価部３９から受け取った輝度積算値から指定領域３０５内の輝度平均値を算出し、指定領域３０５内の輝度値が適切なものとするために、この算出結果を用いて下記の式
利得＝最適輝度値（目標値）／指定領域３０５内の輝度平均値……（１）
によって算出される利得値をＡＥ可変利得増幅器３７に設定する。
【００３９】
また、画像記録の際の撮像時の露出が適切となるように、下記の式
画像記録時露出時間＝利得×現在の露出時間………（２）
によって算出される画像記録時露出時間の値をＣＣＤ駆動部４８へ出力する。この値を受け取ったＣＣＤ駆動部４８は、画像記録の際の撮像時には、この画像記録時露出時間に従って撮像されるように撮像素子３１を駆動させる。
【００４０】
ホワイトバランス検出部３５は、画像データ修正部４４から送られてきた修正後の画像データに基づいて指定領域３０５内のホワイトバランスを算出する。この算出結果からホワイトバランスが崩れていると判定される場合には、ホワイトバランスを適正化させる補正のためにＷＢ可変利得増幅器３３に設定すべき利得値をこの算出結果から求めてＷＢ利得設定部３４へ出力する。ＷＢ利得設定部３４はこの利得値をＷＢ可変利得増幅器３３に設定する。
【００４１】
ホワイトバランスが適正である場合には、画像データ修正部４４から送られてきた画像データで表現されている画像の輝度積算値の各色の比（Ｒ：Ｇ：Ｂの比）は１：１：１であるとすることができる。そこで、ホワイトバランス検出部３５は、ＷＢ可変利得増幅器３３に設定すべき利得値として、この比が得られるような値を求めてＷＢ利得設定部３４へ出力する。
【００４２】
ＡＥ可変利得増幅器３７とＷＢ可変利得増幅器３３とに対して上述した設定がなされた後は、ＡＥ可変利得増幅器３７とＷＢ可変利得増幅器３３とは、前置処理部３２から画像処理部１０３に入力される画像データに対し、その設定に基づく露出補正とホワイトバランス補正とをそれぞれ施す。
【００４３】
ＡＥ可変利得増幅器３７とＷＢ可変利得増幅器３３とによって露出調整及びホワイトバランスの補正がなされた画像データは、フレームメモリ４１で一旦保持された後、Ｉ／Ｆ部４８を介してＰＣ４６へ出力される。
ＰＣ４６では、フレームメモリ４１からＩ／Ｆ部４８を介して受け取ったこの画像データで表現されている観察画像を表示部１０７で表示させる。また、本システムの使用者から撮影指示がなされたときには、この画像データに対し、ＰＣ４６自身の有している不図示の記憶部に格納されている、予め撮像しておいた画像であって標本が視野内に表されていない画像である背景画像についての画像データに基づいてシェーディング補正を施した後、その補正後の画像データをＰＣ４６の有する記憶部に記録して保存する。
【００４４】
図２に示す顕微鏡用撮像システムは以上のように構成されている。
次に、この顕微鏡撮像システムの動作について説明する。図４は、この顕微鏡撮像システムによって実行される観察画像の撮影・記録動作の手順をフローチャートで示したものである。なお、以下の説明において、ＰＣ４６によって行われる処理は、ＰＣ４６の記憶部に予め格納されている制御プログラムをＰＣ４６の有するＣＰＵが読み込んで実行することによって実現される。
【００４５】
まず、シェーディング予測に基づいた露出補正制御について説明する。
本システムの使用者は、まず、ステージ１８上の観察標本を観察画像の視野から外しておく。ここでマウス等の入力装置４７を操作し、表示部１０７の撮像画面（図３）に表示されている背景撮影ボタン３０１上のいずれかの位置を図３では不図示であるポインタでクリックさせる指示を行う。この指示をＰＣ４６が取得すると、図４に示されている手順の実行が開始される（Ｓ５０１）。
【００４６】
すると、ＰＣ４６は、ホワイトバランス補正値及び露出補正値の初期値をメモリコントローラ４２へＩ／Ｆ部４５を介して送付する処理、及び画像データ修正部４４をＯＦＦする指示を送付する処理を実行する。
【００４７】
また、ＰＣ４６は、表示部１０７に表示されている撮像画面における本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４に対するクリック操作を禁止状態とする処理を実行する。
ＰＣ４６から上述した値を受け取ったメモリコントローラ４２は、ＡＥ設定部３８及びＷＢ利得設定部３４へこれらの値を送付し、ＡＥ可変利得増幅器３７及びＷＢ可変利得増幅器３３に利得の初期値である「１」を設定させる。この設定の下でフレームメモリ４１に格納される画像データは、撮像部１０２から受け取ったままで何らの画像処理もされていない生データとなる。
【００４８】
この後、メモリコントローラ４２は、観察標本が表されていない背景画像の撮像動作を画像処理部１０３に行わせる（Ｓ５０２）。なお、この背景画像の撮像時における撮影環境（照射光量や焦点位置など）は、後に行う観察標本画像の撮像時におけるものと同一にしておくことが望ましい。
【００４９】
その後、メモリコントローラ４２は、この撮像動作によってフレームメモリ４１に格納された背景画像である１フレーム分の画像データとアドレスデータとをＰＣ４６へＩ／Ｆ部４５を介して送付すると共に、これらのデータを輝度分布検出部４３と画像データ修正部４４とにも出力する（Ｓ５０３）。
【００５０】
ＰＣ４６では、送られてきたこれらのデータをＰＣ４６内の記憶部に格納する処理が実行される。
一方、輝度分布検出部４３では、送られてきたこれらのデータに基づいて露出補正制御のための制御値の算出が行われる（Ｓ５０４）。
【００５１】
以下、シェーディング予測結果に基づいた露出補正制御のための制御値の算出について図５から図９までの各図を用いて説明する。
輝度分布検出部４３は、受け取った画像データ及びアドレスデータに基づいて、図５に示すような背景画像の画像中心Ｏを通る直線に沿う複数の矩形領域、図５の例では５つの矩形領域（ｓ１〜ｓ５）の各々の輝度平均値を算出する。算出されたこれらの画像輝度平均値は画像データ修正部４４の有する不図示のメモリに格納される。
【００５２】
続いて、画像データ修正部４４は、上述した矩形領域のうちの中心Ｏに最も近いものを除いた矩形領域（ｓ２〜ｓ５）について、中心Ｏに最も近い矩形領域ｓ１との輝度平均値の差分値を算出し、算出された差分値を画像データ修正部４４の有するメモリに同様に格納する（Ｓ５０５）。この差分値がシェーディング予測結果に基づいた露出補正制御のための制御値として使用される。
【００５３】
以上のデータ処理によって、画像データ修正部４４のメモリには図６に示すテーブル内のデータが格納されることとなる。なお、同図において、「中心からの距離」の列は、矩形領域ｓｉが存在する範囲を中心Ｏからの距離の範囲として示したものであり、例えば矩形領域ｓ３は中心Ｏからの距離がｒ２からｒ３までの範囲に存在していることを示している。
【００５４】
この後、メモリコントローラ４２は、背景画像の撮影が終了したことをＰＣ４６へＩ／Ｆ部４５を介して通知する（Ｓ５０６）。
この通知を受け取ったＰＣ４６は、表示部１０７に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４を操作可能状態に戻す処理が実行される。
【００５５】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置４７を操作して自動露出補正ボタン３０３上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６はＩ／Ｆ部４５を介してメモリコントローラ４２に指示を与え、指定領域３０５内の画像データとその画像データを示すアドレスとをフレームメモリ４１から画像データ修正部４４へ送付させる処理を実行する。
【００５６】
画像データ修正部４４は、図７に示すように、入力されるアドレス（Ｘ，Ｙ）と画像中心Ｏの位置を示すアドレス（Ｘ’，Ｙ’）の差分値の絶対値（｜Ｘ−Ｘ’｜，｜Ｙ−Ｙ’｜）、すなわち入力画像の各画素の位置と画像中心Ｏとの間の距離Ｒを算出する。
【００５７】
ここで、この距離Ｒがｓｉ（ｉ＝１，２…）の領域に含まれていたとすると、ＡＥ評価部３９に出力される、アドレス（Ｘ，Ｙ）に位置する画素の輝度値（出力輝度値）は、入力画像においてそのアドレスに位置する画素の輝度値を入力輝度値とすると、
出力輝度値＝入力輝度値＋Δ差分（平均値１−平均値ｉ）……（３）
と算出される。具体例で説明すると、アドレス（Ｘ，Ｙ）に位置する画素の輝度値は、その画素についての中心Ｏからの距離Ｒが領域ｓ３に含まれている場合には、下式に従い、
出力輝度値＝入力輝度値＋Δ差分（平均値１−平均値３）……（４）
と算出される。つまり、中心Ｏからの距離Ｒが領域ｓ３に含まれる画素については、いずれの画素に対してもこの（４）の式の演算を実行する。このように、同一の領域に含まれる画素の各々に対しては一定の処理を施すようにすることにより、このシェーディング予測結果に基づいた修正のための処理負担が軽減される。
【００５８】
以上のように、上記の（３）式を指定領域３０５内の全ての画素に対して演算することによって露出補正における補正量の決定のためのデータに対し、シェーディング予測結果に基づいた修正が行われる。
ＡＥ評価部３９は、画像データ修正部４４から受け取った上述した修正後の画像データに基づいて指定領域３０５内の輝度積算値を算出してＡＥ設定部３８へ出力する。
【００５９】
ＡＥ設定部３８は受け取った輝度積算値から指定領域３０５内の輝度平均値を算出し、その輝度平均値に基づいて行われる前述した（１）式の演算によって算出される露出補正のための利得値をＡＥ可変利得増幅器３７に設定する。更に、ＡＥ設定部３８は、（２）式の演算によって算出される露出時間をＣＣＤ駆動部４８へそれぞれ出力する。この露出時間を受け取ったＣＣＤ駆動部４８は、この画像記録時露出時間に従って撮像されるように撮像素子３１を駆動する。以降、この撮像素子３１によって撮像される画像は前述したようにしてシェーディング予測結果に基づいて制御されている露出補正がされた画像データとしてフレームメモリ４１に格納される。
【００６０】
以上のようにして、シェーディング予測結果に基づいて制御されている露出補正処理が行われ、露出補正された観察画像がフレームメモリ４１を経てＰＣ４６に入力されるようになる（Ｓ５０７）。
ここで本システムの使用者が観察画像の撮像・記録を行わせるべく、マウス等の入力装置４７を操作して本撮影ボタン３０２上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６は、Ｉ／Ｆ部４５を介し、そのときにフレームメモリ４１に格納されている画像データを取得し、取得した画像データの全画素の各々に対して記憶部内の背景画像データに基づいて次式を演算する処理を実行する。
【００６１】
出力画素輝度値＝入力画素輝度値＋（背景画像中央部輝度平均値−背景画像の対応画素における輝度値）……（５）
なお、上式において、「背景画像の対応画素における輝度値」とは、演算対象である画素の観察画像上における位置と同様の関係の位置にある背景画像上の画素の輝度値である。
【００６２】
この（５）式の演算を実行することにより、図８に示すように、観察画像の輝度分布（図８（ｂ）の▲２▼）に背景画像の中央部輝度平均値と背景画像の輝度分布との差分値（図８（ａ）の▲１▼）が画素毎に加算される結果、観察画像の周辺部の画素の輝度レベルが観察画像の中央部に対してもちあげられ、シェーディングが適正に補正される（図８（ｃ）の▲１▼＋▲２▼）。
【００６３】
ＰＣ４６は、このようにして露出補正とシェーディング補正とが適正に行われた後の画像データをＰＣ４６内の記憶部に保存する処理を実行し（Ｓ５０８）、撮像動作を終了する（Ｓ５０９）。
次に本発明に係るシェーディング予測結果に基づく露出補正制御の効果について図９及び図１０を用いて説明する。
【００６４】
図９は、本発明に係るシェーディング予測結果に基づく露出補正制御を行わない顕微鏡用撮像システムの構成を示している。
図９のシステムを図２に示したものと比較すると分かるように、図９のシステムでは画像処理部制御部１０４を有しておらず、観察画像内の指定領域３０５の画像データが、メモリコントローラ４２から直接ホワイトバランス検出部３５とＡＥ評価部３９とに入力されている。
【００６５】
このような図９のシステムによって露出補正がされた観察画像に対して、同心円状に輝度分布が変化している典型的なシェーディングの補正を行ったときの輝度変化の様子を模式的に表したのが図１０（ｂ）である。
観察画像について図１０（ａ）に示すようなシェーディングが発生している画像の全領域に対して自動露出補正を行うと、ＡＥ評価部３９は、（２）として示す入力画像の中央部の輝度平均値よりも低い値である、（１）として示す輝度平均値を基準にし、この輝度平均値を図１０（ｂ）に（３）として示す目標値とするように露出補正を行う。そのため、この露出補正の時点で既に観察画像の中央部の輝度は（３）の目標値を超えて（４）として示す出力レベルに達してしまっており、観察画像の中心付近が不自然に明るくなってしまっている。
【００６６】
また、例えば図１０（ｂ）に示す位置（iii ）付近の領域を使用者が指定してスポット測光を行うと、露出補正によってこの位置の輝度を（３）目標値付近に調節することができる。しかし、その後にシェーディング補正を行えば、この位置付近の輝度値が更に大きくされるので、結局（４）の出力レベル付近にまで引き上げられてしまい、指定領域さえもが露出オーバーとなってしまう。
【００６７】
一方、本発明に係るシェーディング予測結果に基づく露出補正制御が行われる図２のシステムによって露出補正がされた観察画像に対して、同心円状に輝度分布が変化している典型的なシェーディングの補正を行ったときの輝度変化の様子を模式的に表したものが図１０（ｃ）である。
【００６８】
図２のシステムでは、使用者がまず背景画像の撮影を指示すると、撮像された背景画像についての画像データが輝度分布検出部４３へ渡され、図５に示す画像中心Ｏからの距離に応じた矩形領域毎の輝度平均値と中央領域の輝度平均値との差分値（図６）が算出されて、その差分値が画像データ修正部４４内のメモリに格納される。
【００６９】
その後、使用者が露出補正を指示すると、画像データ修正部４４が、メモリコントローラ４２から入力される観察画像に対し、前掲した（３）式に従って図６に示す差分値が加算されて得られる画像データがＡＥ評価部３９に渡される。この画像データは、図７に示したような、中心からの距離に応じて同心円状に一定の差分値が加算されたものとなっている。
【００７０】
画像データ修正部４４の機能を図１０（ｃ）に従って説明すると、画像データ修正部４４は、差分値の加算によって同図に▲１▼として示すシェーディング予測結果による修正を行い、観察画像の光量を近似的に補正したものである同図に（６）として示す輝度補正値をＡＥ評価部３９へ出力するということになる。この結果、ＡＥ評価部３９は、観察画像の周辺部分の光量の低下の影響で目標値を大きく越えてしまうような利得や露出時間の設定、すなわち露出補正の誤設定を生じさせることなく、同図に（５）として示す目標値近辺に観察画像の輝度分布を適切にシフトさせるので、露出補正された観察画像に対して同図に▲３▼として示すシェーディング補正を施しても、測光領域の輝度の上昇によりシェーディング補正後の観察画像が（５）の目標値を大きく上回って露出オーバーとなってしまうことが防止される。
【００７１】
次に、シェーディング予測に基づいたホワイトバランス補正制御について、図４に従って説明する。
図４において、本システムの使用者が入力装置４７を操作して背景画像の撮影を指示してから、背景画像の輝度分布をＰＣ４６へ送付してＰＣ４６内部の記憶部に保存するまでの処理手順（Ｓ５０１〜Ｓ５０３）は前述した露出補正制御のときと同様であるが、画像データはＲＧＢの各色別にＰＣ４６の記憶部に格納される。
【００７２】
輝度分布検出部４３は、露出補正制御のときと同様に、画像中心Ｏから周辺部方向への直線に沿う複数の領域（図５参照）に対して制御値である差分値を算出し（Ｓ５０４）、図１１に示すように、ＲＧＢの各色別のテーブルデータとして画像データ修正部４４のメモリに格納する（Ｓ５０５）。
【００７３】
この後、背景撮影が終了したことがメモリコントローラ４２からＩ／Ｆ部４５を介して通知される（Ｓ５０６）と、この通知を受け取ったＰＣ４６は、表示部１０７に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４を操作可能状態に戻す処理が実行される。
【００７４】
次に、使用者が観察標本を観察画像の視野内へ戻し、ホワイトバランス補正を行わせるべく、マウス等の入力装置４７を操作して自動ホワイトバランス補正ボタン３０４上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６はＩ／Ｆ部４５を介してメモリコントローラ４２に指示を与え、指定領域３０５内の画像データとその画像データを示すアドレスとをフレームメモリ４１から画像データ修正部４４へ送付させる処理を実行する。
【００７５】
画像データ修正部４４は、露出補正制御のときと同様に前掲した（３）式を用い、自身の有するメモリに格納されているテーブルデータ（図１１）の差分値を、観察画像を構成する画素の画像上の位置を示すアドレスに応じてその画素の輝度値（入力輝度値）にＲＧＢ別に加算し、その加算結果（出力輝度値）をホワイトバランス検出部３５に出力する。
【００７６】
ホワイトバランス検出部３５は、画像データ修正部４４から送られてきた指定領域３０５内の画像データの輝度値をＲＧＢの各色別に積算し、各色別の平均輝度値を求める。そして、この輝度平均値についてのＲ：Ｇ：Ｂの比を算出する。
ここで、平均輝度値についてＲ：Ｇ：Ｂ＝１：１：１の関係が成り立っておらず、ホワイトバランスが崩れていると判定された場合には、この比をＲ：Ｇ：Ｂ＝１：１：１とすべく、ホワイトバランス検出部３５はＷＢ可変利得増幅器３３に設定すべき利得値をＷＢ利得設定部３４へ出力する。
【００７７】
例えば、上述した輝度平均値が（Ｒ，Ｇ，Ｂ）＝（２００，１８０，１８０）であったならば、ホワイトバランス検出部３５は（Ｒ利得，Ｂ利得，Ｇ利得）＝（１，２００／１８０，２００／１８０）≒（１．０，１．１，１．１）をＷＢ利得設定部３４へ出力する。
【００７８】
ＷＢ利得設定部３４は、ホワイトバランス検出部３５から受け取った利得値をＷＢ可変利得増幅器３３に設定する。
以上のようにして、シェーディング予測結果に基づいて制御されているホワイトバランス補正処理が行われ、ホワイトバランス補正された観察画像がフレームメモリ４１を経てＰＣ４６に入力されるようになる（Ｓ５０７）。
【００７９】
ここで本システムの使用者が観察画像の撮像・記録を行わせるべく、マウス等の入力装置４７を操作して本撮影ボタン３０２上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６は、Ｉ／Ｆ部４５を介し、そのときにフレームメモリ４１に格納されている画像データを取得し、取得した画像データの全画素の各々に対して記憶部内の背景画像データに基づいて前述の（５）式の演算を各色別に実行する処理を行ってシェーディングの補正を行う。
【００８０】
この（５）式の演算を実行することにより、図９に示すように、観察画像の各色別の輝度分布（図８（ｂ）の▲２▼）に背景画像の中央部輝度平均値と背景画像の各色別の輝度分布との差分値（図８（ａ）の▲１▼）が画素毎に加算される結果、観察画像の周辺部の画素の輝度レベルが観察画像の中央部に対してもちあげられ、シェーディングが適正に補正される（図８（ｃ）の▲１▼＋▲２▼）。
【００８１】
ＰＣ４６は、このようにしてホワイトバランス補正とシェーディング補正とが適正に行われた後の画像データをＰＣ４６内の記憶部に保存する処理を実行し（Ｓ５０８）、撮像動作を終了する（Ｓ５０９）。
次に、本発明に係るシェーディング予測結果に基づく露出補正制御の効果について図１２、図１３及び図１４を用いて説明する。
【００８２】
図１２は、色シェーディングが発生している背景画像の輝度分布例を示している。同図を参照すると分かるように、Ｇ色及びＢ色は同様な輝度分布であるのに対し、Ｒ色は背景画像の周辺部分の光量の落ち方がＧＢに比べて大きくなっている。
【００８３】
図１３は、前掲した図９のシステムによってホワイトバランス補正がされた観察画像に対して、図１２に示したシェーディングを補正する処理を行ったときの輝度変化の様子を模式的に表したものである。
前述したように、図９のシステムでは、図２に示すシステムには設けられている画像処理部制御部１０４を有しておらず、観察画像内の指定領域３０５の画像データが、メモリコントローラ４２から直接ホワイトバランス検出部３５とＡＥ評価部３９とに入力されている。従って、図９のシステムでは、本発明に係るシェーディング予測結果に基づくホワイトバランス補正制御が行われない。
【００８４】
まず、システム使用者が、観察画像の中心付近（図１２の（ｂ）位置）の領域に対してホワイトバランス補正を指定した場合を考えてみる。この位置ではホワイトバランスがほぼ取れているので、ＷＢ利得設定部３４がＷＢ可変利得増幅器３３へ設定する利得値は、（Ｒ利得，Ｇ利得，Ｂ利得）≒（１，１，１）となる。
【００８５】
次に、システム使用者が、観察画像の周辺領域（図１２の例えば（ａ）位置）に対してホワイトバランス補正を指定した場合を考える。この位置の輝度平均値が（Ｒ，Ｇ，Ｂ）≡（１８０，２００，２００）であったとすると、ＷＢ利得設定部３４がＷＢ可変利得増幅器３３へ設定する利得値は、（Ｒ利得，Ｇ利得，Ｂ利得）＝（２００／１８０，１，１）≒（１．１，１．０，１．０）となる。この設定では観察画像の中心付近（図１２の（ｂ）位置）の領域は赤色に着色されてしまうこととなる（図１３の▲１▼参照）。
【００８６】
さらに、この撮像画像に対してシェーディング補正を行うとＲの周辺画索の輝度値を上昇させてしまうため、中心付近だけでなく観察画像全体が赤く着色されてしまう（図１３の▲２▼参照）。
これに対し、本発明に係るシェーディング予測結果に基づくホワイトバランス補正制御が行われる図２のシステムによってホワイトバランス補正がされた観察画像に対して、図１２に示したシェーディングを補正する処理を行ったときの輝度変化の様子を模式的に表したものが図１４である。
【００８７】
図２のシステムでは、使用者がまず背景画像の撮影を指示すると、撮像された背景画像についての画像データが輝度分布検出部４３へ渡され、露出補正制御のときと同様に、図１１に示す画像中心Ｏからの距離に応じた矩形領域毎の輝度平均値と中央領域の輝度平均値との差分値（図６）がＲＧＢ各色別に算出されて、その差分値が画像データ修正部４４内のメモリに格納される。
【００８８】
その後、使用者がホワイトバランス補正を指示すると、画像データ修正部４４が、メモリコントローラ４２から入力される観察画像に対し、前掲した（３）式に従って図１１に示す差分値がＲＧＢ各色別に加算されて得られる画像データがＡＥ評価部３９に渡される。この画像データは、図７に示したような、中心からの距離に応じて同心円状に一定の差分値がＲＧＢ各色別に加算されたものとなっている。
【００８９】
つまり、画像データ修正部４４は、差分値をＲＧＢ各色別に加算することで、図１２に示したような色シェーディングによる周辺部分の光量落ちを近似的に補正した、図１４に示すような輝度分布を呈している画像データをホワイトバランス検出部３５へ出力する。
【００９０】
従って、本システムの使用者がどのような領域を指定してホワイトバランス補正を指示しても、観察画像データの背景画像の色バランスが部位によらず一定に補正されているため、色シェーディングの影響で観察画像が所望していないような色彩に着色してしまうことが防止される。
【００９１】
以上までで説明した実施例を纏めると、本実施例によれば、シェーディングの発生の予測結果に基づいて露出補正とホワイトバランス補正とが制御されるので、シェーディング自体によりあるいはシェーディング補正により、露出オーバーやシステム使用者の所望していない色彩の着色が観察画像に生じることが防止される。
【００９２】
以下、本発明を実施する他の実施例について説明する。なお、以下の実施例と区別するために、ここまでで説明した本発明の実施例を「第一実施例」と称することとする。
まず、本発明の第二実施例について説明する。この実施例の特徴は、発生することが予想されるシェーディングのパターンを予め複数用意しておき、それらをシステム使用者が選択可能とした点にある。
【００９３】
本発明の第二実施例に係る顕微鏡撮像システムの構成は図１及び図２に示した第一実施例に係るものと同様であるが、表示部１０７に表示される表示画面に、予想パターン切り換えボタン１７０１とパターン表示部１７０２とが設けられている点が異なっている。この表示画面例を図１５に示す。
【００９４】
本システムの使用者が入力装置４７を操作して表示部１０７の表示画面に表示されている予想パターン切り換えボタン１７０１上のいずれかの位置を図１５では不図示であるポインタでクリックさせる指示を行う度に、ＰＣ４６は例えば図１６に示す順序の繰り返しでパターン表示部１７０２に表示されるシェーディングの予想パターンを切り換える（Ｓ１８０１〜Ｓ１８０４）処理を実行する。
【００９５】
次に、第二実施例におけるこの顕微鏡撮像システムの動作について説明する。図１７は、第二実施例におけるこの顕微鏡撮像システムによって実行される観察画像の撮影・記録動作の手順をフローチャートで示したものである。なお、以下の説明において、ＰＣ４６によって行われる処理は、ＰＣ４６の記憶部に予め格納されている制御プログラムをＰＣ４６の有するＣＰＵが読み込んで実行することによって実現される。
【００９６】
まず、シェーディング予測に基づいた露出補正制御について説明する。
観察標本を観察画像の視野から外しておいた状態で、本システムの使用者が入力装置４７を操作して表示部１０７の表示画面（図１５）に表示されている背景撮影ボタン３０１上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、図１７に示されている手順の実行が開始され、ＡＥ可変利得増幅器３７及びＷＢ可変利得増幅器３３に利得の初期値である「１」が設定されて背景画像の撮像動作が行われ、背景画像である１フレーム分の画像データとアドレスデータがＰＣ４６の記憶部で格納される一方で、これらのデータが輝度分布検出部４３と画像データ修正部４４とへ出力されるまでの動作（Ｓ１５０１からＳ１５０３にかけての動作）は、第一実施例における動作（図４のＳ５０１からＳ５０３にかけての動作）と同様である。
【００９７】
輝度分布検出部４３は、受け取った画像データ及びアドレスデータに基づいて、図１８に示すような背景画像の中央の矩形領域（ｓ１）及びその領域を通る水平線若しくは垂直線に沿う複数の矩形領域、図１８の例では１７個の矩形領域（ｓ１〜ｓ１７）の各々の輝度平均値を算出する。算出されたこれらの画像輝度平均値は画像データ修正部４４の有する不図示のメモリに格納される。
【００９８】
続いて、画像データ修正部４４は、上述した矩形領域のうちの矩形領域ｓ１を除いた矩形領域（ｓ２〜ｓ１７）について、矩形領域ｓ１との輝度平均値の差分値を算出し（Ｓ１５０４）、算出された差分値を画像データ修正部４４の有するメモリに同様に格納する（Ｓ１５０５）。この差分値がシェーディング予測結果に基づいた露出補正制御のための制御値として使用される。
【００９９】
以上のデータ処理によって、画像データ修正部４４のメモリには、第一実施例と同様、図６に示すテーブル内のデータが格納されることとなる。
この後、メモリコントローラ４２は、背景画像の撮影が終了したことをＰＣ４６へＩ／Ｆ部４５を介して通知する（Ｓ１５０６）。
この通知を受け取ったＰＣ４６では、表示部１０７に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４を操作可能状態に戻す処理が実行される。
【０１００】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置４７を操作して自動露出補正ボタン３０３上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、ＰＣ４６はＩ／Ｆ部４５を介してメモリコントローラ４２に指示を与え、指定領域３０５内の画像データとその画像データを示すアドレスとをフレームメモリ４１から画像データ修正部４４へ送付させる処理を実行する。なお、このとき、ＰＣ４６は、表示部１０７のパターン表示部１７０２におけるシェーディングの予想パターンの現在の表示内容（図１６に示した切り替え手順によって切り換えられた現在の表示内容）を示している情報を画像データ修正部４４へ送付する処理を併せて実行する。
【０１０１】
画像データ修正部４４は、ＰＣ４６から送られてきたシェーディング予想パターンの情報を読み出し（Ｓ１５０７）、この情報に応じた修正を行った画像データをＡＥ評価部３９へ送付する。
例えば、シェーディング予想パターンの情報がＯＦＦ（図１６のＳ１８０１）を示していたときには、画像データ修正部４４は、入力された画像データに対して何らの修正を行うことなくそのままその画像データをＡＥ評価部３９へ出力する。
【０１０２】
また、この予想パターン情報がパターン１（図１６のＳ１８０２）のときには、既に説明した第一実施例と同様のパターン（図７に示したシェーディング予想パターン）が選択されているものとし、画像データ修正部４４は、前掲した（３）式の演算、すなわち、入力された画像データで表現されている画像の各画素の位置と中心位置との距離に基づいた前述した差分値を入力輝度値に加算する演算を行い、得られた出力輝度値をＡＥ評価部３９へ出力する。
【０１０３】
また、この予想パターン情報がパターン２（図１６のＳ１８０３）のときには、画像データ修正部４４は、入力された画像データで表現されている画像の各画素の水平方向の位置が、その画面全体を水平方向に区切った複数の領域（図１９（ａ）のｈ１〜ｈ９の各領域）のうちのいずれに属するかを各画素の位置を示すアドレスに基づいて判別する。
【０１０４】
ここで、画素の位置を示すアドレスがｈｉ（ｉ＝１，２，３，…，９）のいずれかに含まれていることを示していたならば、画像データ修正部４４は、図６に示した画像データ修正部４４のメモリに格納されている差分値のうちｓｉで示される位置に格納されているものを、その画素についての入力画像輝度値に加算する演算を行い、得られた出力輝度値をＡＥ評価部３９へ出力する。
【０１０５】
また、この予想パターン情報がパターン３（図１６のＳ１８０４）のときには、画像データ修正部４４は、入力された画像データで表現されている画像の各画素の垂直方向の位置が、その画面全体を垂直方向に区切った複数の領域（図１９（ｖ）のｖ１及びｖ１０〜ｖ１７の各領域）のうちのいずれに属するかを各画素の位置を示すアドレスに基づいて判別する。
【０１０６】
ここで、画素の位置を示すアドレスがｖｉ（ｉ＝１，１０，１１，…，１７）のいずれかに含まれていることを示していたならば、画像データ修正部４４は、図６に示した画像データ修正部４４のメモリに格納されている差分値のうちｓｉで示される位置に格納されているものを、その画素についての入力画像輝度値に加算する演算を行い、得られた出力輝度値をＡＥ評価部３９へ出力する。
【０１０７】
つまり、パターン１〜３を操作者が切り換えて選択すると、画像データ修正部４４は画像データを異なった方法で修正し、また、ＯＦＦの選択を行ったときには画像データ修正部４４は画像データの修正を行わない。
この後、画像データ修正部４４からＡＥ評価部３９へ送られてきた画像データに基づいてＡＥ設定３８が指定領域３０５の画像データに対する露出時間と利得値との補正のための設定を行った後、本システムの使用者が入力装置４７を操作して本撮影ボタン３０２上のいずれかの位置を不図示のポインタでクリックさせる指示を行うことにより、露出補正が適正になされている画像データがフレームメモリ４１からＰＣ４６に取り込まれてシェーディング補正がされ、補正後の画像データがＰＣ４６内の記憶部に保存され撮像が終了するまでの処理の手順（Ｓ１５０８〜Ｓ１５１０）は、第一実施例におけるもの（Ｓ５０７〜Ｓ５０９）と同様である。
【０１０８】
以上のようにして実現される、第二実施例に係るシェーディング予測結果に基づく露出補正制御の効果について図２０を用いて説明する。
シェーディングの発生は、撮像レンズ等の光学的な要因によるものと、入射方向に対する撮像素子の感度ムラなど撮像デバイス自体に起因するものとに大別される。前者の要因によって生じるシェーディングのパターンの典型的な例としては、画像の中心部から周辺部にかけて同心円状に光量が落ちているものが知られている。前述したもののうち図７や図８（ａ）に示したシェーディングのパターンがまさにこのパターンであるといえる。
【０１０９】
一方、後者の要因によって生じるシェーディングのパターンの典型的な例としては、画像の水平方向や垂直方向などある一定の方向に沿って輝度分布が変化し、画面端の光量が落ちているものが知られている。図１９や図２０に示したシェーディングのパターンがこのパターンである。
【０１１０】
第一実施例においては、光量落ちが同心円状に発生していた場合、画像データ修正部４４は同心円状のパターンに応じて周辺部の輝度値を修正した値をＡＥ評価部３９へ出力する。この結果、ＡＥ設定部３８は近似的に画面全体で一様な輝度値を基にして露出補正のための設定値を求めるようになるので、撮像画像の中心付近が明る過ぎとなってしまうことや、その後のシェーディング補正によってシステム使用者による測光指定部位が明る過ぎとなってしまうことが回避される。
【０１１１】
しかし、光量落ちが水平方向に発生していた場合、例えば観察画面の左方が暗くなっている場合、第一実施例の手法でＡＥ評価部３９に入力される画像データの修正を行うと、画面右方の輝度値までも高めてしまうために輝度平均値が大きくなってしまう。こうなると、露出補正の設定は逆に光量を下げる方向とされる結果、観察画像が暗くなってしまうおそれがある。
【０１１２】
第二実施例では、光量落ちが水平方向に発生している場合に使用者がパターン１を選択した状態で露出補正を指示すると、第一実施例と同様に、同心円状のパターンに応じて周辺部の輝度値を修正した値で露出補正のための設定値を求めることとなるため、観察画像が暗くなってしまう。
【０１１３】
しかし、このような場合であっても、第二実施例では、使用者がパターン２の選択に切り換えた後に本システムに対して露出補正を指示すれば、画像の輝度が水平方向に落ちていたとしても（図２０（ａ）のＡ）、画像の中心付近の輝度に近似的に補正した輝度分布（同図Ｂ）に基づいてＡＥ設定部３８が露出補正のための設定値を求めるので、撮影・記録された観察画像が暗くなることが防止される。
【０１１４】
また、光量落ちが垂直方向に発生している場合に使用者がパターン１を選択した状態で露出補正を指示すると、第一実施例と同様に、同心円状のパターンに応じて周辺部の輝度値を修正した値で露出補正のための設定値を求めることとなるため、観察画像が暗くなってしまう。
【０１１５】
しかし、このような場合であっても、第二実施例では、使用者がパターン３の選択に切り換えた後に本システムに対して露出補正を指示すれば、画像の輝度が垂直方向に落ちていたとしても（図２０（ｂ）のＣ）、画像の中心付近の輝度に近似的に補正した輝度分布（同図Ｄ）に基づいてＡＥ設定部３８が露出補正のための設定値を求めるので、撮影・記録された観察画像が暗くなることが防止される。
【０１１６】
次に、第二実施例におけるシェーディング予測に基づいたホワイトバランス補正の制御について説明する。
ホワイトバランス補正の制御の処理手順は、上記の露出補正の制御（図１７）と同様であるため詳細な説明は省略するが、画像データにおける各画素の輝度値をすべてＲＧＢ各色別に取得してその各々について輝度分布を修正した値が画像データ修正部４４からホワイトバランス検出部３５へ送付する点が異なっている。
【０１１７】
第二実施例に係るシェーディング予測結果に基づくホワイトバランス補正制御の効果について図２１を用いて説明する。
背景画像が図２１に示すような輝度分布、すなわちＲ色の輝度分布がＧＢ色よりも落ちており、更にＲ色の輝度分布においてもその水平方向の右方が落ちている輝度分布を有している場合、第一実施例に係る手法でＲＧＢ各色別の輝度分布の修正を行うと、同心円状に等しく周辺部の輝度を上昇させるため、Ｒの輝度分布Ａ’はＣ’へと修正されてしまう。この状態において例えば画像の左端寄りのＳ５の領域を指定してホワイトバランス補正を指示した場合には、ＲＧＢの各色の輝度値はその領域内ではほぼ等しいためＲＧＢの利得値はほぼ同一の値となってしまう。従って、ＧＢに比べてＲが小さいシアン色の背景色を白とするように設定してもホワイトバランスの補正が適切になされない。
【０１１８】
一方、第二実施例においては、使用者がパターン１を選択した状態でホワイトバランス補正を指示すると、第一実施例と同様にホワイトバランスの補正が適切になされない。しかし、使用者がパターン２を選択した状態でホワイトバランス補正を指示すれば、ホワイトバランスを検出するための画像データの輝度分布が水平方向に対してほぼー様に修正される（図２１のＢ’）ので、Ｒ色の輝度を上昇させるように利得の設定がなされることとなり、背景色が適切に白色に補正される。
【０１１９】
また、輝度分布が垂直方向に変化しているのであれば、使用者がパターン３を選択した状態でホワイトバランス補正を指示すれば、同様に背景色が白色に適切に補正される。
このように、第二実施例によれば、使用者によって選択されるシェーディング予想パターンで近似的に周辺光量不足を修正した画像データに基づいて露出補正やホワイトバランス補正を行うため、観察状態によってシェーディングの状態が異なっていても適切な明るさ・色彩バランスの観察画像が得られるようになる。
【０１２０】
次に本発明の第三実施例について説明する。この実施例の特徴は、背景画像についての画像データから得られる全ての画索について、制御値である各画素の輝度修正値とその画像上の位置を示すアドレスとを予めシステム内のメモリに格納しておき、画素単位で修正した画像データに対して露出補正、ホワイトバランス補正を行うことにある。
【０１２１】
本発明の第三実施例に係る顕微鏡撮像システムの構成は図１及び図２に示した第一実施例に係るものと同様であるため詳細な説明は省略するが、第三実施例に係る顕微鏡撮像システムでは、画像処理部制御部１０４の動作が第一実施例に係るものと異なっている。
【０１２２】
観察標本を観察画像の視野から外しておいた状態で、本システムの使用者が入力装置４７を操作して表示部１０７の表示画面に表示されている背景撮影ボタン３０１上のいずれかの位置をポインタでクリックさせる指示を行うと、ＡＥ可変利得増幅器３７及びＷＢ可変利得増幅器３３に利得の初期値である「１」が設定されて背景画像の撮像動作が行われ、背景画像である１フレーム分の画像データとアドレスデータがＰＣ４６の記憶部で格納される一方で、これらのデータが輝度分布検出部４３と画像データ修正部４４とへ出力されるまでの動作は、第一実施例における動作（図４のＳ５０１からＳ５０３にかけての動作）と同様である。
【０１２３】
輝度分布検出部４３は、受け取った画像データ及びアドレスデータに基づいて、図２２に示すような背景画像の中央の矩形領域Ｓの輝度平均値を算出し、更に、アドレスデータを参照して各画索の輝度値と中心領域Ｓの輝度値との差分値を算出する（図４のＳ５０４に相当）。算出された全画素分の差分データは画像データ修正部４４の有する不図示のメモリに格納される（図４のＳ５０５に相当）。この差分値がシェーディング予測結果に基づいた露出補正制御及びホワイトバランス補正制御のための制御値として使用される。
【０１２４】
以上のデータ処理によって、画像データ修正部４４のメモリには、図２３に示すような、各画素に対応する差分データが画像データの全画素分格納されることとなる。
この後、メモリコントローラ４２は、背景画像の撮影が終了したことをＰＣ４６へＩ／Ｆ部４５を介して通知する（図４のＳ５０６に相当）。
この通知を受け取ったＰＣ４６では、表示部１０７に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン３０２、自動露出補正ボタン３０３、及び自動ホワイトバランス補正ボタン３０４を操作可能状態に戻す処理が実行される。
【０１２５】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置４７を操作して自動露出補正ボタン３０３上のいずれかの位置をポインタでクリックさせる指示を行うと、ＰＣ４６はＩ／Ｆ部４５を介してメモリコントローラ４２に指示を与え、指定領域３０５内の画像データとその画像データを示すアドレスとをフレームメモリ４１から画像データ修正部４４へ送付させる処理を実行する。
【０１２６】
画像データ修正部４４は、メモリコントローラ４２から送られてきたアドレス（ｘ，ｙ）と自身のメモリに格納されているアドレスとを比較し、一致したアドレスに保存されている差分値をそのアドレスに対応する画素の輝度値に加算し、加算結果をＡＥ評価部３９へ出力する。
【０１２７】
この後、ＡＥ評価部３９から指定領域３０５の輝度積算値を受け取ったＡＥ設定部３８が露出利得と露出時間とを求め、ＡＥ可変利得増幅器３７及びＣＣＤ駆動部４８に設定した後、システム使用者が撮影を指示し、画像撮影及び画像データの記録が完了するまでの手順は第一実施例と同様である。
【０１２８】
また、本システムの使用者がホワイトバランス補正を指示したときの各部動作は、上述した露出補正の指示がなされたときの動作とほぼ同様であるため詳細は省略するが、輝度分布検出部４３が画像データの輝度分布をすべてＲＧＢ各色別に取得して処理し、その各々について輝度分布を修正した画像データをホワイトバランス検出部３５に入力する点が異なっている。
【０１２９】
以上のようにして実現される、第三実施例に係るシェーディング予測結果に基づく露出補正制御及びホワイトバランス補正制御の効果について図２４を用いて説明する。
背景画像が図２４に示すようなランダムな輝度分布を有する場合、第一実施例のように同心円状に画像データの輝度分布を修正したり、第二実施例のように一定方向に変化する輝度分布を仮定して輝度値を修正したりしても、修正後の輝度値は部位ごとにまちまちになってしまう。
【０１３０】
これに対し、第三実施例に係るシステムでは、画像を構成する全ての画素について、画像の中央近辺の輝度平均値との差分を画素単位で加算して得られる、背景画像の輝度値を全体で一様になるように修正した画像データに基づいて露出補正やホワイトバランス補正が行われる。
【０１３１】
従って、背景画像の輝度分布に規則性が見られない、全くのランダムな分布を呈しているものであっても、露出補正を適切に行うことができる。
また、背景画像がＲＧＢ各色別にランダムな輝度分布を有する場合も、画像全体でー様な輝度分布に修正した画像データに基づいたホワイトバランスの補正がなされるため、観察画像に対するシステム使用者の指定部位によって色バランスが変化してしまうことなく、一様にホワイトバランスを補正することができる。
【０１３２】
なお、以上までに説明した第一、第二、及び第三の各実施例において図１及び図２に示した顕微鏡撮像システムの画像処理部１０３及び画像処理部制御部１０４における各構成要素に行わせていた各種の処理を前述したような標準的な構成を有するコンピュータのＣＰＵに行わせるための制御プログラムを作成し、この作成された制御プログラムをこのコンピュータで読み取り可能な記録媒体に記録させておき、その制御プログラムを記録媒体からこのコンピュータに読み込ませてＣＰＵで実行させるようにすれば、本発明に係るシェーディング予測に基づいた露出補正制御若しくはホワイトバランス補正制御をこのコンピュータに行わせることもできる。
【０１３３】
記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置、フレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能記録媒体等が利用できる。
【０１３４】
また、記録媒体は通信回線を介してコンピュータシステムと接続される、プログラムサーバとして機能するコンピュータが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータシステムへ伝送するようにし、コンピュータシステムでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをＣＰＵで実行できるようになる。
【０１３５】
なお、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、前述した第一実施例において、制御値である輝度の差分値を算出する際の同心円パターンの中心位置を移動可能としてもよく、そのためには画像を構成する各画素の位置を示すアドレスに適当なオフセット値を加算するようにすればよい。また、前述した第一及び第二実施例において、制御値である輝度の差分値を算出する際の領域の形状は矩形に限定されるものではなく、任意の形状に変形可能である。また、その大きさも任意に変更可能である。こうすることにより、多種多様なシェーディングに対して本発明に係る手法を適用可能とするだけでなく，露出補正の精度を高め、システム使用者の意図に対してより忠実な露出補正処理やホワイトバランス補正処理を提供することが可能となる。
【０１３６】
【発明の効果】
以上詳細に説明したように、本発明は、被写体が表されている被写体画像の露出若しくはホワイトバランスを補正する画像処理を、この画像処理が施されると被写体画像に発生することが予測されるシェーディングについての予測結果に基づいて制御するようにする。
【０１３７】
こうすることにより、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させた適切な画像が提供できるようになるという効果を本発明は奏する。
【図面の簡単な説明】
【図１】本発明を実施する顕微鏡撮像システムの概略構成を示す図である。
【図２】本発明を実施する顕微鏡撮像システムの詳細構成を示す図である。
【図３】観察画像の表示例を示す図である。
【図４】観察画像の撮影・記録動作の処理手順を示す図である。
【図５】背景画像に設定される部分領域を示す図である。
【図６】画像データ修正部内のメモリに格納されるデータを示す図（その１）である。
【図７】シェーディングの発生パターンの例を示す図である。
【図８】シェーディング補正の様子を示す図である。
【図９】シェーディング予測結果に基づく露出補正制御を行わない顕微鏡用撮像システムの構成を示す図である。
【図１０】本発明に係るシェーディングの予測結果に基づいた露出補正制御の効果を示す図である。
【図１１】画像データ修正部内のメモリに格納されるデータを示す図（その２）である。
【図１２】色シェーディングが発生している背景画像の輝度分布例を示す図である。
【図１３】シェーディング予測結果に基づく制御のされていないホワイトバランス補正を行ったときの輝度分布を示す図である。
【図１４】シェーディング予測結果に基づく制御がされているホワイトバランス補正を行ったときの輝度分布を示す図である。
【図１５】第二実施例における観察画像の表示例を示す図である。
【図１６】シェーディング予想パターンの切換手順を示す図である。
【図１７】第二実施例における観察画像の撮影・記録動作の処理手順を示す図である。
【図１８】第二実施例において背景画像に設定される部分領域を示す図である。
【図１９】シェーディングの発生予想パターンの例を示す図である。
【図２０】第二実施例に係るシェーディング予想結果に基づいた露出補正制御の効果を説明する図である。
【図２１】第二実施例に係るシェーディング予想結果に基づいたホワイトバランス補正制御の効果を説明する図である。
【図２２】第三実施例において背景画像に設定される部分領域を示す図である。
【図２３】画像データ修正部内のメモリに格納されるデータを示す図（その３）である。
【図２４】第三実施例に係る制御の効果を説明する図である。
【符号の説明】
１ 顕微鏡
３ 透過観察用光学系
４ 落射観察用光学系
５ 透過照明用光源
６ コレクタレンズ
７ 透過用フィルタユニット
８ 透過視野絞り
９ 折曲げミラー
１０、１１ コンデンサ光学素子ユニット
１２ トップレンズユニット
１３ 落射照明用光源
１４ 落射用フィルタユニット
１５ 落射シャッタ
１６ 落射視野絞り
１７ 落射開口絞り
１８ ステージ
１９ 対物レンズ
２０ レボルバ
２１ キューブユニット
２２ ビームスプリッタ
３１ 撮像素子
３２ 前置処理部
３３ ＷＢ可変利得増幅器
３４ ＷＢ利得設定部
３５ ホワイトバランス検出部
３７ ＡＥ可変利得増幅器
３８ ＡＥ設定部
３９ ＡＥ評価部
４１ フレームメモリ
４２ メモリコントローラ
４３ 輝度分布検出部
４４ 画像データ修正部
４５ Ｉ／Ｆ部
４６ ＰＣ
４７ 入力装置
４８ ＣＣＤ駆動部
４９ Ａ／Ｄ変換部
１０２ 撮像部
１０３ 画像処理部
１０４ 画像処理部制御部
１０６ 画像制御部
１０７ 表示部
３０１ 背景撮影ボタン
３０２ 本撮影ボタン
３０３ 自動露出補正ボタン
３０４ 自動ホワイトバランス補正ボタン
３０５ 指定領域
３０６ 標本像
１７０１ 予想パターン切り換えボタン
１７０２ パターン表示部
Claims (6)
- 被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を行う画像処理手段と、
前記被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理手段を制御する制御手段と、
を有し、
前記制御手段は、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理手段を制御することを特徴とする画像処理システム。 - 前記被写体画像は、前記被写体である観察標本についての顕微鏡での観察像を撮像して得られた画像であることを特徴とする請求項１に記載の画像処理システム。
- 前記画像処理手段により処理が施された後の前記被写体画像に発生しているシェーディングを補正するシェーディング補正手段を更に有することを特徴とする請求項１に記載の画像処理システム。
- 前記制御手段は、前記背景画像内の中央部分に位置する矩形状領域に含まれている各画素の輝度値の平均値と、当該背景画像内の周辺部分に位置する矩形状領域に含まれている各画素の輝度値若しくは当該輝度値の平均値と、の差分値に基づいてシェーディングを予測することを特徴とする請求項１に記載の画像処理システム。
- 被写体が表されている被写体画像の露出若しくはホワイトバランスを補正する画像処理を、当該被写体画像に発生することが予測されるシェーディングの予測結果に基づいて制御する方法であって、
前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように制御することを特徴とする画像処理制御方法。 - 被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を当該被写体画像に対して施す画像処理と、
前記被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理を制御する制御処理と、
をコンピュータに行わせるためのプログラムであって、
前記制御処理は、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の１方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理を制御することを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003136509A JP4309695B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理システム、画像処理制御方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003136509A JP4309695B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理システム、画像処理制御方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004343358A JP2004343358A (ja) | 2004-12-02 |
| JP4309695B2 true JP4309695B2 (ja) | 2009-08-05 |
Family
ID=33526454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003136509A Expired - Fee Related JP4309695B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理システム、画像処理制御方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4309695B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4603319B2 (ja) * | 2004-09-01 | 2010-12-22 | パナソニック株式会社 | 画像入力装置 |
| US7612805B2 (en) | 2006-07-11 | 2009-11-03 | Neal Solomon | Digital imaging system and methods for selective image filtration |
| US8270754B2 (en) * | 2009-06-22 | 2012-09-18 | Qualcomm Incorporated | Lens roll-off correction operation using values corrected based on brightness information |
| JP5358344B2 (ja) * | 2009-08-12 | 2013-12-04 | 三星テクウィン株式会社 | 撮像装置及び撮像方法 |
| JP5649409B2 (ja) * | 2010-11-04 | 2015-01-07 | 株式会社東芝 | 画像処理装置 |
| JP6346431B2 (ja) * | 2013-11-13 | 2018-06-20 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 画像処理装置及び画像処理方法 |
-
2003
- 2003-05-14 JP JP2003136509A patent/JP4309695B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004343358A (ja) | 2004-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180184061A1 (en) | Image processing apparatus, image processing method, imaging apparatus, and recording medium | |
| JP5445363B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US8391597B2 (en) | Image capturing apparatus, method for capturing image, and program | |
| US6876399B1 (en) | Image sensing apparatus for microscope | |
| US8035721B2 (en) | Imaging apparatus | |
| JP4512278B2 (ja) | 顕微鏡システム | |
| US8237811B2 (en) | Imaging apparatus, control method thereof, and program | |
| US7864239B2 (en) | Lens barrel and imaging apparatus | |
| CN104702824A (zh) | 摄像装置及摄像装置的控制方法 | |
| JP2009044367A (ja) | 撮影方法及び撮影装置 | |
| US10368008B2 (en) | Imaging apparatus and control method wherein auto bracket parameters and image processes applied are determined from image analysis | |
| JP2012023606A (ja) | 撮像装置、その制御方法及びプログラム | |
| JPH09298683A (ja) | 映像信号処理方法及び映像信号処理装置 | |
| JP4309695B2 (ja) | 画像処理システム、画像処理制御方法、及びプログラム | |
| JP2003234955A (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
| JP4504644B2 (ja) | 顕微鏡像撮像装置及び顕微鏡像撮像方法 | |
| US20070211165A1 (en) | Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded | |
| US20070019105A1 (en) | Imaging apparatus for performing optimum exposure and color balance control | |
| JP5233458B2 (ja) | 画像編集装置及び画像編集プログラム | |
| JP2007027943A (ja) | 撮像装置、プログラムおよびシェーディング処理方法 | |
| JP2011223378A (ja) | 電子カメラ | |
| JP3854100B2 (ja) | 撮像装置 | |
| US6980251B1 (en) | Image sensing apparatus which carries out optimum exposure control of subject | |
| JP2004086031A (ja) | 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム | |
| JP4335648B2 (ja) | デジタルカメラ及びデジタルカメラの撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090226 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090508 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |