JP4309695B2 - 画像処理システム、画像処理制御方法、及びプログラム - Google Patents
画像処理システム、画像処理制御方法、及びプログラム Download PDFInfo
- Publication number
- JP4309695B2 JP4309695B2 JP2003136509A JP2003136509A JP4309695B2 JP 4309695 B2 JP4309695 B2 JP 4309695B2 JP 2003136509 A JP2003136509 A JP 2003136509A JP 2003136509 A JP2003136509 A JP 2003136509A JP 4309695 B2 JP4309695 B2 JP 4309695B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shading
- unit
- correction
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理技術に関し、特に、画像の露出若しくはホワイトバランスの補正処理の技術に関する。
【0002】
【従来の技術】
撮像装置におけるレンズ等の結像光学系自体の特性等の影響により、シェーディングと一般的に称されている、撮像された画像の光量がその画像内で不均一にばらついてしまう現象が発生することがある。従来は、撮像後の画像に対し、経験的に得られている補正値や実測結果に基づいた画像処理を施すことによってシェーディングによる画像劣化の補正を行っている。
【0003】
このシェーディングは結像光学系の特性や、電子カメラの場合にはCCD(Charge Coupled Device )等の撮像素子の特性により撮像画像内で様々な形状となって現れる。このうち、光の三原色の色毎の輝度分布特性の違いに起因して撮像画像が不自然に着色してしまう現象は色シェーディングと称されている。
【0004】
顕微鏡によって得られる標本像を専ら撮像する顕微鏡用撮像装置においては、シェーディングが標本の観察にとりわけ大きな影響を及ぼすが、対物レンズの種類、検鏡法、照明等の違いによって多種多様なシェーディングの発生が想定される。このようなシェーディングの補正を行えるようにする技術として、例えば特許文献1には、標本の存在しない背景のみの画像を対物レンズ毎に予め撮影しておき、この撮影によって得られた背景画像に基づいて生成される対物レンズ毎の補正データを用いて撮像画像に生じているシェーディングを補正する手法が開示されている。
【0005】
【特許文献1】
特開2001−281554号公報
【0006】
【発明が解決しようとする課題】
多くの撮像装置では、撮像画像の明るさ・色彩の表現を適切なものとするために、操作者の指定する画像内の部分領域に対して露出やホワイトバランスの補正を自動的に行う機能が設けられている。しかしながら、光量低下や色変化といった前述したシェーディングが発生している画像部分に対してこのような露出やホワイトバランスの補正を施しても、適切な撮像画像が得られないことがある。
【0007】
このような補正が施された後の撮像画像に対して前述したシェーディング補正を行っても、適切な画像が得られないことがある。例えば、シェーディングによって光量の低下している画像部分に対して露出補正を施し、その部分の明るさを適切なものとした後にシェーディング補正を単純に施すと、その画像部分を更に明るくしてしまって過補正の状態となってしまう。
【0008】
ここで、未補正の撮像画像に対してシェーディング補正を先に行い、その後に露出やホワイトバランスの補正を行うようにすることも考えられる。しかし、画像に生じているシェーディングを補正する画像処理というものは一般的には処理量が膨大である。その一方で、標本の状態の観察等のためにリアルタイム若しくはそれに近いフレームレートでの表示が要求される観察画像としては、露出やホワイトバランスの補正が施されたものを表示する必要があるため、シェーディング補正を露出やホワイトバランスの補正前に行うと、観察画像表示のリアルタイム性が失われてしまうことがある。
【0009】
本発明は上述した問題を鑑みてなされたものであり、その解決しようとする課題は、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させて適切な画像を提供できるようにすることである。
【0010】
【課題を解決するための手段】
本発明の態様のひとつである画像処理システムは、被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を行う画像処理手段と、当該被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理手段を制御する制御手段と、を有し、前記制御手段は、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理手段を制御するように構成するというものであり、このシステムを使用することによって前述した課題が解決される。
【0011】
この構成によれば、被写体画像に発生することが予測されるシェーディングについての予測結果に基づいて露出補正処理若しくはホワイトバランス補正処理が制御されるので、これらの処理の後に更にシェーディング補正を行ってもシェーディング補正後の被写体画像が不適切なものとならないようにこれらの処理を制御することにより、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させた適切な画像が提供できるようになる。
【0012】
また、画像処理制御手段は、被写体画像に対してシェーディング補正を行う画像処理よりも処理量が遥かに少ない、被写体画像の露出の補正若しくはホワイトバランスの補正の処理の制御を行うので、観察画像表示のリアルタイム性が失われることがない。
また、この画像処理システムは、制御手段が、前述した被写体画像とは別に撮像された画像であって前述した被写体が表されていない画像である背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域から予測されるシェーディングの予測結果に基づいて画像処理手段を制御する。この構成は、被写体画像に露出の補正若しくはホワイトバランスの補正の処理が施されたときに発生するシェーディングの予測手法の一例として、背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域に基づくシェーディング予測を行うというものである。
また、この制御手段は、前述した被写体画像とは別に撮像された画像であって前述した被写体が表されていない画像である背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域から予測されるシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前述した画像処理を施させるように画像処理手段を制御する。こうすることにより、画像処理制御手段によって行われるシェーディング予測結果に基づいた制御のための処理負担が軽減される。
【0013】
なお、上述した本発明に係る画像処理システムにおいて、被写体画像を、例えば被写体である観察標本についての顕微鏡での観察像を撮像して得られた画像とすることができる。
前述したように、顕微鏡での観察像の撮像画像に生じているシェーディングは標本の観察にとりわけ大きな影響を及ぼすので、こうすることにより、シェーディングが標本の観察に及ぼしている影響を排除することができる。
【0014】
また、前述した本発明に係る画像処理システムにおいて、前述した画像処理制御手段により処理が施された後の被写体画像に発生しているシェーディングを補正するシェーディング補正手段を更に有するように構成してもよい。
【0015】
この構成によれば、この画像処理システムで被写体画像に対するシェーディング補正を施すこともできるようになる。
【0017】
また、ここで、制御手段が、前述した背景画像内の中央部分に位置する矩形状領域に含まれている各画素の輝度値の平均値と、その背景画像内の周辺部分に位置する矩形状領域に含まれている各画素の輝度値若しくはこの輝度値の平均値と、の差分値に基づいてシェーディングを予測するようにしてもよい。
【0018】
この構成は、画像処理制御手段の具体的な構成の一例として、上述した差分値に基づいて被写体画像の露出の補正若しくはホワイトバランスの補正の処理の制御を行うというものである。
【0019】
本発明の別の態様のひとつである画像処理制御方法は、被写体が表されている被写体画像の露出若しくはホワイトバランスを補正する画像処理を、当該被写体画像に発生することが予測されるシェーディングの予測結果に基づいて制御する方法であって、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように制御するというものであり、この方法を使用することによって、前述した本発明に係る画像処理システムと同様の作用・効果が得られ、前述した課題が解決される。
【0020】
また、被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を当該被写体画像に対して施す画像処理と、この被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理を制御する制御処理と、をコンピュータに行わせるためのプログラムであって、前記制御処理が、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理を制御することを特徴とするプログラムについても本発明に係るものであり、このプログラムをコンピュータで実行させることにより、前述した本発明に係る画像処理システムと同様の作用・効果が得られる結果、前述した課題が解決される。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。なお、ここでは、顕微鏡によって得られる標本像を専ら撮像する顕微鏡用撮像システムにおいて本発明を実施する形態について説明する。
【0022】
図1は本発明を実施する顕微鏡用撮像システムの概略構成を示している。
図1において、撮像部102によって撮像された顕微鏡1の観察像を表現している画像データ(画像を構成する全ての画素の輝度を示すデータ)が画像処理部103に入力されると、画像処理部103はその画像データを一旦画像処理部制御部104へ出力する。
【0023】
画像処理部制御部104は、画像処理部103からの画像データの補正を行い、補正後の画像データを画像処理部103へ出力する。
画像処理部103は、画像処理部制御部104からの補正画像データに対して画像制御部106より指示された所定の画像処理を施し、その処理後の画像データを画像制御部106へ出力する。画像制御部106は画像処理部103によって処理された後の画像データを表示部107へ送付して顕微鏡1での観察画像の表示を表示部107に行わせると共に、撮影指示に応じて観察画像の記録を行う。
【0024】
次に、本発明を実施する顕微鏡用撮像システムの各構成の詳細について、図2を用いて説明する。
顕微鏡1は透過観察用光学系3と落射観察用光学系4とを備えている。
透過観察用光学系3では、ハロゲンランプ等の透過観察用光源5から放射された光がコレクタレンズ6、透過用フィルタユニット7、透過視野絞り8、折り曲げミラー9、コンデンサ光学素子ユニット10及び11、トップレンズユニット12を経て、ステージ18上に載置されている図示しない標本に照射される。
【0025】
一方、落射観察用光学系4では、落射照明用光源13から放射される光が落射用フィルタユニット14、落射シャッタ15、落射視野絞り16、落射開口絞り17、キューブユニット21、対物レンズ19を経て上述した標本に照射される。ここで、キューブユニット21では、明視野観察や蛍光観察などといった各種検鏡法に応じ、そこに設置されているダイクロイックミラーを切り換えることができる。
【0026】
落射照明光学系4の光軸と透過照明光学系3の光軸とが重なっている観察光路S上には、対物レンズ19を切り換えるためのレボルバ20と、観察光路Sを接眼レンズ側と撮像装置側とに分岐するビームスプリッタ22とが配置されている。
【0027】
ビームスプリッタ22及び観察光路Sを通過した光は撮像部102に入射する。
撮像部102は観察光路S上に配置されており、撮像素子31、A/D変換部49、前置処理部32、及びCCD駆動部48から構成されている。撮像素子31の出力はA/D変換部49に、A/D変換部49の出力は前置処理部32に、そしてCCD駆動部48の出力は撮像素子31に、各々導かれるように接続されている。
【0028】
顕微鏡1から入射する、所定の倍率まで拡大された観察標本像が撮像素子31上で結像すると、この観察標本像は撮像素子31によって光電変換されてアナログ電気信号としてA/D変換部49へ出力される。なお、本実施形態においては、撮像素子31としてCCD(Charge Coupled Device )を使用している。
【0029】
A/D変換部49はこのアナログ電気信号をデジタルデータである画像データへ変換する。その後、この画像データは前置処理部32において光の三原色であるR(赤)、G(緑)、B(青)各色の画像データに分離されて画像処理部103へ出力される。この他に、前置処理部32からはアドレス信号も出力される。これは、前置処理部32から出力される画像データの各々が1フレームの画像内におけるどの位置の画素に対応するものであるかを2次元アドレス(x,y)で表したものである。
【0030】
画像処理部103は、WB可変利得増幅器33、WB利得設定部34、ホワイトバランス検出部35、AE可変利得増幅器37、AE設定部38、AE評価部39、フレームメモリ41、メモリコントローラ42、及びI/F部45から構成されている。
【0031】
前置処理部32から画像処理部103に入力されるRGB各色の画像データに対し、AE(Auto Exposure :自動露出)可変利得増幅器37はAE設定部38によって設定された各色一様の係数値を乗じて露出補正を施し、補正後の画像データをWB可変利得増幅器33へ出力する。
【0032】
WB(White Balance )可変利得増幅器33は、可変利得増幅器37から送られてきた画像データに対してWB利得設定部34によって設定されるRGB各色別の係数値を乗じてホワイトバランスの補正を施し、補正後の画像データをフレームメモリ41へ出力する。
【0033】
フレームメモリ41は、撮像部102において撮像された観察標本像の1フレーム分の画像データを一時的に記憶するものである。
画像制御部106は、パーソナルコンピュータ本体(以下PCと略す)46とキーボードやマウス等の入力装置47とから構成される。なお、PC46は、制御プログラムを実行することで各構成要素を制御するCPU(Central Processing Unit :中央演算装置)と、ROMやRAM及び磁気記憶装置などからなり、CPUに各構成要素を制御させる制御プログラムの記憶やCPUが制御プログラムを実行する際のワークエリアあるいは各種データの記憶領域として使用される記憶部と、図2に示したシステム(以下、「本システム」ともいう)の使用者による操作に対応付けられている各種のデータが取得される入力部と、表示部107等の出力装置に各種のデータを提示して使用者に通知する出力部と、画像制御部106等の他の機器に接続して各種のデータの授受を可能とするためのインタフェース機能を提供するI/F部とを備える、ごく標準的な構成を有するものでよい。
【0034】
PC46は、入力装置47に対してなされた本システムの使用者による操作に対応付けられている入力に応じた画像処理の実行を画像処理部103に指示する一方で、画像処理がされた後の画像データを画像処理部103から取り込んでその画像データで表現されている観察画像を表示部107に表示させると共に、図3に示すような矩形の指定領域305をその観察画像内に表示させる。
【0035】
図3に示す観察画像の表示例において、標本像306と共に表示されている指定領域305は移動可能であり、またその形状や大きさを観察画像内で任意に変えることができる。本システムの使用者は、この指定領域305を自動露出補正若しくはホワイトバランス補正を施す領域として指定する。使用者がマウス等の入力装置47を操作して図3では不図示であるポインタで自動露出補正ボタン303上のいずれかの位置をクリックさせる指示を行うことにより、指定領域305に対する測光及び露出補正の処理が実行される。同様にして自動ホワイトバランス補正ボタン304上のいずれかの位置をクリックさせる指示を使用者が行えばホワイトバランス補正処理が実行される。
【0036】
なお、背景撮影ボタン301及び本撮影ボタン302については後述する。
図2の説明へ戻る。
メモリコントローラ42は、PC46によってI/F部45を介して指定された観察画像上の任意領域内の画像データとアドレスデータとをフレームメモリ41から読み出し、これらのデータを、画像処理部制御部104を構成している輝度分布検出部43及び画像データ修正部44へ出力する。
【0037】
輝度分布検出部43は、メモリコントローラ42から送られてきたこれらのデータに基づいて露出補正制御及びホワイトバランス補正制御のための制御データを生成し、生成された制御データを画像データ修正部44へ出力する。
画像データ修正部44は,メモリコントローラ42から送られてきた画像データに対し、輝度分布検出部43から送られてきた制御データを用いて修正処理を施し、修正された画像データをホワイトバランス検出部35とAE評価部39とへ出力する。なお、画像データ修正部44による修正処理の動作はメモリコントローラ42からの指示によってON/OFF(補正/スルー)の切り替えがなされる。
【0038】
AE評価部39は、画像データ修正部44から送られてきた修正後の画像データに基づき、指定領域305内に含まれている画素についての輝度積算値を算出してAE設定部38へ出力する。
AE設定部38は、AE評価部39から受け取った輝度積算値から指定領域305内の輝度平均値を算出し、指定領域305内の輝度値が適切なものとするために、この算出結果を用いて下記の式
利得=最適輝度値(目標値)/指定領域305内の輝度平均値……(1)
によって算出される利得値をAE可変利得増幅器37に設定する。
【0039】
また、画像記録の際の撮像時の露出が適切となるように、下記の式
画像記録時露出時間=利得×現在の露出時間………(2)
によって算出される画像記録時露出時間の値をCCD駆動部48へ出力する。この値を受け取ったCCD駆動部48は、画像記録の際の撮像時には、この画像記録時露出時間に従って撮像されるように撮像素子31を駆動させる。
【0040】
ホワイトバランス検出部35は、画像データ修正部44から送られてきた修正後の画像データに基づいて指定領域305内のホワイトバランスを算出する。この算出結果からホワイトバランスが崩れていると判定される場合には、ホワイトバランスを適正化させる補正のためにWB可変利得増幅器33に設定すべき利得値をこの算出結果から求めてWB利得設定部34へ出力する。WB利得設定部34はこの利得値をWB可変利得増幅器33に設定する。
【0041】
ホワイトバランスが適正である場合には、画像データ修正部44から送られてきた画像データで表現されている画像の輝度積算値の各色の比(R:G:Bの比)は1:1:1であるとすることができる。そこで、ホワイトバランス検出部35は、WB可変利得増幅器33に設定すべき利得値として、この比が得られるような値を求めてWB利得設定部34へ出力する。
【0042】
AE可変利得増幅器37とWB可変利得増幅器33とに対して上述した設定がなされた後は、AE可変利得増幅器37とWB可変利得増幅器33とは、前置処理部32から画像処理部103に入力される画像データに対し、その設定に基づく露出補正とホワイトバランス補正とをそれぞれ施す。
【0043】
AE可変利得増幅器37とWB可変利得増幅器33とによって露出調整及びホワイトバランスの補正がなされた画像データは、フレームメモリ41で一旦保持された後、I/F部48を介してPC46へ出力される。
PC46では、フレームメモリ41からI/F部48を介して受け取ったこの画像データで表現されている観察画像を表示部107で表示させる。また、本システムの使用者から撮影指示がなされたときには、この画像データに対し、PC46自身の有している不図示の記憶部に格納されている、予め撮像しておいた画像であって標本が視野内に表されていない画像である背景画像についての画像データに基づいてシェーディング補正を施した後、その補正後の画像データをPC46の有する記憶部に記録して保存する。
【0044】
図2に示す顕微鏡用撮像システムは以上のように構成されている。
次に、この顕微鏡撮像システムの動作について説明する。図4は、この顕微鏡撮像システムによって実行される観察画像の撮影・記録動作の手順をフローチャートで示したものである。なお、以下の説明において、PC46によって行われる処理は、PC46の記憶部に予め格納されている制御プログラムをPC46の有するCPUが読み込んで実行することによって実現される。
【0045】
まず、シェーディング予測に基づいた露出補正制御について説明する。
本システムの使用者は、まず、ステージ18上の観察標本を観察画像の視野から外しておく。ここでマウス等の入力装置47を操作し、表示部107の撮像画面(図3)に表示されている背景撮影ボタン301上のいずれかの位置を図3では不図示であるポインタでクリックさせる指示を行う。この指示をPC46が取得すると、図4に示されている手順の実行が開始される(S501)。
【0046】
すると、PC46は、ホワイトバランス補正値及び露出補正値の初期値をメモリコントローラ42へI/F部45を介して送付する処理、及び画像データ修正部44をOFFする指示を送付する処理を実行する。
【0047】
また、PC46は、表示部107に表示されている撮像画面における本撮影ボタン302、自動露出補正ボタン303、及び自動ホワイトバランス補正ボタン304に対するクリック操作を禁止状態とする処理を実行する。
PC46から上述した値を受け取ったメモリコントローラ42は、AE設定部38及びWB利得設定部34へこれらの値を送付し、AE可変利得増幅器37及びWB可変利得増幅器33に利得の初期値である「1」を設定させる。この設定の下でフレームメモリ41に格納される画像データは、撮像部102から受け取ったままで何らの画像処理もされていない生データとなる。
【0048】
この後、メモリコントローラ42は、観察標本が表されていない背景画像の撮像動作を画像処理部103に行わせる(S502)。なお、この背景画像の撮像時における撮影環境(照射光量や焦点位置など)は、後に行う観察標本画像の撮像時におけるものと同一にしておくことが望ましい。
【0049】
その後、メモリコントローラ42は、この撮像動作によってフレームメモリ41に格納された背景画像である1フレーム分の画像データとアドレスデータとをPC46へI/F部45を介して送付すると共に、これらのデータを輝度分布検出部43と画像データ修正部44とにも出力する(S503)。
【0050】
PC46では、送られてきたこれらのデータをPC46内の記憶部に格納する処理が実行される。
一方、輝度分布検出部43では、送られてきたこれらのデータに基づいて露出補正制御のための制御値の算出が行われる(S504)。
【0051】
以下、シェーディング予測結果に基づいた露出補正制御のための制御値の算出について図5から図9までの各図を用いて説明する。
輝度分布検出部43は、受け取った画像データ及びアドレスデータに基づいて、図5に示すような背景画像の画像中心Oを通る直線に沿う複数の矩形領域、図5の例では5つの矩形領域(s1〜s5)の各々の輝度平均値を算出する。算出されたこれらの画像輝度平均値は画像データ修正部44の有する不図示のメモリに格納される。
【0052】
続いて、画像データ修正部44は、上述した矩形領域のうちの中心Oに最も近いものを除いた矩形領域(s2〜s5)について、中心Oに最も近い矩形領域s1との輝度平均値の差分値を算出し、算出された差分値を画像データ修正部44の有するメモリに同様に格納する(S505)。この差分値がシェーディング予測結果に基づいた露出補正制御のための制御値として使用される。
【0053】
以上のデータ処理によって、画像データ修正部44のメモリには図6に示すテーブル内のデータが格納されることとなる。なお、同図において、「中心からの距離」の列は、矩形領域siが存在する範囲を中心Oからの距離の範囲として示したものであり、例えば矩形領域s3は中心Oからの距離がr2からr3までの範囲に存在していることを示している。
【0054】
この後、メモリコントローラ42は、背景画像の撮影が終了したことをPC46へI/F部45を介して通知する(S506)。
この通知を受け取ったPC46は、表示部107に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン302、自動露出補正ボタン303、及び自動ホワイトバランス補正ボタン304を操作可能状態に戻す処理が実行される。
【0055】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置47を操作して自動露出補正ボタン303上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、PC46はI/F部45を介してメモリコントローラ42に指示を与え、指定領域305内の画像データとその画像データを示すアドレスとをフレームメモリ41から画像データ修正部44へ送付させる処理を実行する。
【0056】
画像データ修正部44は、図7に示すように、入力されるアドレス(X,Y)と画像中心Oの位置を示すアドレス(X’,Y’)の差分値の絶対値(|X−X’|,|Y−Y’|)、すなわち入力画像の各画素の位置と画像中心Oとの間の距離Rを算出する。
【0057】
ここで、この距離Rがsi(i=1,2…)の領域に含まれていたとすると、AE評価部39に出力される、アドレス(X,Y)に位置する画素の輝度値(出力輝度値)は、入力画像においてそのアドレスに位置する画素の輝度値を入力輝度値とすると、
出力輝度値=入力輝度値+Δ差分(平均値1−平均値i)……(3)
と算出される。具体例で説明すると、アドレス(X,Y)に位置する画素の輝度値は、その画素についての中心Oからの距離Rが領域s3に含まれている場合には、下式に従い、
出力輝度値=入力輝度値+Δ差分(平均値1−平均値3)……(4)
と算出される。つまり、中心Oからの距離Rが領域s3に含まれる画素については、いずれの画素に対してもこの(4)の式の演算を実行する。このように、同一の領域に含まれる画素の各々に対しては一定の処理を施すようにすることにより、このシェーディング予測結果に基づいた修正のための処理負担が軽減される。
【0058】
以上のように、上記の(3)式を指定領域305内の全ての画素に対して演算することによって露出補正における補正量の決定のためのデータに対し、シェーディング予測結果に基づいた修正が行われる。
AE評価部39は、画像データ修正部44から受け取った上述した修正後の画像データに基づいて指定領域305内の輝度積算値を算出してAE設定部38へ出力する。
【0059】
AE設定部38は受け取った輝度積算値から指定領域305内の輝度平均値を算出し、その輝度平均値に基づいて行われる前述した(1)式の演算によって算出される露出補正のための利得値をAE可変利得増幅器37に設定する。更に、AE設定部38は、(2)式の演算によって算出される露出時間をCCD駆動部48へそれぞれ出力する。この露出時間を受け取ったCCD駆動部48は、この画像記録時露出時間に従って撮像されるように撮像素子31を駆動する。以降、この撮像素子31によって撮像される画像は前述したようにしてシェーディング予測結果に基づいて制御されている露出補正がされた画像データとしてフレームメモリ41に格納される。
【0060】
以上のようにして、シェーディング予測結果に基づいて制御されている露出補正処理が行われ、露出補正された観察画像がフレームメモリ41を経てPC46に入力されるようになる(S507)。
ここで本システムの使用者が観察画像の撮像・記録を行わせるべく、マウス等の入力装置47を操作して本撮影ボタン302上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、PC46は、I/F部45を介し、そのときにフレームメモリ41に格納されている画像データを取得し、取得した画像データの全画素の各々に対して記憶部内の背景画像データに基づいて次式を演算する処理を実行する。
【0061】
出力画素輝度値=入力画素輝度値+(背景画像中央部輝度平均値−背景画像の対応画素における輝度値)……(5)
なお、上式において、「背景画像の対応画素における輝度値」とは、演算対象である画素の観察画像上における位置と同様の関係の位置にある背景画像上の画素の輝度値である。
【0062】
この(5)式の演算を実行することにより、図8に示すように、観察画像の輝度分布(図8(b)の▲2▼)に背景画像の中央部輝度平均値と背景画像の輝度分布との差分値(図8(a)の▲1▼)が画素毎に加算される結果、観察画像の周辺部の画素の輝度レベルが観察画像の中央部に対してもちあげられ、シェーディングが適正に補正される(図8(c)の▲1▼+▲2▼)。
【0063】
PC46は、このようにして露出補正とシェーディング補正とが適正に行われた後の画像データをPC46内の記憶部に保存する処理を実行し(S508)、撮像動作を終了する(S509)。
次に本発明に係るシェーディング予測結果に基づく露出補正制御の効果について図9及び図10を用いて説明する。
【0064】
図9は、本発明に係るシェーディング予測結果に基づく露出補正制御を行わない顕微鏡用撮像システムの構成を示している。
図9のシステムを図2に示したものと比較すると分かるように、図9のシステムでは画像処理部制御部104を有しておらず、観察画像内の指定領域305の画像データが、メモリコントローラ42から直接ホワイトバランス検出部35とAE評価部39とに入力されている。
【0065】
このような図9のシステムによって露出補正がされた観察画像に対して、同心円状に輝度分布が変化している典型的なシェーディングの補正を行ったときの輝度変化の様子を模式的に表したのが図10(b)である。
観察画像について図10(a)に示すようなシェーディングが発生している画像の全領域に対して自動露出補正を行うと、AE評価部39は、(2)として示す入力画像の中央部の輝度平均値よりも低い値である、(1)として示す輝度平均値を基準にし、この輝度平均値を図10(b)に(3)として示す目標値とするように露出補正を行う。そのため、この露出補正の時点で既に観察画像の中央部の輝度は(3)の目標値を超えて(4)として示す出力レベルに達してしまっており、観察画像の中心付近が不自然に明るくなってしまっている。
【0066】
また、例えば図10(b)に示す位置(iii )付近の領域を使用者が指定してスポット測光を行うと、露出補正によってこの位置の輝度を(3)目標値付近に調節することができる。しかし、その後にシェーディング補正を行えば、この位置付近の輝度値が更に大きくされるので、結局(4)の出力レベル付近にまで引き上げられてしまい、指定領域さえもが露出オーバーとなってしまう。
【0067】
一方、本発明に係るシェーディング予測結果に基づく露出補正制御が行われる図2のシステムによって露出補正がされた観察画像に対して、同心円状に輝度分布が変化している典型的なシェーディングの補正を行ったときの輝度変化の様子を模式的に表したものが図10(c)である。
【0068】
図2のシステムでは、使用者がまず背景画像の撮影を指示すると、撮像された背景画像についての画像データが輝度分布検出部43へ渡され、図5に示す画像中心Oからの距離に応じた矩形領域毎の輝度平均値と中央領域の輝度平均値との差分値(図6)が算出されて、その差分値が画像データ修正部44内のメモリに格納される。
【0069】
その後、使用者が露出補正を指示すると、画像データ修正部44が、メモリコントローラ42から入力される観察画像に対し、前掲した(3)式に従って図6に示す差分値が加算されて得られる画像データがAE評価部39に渡される。この画像データは、図7に示したような、中心からの距離に応じて同心円状に一定の差分値が加算されたものとなっている。
【0070】
画像データ修正部44の機能を図10(c)に従って説明すると、画像データ修正部44は、差分値の加算によって同図に▲1▼として示すシェーディング予測結果による修正を行い、観察画像の光量を近似的に補正したものである同図に(6)として示す輝度補正値をAE評価部39へ出力するということになる。この結果、AE評価部39は、観察画像の周辺部分の光量の低下の影響で目標値を大きく越えてしまうような利得や露出時間の設定、すなわち露出補正の誤設定を生じさせることなく、同図に(5)として示す目標値近辺に観察画像の輝度分布を適切にシフトさせるので、露出補正された観察画像に対して同図に▲3▼として示すシェーディング補正を施しても、測光領域の輝度の上昇によりシェーディング補正後の観察画像が(5)の目標値を大きく上回って露出オーバーとなってしまうことが防止される。
【0071】
次に、シェーディング予測に基づいたホワイトバランス補正制御について、図4に従って説明する。
図4において、本システムの使用者が入力装置47を操作して背景画像の撮影を指示してから、背景画像の輝度分布をPC46へ送付してPC46内部の記憶部に保存するまでの処理手順(S501〜S503)は前述した露出補正制御のときと同様であるが、画像データはRGBの各色別にPC46の記憶部に格納される。
【0072】
輝度分布検出部43は、露出補正制御のときと同様に、画像中心Oから周辺部方向への直線に沿う複数の領域(図5参照)に対して制御値である差分値を算出し(S504)、図11に示すように、RGBの各色別のテーブルデータとして画像データ修正部44のメモリに格納する(S505)。
【0073】
この後、背景撮影が終了したことがメモリコントローラ42からI/F部45を介して通知される(S506)と、この通知を受け取ったPC46は、表示部107に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン302、自動露出補正ボタン303、及び自動ホワイトバランス補正ボタン304を操作可能状態に戻す処理が実行される。
【0074】
次に、使用者が観察標本を観察画像の視野内へ戻し、ホワイトバランス補正を行わせるべく、マウス等の入力装置47を操作して自動ホワイトバランス補正ボタン304上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、PC46はI/F部45を介してメモリコントローラ42に指示を与え、指定領域305内の画像データとその画像データを示すアドレスとをフレームメモリ41から画像データ修正部44へ送付させる処理を実行する。
【0075】
画像データ修正部44は、露出補正制御のときと同様に前掲した(3)式を用い、自身の有するメモリに格納されているテーブルデータ(図11)の差分値を、観察画像を構成する画素の画像上の位置を示すアドレスに応じてその画素の輝度値(入力輝度値)にRGB別に加算し、その加算結果(出力輝度値)をホワイトバランス検出部35に出力する。
【0076】
ホワイトバランス検出部35は、画像データ修正部44から送られてきた指定領域305内の画像データの輝度値をRGBの各色別に積算し、各色別の平均輝度値を求める。そして、この輝度平均値についてのR:G:Bの比を算出する。
ここで、平均輝度値についてR:G:B=1:1:1の関係が成り立っておらず、ホワイトバランスが崩れていると判定された場合には、この比をR:G:B=1:1:1とすべく、ホワイトバランス検出部35はWB可変利得増幅器33に設定すべき利得値をWB利得設定部34へ出力する。
【0077】
例えば、上述した輝度平均値が(R,G,B)=(200,180,180)であったならば、ホワイトバランス検出部35は(R利得,B利得,G利得)=(1,200/180,200/180)≒(1.0,1.1,1.1)をWB利得設定部34へ出力する。
【0078】
WB利得設定部34は、ホワイトバランス検出部35から受け取った利得値をWB可変利得増幅器33に設定する。
以上のようにして、シェーディング予測結果に基づいて制御されているホワイトバランス補正処理が行われ、ホワイトバランス補正された観察画像がフレームメモリ41を経てPC46に入力されるようになる(S507)。
【0079】
ここで本システムの使用者が観察画像の撮像・記録を行わせるべく、マウス等の入力装置47を操作して本撮影ボタン302上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、PC46は、I/F部45を介し、そのときにフレームメモリ41に格納されている画像データを取得し、取得した画像データの全画素の各々に対して記憶部内の背景画像データに基づいて前述の(5)式の演算を各色別に実行する処理を行ってシェーディングの補正を行う。
【0080】
この(5)式の演算を実行することにより、図9に示すように、観察画像の各色別の輝度分布(図8(b)の▲2▼)に背景画像の中央部輝度平均値と背景画像の各色別の輝度分布との差分値(図8(a)の▲1▼)が画素毎に加算される結果、観察画像の周辺部の画素の輝度レベルが観察画像の中央部に対してもちあげられ、シェーディングが適正に補正される(図8(c)の▲1▼+▲2▼)。
【0081】
PC46は、このようにしてホワイトバランス補正とシェーディング補正とが適正に行われた後の画像データをPC46内の記憶部に保存する処理を実行し(S508)、撮像動作を終了する(S509)。
次に、本発明に係るシェーディング予測結果に基づく露出補正制御の効果について図12、図13及び図14を用いて説明する。
【0082】
図12は、色シェーディングが発生している背景画像の輝度分布例を示している。同図を参照すると分かるように、G色及びB色は同様な輝度分布であるのに対し、R色は背景画像の周辺部分の光量の落ち方がGBに比べて大きくなっている。
【0083】
図13は、前掲した図9のシステムによってホワイトバランス補正がされた観察画像に対して、図12に示したシェーディングを補正する処理を行ったときの輝度変化の様子を模式的に表したものである。
前述したように、図9のシステムでは、図2に示すシステムには設けられている画像処理部制御部104を有しておらず、観察画像内の指定領域305の画像データが、メモリコントローラ42から直接ホワイトバランス検出部35とAE評価部39とに入力されている。従って、図9のシステムでは、本発明に係るシェーディング予測結果に基づくホワイトバランス補正制御が行われない。
【0084】
まず、システム使用者が、観察画像の中心付近(図12の(b)位置)の領域に対してホワイトバランス補正を指定した場合を考えてみる。この位置ではホワイトバランスがほぼ取れているので、WB利得設定部34がWB可変利得増幅器33へ設定する利得値は、(R利得,G利得,B利得)≒(1,1,1)となる。
【0085】
次に、システム使用者が、観察画像の周辺領域(図12の例えば(a)位置)に対してホワイトバランス補正を指定した場合を考える。この位置の輝度平均値が(R,G,B)≡(180,200,200)であったとすると、WB利得設定部34がWB可変利得増幅器33へ設定する利得値は、(R利得,G利得,B利得)=(200/180,1,1)≒(1.1,1.0,1.0)となる。この設定では観察画像の中心付近(図12の(b)位置)の領域は赤色に着色されてしまうこととなる(図13の▲1▼参照)。
【0086】
さらに、この撮像画像に対してシェーディング補正を行うとRの周辺画索の輝度値を上昇させてしまうため、中心付近だけでなく観察画像全体が赤く着色されてしまう(図13の▲2▼参照)。
これに対し、本発明に係るシェーディング予測結果に基づくホワイトバランス補正制御が行われる図2のシステムによってホワイトバランス補正がされた観察画像に対して、図12に示したシェーディングを補正する処理を行ったときの輝度変化の様子を模式的に表したものが図14である。
【0087】
図2のシステムでは、使用者がまず背景画像の撮影を指示すると、撮像された背景画像についての画像データが輝度分布検出部43へ渡され、露出補正制御のときと同様に、図11に示す画像中心Oからの距離に応じた矩形領域毎の輝度平均値と中央領域の輝度平均値との差分値(図6)がRGB各色別に算出されて、その差分値が画像データ修正部44内のメモリに格納される。
【0088】
その後、使用者がホワイトバランス補正を指示すると、画像データ修正部44が、メモリコントローラ42から入力される観察画像に対し、前掲した(3)式に従って図11に示す差分値がRGB各色別に加算されて得られる画像データがAE評価部39に渡される。この画像データは、図7に示したような、中心からの距離に応じて同心円状に一定の差分値がRGB各色別に加算されたものとなっている。
【0089】
つまり、画像データ修正部44は、差分値をRGB各色別に加算することで、図12に示したような色シェーディングによる周辺部分の光量落ちを近似的に補正した、図14に示すような輝度分布を呈している画像データをホワイトバランス検出部35へ出力する。
【0090】
従って、本システムの使用者がどのような領域を指定してホワイトバランス補正を指示しても、観察画像データの背景画像の色バランスが部位によらず一定に補正されているため、色シェーディングの影響で観察画像が所望していないような色彩に着色してしまうことが防止される。
【0091】
以上までで説明した実施例を纏めると、本実施例によれば、シェーディングの発生の予測結果に基づいて露出補正とホワイトバランス補正とが制御されるので、シェーディング自体によりあるいはシェーディング補正により、露出オーバーやシステム使用者の所望していない色彩の着色が観察画像に生じることが防止される。
【0092】
以下、本発明を実施する他の実施例について説明する。なお、以下の実施例と区別するために、ここまでで説明した本発明の実施例を「第一実施例」と称することとする。
まず、本発明の第二実施例について説明する。この実施例の特徴は、発生することが予想されるシェーディングのパターンを予め複数用意しておき、それらをシステム使用者が選択可能とした点にある。
【0093】
本発明の第二実施例に係る顕微鏡撮像システムの構成は図1及び図2に示した第一実施例に係るものと同様であるが、表示部107に表示される表示画面に、予想パターン切り換えボタン1701とパターン表示部1702とが設けられている点が異なっている。この表示画面例を図15に示す。
【0094】
本システムの使用者が入力装置47を操作して表示部107の表示画面に表示されている予想パターン切り換えボタン1701上のいずれかの位置を図15では不図示であるポインタでクリックさせる指示を行う度に、PC46は例えば図16に示す順序の繰り返しでパターン表示部1702に表示されるシェーディングの予想パターンを切り換える(S1801〜S1804)処理を実行する。
【0095】
次に、第二実施例におけるこの顕微鏡撮像システムの動作について説明する。図17は、第二実施例におけるこの顕微鏡撮像システムによって実行される観察画像の撮影・記録動作の手順をフローチャートで示したものである。なお、以下の説明において、PC46によって行われる処理は、PC46の記憶部に予め格納されている制御プログラムをPC46の有するCPUが読み込んで実行することによって実現される。
【0096】
まず、シェーディング予測に基づいた露出補正制御について説明する。
観察標本を観察画像の視野から外しておいた状態で、本システムの使用者が入力装置47を操作して表示部107の表示画面(図15)に表示されている背景撮影ボタン301上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、図17に示されている手順の実行が開始され、AE可変利得増幅器37及びWB可変利得増幅器33に利得の初期値である「1」が設定されて背景画像の撮像動作が行われ、背景画像である1フレーム分の画像データとアドレスデータがPC46の記憶部で格納される一方で、これらのデータが輝度分布検出部43と画像データ修正部44とへ出力されるまでの動作(S1501からS1503にかけての動作)は、第一実施例における動作(図4のS501からS503にかけての動作)と同様である。
【0097】
輝度分布検出部43は、受け取った画像データ及びアドレスデータに基づいて、図18に示すような背景画像の中央の矩形領域(s1)及びその領域を通る水平線若しくは垂直線に沿う複数の矩形領域、図18の例では17個の矩形領域(s1〜s17)の各々の輝度平均値を算出する。算出されたこれらの画像輝度平均値は画像データ修正部44の有する不図示のメモリに格納される。
【0098】
続いて、画像データ修正部44は、上述した矩形領域のうちの矩形領域s1を除いた矩形領域(s2〜s17)について、矩形領域s1との輝度平均値の差分値を算出し(S1504)、算出された差分値を画像データ修正部44の有するメモリに同様に格納する(S1505)。この差分値がシェーディング予測結果に基づいた露出補正制御のための制御値として使用される。
【0099】
以上のデータ処理によって、画像データ修正部44のメモリには、第一実施例と同様、図6に示すテーブル内のデータが格納されることとなる。
この後、メモリコントローラ42は、背景画像の撮影が終了したことをPC46へI/F部45を介して通知する(S1506)。
この通知を受け取ったPC46では、表示部107に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン302、自動露出補正ボタン303、及び自動ホワイトバランス補正ボタン304を操作可能状態に戻す処理が実行される。
【0100】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置47を操作して自動露出補正ボタン303上のいずれかの位置を不図示のポインタでクリックさせる指示を行うと、PC46はI/F部45を介してメモリコントローラ42に指示を与え、指定領域305内の画像データとその画像データを示すアドレスとをフレームメモリ41から画像データ修正部44へ送付させる処理を実行する。なお、このとき、PC46は、表示部107のパターン表示部1702におけるシェーディングの予想パターンの現在の表示内容(図16に示した切り替え手順によって切り換えられた現在の表示内容)を示している情報を画像データ修正部44へ送付する処理を併せて実行する。
【0101】
画像データ修正部44は、PC46から送られてきたシェーディング予想パターンの情報を読み出し(S1507)、この情報に応じた修正を行った画像データをAE評価部39へ送付する。
例えば、シェーディング予想パターンの情報がOFF(図16のS1801)を示していたときには、画像データ修正部44は、入力された画像データに対して何らの修正を行うことなくそのままその画像データをAE評価部39へ出力する。
【0102】
また、この予想パターン情報がパターン1(図16のS1802)のときには、既に説明した第一実施例と同様のパターン(図7に示したシェーディング予想パターン)が選択されているものとし、画像データ修正部44は、前掲した(3)式の演算、すなわち、入力された画像データで表現されている画像の各画素の位置と中心位置との距離に基づいた前述した差分値を入力輝度値に加算する演算を行い、得られた出力輝度値をAE評価部39へ出力する。
【0103】
また、この予想パターン情報がパターン2(図16のS1803)のときには、画像データ修正部44は、入力された画像データで表現されている画像の各画素の水平方向の位置が、その画面全体を水平方向に区切った複数の領域(図19(a)のh1〜h9の各領域)のうちのいずれに属するかを各画素の位置を示すアドレスに基づいて判別する。
【0104】
ここで、画素の位置を示すアドレスがhi(i=1,2,3,…,9)のいずれかに含まれていることを示していたならば、画像データ修正部44は、図6に示した画像データ修正部44のメモリに格納されている差分値のうちsiで示される位置に格納されているものを、その画素についての入力画像輝度値に加算する演算を行い、得られた出力輝度値をAE評価部39へ出力する。
【0105】
また、この予想パターン情報がパターン3(図16のS1804)のときには、画像データ修正部44は、入力された画像データで表現されている画像の各画素の垂直方向の位置が、その画面全体を垂直方向に区切った複数の領域(図19(v)のv1及びv10〜v17の各領域)のうちのいずれに属するかを各画素の位置を示すアドレスに基づいて判別する。
【0106】
ここで、画素の位置を示すアドレスがvi(i=1,10,11,…,17)のいずれかに含まれていることを示していたならば、画像データ修正部44は、図6に示した画像データ修正部44のメモリに格納されている差分値のうちsiで示される位置に格納されているものを、その画素についての入力画像輝度値に加算する演算を行い、得られた出力輝度値をAE評価部39へ出力する。
【0107】
つまり、パターン1〜3を操作者が切り換えて選択すると、画像データ修正部44は画像データを異なった方法で修正し、また、OFFの選択を行ったときには画像データ修正部44は画像データの修正を行わない。
この後、画像データ修正部44からAE評価部39へ送られてきた画像データに基づいてAE設定38が指定領域305の画像データに対する露出時間と利得値との補正のための設定を行った後、本システムの使用者が入力装置47を操作して本撮影ボタン302上のいずれかの位置を不図示のポインタでクリックさせる指示を行うことにより、露出補正が適正になされている画像データがフレームメモリ41からPC46に取り込まれてシェーディング補正がされ、補正後の画像データがPC46内の記憶部に保存され撮像が終了するまでの処理の手順(S1508〜S1510)は、第一実施例におけるもの(S507〜S509)と同様である。
【0108】
以上のようにして実現される、第二実施例に係るシェーディング予測結果に基づく露出補正制御の効果について図20を用いて説明する。
シェーディングの発生は、撮像レンズ等の光学的な要因によるものと、入射方向に対する撮像素子の感度ムラなど撮像デバイス自体に起因するものとに大別される。前者の要因によって生じるシェーディングのパターンの典型的な例としては、画像の中心部から周辺部にかけて同心円状に光量が落ちているものが知られている。前述したもののうち図7や図8(a)に示したシェーディングのパターンがまさにこのパターンであるといえる。
【0109】
一方、後者の要因によって生じるシェーディングのパターンの典型的な例としては、画像の水平方向や垂直方向などある一定の方向に沿って輝度分布が変化し、画面端の光量が落ちているものが知られている。図19や図20に示したシェーディングのパターンがこのパターンである。
【0110】
第一実施例においては、光量落ちが同心円状に発生していた場合、画像データ修正部44は同心円状のパターンに応じて周辺部の輝度値を修正した値をAE評価部39へ出力する。この結果、AE設定部38は近似的に画面全体で一様な輝度値を基にして露出補正のための設定値を求めるようになるので、撮像画像の中心付近が明る過ぎとなってしまうことや、その後のシェーディング補正によってシステム使用者による測光指定部位が明る過ぎとなってしまうことが回避される。
【0111】
しかし、光量落ちが水平方向に発生していた場合、例えば観察画面の左方が暗くなっている場合、第一実施例の手法でAE評価部39に入力される画像データの修正を行うと、画面右方の輝度値までも高めてしまうために輝度平均値が大きくなってしまう。こうなると、露出補正の設定は逆に光量を下げる方向とされる結果、観察画像が暗くなってしまうおそれがある。
【0112】
第二実施例では、光量落ちが水平方向に発生している場合に使用者がパターン1を選択した状態で露出補正を指示すると、第一実施例と同様に、同心円状のパターンに応じて周辺部の輝度値を修正した値で露出補正のための設定値を求めることとなるため、観察画像が暗くなってしまう。
【0113】
しかし、このような場合であっても、第二実施例では、使用者がパターン2の選択に切り換えた後に本システムに対して露出補正を指示すれば、画像の輝度が水平方向に落ちていたとしても(図20(a)のA)、画像の中心付近の輝度に近似的に補正した輝度分布(同図B)に基づいてAE設定部38が露出補正のための設定値を求めるので、撮影・記録された観察画像が暗くなることが防止される。
【0114】
また、光量落ちが垂直方向に発生している場合に使用者がパターン1を選択した状態で露出補正を指示すると、第一実施例と同様に、同心円状のパターンに応じて周辺部の輝度値を修正した値で露出補正のための設定値を求めることとなるため、観察画像が暗くなってしまう。
【0115】
しかし、このような場合であっても、第二実施例では、使用者がパターン3の選択に切り換えた後に本システムに対して露出補正を指示すれば、画像の輝度が垂直方向に落ちていたとしても(図20(b)のC)、画像の中心付近の輝度に近似的に補正した輝度分布(同図D)に基づいてAE設定部38が露出補正のための設定値を求めるので、撮影・記録された観察画像が暗くなることが防止される。
【0116】
次に、第二実施例におけるシェーディング予測に基づいたホワイトバランス補正の制御について説明する。
ホワイトバランス補正の制御の処理手順は、上記の露出補正の制御(図17)と同様であるため詳細な説明は省略するが、画像データにおける各画素の輝度値をすべてRGB各色別に取得してその各々について輝度分布を修正した値が画像データ修正部44からホワイトバランス検出部35へ送付する点が異なっている。
【0117】
第二実施例に係るシェーディング予測結果に基づくホワイトバランス補正制御の効果について図21を用いて説明する。
背景画像が図21に示すような輝度分布、すなわちR色の輝度分布がGB色よりも落ちており、更にR色の輝度分布においてもその水平方向の右方が落ちている輝度分布を有している場合、第一実施例に係る手法でRGB各色別の輝度分布の修正を行うと、同心円状に等しく周辺部の輝度を上昇させるため、Rの輝度分布A’はC’へと修正されてしまう。この状態において例えば画像の左端寄りのS5の領域を指定してホワイトバランス補正を指示した場合には、RGBの各色の輝度値はその領域内ではほぼ等しいためRGBの利得値はほぼ同一の値となってしまう。従って、GBに比べてRが小さいシアン色の背景色を白とするように設定してもホワイトバランスの補正が適切になされない。
【0118】
一方、第二実施例においては、使用者がパターン1を選択した状態でホワイトバランス補正を指示すると、第一実施例と同様にホワイトバランスの補正が適切になされない。しかし、使用者がパターン2を選択した状態でホワイトバランス補正を指示すれば、ホワイトバランスを検出するための画像データの輝度分布が水平方向に対してほぼー様に修正される(図21のB’)ので、R色の輝度を上昇させるように利得の設定がなされることとなり、背景色が適切に白色に補正される。
【0119】
また、輝度分布が垂直方向に変化しているのであれば、使用者がパターン3を選択した状態でホワイトバランス補正を指示すれば、同様に背景色が白色に適切に補正される。
このように、第二実施例によれば、使用者によって選択されるシェーディング予想パターンで近似的に周辺光量不足を修正した画像データに基づいて露出補正やホワイトバランス補正を行うため、観察状態によってシェーディングの状態が異なっていても適切な明るさ・色彩バランスの観察画像が得られるようになる。
【0120】
次に本発明の第三実施例について説明する。この実施例の特徴は、背景画像についての画像データから得られる全ての画索について、制御値である各画素の輝度修正値とその画像上の位置を示すアドレスとを予めシステム内のメモリに格納しておき、画素単位で修正した画像データに対して露出補正、ホワイトバランス補正を行うことにある。
【0121】
本発明の第三実施例に係る顕微鏡撮像システムの構成は図1及び図2に示した第一実施例に係るものと同様であるため詳細な説明は省略するが、第三実施例に係る顕微鏡撮像システムでは、画像処理部制御部104の動作が第一実施例に係るものと異なっている。
【0122】
観察標本を観察画像の視野から外しておいた状態で、本システムの使用者が入力装置47を操作して表示部107の表示画面に表示されている背景撮影ボタン301上のいずれかの位置をポインタでクリックさせる指示を行うと、AE可変利得増幅器37及びWB可変利得増幅器33に利得の初期値である「1」が設定されて背景画像の撮像動作が行われ、背景画像である1フレーム分の画像データとアドレスデータがPC46の記憶部で格納される一方で、これらのデータが輝度分布検出部43と画像データ修正部44とへ出力されるまでの動作は、第一実施例における動作(図4のS501からS503にかけての動作)と同様である。
【0123】
輝度分布検出部43は、受け取った画像データ及びアドレスデータに基づいて、図22に示すような背景画像の中央の矩形領域Sの輝度平均値を算出し、更に、アドレスデータを参照して各画索の輝度値と中心領域Sの輝度値との差分値を算出する(図4のS504に相当)。算出された全画素分の差分データは画像データ修正部44の有する不図示のメモリに格納される(図4のS505に相当)。この差分値がシェーディング予測結果に基づいた露出補正制御及びホワイトバランス補正制御のための制御値として使用される。
【0124】
以上のデータ処理によって、画像データ修正部44のメモリには、図23に示すような、各画素に対応する差分データが画像データの全画素分格納されることとなる。
この後、メモリコントローラ42は、背景画像の撮影が終了したことをPC46へI/F部45を介して通知する(図4のS506に相当)。
この通知を受け取ったPC46では、表示部107に表示されている撮像画面におけるクリック操作を禁止状態としていた本撮影ボタン302、自動露出補正ボタン303、及び自動ホワイトバランス補正ボタン304を操作可能状態に戻す処理が実行される。
【0125】
次に、本システムの使用者が観察標本を観察画像の視野内へ戻し、露出補正を行わせるべく、マウス等の入力装置47を操作して自動露出補正ボタン303上のいずれかの位置をポインタでクリックさせる指示を行うと、PC46はI/F部45を介してメモリコントローラ42に指示を与え、指定領域305内の画像データとその画像データを示すアドレスとをフレームメモリ41から画像データ修正部44へ送付させる処理を実行する。
【0126】
画像データ修正部44は、メモリコントローラ42から送られてきたアドレス(x,y)と自身のメモリに格納されているアドレスとを比較し、一致したアドレスに保存されている差分値をそのアドレスに対応する画素の輝度値に加算し、加算結果をAE評価部39へ出力する。
【0127】
この後、AE評価部39から指定領域305の輝度積算値を受け取ったAE設定部38が露出利得と露出時間とを求め、AE可変利得増幅器37及びCCD駆動部48に設定した後、システム使用者が撮影を指示し、画像撮影及び画像データの記録が完了するまでの手順は第一実施例と同様である。
【0128】
また、本システムの使用者がホワイトバランス補正を指示したときの各部動作は、上述した露出補正の指示がなされたときの動作とほぼ同様であるため詳細は省略するが、輝度分布検出部43が画像データの輝度分布をすべてRGB各色別に取得して処理し、その各々について輝度分布を修正した画像データをホワイトバランス検出部35に入力する点が異なっている。
【0129】
以上のようにして実現される、第三実施例に係るシェーディング予測結果に基づく露出補正制御及びホワイトバランス補正制御の効果について図24を用いて説明する。
背景画像が図24に示すようなランダムな輝度分布を有する場合、第一実施例のように同心円状に画像データの輝度分布を修正したり、第二実施例のように一定方向に変化する輝度分布を仮定して輝度値を修正したりしても、修正後の輝度値は部位ごとにまちまちになってしまう。
【0130】
これに対し、第三実施例に係るシステムでは、画像を構成する全ての画素について、画像の中央近辺の輝度平均値との差分を画素単位で加算して得られる、背景画像の輝度値を全体で一様になるように修正した画像データに基づいて露出補正やホワイトバランス補正が行われる。
【0131】
従って、背景画像の輝度分布に規則性が見られない、全くのランダムな分布を呈しているものであっても、露出補正を適切に行うことができる。
また、背景画像がRGB各色別にランダムな輝度分布を有する場合も、画像全体でー様な輝度分布に修正した画像データに基づいたホワイトバランスの補正がなされるため、観察画像に対するシステム使用者の指定部位によって色バランスが変化してしまうことなく、一様にホワイトバランスを補正することができる。
【0132】
なお、以上までに説明した第一、第二、及び第三の各実施例において図1及び図2に示した顕微鏡撮像システムの画像処理部103及び画像処理部制御部104における各構成要素に行わせていた各種の処理を前述したような標準的な構成を有するコンピュータのCPUに行わせるための制御プログラムを作成し、この作成された制御プログラムをこのコンピュータで読み取り可能な記録媒体に記録させておき、その制御プログラムを記録媒体からこのコンピュータに読み込ませてCPUで実行させるようにすれば、本発明に係るシェーディング予測に基づいた露出補正制御若しくはホワイトバランス補正制御をこのコンピュータに行わせることもできる。
【0133】
記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるROMやハードディスク装置などの記憶装置、フレキシブルディスク、MO(光磁気ディスク)、CD−ROM、DVD−ROMなどといった携帯可能記録媒体等が利用できる。
【0134】
また、記録媒体は通信回線を介してコンピュータシステムと接続される、プログラムサーバとして機能するコンピュータが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータシステムへ伝送するようにし、コンピュータシステムでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをCPUで実行できるようになる。
【0135】
なお、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、前述した第一実施例において、制御値である輝度の差分値を算出する際の同心円パターンの中心位置を移動可能としてもよく、そのためには画像を構成する各画素の位置を示すアドレスに適当なオフセット値を加算するようにすればよい。また、前述した第一及び第二実施例において、制御値である輝度の差分値を算出する際の領域の形状は矩形に限定されるものではなく、任意の形状に変形可能である。また、その大きさも任意に変更可能である。こうすることにより、多種多様なシェーディングに対して本発明に係る手法を適用可能とするだけでなく,露出補正の精度を高め、システム使用者の意図に対してより忠実な露出補正処理やホワイトバランス補正処理を提供することが可能となる。
【0136】
【発明の効果】
以上詳細に説明したように、本発明は、被写体が表されている被写体画像の露出若しくはホワイトバランスを補正する画像処理を、この画像処理が施されると被写体画像に発生することが予測されるシェーディングについての予測結果に基づいて制御するようにする。
【0137】
こうすることにより、シェーディング補正と露出補正若しくはホワイトバランス補正とを両立させた適切な画像が提供できるようになるという効果を本発明は奏する。
【図面の簡単な説明】
【図1】本発明を実施する顕微鏡撮像システムの概略構成を示す図である。
【図2】本発明を実施する顕微鏡撮像システムの詳細構成を示す図である。
【図3】観察画像の表示例を示す図である。
【図4】観察画像の撮影・記録動作の処理手順を示す図である。
【図5】背景画像に設定される部分領域を示す図である。
【図6】画像データ修正部内のメモリに格納されるデータを示す図(その1)である。
【図7】シェーディングの発生パターンの例を示す図である。
【図8】シェーディング補正の様子を示す図である。
【図9】シェーディング予測結果に基づく露出補正制御を行わない顕微鏡用撮像システムの構成を示す図である。
【図10】本発明に係るシェーディングの予測結果に基づいた露出補正制御の効果を示す図である。
【図11】画像データ修正部内のメモリに格納されるデータを示す図(その2)である。
【図12】色シェーディングが発生している背景画像の輝度分布例を示す図である。
【図13】シェーディング予測結果に基づく制御のされていないホワイトバランス補正を行ったときの輝度分布を示す図である。
【図14】シェーディング予測結果に基づく制御がされているホワイトバランス補正を行ったときの輝度分布を示す図である。
【図15】第二実施例における観察画像の表示例を示す図である。
【図16】シェーディング予想パターンの切換手順を示す図である。
【図17】第二実施例における観察画像の撮影・記録動作の処理手順を示す図である。
【図18】第二実施例において背景画像に設定される部分領域を示す図である。
【図19】シェーディングの発生予想パターンの例を示す図である。
【図20】第二実施例に係るシェーディング予想結果に基づいた露出補正制御の効果を説明する図である。
【図21】第二実施例に係るシェーディング予想結果に基づいたホワイトバランス補正制御の効果を説明する図である。
【図22】第三実施例において背景画像に設定される部分領域を示す図である。
【図23】画像データ修正部内のメモリに格納されるデータを示す図(その3)である。
【図24】第三実施例に係る制御の効果を説明する図である。
【符号の説明】
1 顕微鏡
3 透過観察用光学系
4 落射観察用光学系
5 透過照明用光源
6 コレクタレンズ
7 透過用フィルタユニット
8 透過視野絞り
9 折曲げミラー
10、11 コンデンサ光学素子ユニット
12 トップレンズユニット
13 落射照明用光源
14 落射用フィルタユニット
15 落射シャッタ
16 落射視野絞り
17 落射開口絞り
18 ステージ
19 対物レンズ
20 レボルバ
21 キューブユニット
22 ビームスプリッタ
31 撮像素子
32 前置処理部
33 WB可変利得増幅器
34 WB利得設定部
35 ホワイトバランス検出部
37 AE可変利得増幅器
38 AE設定部
39 AE評価部
41 フレームメモリ
42 メモリコントローラ
43 輝度分布検出部
44 画像データ修正部
45 I/F部
46 PC
47 入力装置
48 CCD駆動部
49 A/D変換部
102 撮像部
103 画像処理部
104 画像処理部制御部
106 画像制御部
107 表示部
301 背景撮影ボタン
302 本撮影ボタン
303 自動露出補正ボタン
304 自動ホワイトバランス補正ボタン
305 指定領域
306 標本像
1701 予想パターン切り換えボタン
1702 パターン表示部
Claims (6)
- 被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を行う画像処理手段と、
前記被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理手段を制御する制御手段と、
を有し、
前記制御手段は、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理手段を制御することを特徴とする画像処理システム。 - 前記被写体画像は、前記被写体である観察標本についての顕微鏡での観察像を撮像して得られた画像であることを特徴とする請求項1に記載の画像処理システム。
- 前記画像処理手段により処理が施された後の前記被写体画像に発生しているシェーディングを補正するシェーディング補正手段を更に有することを特徴とする請求項1に記載の画像処理システム。
- 前記制御手段は、前記背景画像内の中央部分に位置する矩形状領域に含まれている各画素の輝度値の平均値と、当該背景画像内の周辺部分に位置する矩形状領域に含まれている各画素の輝度値若しくは当該輝度値の平均値と、の差分値に基づいてシェーディングを予測することを特徴とする請求項1に記載の画像処理システム。
- 被写体が表されている被写体画像の露出若しくはホワイトバランスを補正する画像処理を、当該被写体画像に発生することが予測されるシェーディングの予測結果に基づいて制御する方法であって、
前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように制御することを特徴とする画像処理制御方法。 - 被写体が表されている被写体画像の露出の補正若しくはホワイトバランスの補正を当該被写体画像に対して施す画像処理と、
前記被写体画像に発生することが予測されるシェーディングを予測し、この予測結果に基づいて前記画像処理を制御する制御処理と、
をコンピュータに行わせるためのプログラムであって、
前記制御処理は、前記被写体画像とは別に撮像された画像であって前記被写体が表されていない画像である背景画像の一部において、特定の1方向に区切られて成る複数の矩形状領域から前記シェーディングを予測し、このシェーディングの予測結果に基づいて、同一の矩形状領域に含まれる画素の各々に対し一定の前記画像処理を施させるように前記画像処理を制御することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003136509A JP4309695B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理システム、画像処理制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003136509A JP4309695B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理システム、画像処理制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004343358A JP2004343358A (ja) | 2004-12-02 |
JP4309695B2 true JP4309695B2 (ja) | 2009-08-05 |
Family
ID=33526454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003136509A Expired - Fee Related JP4309695B2 (ja) | 2003-05-14 | 2003-05-14 | 画像処理システム、画像処理制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4309695B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4603319B2 (ja) * | 2004-09-01 | 2010-12-22 | パナソニック株式会社 | 画像入力装置 |
US7612805B2 (en) | 2006-07-11 | 2009-11-03 | Neal Solomon | Digital imaging system and methods for selective image filtration |
US8270754B2 (en) * | 2009-06-22 | 2012-09-18 | Qualcomm Incorporated | Lens roll-off correction operation using values corrected based on brightness information |
JP5358344B2 (ja) * | 2009-08-12 | 2013-12-04 | 三星テクウィン株式会社 | 撮像装置及び撮像方法 |
JP5649409B2 (ja) * | 2010-11-04 | 2015-01-07 | 株式会社東芝 | 画像処理装置 |
JP6346431B2 (ja) * | 2013-11-13 | 2018-06-20 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 画像処理装置及び画像処理方法 |
-
2003
- 2003-05-14 JP JP2003136509A patent/JP4309695B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004343358A (ja) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180184061A1 (en) | Image processing apparatus, image processing method, imaging apparatus, and recording medium | |
JP5445363B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US8391597B2 (en) | Image capturing apparatus, method for capturing image, and program | |
US6876399B1 (en) | Image sensing apparatus for microscope | |
US8035721B2 (en) | Imaging apparatus | |
JP4512278B2 (ja) | 顕微鏡システム | |
US8237811B2 (en) | Imaging apparatus, control method thereof, and program | |
CN104702824A (zh) | 摄像装置及摄像装置的控制方法 | |
US7864239B2 (en) | Lens barrel and imaging apparatus | |
JP2009044367A (ja) | 撮影方法及び撮影装置 | |
US10368008B2 (en) | Imaging apparatus and control method wherein auto bracket parameters and image processes applied are determined from image analysis | |
JP2012023606A (ja) | 撮像装置、その制御方法及びプログラム | |
JPH09298683A (ja) | 映像信号処理方法及び映像信号処理装置 | |
JP4309695B2 (ja) | 画像処理システム、画像処理制御方法、及びプログラム | |
JP2003234955A (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
JP4504644B2 (ja) | 顕微鏡像撮像装置及び顕微鏡像撮像方法 | |
US20070211165A1 (en) | Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded | |
US20070019105A1 (en) | Imaging apparatus for performing optimum exposure and color balance control | |
JP5233458B2 (ja) | 画像編集装置及び画像編集プログラム | |
JP2004086031A (ja) | 顕微鏡用撮像装置、顕微鏡用撮像方法、及び顕微鏡用撮像プログラム | |
JP2007027943A (ja) | 撮像装置、プログラムおよびシェーディング処理方法 | |
JP2011223378A (ja) | 電子カメラ | |
JP3854100B2 (ja) | 撮像装置 | |
US6980251B1 (en) | Image sensing apparatus which carries out optimum exposure control of subject | |
JP4335648B2 (ja) | デジタルカメラ及びデジタルカメラの撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090226 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090508 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |