JP4869590B2 - 画像処理装置、顕微鏡装置、検査装置および画像処理プログラム - Google Patents

Description

本発明は、顕微鏡や被検査対象の欠陥を検査する検査装置において撮像された画像の光量を適切に設定する技術に関する。

液晶パネルやプラズマディスプレイパネル等のフラットパネルディスプレイ（ＦＰＤ、Flat Panel Display）基板、半導体ウェハを検査する検査装置では、撮像装置で被検査対象を撮像し、撮像した画像をモニタ等に表示させて検査を行う。撮像装置を搭載した顕微鏡装置では、顕微鏡にて結像した観察像を、撮像装置で画像として取得することができる。これら検査装置や顕微鏡装置においては、搭載された撮像装置を用いて撮影した画像がユーザ等にとって検査や観察がしやすくなるよう、適切に明るさを調節した後、モニタ等に表示する。以下の説明においては、画像の表示画面での明るさを調節するための処理を、調光処理とする。

一般的な調光処理としては、画像の輝度が所定の範囲内にあるか否かを判定し、その所定の範囲から外れている場合は、照明装置から出力されている光量をその所定の範囲内に近づける方向に１ステップずつ変更する処理を繰り返して行う方法がある。かかる処理を示したのが、図１５のフローチャートである。

図１５に示される調光処理においては、画像の輝度のうち実効最大輝度を求め、その値と明部しきい値および暗部しきい値との大小関係に応じて、実効最大輝度が、適正値とされる目標輝度範囲内に含まれるよう、光量レベルを調節する。なお、この実効最大輝度値とは、画像を構成する全画素の輝度について、頻度が分布全体の１％以上を占める輝度のうち最大値、と定義される。目標輝度範囲とは、暗部しきい値以上かつ明部しきい値以下となる輝度値の範囲のことをいう。目標輝度範囲における明部しきい値とは、画像をモニタ等の表示手段に表示する際に、画像を形成する画素のうち、輝度の大きい画素がその値を超えると、画像が明るすぎて検査や観察に影響するとされる輝度値であり、２５６階調の画像においては、明部しきい値として、例えば２２５が設定される。目標輝度範囲における暗部しきい値とは、画像を表示する際に、画像を形成する画素のうち、輝度の大きい画素がその値を下回ると、画像が暗すぎて検査や観察に影響するとされる輝度値であり、２５６階調の画像においては、暗部しきい値として、例えば１８０等が設定される。

まず、ステップＳ１０１で、画像の実効最大輝度値を明部しきい値および暗部しきい値と比較した結果に応じて、ステップＳ１０２、ステップＳ１０８、あるいはステップＳ１１２に進む。図１５中に示される処理のうち、ステップＳ１０２からステップＳ１０７は、実効最大輝度が暗部しきい値未満であった場合の処理を示し、ステップＳ１０８からステップＳ１１１は、実効最大輝度が明部しきい値よりも大きい場合の処理、ステップＳ１１２は、実効最大輝度が暗部しきい値以上かつ明部しきい値以下、すなわち目標輝度範囲に含まれる場合の処理を示す。

例えば、実効最大輝度が暗部しきい値未満の場合、ステップＳ１０２で、直前の制御フラグに、光量を「暗くする」処理に対応する値が格納されているか否かを判定する。ここで、制御フラグとは、前回の調光処理時に設定されたフラグであり、前回の調光処理の内容を示す値が格納される。前回の処理で、光量を「暗くする」調光処理が実行されている場合は、調光処理は行わずにステップＳ１０３に進み、制御フラグとして「ＯＫ（調光せず）」を設定して処理を終了する。前回の調光処理で「暗くする」処理が実行されなかった場合は、ステップＳ１０４に進み、さらに、光量レベルが、検査装置や顕微鏡装置が設定し得る値のうち最大値が設定されているか否かを判定する。すでに光量レベルが最大値に設定されている場合は、これ以上調光処理が行えないので、ステップＳ１０５で制御フラグを「ＯＫ」に設定し、処理を終了する。ステップＳ１０４で、光量レベルが最大値でない場合、ステップＳ１０６で、光量レベルを１ステップ増加させ、ステップＳ１０７で、制御フラグを「明るくする」に設定し、処理を終了する。

実効最大輝度が明部しきい値より大きい場合、ステップＳ１０８に進む。図１５に示されるステップＳ１０８以降の処理においては、光量レベルを小さくする前に、その装置が設定し得る最小値にすでに設定されているかを判定し（ステップＳ１０８）、最小値が設定されていれば調光せずに制御フラグを「ＯＫ」に設定して（ステップＳ１０９）処理を終了する。光量レベルをさらに小さく設定することが可能であれば、光量レベルを１ステップ減少させ（ステップＳ１１０）、制御フラグを「暗くする」に設定して（ステップＳ１１１）処理を終了する。

このように、実効最大輝度が目標輝度範囲に含まれていない場合、所定の条件の下で光量を１ステップずつ変化させる（ステップＳ１０６、ステップＳ１１０）。１ステップ光量を変化させた後、再度図１５の調光処理を実行させ、実効最大輝度が目標輝度範囲に含まれるようになるまで、１ステップずつ光量を増加あるいは減少させる処理を繰り返す。

要する時間を短縮して光量を適切に調節することのできる方法として、照明装置からの電圧の出力レベルと撮像装置に入射する光量のレベルとの関係を、ＮＤフィルターの透過率により求め、それらの関係を示した調光処理のためのルックアップテーブル（以下、調光テーブル）を用いる方法について開示されている（例えば、特許文献１）。調光テーブルを用いる調光方法では、画像の所定の領域における入射光量の最大値からその最大値に対応する照明装置の出力を調光テーブルで求め、照明装置が調光テーブルより得られた値で出力するよう調節する。

他の調光方法としては、カメラのシャッタースピードや絞りを制御する方法や、照明の光量を制御する方法が用いられる。例えば、一対の偏光板を光軸周りに相対的に回転させ、撮像装置への入射光量を調節する方法について開示されている（例えば、特許文献２）。入射光に関して互いに直交する２つの偏光成分のうち、一方の偏光成分に対する振幅透過率を１、他方の偏光成分に対する振幅透過率が０．６以上０．８以下となるように、１対の偏光板を光軸方向に配置する。この１対の偏光板を光軸周りに相対回転させ、透過率を変化させて光量を調節する。偏光板の振幅透過率の組み合わせによって比較的広範囲に透過率が変化するため、より広範囲の光量の調節に適している。
特開２００１−９１４６９号公報（要約、図１、図３および図４、００２６〜００３１段落） 特開２００２−１６９１９５号公報（要約、図１、０００６段落）

従来の調光処理のように１ステップずつ光量を調節する方法では、適切な光量に調節されるまでに図１５の処理を複数回繰り返して実行する必要がある。このため、画像の明るさが上記の目標輝度範囲と比べて大きく外れている場合は、画面が所望の明るさになるよう調節されるまでに時間を要することとなる。

特許文献１に記載の、調光テーブルを参照して照明の光量の制御量を設定する方法では、調光処理に要する時間は短縮されるが、調光テーブルにおいて、対応する光量の範囲を広くとるためには、異なる透過率のＮＤフィルタを複数用意する必要がある。調光テーブルが互いに異なる透過率を有する複数のＮＤフィルタにより作成されていることで、調光テーブルの構成や照明の出力を決定する際のアルゴリズムが複雑になる。

特許文献２に記載の、偏光板を用いて調光する方法においては、偏光板の透過率はその素子ごとにばらつきがある。このため、使用する偏光板の特性により、制御される光量も異なってくる。例として、薄い偏光膜を２枚のガラスで両側から挟む構成の可視光偏光板（偏光フィルタ）１枚を挙げると、平均透過率に対するばらつきは±１０％程度になる。このような偏光板を使用すると、最適な光量に設定するためのアルゴリズム通りには、調光がなされないという問題がある。

本発明の目的は、単純化された装置構成によって、短時間での適切な光量の調節を実現することである。

上記課題を解決するために、本発明の、撮像装置より得た画像の明るさを調節して表示画面に表示する画像処理装置において、前記撮像装置より得た画像を前記表示画面に表示したときの該画像の所定の領域における輝度に基づく輝度情報を算出する、輝度情報算出手段と、前記撮像装置への入射光量と、該入射光量の制御によって調節される、調光レベルとの関係を示したルックアップテーブルと、前記調光レベルと該調光レベルを変化させたときの光量との関係を示した出力光量相対値算出手段と、前記輝度情報と前記出力光量相対値算出手段とに基づいて、前記画像に対する調光レベルの変更量を算出する、調光レベル変更量算出手段と、現在の調光レベルと前記調光レベルの変更量から変更する光量についての光量制御情報を生成する光量制御情報生成手段と、前記光量制御情報に基づいて、前記撮像装置への入射光量を制御する制御手段とを備えた構成とする。

好ましくは、前記輝度情報の値が所定の範囲に含まれているか否かを判定する判定手段と、を更に備え、前記輝度情報算出手段は、前記画像の第１の領域における第１の輝度情報、および第２の領域における第２の輝度情報を算出し、前記調光レベル変更量算出手段は、前記判定手段により前記第１の輝度情報の値が前記所定の範囲にないと判定されたときは、前記第２の輝度情報と前記ルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出する構成とする。

好ましくは、前記輝度情報算出手段は、前記制御手段によって入射光量が制御された後、前記所定の領域における更新された輝度情報を算出し、前記更新された輝度情報と、前記ルックアップテーブルに基づき推定される輝度とを比較する比較手段と、前記比較手段の比較結果に基づいて、前記ルックアップテーブルを更新するルックアップテーブル更新手段とを備えた構成とする。

好ましくは、前記輝度情報は、前記所定の領域における輝度の最大値あるいは輝度の最小値から構成される。
好ましくは、前記判定手段は、画像の階調が再現されている再現域を定義し、前記輝度情報が前記再現域の範囲に含まれているか否かを判定する。さらに、前記第２の領域は、前記第１の領域とは異なる領域であり、前記第２の輝度情報は、該第２の領域における輝度の最大値あるいは輝度の最小値であってもよい。前記ルックアップテーブル更新手段は、最小２乗法を用いて前記ルックアップテーブルを更新することとしてもよい。あるいは、前記ルックアップテーブル更新手段は、輝度が制御された後の更新された輝度情報と前記ルックアップテーブルに基づき推定される輝度とのオフセットを用いて、該ルックアップテーブルを更新することとしてもよい。

好ましくは、前記光量制御情報は、前記撮像装置についての光量制御情報と該撮像装置の撮像の対象を照射する照明装置についての光量制御情報とから構成される。あるいは、前記光量制御情報は、前記撮像装置の露出時間に関する情報から構成される。

なお、本発明は上記の画像処理装置に限られない。上記画像処理装置を備えた顕微鏡装置、検査装置、画像処理方法をコンピュータに実行させるための画像処理プログラムも、本発明に含まれる。

本発明によれば、画像の輝度を利用して、入射光量と光量を調節する調光レベルとの関係を示したルックアップテーブルに基づいて適切に調光処理がなされるため、調光処理に要する時間を短縮化することができる。ルックアップテーブルより得られる理論値と実測値との比較からルックアップテーブルを補正するため、実動作に適応したルックアップテーブルにより調光処理がなされ、画像は短時間で適正な明るさに調光される。

以下、本発明の好適な実施の形態について、図面を参照しながら詳細に説明する。
＜実施形態１＞
図１は、本実施形態に係る画像処理装置を備えた検査装置の構成図である。検査装置１は、顕微鏡１００および顕微鏡１００の画像を処理するコンピュータ５３を含んで構成される。コンピュータ５３のメモリには、本実施形態に係る各種処理を実行させるためのプログラムが格納されている。検査装置１は、例えば、顕微鏡１００から得られる被検査対象の画像により、被検査対象の検査を行うために用いられる。顕微鏡１００は、紫外線観察が可能であり、落射照明による可視光光学系と紫外照明による紫外光光学系を備えている。

顕微鏡１００には、被検査対象を載置するステージ２１に対応させて、レボルバ２が配置されている。レボルバ２には例えば５個の対物レンズ３が取り付けられている。例えば、５個の対物レンズ３のうち、１つは紫外光用のレンズ、他は可視光用のレンズである。レボルバ２は回転可能に取り付けられており、モータＭ１の回転によって、複数の対物レンズ３のうち、所望のレンズが光軸４上に位置するよう、選択的に切り替えられる。

検査対象となる標本２９は、ステージ２１に載置される。ステージ２１は図１のｚ軸と垂直な面方向について移動自在に取り付けられ、モータＭ２によりｚ方向に駆動可能にされている。ステージ２１のｚ方向の移動により、ステージ２１に載置された標本２９に対して合焦位置が決定される。

モータＭ１、Ｍ２は、制御回路２３からの指令を受けた駆動回路２２により駆動され、センサＳ１の認識結果に応じて、信号が制御回路２３にフィードバックされる。
顕微鏡１００における可視光光学系は、可視光観察用の可視照明光源５からの光を、照明系レンズ６を介してハーフミラー２５で反射させ、可視光用の対物レンズ３を通して標本２９に照射する。標本２９で反射した光は、対物レンズ３を通り、ハーフミラー２５を透過する。透過光はダイクロイックミラー２６、結像レンズ７を介して拡大像を像位置９に結像し、鏡筒双眼部８で目視観察される。なお、本実施形態で使用されるダイクロイックミラー２６は、可視光を透過し、紫外光は反射する特性を有する。

可視照明光源５の光の進路方向前面には、遮光部材であるシャッター１０が配置されている。シャッター１０は、モータＭ３により駆動され、可視照明光源５からの光を可視光観察時に開放し、紫外光観察時にはモータＭ３の電源をオフにし、図示しないバネによりシャッター１０を遮蔽する。モータＭ３は、制御回路２３からの指令を受けた駆動回路２２により、電源のオン／オフが制御される。

一方、紫外光光学系は、紫外光観察用の紫外照明光源１１からの深紫外（以下、ＤＵＶ）光を、照明系レンズ１２、減光部１０２を介して紫外光用ハーフミラー４１で反射させ、さらに紫外光用ミラー４２、ダイクロイックミラー２６で反射させる。反射光は、ハーフミラー２５、紫外光用の対物レンズ３を介して標本２９に照射される。標本２９で反射した光は、対物レンズ３を通り、ハーフミラー２５を透過する。透過光はダイクロイックミラー２６で反射され、結像レンズ１４、紫外光用ミラー４２を通り、紫外光用ハーフミラー４１を透過し、撮像レンズ１４を介して、紫外光観察用ＴＶカメラ１５の撮像位置１６に結像する。

紫外照明光源１１の光の進路方向前面にも、可視照明光源５と同様、遮光部材であるシャッター１３が配置されている。シャッター１３は、モータＭ４により駆動され、紫外照明光源１１からのＤＵＶ光を紫外光観察時には開放し、可視光観察時にはモータＭ４の電源をオフにし、図示しないバネによりシャッター１３を遮蔽する。モータＭ４は、制御回路２３からの指令を受けた駆動回路２２により、電源のオン／オフが制御される。モータＭ３の電源が破損し、モータＭ４が停止した場合は、シャッター１０がバネにより遮蔽される。減光部１０２は、複数の減光フィルタの組み合わせによって紫外照明光源１１の光量を段階的に調整でき、調光処理可能に構成されている。

制御回路２３は、ＤＵＶ光の照射時間を計測するタイマを有し、標本２９に照射しているＤＵＶ光の照射時間が任意の設定時間に達すると、駆動回路２２に指令を発する。指令によって、モータＭ４が駆動され、シャッター１３が閉じられ、また、紫外光遮蔽手段２３ａによって、ＤＵＶ光の標本２９への照射が遮蔽される。

なお、紫外光遮蔽手段２３ａは、標本２９の紫外光観察以外、すなわち可視光観察時にＤＵＶ光が標本２９に照射しないようＤＵＶ光を遮蔽する。また、紫外光遮蔽手段２３ａは、可視光観察時において、紫外照明光源１１の点灯時間を積算し、この点灯時間が不図示の紫外光遮蔽ウィンドウにおいて設定されたＤＵＶ光の照射時間に達すると、駆動回路２２に指令を発する。この指令によって、モータＭ４が駆動され、シャッター１３が閉じられ、ＤＵＶ光の標本２９への照射が遮蔽される。さらに、紫外光遮蔽手段２３ａは、標本２９に照射するＤＵＶ光の標本２９への照射を遮蔽する。これらの紫外光遮蔽手段２３ａの機能は、制御回路２３に直接組み込むこととしてもよいし、コンピュータ５３からの指示により実行されることとしてもよい。

紫外光観察用ＴＶカメラ１５は、カメラコントローラ５１を介してキャプチャボード５２に接続されている。キャプチャボード５２には、モニタ５４を備えたコンピュータ５３が接続されている。なお、図１においてはキャプチャボード５２とコンピュータ５３は別個に描かれているが、実際は、キャプチャボード５２は、コンピュータ５３に内蔵されるか、あるいはコンピュータ５３のスロットにはいっている。

キャプチャボード５２は、コンピュータ５３を介してモニタ５４に画像を表示するためのインターフェース機能を備えている。また、コンピュータ５３は、ケーブル５５を介して顕微鏡１００の制御回路２３と接続されている。制御回路２３は、ＲＳ２３２Ｃ、ＧＰＩＢ等のインターフェース回路を内蔵しており、このインターフェース回路によって、顕微鏡１００の制御回路２３とコンピュータ５３との通信が可能にされる。コンピュータ５３から送信された「ログイン」信号が、ケーブル５５を介して制御回路２３において受信されると、制御回路２３は、各部のモータＭ１からＭ４を駆動する。

調光処理等の画像処理を実行する画像処理部１１０は、カメラコントローラ５１、キャプチャボード５２およびコンピュータ５３と接続されている。あるいは、画像処理部１１０は、コンピュータ５３に内蔵されることとしてもよい。

画像処理部１１０は、カメラ（撮像装置）の撮像素子に入射される光量を制御する各種の情報をカメラコントローラ５１から受信し、また、顕微鏡１００の照明光量を制御するための各種情報をコンピュータ５３から受信する。コンピュータ５３には、本実施形態に係る調光処理を実行するための各種プログラムが、上記メモリに格納されている。図示しないＣＰＵが、メモリから所定のプログラムを読み出し、以下に説明するフローチャートが実行されることで、顕微鏡１００の照明光量が適切に制御される。

なお、画像処理部１１０がカメラコントローラ５１から受信する情報とは、例えばシャッタースピードや絞り、露出時間等についての情報である。コンピュータ５３から受信する情報とは、例えば駆動回路２２や制御回路２３において取得される、減光部１０２の制御に関する情報である。

画像処理部１１０は、カメラコントローラ５１やコンピュータ５３から受信する情報のほか、キャプチャボード５２から取得する画像の輝度に関する画像情報を取得する。画像処理部１１０は、これらの情報に基づいて、画像を適切な明るさに調節するために必要な光量の変更量を算出し、カメラ光量や照明光量を各々制御して、調光処理を実行する。カメラの光量の変更量は、カメラコントローラ５１へ、照明光量の変更量は、コンピュータ５３を介して制御回路２３や駆動回路２２へ送信される。

なお、図１においては、画像処理部１１０は紫外光観察時のみ動作するように構成されているが、これに限られるものではない。例えば、照明系レンズ６とハーフミラー２５との間に減光部１０２と同様の構成の減光部を配置し、この減光部を駆動回路２２や制御回路２３にて制御することで、可視光観察においても動作させることができる。

図２は、画像処理部１１０のブロック図である。画像処理部１１０は、画像取込部５０１、現在光量読み出し部５０２、輝度情報算出部５０３、指定領域情報記憶部５０４、調光レベル変更量算出部５０５、調光レベル−光量ルックアップテーブル（ＬＵＴ）記憶部５０６、調光レベル−光量ＬＵＴ更新部５０７、光量制御情報生成部５０８および調光レベル変更量算出用設定情報記憶部５０９を含んで構成される。

画像取込部５０１は、キャプチャボード５２から取得した画像データを取り込む。現在光量読み出し部５０２は、コンピュータ５３およびカメラコントローラ５１から取得した光量に関する情報に基づいて、光量を読み出す。輝度情報算出部５０３は、画像取込部５０１により取り込まれた画像情報に基づいて、画像の所定の領域における輝度を算出する。指定領域情報記憶部５０４は、コンピュータ５３等を介してユーザ等が指定する、画像の所定の領域を示す、参照領域等の情報を記憶する。調光レベル変更量算出部５０５は、輝度情報算出部５０３により求められた輝度から、変更させるべき光量、すなわち調光レベル変更ステップを算出する。調光レベル−光量ルックアップテーブル記憶部５０６は、光量と調光レベルとの関係を管理するルックアップテーブルを記憶する。調光レベル−光量ＬＵＴ更新部５０７は、ルックアップテーブルの更新を行う。光量制御情報生成部５０８は、現在の光量および調光レベル変更ステップから、制御する光量についての情報を作成し、コンピュータ５３やカメラコントローラ５１にその情報を与える。調光レベル変更量算出用設定情報記憶部５０９は、コンピュータ５３から受け取った情報に基づいて、調光レベル変更ステップを算出するのに必要な情報を記憶する。

本実施形態に係る画像処理装置においては、画像の明るさを調節するのに、キャプチャボード５２から取り込んだ画像の輝度を参照して光量を変化させ、所望の明るさの画像を得る。以下に、画像処理装置が、キャプチャボード５２から取り込んだ画像の明るさ（輝度）に基づいて検査装置１の光量を変化させ、画像を適切な明るさに調節する調光処理について説明する。

図３は、カメラの光量と顕微鏡の照明光源からの照明光量との関係を説明する図である。図中、縦軸はカメラの制御レベル、横軸は照明の制御レベルである。ここで、制御レベルとは、検査装置１が制御することのできる光量の単位であり、制御レベルが大きいほど光量も大きい。

図３のグラフにおいては、縦軸のカメラ制御レベルの値と、横軸の照明制御レベルの値とを足し合わせたのが、全体の光量レベル、すなわち調光レベルとなる。例えば、調光レベルが−２４のとき、カメラ制御レベルは−１２、照明制御レベルは−１２である。調光レベルを１ステップ大きく調整して−２３にすると、カメラ制御レベルは−８、照明制御レベルは−１５となる。

図４は、調光レベルと、調光レベルに基づいて実際に変化させた場合における光量との関係を説明する図である。縦軸は出力光量相対値、横軸は調光レベルである。出力光量相対値は、例えば最小の調光レベルにおける光量を１とする、と定義される。本実施形態においては、出力光量相対値は、調光レベルの＋１ステップの変化に対し、光量が＋１／４ＥＶ（Exposure Value、露出値）の変化が対応付けられている。ここで、露出値＋１ＥＶの変化は、光量の２倍増加に相当する。

現在の光量をＹ、調光レベルをＸステップ（変更量）変化させた場合の光量をＹ´とすると、ＹとＹ´との関係は、Ｘを用いて次式のように表される。
Ｙ´＝Ｙ×２＾（Ｘ／４） （１）
（１）式をＸについて整理すると、（２）式を得る。

画像を取り込むカメラのγ特性が線形（γ＝１．０）の場合、光量Ｙを画像の輝度に置き換えても（１）式および（２）式は成立する。すなわち、画像の輝度値を基に調光レベルを変化させることで、調光処理を行うことが可能となる。

図５Ａおよび図５Ｂは、調光レベルと画像の輝度との関係を説明する図である。それぞれ縦軸は輝度、横軸は調光レベルである。なお、本実施形態においては、輝度を参照する所定の領域（以下、参照領域とする）内において、値が最大となる輝度を利用する。この輝度の値を、本実施形態においては実効最大輝度値とする。

図５Ａおよび図５Ｂは、図４の関係から得られる。例えば、調光レベルが＋４ステップ変化する場合、上述の出力光量相対値の定義より、調光レベルの変化に応じて変化する光量の変更量は＋１ＥＶ、すなわち変更前の２倍に相当する。このとき、理論上、画像の輝度は変化前の２倍となる。

理論値に対し、実際は図４に示されるように、光量の大きさによって調光レベルが異なる。このことから、調光レベルの変更量に対し、画像の輝度の変化は、例えば被検査対象の反射率等によって階調再現可能な調光レベルの範囲も異なる。図５Ａは、例えばミラー等、被検査対象の反射率が高い場合における調光レベルと輝度との関係を示す。図５Ｂは、例えばガラス等、被検査対象の反射率が低い場合における調光レベルと輝度との関係を示す。図５Ａにおいては、調光レベルが小さい場合、すなわち光量が少ない場合であっても、画像の階調が再現できる明るさに調節される。しかし、調光レベルが大きくなると、輝度が極度に大きくなる。つまり、画像が明るくなりすぎ、画像上に「白とび」が現れることとなる。これに対し、図５Ｂにおいては、図５Ａと比較して、調光レベルを大きく（光量を多く）しないと、画像が暗すぎ、画像上に「黒つぶれ」が現れることとなる。

図５Ａおよび図５Ｂに示すように、被検査対象の反射率によって、画像を適正な明るさにするための調光レベルは異なっている。このため、本実施形態に係る調光処理では、画像がモニタ５４に表示された際の明るさ、すなわち画像の輝度の大きさに基づいて、調光処理を行う。

図６は、画像の輝度と、調光処理によって調節される光量の変更量との関係を説明する模式図である。縦軸は変更させるべき光量すなわち調光レベル変更ステップであり、横軸は、画像の輝度レベルである。図６において、輝度レベルに対する調光レベル変更ステップの特性を、太実線で表す。

輝度の大きさに応じて画像輝度レベル全体を「黒つぶれ範囲Ｂ」、「階調再現範囲Ｇ」および「白とび範囲Ｗ」の３つの領域に区分する。そのうち、階調再現範囲Ｇにおいて、実効最大輝度についてその明るさが適正と判断される最大値および最小値を、それぞれ明部しきい値ＴｈＴＬ、暗部しきい値ＴｈＴＤとする。暗部しきい値ＴｈＴＤ以上明部しきい値ＴｈＴＬ以下の範囲を、目標輝度範囲Ｔと定義する。モニタ５４上においては輝度が暗すぎて階調が失われ、画像の最も明るい部分が黒つぶれしていると判断されるしきい値を、階調再現暗部しきい値ＴｈＧＤとし、輝度が明るすぎて階調が失われ、画像の最も明るい部分に白とびが生じていると判断されるしきい値を、階調再現明部しきい値ＴｈＧＬとする。

画像輝度レベルが目標輝度範Ｔ囲内の値をとる場合、調光レベル変更ステップは０、すなわち調光レベルを変更しない、となる。目標輝度範囲Ｔとは、輝度が適正値と判断される範囲を表し、詳細については後述する。画像輝度レベルが目標輝度範囲Ｔ外の値をとる場合、調光レベル変更ステップは、輝度レベルの目標輝度範囲Ｔからのずれ量に応じて設定される。目標輝度範囲Ｔよりも輝度レベルが暗い場合は、調光レベル変更ステップは正の値をとる。すなわち、画像の明るさを明るくする方向に調光される。目標輝度範囲Ｔよりも輝度レベルが明るい場合は、調光レベル変更ステップは負の値をとる。すなわち、画像の明るさを暗くする方向に調光される。実効最大輝度が目標輝度範囲Ｔから大きくずれているほど、調光レベル変更ステップの絶対値は大きくなる。

画像の輝度レベルが黒つぶれ範囲Ｂや白とび範囲Ｗにあり、階調が正確に再現できていない場合は、輝度レベルを目標輝度範囲Ｔに調節するための調光レベル変更ステップは、必ずしも適切に算出することができない。特に、輝度レベルがモニタ５４上で再現される輝度の最小値または最大値に近い場合等がこれに該当する。この場合は、調光レベル変更ステップを一律に設定する。例えば、画像が２５６階調で再現されているとする。画像の輝度レベルが黒つぶれ範囲Ｂにある場合は、例えば輝度レベルを調光前の４倍に明るくするような、調光レベル変更ステップを設定する。画像の輝度レベルが白とび範囲Ｗにある場合は、例えば輝度レベルを調光前の１／４倍に暗くするような、調光レベル変更ステップを設定する。

本実施形態に係る調光処理においては、図６の関係を利用して、輝度レベルに基づいて調光レベル変更ステップを求め、調光レベルを変更させている。図７は、画像の輝度レベルと調光レベル変更ステップの関係から調光レベルを設定した場合の、調光レベルのモデルを示した図である。縦軸は調光レベル、横軸は画像の輝度レベルを表す。

図７に、実際の画像の輝度レベルＬｕｍＸを示す。なお、ここでは、輝度レベルＬｕｍＸとは、上述の実効最大輝度である。また、調光レベル１ステップに対応する光量を、「ＬｕｍＥｖ」とする。ここでは、ＬｕｍＥｖの単位は、ＥＶである。例えば、ＬｕｍＥＶ＝１のとき、＋１ステップの調光レベル変化では、画像の明るさは＋１ＥＶ、すなわち２倍となる。−１ステップの調光レベル変化では、画像の明るさは−１ＥＶ、すなわち１／２倍となる。

本実施形態においては、調光処理で目標とする輝度（ＬｕｍＯｂｊとする）は、上記の目標輝度範囲の中間値をとることとして、以下の（３）式のように設定する。
ＬｕｍＯｂｊ＝（ＴｈＴＤ＋ＴｈＴＬ）／２ （３）
輝度レベルＬｕｍＸは、調光処理によって目標輝度ＬｕｍＯｂｊにされることになる。このときの調光レベル変更ステップをＳｔＸとすると、目標輝度ＬｕｍＯｂｊと実際の輝度レベルＬｕｍＸとは、（４）式の関係式で表される。

ＬｕｍＯｂｊ＝ＬｕｍＸ×２＾（ＳｔＸ×ＬｕｍＥｖ） （４）
（４）式は、調光レベルが１ステップ変化することで、明るさは（２＾ＬｕｍＥｖ）倍になることより導出される。（４）式を調光レベル変更ステップＳｔＸについて解くと、下の（５）式のように表される。（５）式より、調光処理における調光レベル変更ステップＳｔＸが、入力画像の輝度レベルＬｕｍＸ、目標輝度ＬｕｍＯｂｊおよび１ステップの単位光量ＬｕｍＥｖから算出されることがわかる。

図７においては、画像輝度レベルＬｕｍＸと調光レベルとの関係は、曲線で示される。曲線は、階調再現範囲Ｇ内に対応する領域については実線で、階調再現範囲Ｇ外に対応する領域については破線でそれぞれ示されている。図７の例では、輝度レベルＬｕｍＸは目標輝度範囲Ｔよりも暗い側にあるため、目標輝度に調光するために明るくするよう光量を制御する。すなわち、調光レベル変更ステップＳｔＸ＞０となり、光量を増加させるよう制御する。このことは、（５）式の右辺において、対数の真数に対して分子＞分母であることからも明らかである。

一方、輝度レベルＬｕｍＸが目標輝度範囲Ｔよりも明るい側にある場合は、画像を暗くするよう光量を制御する。すなわち、調光レベル変更ステップＳｔＸ＜０となり、光量を減少するよう制御する。（５）式の対数の真数に対して分子＜分母であることより、（５）式からも導かれることについては同様である。

輝度レベルＬｕｍＸが黒つぶれ範囲Ｂや白とび範囲Ｗにある場合は、輝度レベルＬｕｍＸの値によらず、一定の調光レベル変更ステップによる光量を増加あるいは減少させる制御を行うことについては、図６を参照して説明した通りであるのでここでは省略する。

図８は、調光処理の基本動作についてのフローチャートであり、図９は、輝度レベルが階調再現範囲Ｇ外にある場合における、調光処理のフローチャートである。コンピュータ５３のメモリに格納された所定のプログラムによって、図８および図９に示される処理が実行される。これら図８、図９のフローチャートを参照して、本実施形態に係る画像処理装置における調光処理について説明する。

画像の参照領域の輝度レベルが階調再現範囲Ｇに含まれるとき、図８の基本動作の処理が実行される。まず、ステップＳ１で、参照される輝度レベル、すなわち実効最大輝度の値が目標輝度範囲Ｔに含まれるか否かを判定する。輝度レベルが、暗部しきい値ＴｈＴＤ未満、目標輝度範囲Ｔ内、明部しきい値ＴｈＴＬ超の場合、それぞれ処理はステップＳ２、Ｓ１４、Ｓ１５に進む。

実効最大輝度が暗部しきい値ＴｈＴＤ未満、すなわち画像の輝度レベルが暗いので、画像がより明るくなるよう調光する必要があると判断された場合、ステップＳ２で、調光テーブルから調光レベル変更ステップのｎ（図７においてはＳｔＸに相当）を算出する。ステップＳ３で、直前の制御フラグを判定する。ここで、制御フラグとは、前回の調光処理が実行されたときに設定されたフラグであり、前回の調光処理においては、光量を増加、減少、あるいは処理せず、のうちいずれの処理が実行されたかを示す、所定の値が格納される。

制御フラグが「暗くする」以外の場合は処理を行わずにステップＳ９に進む。制御フラグが「暗くする」の場合、ステップＳ４で、算出された調光レベル変更ステップのｎが１より大きいか否かを判定する。

ステップＳ３の条件を満たすとは、直前の調光処理では、画像を暗くする処理を行った結果、画像が暗くなりすぎたため、これから行う調光処理においては画像を明るくしようとしている状況であることがわかる。そこで、ステップＳ５３の条件を満たす場合、ステップＳ４で、調光レベル変更ステップがｎ＞１であるか否かを判定し、Ｙｅｓの場合、ステップＳ５で、前の調光処理で暗くした画像を、今回の処理で急激に画像を明るくしないよう、調光レベル変更ステップをｎ＝１に設定する。ステップＳ６では、調光レベルを１ステップ増加し、ステップＳ７では制御フラグを「明るくする」に設定し、処理を終了する。

ステップＳ４でＮｏ、すなわち調光レベル変更ステップがｎ＝１の場合、実効最大輝度は目標輝度範囲Ｔ外ではあるが、近い位置にある。目標輝度範囲Ｔに近い位置で調光すると、１ステップの調光によっては画像の輝度が目標輝度範囲Ｔには入らず、暗部しきい値ＴｈＴＤ未満、明部しきい値ＴｈＴＬ超の値を交互に取ることになりかねない。この、制御フラグを「明るくする」と「暗くする」とを交互に繰り返す処理を終了させるため、ステップＳ８では、制御フラグを「ＯＫ」に設定し、調光は行わずに処理を終了する。

ステップＳ３の制御フラグについての判定でＮｏの場合は、ステップＳ９に進み、調光レベルが最大値であるか否かを判定する。ここで、調光レベルの最大値とは、検査装置１が調光し得る光量の最大値である。ステップＳ９でＹｅｓ、すなわち調光レベルが最大値であるときは、ステップＳ１０で制御フラグを「ＯＫ」に設定し、調光は行わずに処理を終了する。

ステップＳ９でＮｏ、すなわちまだ調光レベルを上げ得る場合は、ステップＳ１１で、調光レベルをｎステップ増加する。ステップＳ１２で、調光レベルが最大値を超えるのであれば最大値にクリッピングし、ステップＳ１３で、制御フラグを「明るくする」に設定し、処理を終了する。

ステップＳ１において、実効最大輝度が明部しきい値超、すなわち画像の輝度レベルが明るいので、画像がより暗くなるよう調光する必要があると判断された場合、ステップＳ１５で、ステップＳ２と同様、調光テーブルから調光レベル変更ステップのｎを算出する。ステップＳ１６では、直前の制御フラグが「明るくする」であるか否かを判定する。ステップＳ１６でＹｅｓの場合、ステップＳ１７で更に調光レベル変更ステップのｎが１より大きいか否かを判定する。

ステップＳ１７の条件を満たすとは、直前の調光処理で画像を明るくする処理を行った結果、画像が明るくなりすぎたため次の調光処理で画像を暗くしようとしていることを意味する。そこで、この条件を満たす（ステップＳ１７でＹｅｓの）場合、ステップＳ１８で、調光レベル変更ステップをｎ＝１に設定する。条件を満たさない場合は、特に処理を行わない。ステップＳ１９では、調光レベルをｎステップ減少し、ステップＳ２０で、制御フラグを「暗くする」に設定して処理を終了する。

ステップＳ１６でＮｏの場合、処理はステップＳ２１に進み、調光レベルが最小値であるか否かを判定する。ここで、調光レベルの最小値とは、検査装置１が調光し得る光量の最小値である。ステップＳ２１でＹｅｓ、すなわち調光レベルが最小値であるときは、ステップＳ２２で制御フラグを「ＯＫ」に設定し、調光は行わずに処理を終了する。

ステップＳ２１でＮｏ、すなわちまだ調光レベルを下げ得る場合は、ステップＳ２３で、調光レベルをｎステップ減少する。ステップＳ２４で、調光レベルが最小値を下回るのであれば最小値にクリッピングし、ステップＳ２５で、制御フラグを「暗くする」に設定し、処理を終了する。

ステップＳ１で実効最大輝度の値が目標輝度範囲Ｔ内である場合、ステップＳ１４で制御フラグを「ＯＫ」に設定し、調光は行わずに処理を終了する。
図８の調光処理によって、図６の輝度レベルに応じて調光レベル変更ステップのｎが決定され、調光レベルが適宜調節される。しかし、図６を用いて説明したように、輝度レベルが白とび範囲Ｗや黒つぶれ範囲Ｂにある場合は、光量は所定のレベル分増減させる制御が実行される。白とびや黒つぶれが生じるような、画像の輝度レベルが目標輝度範囲Ｔから離れている場合、図９の処理によって画像の明るさを調節する。なお、本実施形態においては、図９の処理は、図８に示される、参照領域の輝度レベルに基づいた調光処理を実行する前に実行される。

図９は、白とびや黒つぶれが発生した場合の調光処理のフローチャートである。まず、ステップＳ３１で、参照領域の輝度の最大値（ＲＹｍａｘ）が、白とびの発生と判断する際に基準とされる階調再現明部しきい値ＴｈＧＬと比較して、大きいか否かを判定する。図６に階調再現明部しきい値ＴｈＧＬを示す。Ｎｏの場合、ステップＳ３９以降の処理に進む。Ｙｅｓの場合、ステップＳ３２で、参照領域の輝度最小値（ＲＹｍｉｎ）を算出する。ここで、参照領域の輝度の最大値ＲＹｍａｘは、上記の実効最大輝度に一致する。

ステップＳ３３では、参照領域の輝度の最小値ＲＹｍｉｎが、図６に示す階調再現範囲Ｇに含まれるか否かを判定する。含まれている場合、ステップＳ３４で、ＲＹｍｉｎが黒つぶれレベル（図６の階調再現暗部しきい値ＴｈＧＤ）になるまで輝度を減少させるよう、調光レベルを制御し、処理を終了する。

ＲＹｍｉｎが階調再現範囲Ｇ外にある場合、ステップＳ３５に進む。以下の処理においては、参照領域とは別の領域（第２の領域）における輝度の大きさに基づいて処理を実行する。

ステップＳ３５では、第２の領域における輝度の最小値ＮＲＹｍｉｎを算出し、ステップＳ３６で、求めたＮＲＹｍｉｎが、階調再現範囲Ｇに含まれるか否かを判定する。含まれている場合は、ステップＳ３７で、ＮＲＹｍｉｎが黒つぶれレベルになるまで輝度を減少させるよう、調光レベルを制御し、処理を終了する。含まれない場合は、ステップＳ３８で、所定のレベルＸだけ輝度を小さくするように調光レベルを制御し、処理を終了する。

参照領域の輝度の最大値ＲＹｍａｘが白とび範囲にある場合、どの程度画像を暗くするのが適当であるかを、参照領域の輝度の最小値ＲＹｍｉｎ、および参照領域とは別の領域における輝度の最小値ＮＲＹｍｉｎに基づいて判断する。ＲＹｍｉｎおよびＮＲＹｍｉｎいずれにおいても階調再現範囲Ｇに含まれない場合は、画像全体の階調の再現ができていないと判断して、調光レベルを所定のステップＸだけ画像が暗くなるように調光される。例えば、画像の階調が２５６階調であるとき、Ｘ＝−２を設定し、輝度を１／４倍（−２ＥＶ）に暗くするよう調光する。

ステップＳ３１でＮｏの場合、ステップＳ３９に進み、参照領域の輝度の最大値ＲＹｍａｘが黒つぶれの発生と判断する際に基準とされる、階調再現暗部しきい値ＴｈＧＤと比較して、小さいか否かを判定する。図６に階調再現暗部しきい値ＴｈＧＤを示す。Ｎｏの場合、ステップＳ４４に進み、図８に示される、階調再現範囲ＧにＲＹｍａｘが含まれる場合の通常の調光処理を実行し、処理を終了する。Ｙｅｓの場合、ステップＳ４０以下の処理を実行する。ステップＳ４０以下の処理では、ステップＳ３１やＳ３９で用いた参照領域とは別の領域における輝度の大きさに基づいて処理を実行する。ここで、別の領域は、上記のステップＳ３５以降の処理で使用した第２の領域と同一の領域を用いることとしてもよいし、他の第３の領域を用いることとしてもよい。本実施形態においては、ステップＳ３５で用いる領域と同一の、第２の領域を利用することとする。

ステップＳ４０では、第２の領域における輝度の最大値ＮＲＹｍａｘを算出し、ステップＳ４１で、求めたＮＲＹｍａｘが、階調再現範囲Ｇに含まれるか否かを判定する。含まれない場合は、ステップＳ４３で所定レベルＹだけ輝度を大きくするように調光レベルを制御し、処理を終了する。含まれる場合は、ステップＳ４２でＮＲＹｍａｘが白とびレベルになるまで輝度を増加させるよう、調光レベルを制御し、処理を終了する。

参照領域の輝度の最大値ＲＹｍａｘが黒つぶれ範囲Ｂにある場合、どの程度画像を明るくするのが適当であるかを、参照領域とは別の領域における輝度の最大値ＮＲＹｍａｘに基づいて判断する。ＮＲＹｍａｘが階調再現範囲Ｇに含まれない場合は、画像全体について階調の再現ができていないと判断して、調光レベルを所定のステップＹだけ画像が明るくなるように調光される。例えば、Ｙ＝２を設定し、輝度を４倍の明るさ（+２ＥＶ）になるよう調光する。

なお、参照領域が画像全体である場合であっても、参照領域以外の他の領域についての輝度情報ＮＲＹｍｉｎ、ＮＲＹｍａｘの値を０とすることで、同様に図９の処理を実行することができる。ＮＲＹｍｉｎやＮＲＹｍａｘを０と置くと、ステップＳ３６やステップＳ４１の判定においては、必然的にＮｏと判定され、それぞれステップＳ３８、ステップＳ４３に進むこととなり、参照領域が画像の一部領域である場合と同様、図９の処理が実現される。

モニタ５４上の画像によって被検査対象の検査を行う際、被検査対象の部分によって反射率が異なることがある。上記の調光方法を用いて、検査したい領域を適切に指定することで、検査に好適な調光処理がなされる。例えば、被検査対象は、左右に接触していない２本の電流線が縦方向に配置され、その間に跨るように欠陥があり、左右の電流線間で短絡しているとする。

図１０Ａおよび図１０Ｂは、いずれも特定の領域を参照領域とする例である。図１０Ａでは、白抜きで示される、画像の中央部分が参照領域であり、周囲の網掛けで示される部分が他の領域である。一方、図１０Ｂでは、白抜きで示される画像の周囲の部分が参照領域であり、中央の網掛けで示される部分が他の領域である。

図１０Ｃ、図１０Ｄは、被検査対象をそれぞれ図１０Ａ、図１０Ｂで示される白抜きのブロックを指定領域とした場合における、調光処理の対象領域を示したものである。図１０Ｃにおいては、画像の中央近傍が調光処理によって適切な明るさに調節されるため、短絡部分について詳細に表示された画像を得たい場合等に適している。一方、図１０Ｄにおいては、画像の周辺領域が調光処理によって適切な明るさに調節されるため、２本の電流線の配線（パターン）について詳細に表示された画像を得たい場合等に適している。このように、被検査対象について、参照領域を適切に設定することで、検査に適した調光処理がなされる。

例えば、被検査対象の欠陥の詳細な位置が既にわかっており、その欠陥がどのようなものかを詳細に調べる場合等は図１０Ａのように参照領域を指定することで、欠陥部分を詳細に調べるのに適した画像が得られる。他方、欠陥の位置が詳細にわからない場合は、欠陥画像と欠陥のない同一パターンの画像とを比較して欠陥部分を抽出することになる。この場合、図１０Ｂのように参照領域を指定することで、パターン部が適切な明るさで表示されるため、正常なパターンと異なる箇所を欠陥として抽出するのに利用することができる。

なお、図１０Ａおよび図１０Ｂは、参照領域を指定した例であるが、これに限られず、例えば、画像全体を参照領域としてもよいことについては、先に述べた通りである。参照領域についての情報は、図２の指定領域情報記憶部５０４に格納されている。例えば矩形の参照領域であれば、座標値で、矩形部分の左上および右下の位置座標等の情報でもよい。画像と同じサイズの情報を有することとし、例えば参照領域については「１」、参照領域以外は「０」等の論理値で表すこととしてもよい。また、参照領域は１種類に限られない。例えば図１０Ａおよび図１０Ｂのように、複数の参照領域を有し、検査の内容等に応じて、コンピュータ５３からの指示等によっていずれの参照領域を用いて調光処理するのかを選択することとしてもよい。

上記のように、調光テーブルより算出した調光レベル変更ステップに基づいて調光処理を行っても、必ずしも調光処理後の調光レベルは、図７に示されるように変更されるわけではない。これは、取得した画像の、階調の量子化誤差や、光量の変更時に駆動する機構における量子化誤差等によるものである。なお、階調の量子化誤差とは、例えば階調を２５６段階に離散化する際に生じる誤差のことである。光量変更時に駆動する機構における量子化誤差とは、例えば、ステッピングモータにおいて、１パルスに対応する駆動量以下の精度落ちによる誤差のことである。

調光テーブルより理論的に得られる、推測値としての調光レベルと、実際に調光処理を実行した後の調光レベルとを比較して、そのずれ量に基づいて調光テーブルを補正する。本実施形態においては、最小２乗法を利用して、調光テーブル特性を更新する。

図１１は、調光レベルのずれを補正する方法について説明する図である。縦軸は調光レベル、横軸は画像の輝度レベルである。図１１においては、補正前の調光テーブル特性をＣＦ、参照領域における実効最大輝度をＰＳ１で表す。

図１２は、本実施形態に係る、調光テーブルを補正する処理のフローチャートである。コンピュータ５３のメモリに格納された所定のプログラムによって、図１２に示される処理が実行される。

まず、ステップＳ５１で、調光処理の対象となる現在の入力画像から、参照輝度値ＰＳ１を求める。ここで、ＰＳ１は、上記の通り、参照領域内の輝度の最大値であり、実効最大輝度に対応する。

次に、ステップＳ５２で、目標輝度値ＰＳ２を決定し、現在の調光テーブル特性ＣＦに基づいて、参照輝度値ＰＳ１を目標輝度値ＰＳ２に調光するための調光レベル変更ステップを算出する。算出された調光レベル変更ステップに基づいて、光量を変更する。ステップＳ５３で、実際に光量を変更した後の画像を取得し、参照領域の輝度の最大値である、参照輝度値ＰＳ３を求める。

最後に、ステップＳ５４で、目標輝度値ＰＳ２と参照輝度値ＰＳ３とを比較する。両者の差分が所定の値以上であれば、ステップＳ５２の調光テーブル特性ＣＦを最小２乗法により補正し、新たな調光テーブル特性ＣＦ´を、以降の調光処理に用いる。

調光テーブル特性を更新するために本実施形態において適用する最小２乗法について説明する。
調光テーブル特性を表す（１）式を一般化し、入力画像の参照輝度値ＰＳ１をｙ（０）、ｙ（０）からｎステップだけ調光レベルを変更したときの画像の参照輝度値ＰＳ２をｙ（ｎ）、１ステップの調光レベルにおける光量変化をｘとすると、これらの関係は下の（６）式で表される。

ｙ（ｎ）＝ｙ（０）×２＾（ｎ×ｘ） （６）
なお、光量変化ｘは、（ｘ−ＥＶ）の変化に相当する。
（６）式を対数変換し、Ｙ＝ｌｏｇ（ｙ（ｎ））、Ｂ＝ｌｏｇ（ｙ（０））、Ａ＝ｘおよびＸ＝ｎ×ｌｏｇ２と置換すると、次式に示されるように、線形の関数として表される。

Ｙ＝Ｂ＋Ａ×Ｘ （７）
（６）式から、Ｐ個のＸおよびＹについてのデータを得る。ここでは、調光レベルの変更ｎステップを変えたものを複数個利用して、Ｐ個分のデータを算出する。Ｐ個のデータＸやＹの和をΣで表すと、（７）式を最小２乗法で解くことで、Ａ、Ｂはそれぞれ下の（８）、（９）式のように表される。

ここで、（８）式より、１ステップの調光レベルにおける光量変化ｘすなわちＡを求める。得られたＡを（１）式の指数部に適用する。この適用により、例えば指数部が設計された値より大きくなると、１ステップの調光レベルにおける光量の変化すなわち（１）式の左辺の値は大きくなる。指数部が設計された値より小さくなると、１ステップの調光レベルにおける光量の変化すなわち（１）式の左辺の値Ｙは小さくなる。

理論的な特性から大きく外れるデータがなければ、この補正処理に伴う、調光テーブルへの影響は比較的小さく、全体の影響を最小限に抑えた調光テーブル特性の補正を行うことができる。本実施形態においては、このｘを変更することにより、各調光レベルに対応する光量の登録値を変更する。

上記の調光テーブル特性の補正は、検査処理において参照する画像の調光処理の度に実行することとしてもよい。検査開始前の初期設定において、予めサンプル基板等を用意しておき、前もって調光テーブル特性を補正しておくこととしてもよい。事前に調光テーブルを被検査対象を用いて補正しておくことで、検査を行う際にはすでに補正された調光テーブルを利用することができ、検査中に調光テーブルを補正する必要がないため、タクトタイムの向上につながる。

以上、図１１および図１２を参照して説明したように、理論上導かれる調光後の輝度値と、実際の調光処理から得られる輝度値とを比較し、調光テーブル特性を補正することにより、検査装置１により撮像される被検査対象や検査装置１の構成等に即した調光テーブルを用いて調光処理を行うことができる。

本実施形態に係る検査装置１において、算出された調光レベル変更ステップに基づいて光量を変更させるには、例えば、カメラの光量を制御することによる方法や、顕微鏡の照明系の光量を制御することによる方法がある。光量を制御するための、例えばカメラのシャッター開放時間や顕微鏡の照明系にて用いられる偏向ビームスプリッタ（ＰＢＳ）の角度等を、制御情報と定義する。

図１３Ａは、制御情報であるカメラのシャッター開放時間と、その制御情報によって設定される調光レベルとの関係を説明する図である。図１３Ａでは、制御情報である、シャッターの開放時間を縦軸に、シャッターの開放時間によって設定される調光レベルを横軸にとり、縦軸は対数軸としている。

カメラのシャッター開放時間によって調光する場合、図１３Ａに示されるように、シャッターの開放時間の対数と、カメラの調光レベルは線形関係にある。また、カメラ制御の調光レベルが正の値をとるようなシャッター開放時間の領域では、シャッター開放時間は、フレームレートの１／３０秒より長くなる。このため、精度が悪化しないよう、より細かい調光レベルでシャッター開放時間を制御するようにしている。

図１３Ｂは、制御情報であるＰＢＳの角度と、その制御情報によって設定される調光レベルとの関係を説明する図である。図１３Ｂでは、制御情報である、ＰＢＳの角度を縦軸に、ＰＢＳの角度によって設定される調光レベルを横軸にとっている。なお、ＰＢＳは、図１の減光部１０２に配置され、紫外照明光源１１の照明光軸を中心として、０°から９０°の範囲で回転させることによって照明光の光量を変化させる。

図１３Ｂに示されるように、ＰＢＳの角度を変化させることで、照明系から出力される光量を調節する。図１３Ｂの関係に基づいて、照明系についての制御情報によって細かく光量を調節することができる。

以上説明したように、本実施形態においては、調光対象となる画像が目標となる明るさとは大きく異なっても、さらに白とびや黒つぶれが発生している場合であっても、調光テーブル特性に基づいて短時間で適正な明るさに調光することが可能とされる。さらに、調光テーブル特性が理論的な特性と実際のものとで誤差を生じている場合であっても、そのずれを補正することで、短時間で適正な明るさに調光することが可能とされる。

なお、本実施形態においては検査装置について説明したが、これに限られない。上記の調光処理を実行するプログラム、プログラムを記録した記録媒体、プログラムを備えた顕微鏡装置、画像処理装置等であっても、同様の作用、効果を得る。

＜実施形態２＞
上記の実施形態１においては、調光テーブル特性を補正する際に最小２乗法を用いているが、実施形態２においては、理論値と実際の値とで異なる領域についてのみ調光テーブル特性を補正する点において異なる。以下、実施形態１と異なる点について中心に説明する。

図１４は、本実施形態における、画像の輝度レベルと調光レベルとの関係の補正方法について説明する図である。図１４においては、縦軸は画像の輝度レベル、横軸は調光レベルである。なお、図１４中、図５Ａのグラフの一部を実線で、実際の調光レベルと輝度との関係を示すグラフを破線で示す。

図１４に示される通り、ある調光レベルについて、黒の菱形で表される理論値と白の正方形で表される実測値との間には差が生じている。実測値を得る前に、画像の局所領域について平均化フィルタにかける等により、ノイズの影響を小さくする処理を行っているとする。ノイズの影響が小さい場合、輝度が小さければ理論値と実測値との差による影響は小さく、輝度が大きければこの差による影響は大きくなる。そこで、本実施形態においては、各調光レベルに関して、設計上の調光テーブル特性から推定される輝度と、実際の輝度との差を基に補正する。

調光レベルＸにおいて、設計上の（補正前の）調光テーブル特性から導出される輝度を推定輝度Ｙｅｓｔ（Ｘ）、実際の調光処理によって得られる輝度の実測値をＹｍｅａ（Ｘ）として、補正係数（オフセット係数）Ｃｏｒ（Ｘ）を、次の（１０）式で定義する。

Ｃｏｒ（Ｘ）＝（Ｙｍｅａ（Ｘ）−Ｙｅｓｔ（Ｘ））／Ｙｅｓｔ（Ｘ） （１０）
オフセット係数Ｃｏｒ（Ｘ）は、調光テーブルより推測される輝度Ｙｅｓｔ（Ｘ）に対する、輝度の実測値Ｙｍｅａ（Ｘ）の相違の割合を表す。推定輝度Ｙｅｓｔ（Ｘ）に比べて輝度の実測値Ｙｍｅａ（Ｘ）が大きい場合、Ｃｏｒ（Ｘ）＞０となる。逆に、推定輝度Ｙｅｓｔ（Ｘ）に比べて輝度の実測値Ｙｍｅａ（Ｘ）が小さい場合は、Ｃｏｒ（Ｘ）＜０となる。例えば、Ｙｅｓｔ（Ｘ）＝１００とする。このとき、Ｙｍｅａ（Ｘ）＝１０３とすると、（１０）式よりＣｏｒ（Ｘ）＝０．０３となる。Ｙｍｅａ（Ｘ）＝９７とすると、Ｃｏｒ（Ｘ）＝−０．０３となる。Ｙｍｅａ（Ｘ）＝１００で理論値と実測値が一致しているとすると、Ｃｏｒ（Ｘ）＝０となる。

本実施形態においては、調光処理はこのオフセット係数Ｃｏｒ（Ｘ）により、輝度を逐次変換して行う。例えば、調光レベルＸＸにて取得した画像の輝度Ｙ１（ＸＸ）に対して調光レベル変更ステップを算出するとする。この場合、調光テーブル特性を参照する際に、調光レベルＸＸにおけるオフセット係数Ｃｏｒ（ＸＸ）を用いて、輝度を次の（１１）式のように、Ｙ２（ＸＸ）に変換する。

Ｙ２（ＸＸ）＝Ｙ１（ＸＸ）×（１−Ｃｏｒ（ＸＸ）） （１１）
（１１）式により、輝度Ｙ１（ＸＸ）は、設計上の調光テーブル特性にほぼ一致するように、Ｙ２（ＸＸ）に補正される。例えば、Ｙ１（ＸＸ）＝１０３、Ｃｏｒ（ＸＸ）＝０．０３とする。このとき、（１１）式よりＹ２（ＸＸ）＝９９．９１が得られる。Ｙ１（ＸＸ）＝９７、Ｃｏｒ（ＸＸ）＝−０．０３とすると、Ｙ２（ＸＸ）＝９９．９１が得られる。このように、元の設計値である１００にほぼ一致するように補正される。

調光レベル変更ステップを算出する際には、目標輝度Ｙｏｂｊが必要であるが、調光レベル変更ステップにより決定される調光レベルをＸ´とすると、このときの目標輝度Ｙｏｂｊ（Ｘ´）は、下の（１２）式から推測できる。

Ｙｏｂｊ（Ｘ´）＝Ｙｏｂｊ×Ｃｏｒ（Ｘ´） （１２）
得られたＹｏｂｊ（Ｘ´）が目標輝度範囲内にあるか否かを参照し、Ｙｏｂｊ（Ｘ´）の値が実際に許容できない場合には、調光レベル変更ステップを増減する等の対応をとる。調光レベル変更ステップを適宜増減することにより、調光テーブル特性のずれの、調光処理への影響を抑えることができる。本実施形態においては、実施形態１とは異なり特性が数式としてモデル化できない場合であっても適用することができる。すなわち、調光テーブル特性と実測値とのずれが大きい領域が局所的に存在する場合等であっても、本実施形態に係る補正の方法を適用することで、調光テーブル全体への影響を最小限に抑えつつ、ずれのある箇所については適切に調光テーブルの補正がなされる。

なお、本実施形態におけるオフセット係数を用いた補正方法は、調光処理の度に実行することとしてもよい。また、調光処理を実行する前の初期設定において、予め被検査対象等を用いて調光テーブルを補正しておくこととしてもよい。

以上、本実施形態に係る顕微鏡装置においては、局所的に調光テーブルと実測値との間にずれが生じている場合であっても適切に調光テーブルの補正がなされるので、画像を短時間で適正な明るさに調光することができる。

なお、本実施形態においては検査装置について説明したが、これに限られないことは実施形態１と同様である。上記の調光処理を実行するプログラム、プログラムを記録した記録媒体、プログラムを備えた顕微鏡装置、画像処理装置であっても、同様の作用、効果を得る。

本実施形態に係る画像処理装置を備えた検査装置の構成図である。 画像処理部のブロック図である。 カメラの光量と顕微鏡の照明光源からの照明光量との関係を説明する図である。 調光レベルと、調光レベルに基づいて光量を実際に変化させた場合における光量との関係を説明する図である。 調光レベルと画像の輝度との関係を説明する図（その１）である。 調光レベルと画像の輝度との関係を説明する図（その２）である。 画像の輝度と、調光処理によって調節される光量の変更量との関係を説明する模式図である。 調光レベルのモデルを示した図である。 調光処理の基本動作についてのフローチャートである。 輝度レベルが階調再現範囲外にある場合における、調光処理のフローチャートである。 特定の領域を参照領域とする例（その１）である。 特定の領域を参照領域とする例（その２）である。 被検査対象に対して特定の領域を参照領域として示した画像の例（その１）である。 被検査対象に対して特定の領域を参照領域として示した画像の例（その２）である。 調光レベルのずれを補正する方法について説明する図である。 実施形態１の調光テーブルを補正する処理のフローチャートである。 カメラのシャッター開放時間と、シャッター開放時間によって設定される調光レベルとの関係を説明する図である。 偏光ビームスプリッタの角度と、偏光ビームスプリッタの角度によって設定される調光レベルとの関係を説明する図である。 実施形態２における画像の輝度レベルと調光レベルとの関係の補正について説明する図である。 従来における調光処理のフローチャートである。

符号の説明

１ 検査装置
５２ キャプチャボード
５３ コンピュータ
５４ モニタ
１００ 顕微鏡
１０２ 減光部
１１０ 画像処理部（画像処理装置）

Claims (12)

1. 撮像装置より得た画像の明るさを調節して表示画面に表示する画像処理装置において、
   前記撮像装置より得た画像を前記表示画面に表示したときの該画像の所定の領域における輝度に基づく輝度情報を算出する、輝度情報算出手段と、
   前記輝度情報の値が所定の範囲に含まれているか否かを判定する判定手段と、
   前記撮像装置への入射光量と、該入射光量の制御によって調節される、調光レベルとの関係を示したルックアップテーブルと、
   前記輝度情報と前記ルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出する、調光レベル変更量算出手段と、
   現在の調光レベルと前記調光レベルの変更量から変更する光量についての光量制御情報を生成する光量制御情報生成手段と、
   前記光量制御情報に基づいて、前記撮像装置への入射光量を制御する制御手段と
   を備え、
   前記輝度情報算出手段は、前記画像の第１の領域における第１の輝度情報、および第２の領域における第２の輝度情報を算出し、
   前記調光レベル変更量算出手段は、前記判定手段により前記第１の輝度情報の値が前記所定の範囲にないと判定されたときは、前記第２の輝度情報と前記ルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出する
   ことを特徴とする画像処理装置。
2. 前記輝度情報算出手段は、前記制御手段によって入射光量が制御された後、前記所定の領域における更新された輝度情報を算出し、
   前記更新された輝度情報と、前記ルックアップテーブルに基づき推定される輝度とを比較する比較手段と、
   前記比較手段の比較結果に基づいて、前記ルックアップテーブルを更新するルックアップテーブル更新手段と
   を更に備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度情報は、前記所定の領域における輝度の最大値あるいは輝度の最小値から構成される
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記判定手段は、画像の階調が再現されている再現域を定義し、前記輝度情報が前記再現域の範囲に含まれているか否かを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第２の領域は、前記第１の領域とは異なる領域であり、前記第２の輝度情報は、該第２の領域における輝度の最大値あるいは輝度の最小値である
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記ルックアップテーブル更新手段は、最小２乗法を用いて前記ルックアップテーブルを更新する
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記ルックアップテーブル更新手段は、輝度が制御された後の更新された輝度情報と前記ルックアップテーブルに基づき推定される輝度とのオフセットを用いて、該ルックアップテーブルを更新する
   ことを特徴とする請求項２に記載の画像処理装置。
8. 前記光量制御情報は、前記撮像装置についての光量制御情報と該撮像装置の撮像の対象を照射する照明装置についての光量制御情報とから構成される
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記光量制御情報は、前記撮像装置の露出時間に関する情報から構成される
   ことを特徴とする請求項１に記載の画像処理装置。
10. 顕微鏡を介して被検査対象の画像を撮像装置で取得し、該撮像装置より得た画像の明るさを調節して表示画面に表示する顕微鏡装置において、
    前記撮像装置より得た画像を前記表示画面に表示したときの該画像の所定の領域における輝度に基づく輝度情報を算出する、輝度情報算出手段と、
    前記輝度情報の値が所定の範囲に含まれているか否かを判定する判定手段と、
    前記撮像装置への入射光量と、該入射光量の制御によって調節される、調光レベルとの関係を示したルックアップテーブルと、
    前記輝度情報と前記ルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出する、調光レベル変更量算出手段と、
    現在の調光レベルと前記調光レベルの変化量から変更する光量についての光量制御情報を生成する光量制御情報生成手段と、
    前記光量制御情報に基づいて、前記撮像装置への入射光量を制御する制御手段と
    を備え、
    前記輝度情報算出手段は、前記画像の第１の領域における第１の輝度情報、および第２の領域における第２の輝度情報を算出し、
    前記調光レベル変更量算出手段は、前記判定手段により前記第１の輝度情報の値が前記所定の範囲にないと判定されたときは、前記第２の輝度情報と前記ルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出する
    ことを特徴とする顕微鏡装置。
11. 被検査対象の画像を撮像装置で取得し、該撮像装置より得た画像の明るさを調節して表示画面に表示して検査する検査装置において、
    前記撮像装置より得た画像を前記表示画面に表示したときの該画像の所定の領域における輝度に基づく輝度情報を算出する、輝度情報算出手段と、
    前記輝度情報の値が所定の範囲に含まれているか否かを判定する判定手段と、
    前記撮像装置への入射光量と、該入射光量の制御によって調節される、調光レベルとの関係を示したルックアップテーブルと、
    前記輝度情報と前記ルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出する、調光レベル変更量算出手段と、
    現在の調光レベルと前記調光レベルの変更量から変更する光量についての光量制御情報を生成する光量制御情報生成手段と、
    前記光量制御情報に基づいて、前記撮像装置への入射光量を制御する制御手段と
    を備え、
    前記輝度情報算出手段は、前記画像の第１の領域における第１の輝度情報、および第２の領域における第２の輝度情報を算出し、
    前記調光レベル変更量算出手段は、前記判定手段により前記第１の輝度情報の値が前記所定の範囲にないと判定されたときは、前記第２の輝度情報と前記ルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出する
    ことを特徴とする検査装置。
12. 撮像装置より得た画像の明るさを調節して表示画面に表示する処理をコンピュータに実行させるための画像処理プログラムにおいて、
    前記撮像装置より得た画像を前記表示画面に表示したときの該画像の所定の領域における輝度に基づく輝度情報を算出し、
    前記輝度情報の値が所定の範囲に含まれているか否かを判定し、
    前記輝度情報と、前記撮像装置への入射光量と該入射光量の制御によって調節される調光レベルとの関係を示したルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出し、
    現在の調光レベルと前記調光レベルの変更量から変更する光量についての光量制御情報を生成し、
    前記光量制御情報に基づいて、前記撮像装置への入射光量を制御する
    処理を実行させ、
    前記輝度情報を算出する処理においては、前記画像の第１の領域における第１の輝度情報、および第２の領域における第２の輝度情報を算出し、
    前記調光レベルの変更量を算出する処理においては、前記輝度情報の値が所定の範囲に含まれているか否かの判定により前記第１の輝度情報の値が前記所定の範囲にないと判定されたときは、前記第２の輝度情報と前記ルックアップテーブルとに基づいて、前記画像に対する調光レベルの変更量を算出する
    ことを特徴とする画像処理プログラム。