JP3992302B2 - Image input / output device - Google Patents

Image input / output device Download PDF

Info

Publication number
JP3992302B2
JP3992302B2 JP12378895A JP12378895A JP3992302B2 JP 3992302 B2 JP3992302 B2 JP 3992302B2 JP 12378895 A JP12378895 A JP 12378895A JP 12378895 A JP12378895 A JP 12378895A JP 3992302 B2 JP3992302 B2 JP 3992302B2
Authority
JP
Japan
Prior art keywords
image
input
drive
focus
timing signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12378895A
Other languages
Japanese (ja)
Other versions
JPH08317273A (en
Inventor
茂 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP12378895A priority Critical patent/JP3992302B2/en
Publication of JPH08317273A publication Critical patent/JPH08317273A/en
Application granted granted Critical
Publication of JP3992302B2 publication Critical patent/JP3992302B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、例えば光学顕微鏡で観察する標本画像を加算入力して処理画像を表示させるために使用される画像入出力装置に関するものである。
【0002】
【従来の技術】
一般に解像度にすぐれ、かつ明るさの大きな画像を光学的に取込むためには、開口の大きな光学素子を用いた結像光学系が必要である。ところが、レンズに代表される結像用光学素子は、一般に開口が大きくなると、焦点深度が浅くなる。しかるに、顕微鏡、カメラ、内視鏡等の画像機器を利用する分野においては、得られた画像が解像度や明るさにすぐれていることが望ましいのは無論であるが、同時に焦点深度が深い画像であることが強く要求される。
【0003】
光学顕微鏡による標本検査観察においては、段差のある標本、例えば半導体ウェハのパターン、凸凹のある生物標本、LCDパネル検査等、従来の焦点深度の浅いままの画像では観察画像にぼけ画像が混在し、検査過程に支障をきたす可能性がある。特に半導体ウェハのパターン検査工程では、簡単な操作で高速な処理によりぼけの少ない焦点深度を拡大した画像の要求が強い。
【0004】
このような焦点深度を拡大するための方法として従来は、合焦点位置の異なる複数の画像を入力して加え合わせ、得られた画像に適当な回復処理を施すことにより、解像度や明るさを損なうことなく、焦点深度の深い画像を再生する技術として、特開平1−309478、特開平3−165672がある。
【0005】
前者の具体的な方法は図14に示す如く電子カメラに適用した例で、撮影者が任意に選んだいくつかの被写体の測距データから、露光時間内に合焦点位置を所定の速度に変えることで、積算画像のぼけかたが場所に依存しないように合焦点制御でき、良好な画像入力を行なうことができる。
【0006】
その駆動法としては、例えば図15に示すように入力画像の合焦点位置に対して一時停止するステップ状の駆動を行なって入力画像を積算する方法や、図16に示すように撮像面より手前の付近の位置にある画像に対しては合焦点位置を早く動かすことにより粗に画像を積算し、遠くの付近ではゆっくりと動かすことにより密に積算していく画像積算方法である。
【0007】
また、上記後者の方法は、図17に示すように計測手段により計測した被写体の数、撮像部からの各被写体までの距離、各被写体の明るさの各情報に基づいて、例えば画像を離散的に入力する場合の入力画像枚数や入力時の露光時間、連続的に合焦点位置を変えながら画像を積算入力する場合の諸条件を最適に設定するという前処理を、上記前者の方法に付加して行なうことを特徴としている。この設定条件から各被写体の合焦点位置で図18に示すようにシャッタ制御による露光時間を変えることを行ない、良好なぼけのない画像入力を行なう。これによれば、各入力画像により、最適な露光時間で撮像することにより、解像度や明るさを失わずに焦点深度の深い画像を得ることができ、鮮明でS/N比のよい再生画像を得ることが可能となる。
【0008】
【発明が解決しようとする課題】
しかしながら、上記前者の方法では、駆動方式の1つであるステップ状駆動でモータ系のバックラッシュにより測定位置に不正確さを生じ、またピエゾ素子によるアクチュエータ駆動系で駆動部材の重さとピエゾ素子自身の持つ位置変位特性による測定位置の不正確さを生じる。特に、高速移動が可能なピエゾ素子は、図19に示すように安定位置に停止するまでに充分な時間を要し、画像の1画面を取込む時間に比べて非常に長い安定時間を必要とする。
【0009】
このような駆動方法では全体の処理に多大な時間を要することとなり、また顕微鏡のように微小変位の位置制御を行なう観察系においては特に高倍率で焦点深度が浅くなるので、僅かな位置変動が生じればそれだけぼけた画像となり易く、実用的な方法とは言えない。
【0010】
また、被写体の数、撮像部からの各被写体までの距離、各被写体の明るさの各情報に基づいて駆動する上記後者の方法は、連続的ではあるが各情報を分析、計算する処理や時間が事前に必要であり、非線形波形のために複雑な計算をして入力画像を作らなければならないので非常に手間が煩雑である。さらに、入力画像の加算の方法については、各入力画像に対して露光時間制御を行ないながら画像入力を行なうため、露光時間制御用の制御シャッタが必要になり、また撮像の露光時間を調整し、画像の光量不足等を補うための制御部が必要となり、装置が大型化してしまうという不具合を生じる。
【0011】
本発明は上記実情に鑑みてなされたもので、入力画像の加算により焦点深度を拡大するべく、複雑な駆動制御を行なわず、前処理、駆動部の駆動制御、画像の加算等の各処理をなるべく簡易化しながら良好な最終画像を得ることができ、且つ装置構成を低コストとすることが可能な画像入出力装置を提供することを目的とする。
【0012】
【課題を解決するための手段】
請求項1記載の発明は、顕微鏡の検体観察画像情報を入出力する画像入出力装置において、被写体の画像を撮像する撮像手段と、被写体の合焦面合わせを行なうために上記撮像手段または上記撮像手段における検体保持手段を光軸方向に駆動する駆動手段と、上記撮像手段で得た画像の光量とそのコントラストにより複数の合焦点位置を特定するコントラスト計測手段と、上記合焦点位置を記憶する合焦点位置記憶手段と、上記撮像手段で得た上記被写体の画像を記憶する画像記憶手段と、上記合焦点位置記憶手段に記憶される複数の合焦点位置のそれぞれの合焦点位置において焦点深度範囲内を移動する間に画像入力が行われる速度で、かつ、最初の合焦点位置から最後の合焦点位置までの間を一定速度で移動するように前記駆動手段を制御する駆動制御手段と、上記複数の合焦点位置のそれぞれにおいて前記撮像手段から入力される画像を加算するように制御するための加算タイミング信号を発生するタイミング信号発生手段と、このタイミング信号発生手段からの加算タイミング信号により上記撮像手段で得た上記被写体の画像と上記画像記憶手段に記憶された画像とを加算する加算手段と、この加算手段による加算画像に対して空間周波数フィルタリングによって加算画像のぼけ部分を除去し合焦した画像のみを復元する回復処理を施す画像焦点回復手段とを具備するようにしている。
【0013】
請求項2記載の発明では、上記加算手段は、一方の画像に対してその光量及びコントラストにより信号レベル変換を行なってから他方の画像と加算するようにしている。
請求項3記載の発明では、上記加算手段は、上記撮像手段で得た上記被写体の画像の信号に対して任意のレベル変換を行なうようにしている。
請求項4記載の発明では、上記駆動制御手段は、さらに駆動系がクローズドループの駆動制御を行なう場合に、常に駆動量制御部の位置検出部でステージ駆動部の位置検出を行ない、常時位置補正を行なうようにしている。
請求項5記載の発明では、上記タイミング信号発生手段は、発生する加算タイミング信号を任意に選択できるようにしている。
請求項6記載の発明では、上記加算手段は、さらにある合焦面に対して上記コントラスト計測手段で計測されたコントラストまたはその光量が不足する場合、その合焦面の入力を複数画像分行なって加算を行なうようにしている
【0014】
【作用】
この結果、請求項1記載の発明によれば、画像入力の際に、撮像手段又は検体保持手段の光軸方向の駆動を各合焦位置で焦点深度範囲内を移動する間に画像入力が行われる速度で一定におこない、タイミング信号発生手段からの加算タイミング信号により撮像手段からの画像を加算することとしたので、駆動手段を簡素化することができ、且つ入力の条件等の複雑なパラメータの算出や特別な撮像部の露光制御を行なう必要がなく、簡単な制御で良好な最終画像を得ることができる
た、請求項記載の発明によれば、画像入力時の環境条件や被写体の特性に対応して、所望のレベル変換処理を行なうので、入力画像の輝度やコントラストを改善することができ、処理画像の劣化を防いで簡単な制御で良好な最終画像を得ることができる。
【0015】
また、請求項記載の発明によれば、撮像手段で得た被写体の画像の信号に対して任意のレベル変換を行なうことができる。
また、請求項記載の発明によれば、駆動系がクローズループの駆動制御を行なう場合に、常に駆動量制御部の位置検出部でステージ駆動部の位置検出を行ない、常時位置補正を行ない良好な観察画像を得ることができる。
また、請求項記載の発明によれば、タイミング信号発生手段は発生する加算タイミング信号を任意に選択できる。
また、請求項記載の発明によれば、ある合焦面に対して光量や画像のコントラストが不足する場合、その合焦面の入力を複数画像分行なって加算を行なうことで、不足する光量や画像のコントラストを補い、全体として良好な画像を得ことができる。
【0016】
【実施例】
以下本発明の一実施例を図面に従って説明する。
図1はその構成を示すものであり、本装置は光学顕微鏡11、この光学顕微鏡11で得られる画像の合焦面合わせを行なうべく光軸方向の駆動制御を行なう駆動制御部12、この駆動制御部12の制御を受けて光学顕微鏡11で得られた画像に対する入出力処理を行なって加算画像を得る画像入出力部13及びこの画像入出力部13で得られた最終画像を表示する例えばCRT及びその駆動回路で構成される表示部14からなる。
【0017】
光学顕微鏡11は、照明装置15、テレビカメラ16及びステージ駆動部17を有し、例えば被写体となる標本を載置したステージを駆動するステージ駆動部17が上記駆動制御部12からの駆動信号を受けて光軸方向に移動することで画像の合焦面合わせを行なうものである。しかして、照明装置15からの光源により照明されて得られた上記標本の画像は上記テレビカメラ16により撮像され、アナログの画像信号として画像入出力部13に送られる。
【0018】
画像入出力部13では、テレビカメラ16からのアナログの画像信号をA/Dコンバータ18がサンプリングしてデジタル化し、加算部19へ送出する。加算部19は、このA/Dコンバータ18からのデジタルの画像信号と後述する第1のメモリ20から読出されてくる画像信号とを加算して第1のメモリ20に記憶させる。この第1のメモリ20に記憶された画像信号は空間フィルタ21と上記加算部19とに読出される。
【0019】
空間フィルタ21は、第1のメモリ20から読出された画像信号を空間周波数フィルタリング処理により加算後のぼけ部分を除去し、合焦した画像のみを復元する回復処理を施して第2のメモリ22に記憶させる。この第2のメモリ22に記憶された画像信号はD/Aコンバータ23で再びアナログ化され、処理を終えた最終的な画像信号としてこの画像入出力部13から出力され、上記表示部14にて表示出力される。
【0020】
しかるに、上記加算部19、第1のメモリ20、空間フィルタ21及び第2のメモリ22をCPU24が統括制御する一方、第1のメモリ20及び第2のメモリ22に対しては記憶制御部25がその書込み/読出しの制御を行なう。
【0021】
上記駆動制御部12は、駆動量制御部26及び画像加算タイミング発生部27を有し、これらは共に上記画像入出力部13とも接続される。すなわち駆動量制御部26は、上記光学顕微鏡11のステージ駆動部17の位置を検出してそれに対する駆動制御を行ない、一方、画像加算タイミング発生部27は画像信号の加算タイミング信号を発生して上記画像入出力部13の加算部19に供給する。
【0022】
次いで図2により主として上記駆動量制御部26の構成について示す。同図に示すように駆動量制御部26は、基準信号発生部26a、駆動波形発生部26b及び位置検出部26cから構成される。
【0023】
例えばピエゾ素子を用いた駆動の場合、電圧レベルが光軸方向に対応しているので、駆動量制御部26はステージ駆動部17への電圧レベルを可変入力して駆動する。この場合、CPU24は設定した駆動速度の情報を基準信号発生部26aへ送出する。基準信号発生部26aはこの速度情報に応じた基準信号波形を発生して駆動波形発生部26bへ出力する。
【0024】
駆動波形発生部26bは、この基準信号発生部26aからの基準信号波形に対応した駆動波形を発生する。この駆動波形発生部26bより出力される駆動波形は、駆動部を動かすためために高電圧波形に変換される。この駆動波形信号によりステージ駆動部17を駆動させ、このときのステージ駆動部17による位置を位置検出部26cがCPU24からの信号に応じて検出し、検出結果を画像加算タイミング発生部27及びCPU24へ出力する。
【0025】
例えば特別に細かな位置制御を行なわないオープンループ制御の場合、上述したようにCPU24の設定速度により基準信号発生部26aの周波数を変えて駆動波形発生部26bで所望の速度の駆動波形を発生させるか、あるいは波形発生用のメモリを用いて一定速度の駆動波形を設定することで当該波形を発生させることができる。
【0026】
ただし、上記のようにピエゾ素子による駆動法においては、駆動波形と位置の正確な関係を保つために、駆動の開始位置と終了位置、往復のストロークの距離を必ず同じにする必要がある。
【0027】
次に上記実施例の動作について説明する。
まず、光学顕微鏡11のステージ駆動部17により駆動されるステージ上に載置された観察標本の合焦点がどの位置にあるのかを確認するため、入力条件として入力画像の合焦光軸位置、その枚数、また光量のデータを得る前処理を行なう。
【0028】
すなわち、光軸の所定間隔でステージ駆動部17を1ステップずつ移動させ、テレビカメラ16より1枚ずつ観察標本の画像データを得る。得られた各1枚の画像データは、画像入出力部13内でA/Dコンバータ18を介してサンプリングされてデジタル化された後、加算部19で実際にはなんら加算処理を行なわれずに原画像のまま第1のメモリ20で一時記憶される。この第1のメモリ20に記憶された画像データをCPU24が読取って各種データを解析する。
【0029】
すなわちCPU24は、例えばある位置での画像のコントラスト値や光量を算出していくもので、その一連の解析処理が終了した時点で次の位置での合焦光軸を移動させるべく上記駆動量制御部26によりステージ駆動部17でまた1ステップ分移動させ、上記と同様の画像データに対する解析処理を行なう。この繰返しの処理を光軸方向に標本が存在する範囲内について順次行ない、その結果、標本においてコントラストが充分で加算入力すべき画像を何枚か選択し、合焦面位置及びその枚数、また各画像の光量分布等を求める。
【0030】
なお、画像取込みのための光軸の移動間隔1ステップ分は、当然のことながら細かければ細かい程得られる解析結果の精度が高くなることは言うまでもない。
上記のような前処理により求められた各情報により、取込む位置と枚数とが駆動制御部12に設定され、光軸方向に画像取込み用のステージ駆動部17の一定速度での直線駆動が実行される。
【0031】
画像データの蓄積時間はその信号方式または撮像状況等により任意に選択できるものとする。例えば国内のテレビジョン方式で一般的なNTSCでは、1画面の画像入力を標準では撮像素子の1フレーム蓄積時間1/30秒で行なう。この時間内に所望の合焦面の画像データを入力できるように、つまり入力する合焦面が対物レンズの特性から導かれる光軸方向の標本焦点深度範囲内を移動している間に、画像入力が行なえるように一定の速度で駆動する。
【0032】
CPU24はこの条件を満たすように駆動速度を決定し、駆動量制御部26に設定する。また、画像取込み位置情報は、上記前処理により算出したデータと位置検出のデータとを基に画像取込みタイミングを発生することで得られるもので、このとき算出データから数画面分の画像データが加算に必要な場合には、位置検出部26cからの信号に応じて上記加算に必要な枚数分だけ画像加算タイミング発生部27でタイミング信号を発生させる。
【0033】
図3及び図4により1枚毎の画像の取込み動作について説明する。図3は一定速度v1 で光軸方向に直線駆動されるステージ駆動部17の時間tと光軸距離Zの関係及びこれに対応した画像加算用のタイミング信号の発生タイミングを示すものであり、図4はこの画像加算用のタイミング信号の発生タイミングを拡大して示すものである。
【0034】
一定速度v1 で駆動制御部12の駆動量制御部26がステージ駆動部17を直線駆動し、図3中の位置Z11,Z12,Z13の位置でΔZ1 の焦点深度の間隔内で画像入力を行なう。そのときの時刻がそれぞれt1 ,t2 ,t3 であり、その入力許容時間はΔt1 である。その間に画像入力が行なわれるようにCPU24が速度設定を行なう(Δt1 >1/30[秒]、v1 =Z11/t1 )。
【0035】
そしてCPU24は、画像取込みの目標の位置となった時点で、ある設定時間において画像取込みタイミング信号を発生し、取込みスタートトリガとして図4(2)に示すような画像入力及び加算許可信号を生成し、加算部19へ入力する。
【0036】
加算部19は、上記加算許可信号が“H”レベルとなっている許可期間中に、画像の入力があった画像に対して加算入力を行なう。これは、画像のフレームの開始時間すなわち図4(3)に示すように垂直同期信号の開始タイミングで、画像の入力及び加算を実行するもので、このように選択された標本の複数の合焦位置において加算許可信号を発生させて次の画像と画像加算を行なっていく。これにより、焦点深度範囲内の注目する合焦範囲でぼけのない鮮鋭な画像を順次入力することができ、回復処理を行なうことで最終的に良好な観察画像を得ることができる。
【0037】
また、ある合焦面に対して光量や画像のコントラストが不足する場合には、その合焦面の入力を複数画像分行なって加算を行なうことで、不足する光量や画像のコントラストを補い、全体として良好な画像を得ることができる。
【0038】
図5及び図6は複数枚の画像の取込み動作について説明するもので、図5は一定速度v2 で光軸方向に直線駆動されるステージ駆動部17の時間tと光軸距離Zの関係及びこれに対応した画像加算用のタイミング信号の発生タイミングを示し、図6はこの画像加算用のタイミング信号の発生タイミングを拡大して示す。
【0039】
この場合、図5に示すように複数枚分の画像を取込んで入力するため、測定したい合焦面での焦点深度範囲内をその一定の駆動速度v2 は上記図3で示した1枚の時の駆動速度v1 よりも充分低いものとし、図5及び図6(1)で示すように画像入力タイミング信号のパルスを入力画像の加算数だけ発生させるように設定すればよい。このときは、同様に図5中の位置Z21,Z22,Z23の位置でΔZ1 の焦点深度の間隔内で画像入力を行なう。そのときの時刻がそれぞれt1 ,t2 ,t3 であり、その入力許容時間はΔt2 である。その間に画像入力が行なわれるようにCPU24が速度設定を行なう。例えば、図6では2画面分入力しているが、このような場合では焦点深度範囲内を2/30[秒]以上の時間で駆動できるように駆動速度v2 を設定すればよい(Δt2 >2/30[秒]、v2 =Z21/t1 )。
【0040】
そしてCPU24は、図6(1)に示すように入力画像枚数を示す画像加算用タイミング信号のパルスを2発連続して発生させ、その信号を加算部19へ入力させる。この場合は、加算する枚数がパルスの数に対応しており、前述した如く画像入力を2画面分ずつ行なっていく。また、入力画像の枚数を示す画像加算用タイミング信号のパルスは、複数の信号をパラレルに用いて1度に発生するようにしてもよい。
【0041】
また、駆動系がクローズループの駆動制御を行なう場合には、常に駆動量制御部26の位置検出部26cでステージ駆動部17の位置検出を行ない、常時位置補正を行なうことで位置精度を保ちながら一定速度で駆動する。そして、画像取込みを行なう目的の位置に達した時点で位置検出信号を基に画像取込みタイミング信号をトリガとして、上記図6と同様に入力及び加算許可信号を発生し、画像の入力及び加算を行なう。したがって、上述したオープンループの場合の処理と同様な処理を行ない、最終的には良好な観察画像を得ることができる。
【0042】
なお、上記一実施例の構成においては、ある合焦面に対して光量、コントラストが不足した画像の場合、同一画像を複数回加算して補正するため、同一位置で何枚も加算するので駆動速度をその分低くする必要があり、標本毎に設定を変える必要がある。
【0043】
このような光量、コントラストの不足した画像に対して、これを補正するデータ変換をリアルタイムに行ない、1画像を取得するだけで済むようにして、駆動速度の設定変更を不要にした場合を本発明の一実施例に係る他の構成例として説明する。
【0044】
図7はその回路の構成を例示するもので、基本的には上記図1で示したものと同様であるので、同一部分には同一符号を付してその説明は省略する。
しかして、加算部19の前段には、テレビカメラ16で得られたアナログ値の画像入力信号に対して任意のレベル変換を行ない、デジタル化して出力する上記A/Dコンバータ18を含んだレベル変換部31を設ける。
【0045】
このレベル変換部31は、各画像の撮像の露光時間調整なしに、且つタイミング信号を1画像に対して複数発生させずに処理できるものである。
図8はこのレベル変換部31の第1の構成例であり、ゲイン可変アンプ32とA/Dコンバータ18とでレベル変換部31を構成するようにしたものである。この場合、テレビカメラ16で得られたアナログ値の画像信号はゲイン可変アンプ32で何倍かに増幅された後にA/Dコンバータ18でサンプリングされてデジタル化され、それから次段の加算部19に供される。したがって、テレビカメラ16からの画像信号が光量不足やコントラスト不足であっても、ゲイン可変アンプ32のゲインを任意に調整することにより各入力画像に対してこれを補うことができるものである。
【0046】
また、図9はレベル変換部31の第2の構成例であり、A/Dコンバータ18とルックアップテーブル33とでレベル変換部31を構成するようにしたものである。この場合、テレビカメラ16で得られたアナログ値の画像信号はA/Dコンバータ18でサンプリングされてデジタル化された後に、ルックアップテーブル33に供される。ルックアップテーブル33としてはメモリ(ROM,RAM)が使われ、A/D変換された入力画像データを指定アドレスとして、対応するアドレス位置に予め書込まれているレベル変換された画像データを読出し、次段の加算部19へ出力することでレベル変換が行なわれる。ルックアップテーブル33には、任意の増幅倍率に従って予めレベル変換した画像データを例えばRAMの場合はCPU24により書込んでおくもので、上記図8の場合と同様、テレビカメラ16から入力画像毎に画像信号が光量不足やコントラスト不足であっても、このレベル変換により充分これを補うことができる。
【0047】
また、ルックアップテーブル33は、例えばRAMで構成することで、CPU24によりその内容を自由に設定または書換え可能にして設けられ、観察条件や標本により種々の変換特性を持たせることができるので、上記図8に示した場合と比してより自由度の高いものとすることができる。
【0048】
例えば、図10に示す如く、入力する画像が全体的に低輝度部分が多い場合、高輝度成分を有する部分とのコントラストははっきりと分かるが、低輝度部分内のコントラストははっきりしない画像となる。
【0049】
このようなときは、ルックアップテーブル33に図11に示すような特性のテーブルを書込んでおいて輝度変換を行なわせることで、結果として図12に示すように低輝度部分の強調を行なって低輝度部分内でのコントラストをはっきりさせ、全体としてコンスタントなコントラストが得られる画像表示が可能となる。
【0050】
なお、上記一実施例では光学顕微鏡11でステージ駆動部17により光軸方向の移動を行ない、ステージ上に載置された標本Sに対する合焦面を合わせるものとして示したが、これに限るものではない。図13は光学顕微鏡11で被写体の合焦面を合わせることが可能な他の駆動部を列挙したもので、ステージ駆動部17の他にも、対物レボルバ駆動部41、テレビカメラレンズ駆動部42等のいずれか1つあるいはこれらを組合わせることにより、容易に実現可能である。さらに、その駆動部の駆動機構は電磁モータ、超音波モータ、ピエゾ素子等様々なものを考えることができる。
【0051】
また、テレビカメラ16はNTSC方式に限らず、PAL、SECAMその他必要なテレビジョン方式により画像を得ることができるものであり、より高帯域の映像が撮像できるハイビジョン方式のものを用いれば高い解像度の画像が得られることは言うまでもない。
【0052】
以上、実施例に基づいて説明したが、本発明中には以下の発明が含まれる。
(1)画像情報を入出力する画像入出力において、被写体の画像を撮像する撮像手段と、被写体の合焦面合わせを行なう駆動手段と、被写体の数、上記撮像手段から被写体までの距離、各被写体の明るさの各情報を計測する計測手段と、上記撮像手段で得た上記被写体の画像を記憶する記憶手段と、上記計測手段で得た各情報と上記駆動手段による駆動位置の情報に基づいて上記駆動手段に対する合焦面位置制御を行なう駆動制御手段と、上記駆動手段の駆動位置と上記計測手段で得た各情報に基づいて上記記憶手段に記憶される画像に対する加算タイミング信号を発生するタイミング信号発生手段と、このタイミング信号発生手段からの加算タイミング信号により上記撮像手段で得た上記被写体の画像と上記記憶手段に記憶された画像とを加算する加算手段と、この加算手段による加算画像に対して空間周波数フィルタリングによる回復処理を施す回復手段とを具備したことを特徴とする画像入出力装置。
【0053】
このようにすれば、画像入力の際に被写体の光軸方向の駆動を線形な一定速度駆動とし、画像の光量及びコントラスト等により同一画像を必要数加算できるタイミング信号発生手段を備えるような構成としたので、駆動手段を簡素化することができ、且つ入力の条件等の複雑なパラメータの算出や特別な撮像部の露光制御を行なう必要がなく、簡単な制御で良好な最終画像を得ることができる。
【0054】
(2) (1)項記載の画像入出力装置において、上記加算手段は一方の画像に対してその光量及びコントラストにより信号レベル変換を行なってから他方の画像と加算することを特徴とする画像入出力装置。
【0055】
このようにすれば、画像入力時の環境条件や被写体の特性に対応して、所望のレベル変換処理を行なうので、入力画像の輝度やコントラストを改善することができ、処理画像の劣化を防いで簡単な制御で良好な最終画像を得ることができる。
【0056】
【発明の効果】
以上に述べたように本発明によれば、入力画像の加算により焦点深度を拡大するべく、複雑な駆動制御を行なわず、前処理、駆動部の駆動制御、画像の加算等の各処理をなるべく簡易化しながら良好な最終画像を得ることができ、且つ装置構成を低コストとすることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る全体の回路構成を示すブロック図。
【図2】図1の主として駆動量制御部の詳細な回路構成を示すブロック図。
【図3】同実施例に係る動作を説明する図。
【図4】同実施例に係る動作を説明するタイミングチャート。
【図5】同実施例に係る動作を説明する図。
【図6】同実施例に係る動作を説明するタイミングチャート。
【図7】同実施例に係る他の回路構成を例示するブロック図。
【図8】図7のレベル変換部の具体構成を例示するブロック図。
【図9】図7のレベル変換部の具体構成を例示するブロック図。
【図10】図9のレベル変換部における動作を説明する図。
【図11】図9のレベル変換部における動作を説明する図。
【図12】図9のレベル変換部における動作を説明する図。
【図13】同実施例に係る光学顕微鏡の合焦面合せを行なう他の駆動部を示す図。
【図14】従来の第1の画像入出力装置の構成を示すブロック図。
【図15】図14の装置の駆動法を例示する図。
【図16】図14の装置の駆動法を例示する図。
【図17】従来の第2の画像入出力装置の構成を示すブロック図。
【図18】図17の装置の露光制御法を例示する図。
【図19】ピエゾ素子の位置変位特性を示す図。
【符号の説明】
11…光学顕微鏡
12…駆動制御部
13…画像入出力部
14…表示部
15…照明装置
16…テレビカメラ
17…ステージ駆動部
18…A/Dコンバータ
19…加算部
20…第1のメモリ
21…空間フィルタ
22…第2のメモリ
23…D/Aコンバータ
24…CPU
25…記憶制御部
26…駆動量制御部
27…画像加算タイミング発生部
31…レベル変換部
32…ゲイン可変アンプ
33…ルックアップテーブル
41…対物レボルバ駆動部
42…テレビカメラレンズ駆動部
[0001]
[Industrial application fields]
The present invention relates to an image input / output device used to display a processed image by adding and inputting specimen images observed with an optical microscope, for example.
[0002]
[Prior art]
In general, in order to optically capture an image with high resolution and high brightness, an imaging optical system using an optical element having a large aperture is required. However, an imaging optical element typified by a lens generally has a shallow depth of focus as the aperture increases. However, in the field of using image equipment such as a microscope, a camera, and an endoscope, it is of course desirable that the obtained image is excellent in resolution and brightness. It is strongly required to be.
[0003]
In specimen inspection observation with an optical microscope, samples with steps, such as semiconductor wafer patterns, uneven biological specimens, LCD panel inspection, etc., with conventional images with shallow depth of focus, blurred images are mixed in the observation image, It may interfere with the inspection process. In particular, in the pattern inspection process of a semiconductor wafer, there is a strong demand for an image in which the depth of focus with less blur is enlarged by high-speed processing with a simple operation.
[0004]
Conventionally, as a method for enlarging the depth of focus, a plurality of images with different in-focus positions are input and added, and an appropriate recovery process is performed on the obtained image to impair resolution and brightness. There are JP-A-1-309478 and JP-A-3-165672 as techniques for reproducing an image having a deep focal depth without any problem.
[0005]
The former specific method is an example applied to an electronic camera as shown in FIG. 14, and the focal point position is changed to a predetermined speed within the exposure time from the distance measurement data of several subjects arbitrarily selected by the photographer. As a result, the focal point can be controlled so that the blur of the integrated image does not depend on the location, and a good image input can be performed.
[0006]
As the drive method, for example, as shown in FIG. 15, a step-like drive that temporarily stops the in-focus position of the input image is performed to integrate the input images, or as shown in FIG. This is an image integration method in which images are roughly integrated by moving the in-focus position quickly for images in the vicinity of, and densely integrated by moving slowly in the vicinity of the distance.
[0007]
In the latter method, as shown in FIG. 17, for example, based on the information on the number of subjects measured by the measuring means, the distance from the imaging unit to each subject, and the brightness of each subject, an image is discretely obtained. In addition to the above-mentioned method, a pre-processing for optimally setting the number of input images when inputting images, the exposure time at the time of input, and various conditions for integrating and inputting images while continuously changing the in-focus position is added to the former method. It is characterized by that. Based on this setting condition, the exposure time by the shutter control is changed as shown in FIG. 18 at the in-focus position of each subject, and good blur-free image input is performed. According to this, it is possible to obtain an image with a deep focal depth without losing resolution or brightness by capturing an image with an optimal exposure time from each input image, and to obtain a clear reproduced image with a good S / N ratio. Can be obtained.
[0008]
[Problems to be solved by the invention]
However, in the former method, the measurement position is inaccurate due to the backlash of the motor system in the step-like driving which is one of the driving methods, and the weight of the driving member and the piezo element itself in the actuator driving system by the piezo element. This causes inaccuracy of the measurement position due to the position displacement characteristics of the. In particular, a piezo element capable of high-speed movement requires a sufficient time to stop at a stable position as shown in FIG. 19, and requires a very long stabilization time compared to the time for capturing one screen of an image. To do.
[0009]
Such a driving method requires a great deal of time for the entire processing, and in an observation system that controls the position of a minute displacement such as a microscope, the focal depth is shallow at a high magnification, so that a slight positional fluctuation occurs. If it occurs, it is easy to obtain a blurred image, which is not a practical method.
[0010]
In addition, the latter method, which is driven based on information on the number of subjects, the distance from the imaging unit to each subject, and the brightness of each subject, is a continuous process and time for analyzing and calculating each information. Is necessary in advance, and it is very troublesome because an input image must be created by performing complicated calculations for the non-linear waveform. Furthermore, as for the method of adding input images, since image input is performed while performing exposure time control for each input image, a control shutter for exposure time control is required, and the exposure time for imaging is adjusted, A control unit for compensating for an insufficient light quantity of the image is required, which causes a problem that the apparatus becomes large.
[0011]
The present invention has been made in view of the above circumstances, and in order to increase the depth of focus by adding the input image, each process such as preprocessing, drive control of the drive unit, and image addition is performed without performing complicated drive control. An object of the present invention is to provide an image input / output device capable of obtaining a good final image while simplifying as much as possible and capable of reducing the cost of the device configuration.
[0012]
[Means for Solving the Problems]
  According to the first aspect of the present invention, in the image input / output device for inputting / outputting the specimen observation image information of the microscope, the imaging means for imaging the image of the subject and the focusing plane of the subject are performedforThe imaging means or the specimen holding means in the imaging meansIn the direction of the optical axisA driving means for driving; a contrast measuring means for specifying a plurality of in-focus positions based on the amount of light of the image obtained by the imaging means and its contrast; an in-focus position storage means for storing the in-focus positions; and the imaging means. Image storage means for storing the obtained image of the subject, and a plurality of in-focus positions stored in the in-focus position storage meanseachIn-focus positionAt the speed at which image input occurs while moving within the depth of focus range,And,From the first focal position to the last focal positionConstant speedControl the drive means to move withDrive control means, andpluralIn-focus positionEach of the images input from the imaging meansto addSo as to controlTiming signal generation means for generating an addition timing signal; and addition means for adding the image of the subject obtained by the imaging means and the image stored in the image storage means by the addition timing signal from the timing signal generation means; The added image by the adding means is subjected to spatial frequency filtering on the added image.Restore only the focused image by removing the blurImage focus recovery means for performing recovery processing.
[0013]
  In invention of Claim 2,The adding means performs signal level conversion on one image based on the amount of light and contrast, and then adds the other image.I am doing so.
  According to a third aspect of the present invention, the adding means includes:Arbitrary level conversion is performed on the signal of the subject image obtained by the imaging means.I am doing so.
  In invention of Claim 4,When the drive system further performs closed-loop drive control, the drive control means always detects the position of the stage drive unit with the position detection unit of the drive amount control unit, and always performs position correction.I am doing so.
  In invention of Claim 5,The timing signal generating means can arbitrarily select the added timing signal to be generated.I am doing so.
  In invention of Claim 6,When the contrast measured by the contrast measuring unit or the light quantity thereof is insufficient with respect to a certain in-focus surface, the addition unit performs input by performing input of the in-focus surface for a plurality of images.Like.
[0014]
[Action]
As a result, according to the first aspect of the invention, when inputting an image,, Imaging means or specimen holding meansDrive in the optical axis directionSince it is constant at the speed at which image input is performed while moving within the focal depth range at each in-focus position, the image from the imaging means is added by the addition timing signal from the timing signal generating means.The driving means can be simplified, and it is not necessary to calculate complicated parameters such as input conditions or to perform exposure control of a special imaging unit, and a good final image can be obtained with simple control..
  MaClaim2According to the described invention, since the desired level conversion processing is performed in accordance with the environmental conditions at the time of image input and the characteristics of the subject, the brightness and contrast of the input image can be improved, and the degradation of the processed image can be prevented. A good final image can be obtained with simple control.
[0015]
  Claims3According to the described invention, arbitrary level conversion can be performed on the signal of the image of the subject obtained by the imaging means.
  Claims4According to the described invention, when the drive system performs closed-loop drive control, the position detection unit of the drive amount control unit always detects the position of the stage drive unit and always performs position correction to obtain a good observation image. be able to.
  Claims5According to the described invention, the timing signal generating means can arbitrarily select the added timing signal to be generated.
  Claims6According to the described invention, when the light amount and the contrast of the image are insufficient with respect to a certain focal plane, the insufficient light amount and the contrast of the image are obtained by performing input for a plurality of images on the focal plane and performing addition. It is possible to obtain a good image as a whole.
[0016]
【Example】
An embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 shows the configuration of the apparatus. The apparatus includes an optical microscope 11, a drive control unit 12 that performs drive control in the optical axis direction in order to perform focusing on an image obtained by the optical microscope 11, and the drive control. An image input / output unit 13 that performs input / output processing on an image obtained by the optical microscope 11 under the control of the unit 12 to obtain an added image, and displays a final image obtained by the image input / output unit 13, for example, CRT and The display unit 14 is composed of the drive circuit.
[0017]
The optical microscope 11 includes an illuminating device 15, a television camera 16, and a stage drive unit 17. For example, the stage drive unit 17 that drives a stage on which a specimen that is a subject is placed receives a drive signal from the drive control unit 12. Thus, the focal plane of the image is adjusted by moving in the optical axis direction. Thus, the sample image obtained by illumination with the light source from the illumination device 15 is captured by the television camera 16 and sent to the image input / output unit 13 as an analog image signal.
[0018]
In the image input / output unit 13, the analog image signal from the TV camera 16 is sampled and digitized by the A / D converter 18 and sent to the adding unit 19. The adder 19 adds the digital image signal from the A / D converter 18 and the image signal read from the first memory 20 to be described later, and stores them in the first memory 20. The image signal stored in the first memory 20 is read out to the spatial filter 21 and the adding unit 19.
[0019]
The spatial filter 21 removes a blurred portion after addition of the image signal read from the first memory 20 by a spatial frequency filtering process, and performs a recovery process to restore only the focused image in the second memory 22. Remember. The image signal stored in the second memory 22 is converted into an analog signal again by the D / A converter 23 and output from the image input / output unit 13 as a final image signal after processing. Display output.
[0020]
However, the CPU 24 controls the adder 19, the first memory 20, the spatial filter 21, and the second memory 22, while the storage controller 25 controls the first memory 20 and the second memory 22. The writing / reading is controlled.
[0021]
The drive control unit 12 includes a drive amount control unit 26 and an image addition timing generation unit 27, both of which are also connected to the image input / output unit 13. That is, the drive amount control unit 26 detects the position of the stage drive unit 17 of the optical microscope 11 and performs drive control on the detected position, while the image addition timing generation unit 27 generates an addition timing signal of the image signal. This is supplied to the adding unit 19 of the image input / output unit 13.
[0022]
Next, FIG. 2 mainly shows the configuration of the drive amount control unit 26. As shown in the figure, the drive amount control unit 26 includes a reference signal generation unit 26a, a drive waveform generation unit 26b, and a position detection unit 26c.
[0023]
For example, in the case of driving using a piezo element, since the voltage level corresponds to the optical axis direction, the driving amount control unit 26 variably inputs the voltage level to the stage driving unit 17 to drive. In this case, the CPU 24 sends information on the set driving speed to the reference signal generator 26a. The reference signal generator 26a generates a reference signal waveform corresponding to the speed information and outputs it to the drive waveform generator 26b.
[0024]
The drive waveform generator 26b generates a drive waveform corresponding to the reference signal waveform from the reference signal generator 26a. The drive waveform output from the drive waveform generator 26b is converted into a high voltage waveform in order to move the drive unit. The stage drive unit 17 is driven by this drive waveform signal, the position by the stage drive unit 17 at this time is detected by the position detection unit 26c according to the signal from the CPU 24, and the detection result is sent to the image addition timing generation unit 27 and the CPU 24. Output.
[0025]
For example, in the case of open loop control that does not perform particularly fine position control, the drive waveform generator 26b generates a drive waveform at a desired speed by changing the frequency of the reference signal generator 26a according to the set speed of the CPU 24 as described above. Alternatively, the waveform can be generated by setting a drive waveform at a constant speed using a waveform generation memory.
[0026]
However, in the driving method using a piezo element as described above, in order to maintain an accurate relationship between the driving waveform and the position, it is necessary to always make the driving start position and the end position and the distance of the reciprocating stroke the same.
[0027]
Next, the operation of the above embodiment will be described.
First, in order to confirm the position where the focal point of the observation specimen placed on the stage driven by the stage driving unit 17 of the optical microscope 11 is, the focusing optical axis position of the input image as an input condition, Preprocessing is performed to obtain data on the number of sheets and the amount of light.
[0028]
That is, the stage drive unit 17 is moved step by step at a predetermined interval of the optical axis, and image data of the observation specimen is obtained from the television camera 16 one by one. Each obtained piece of image data is sampled and digitized via the A / D converter 18 in the image input / output unit 13, and then the addition unit 19 does not actually perform any addition processing, but the original data. The image is temporarily stored in the first memory 20 as it is. The CPU 24 reads the image data stored in the first memory 20 and analyzes various data.
[0029]
That is, the CPU 24 calculates, for example, the contrast value and the light amount of an image at a certain position, and when the series of analysis processes is completed, the drive amount control is performed so as to move the focusing optical axis at the next position. The stage 26 is further moved by one step by the stage driving unit 17, and the same analysis processing as that described above is performed. This repeated process is sequentially performed within the range where the sample exists in the optical axis direction.As a result, several images with sufficient contrast in the sample to be added and selected are selected, and the focal plane position and the number of images are selected. The light quantity distribution of the image is obtained.
[0030]
Needless to say, the smaller the finer the optical axis movement interval for capturing the image, the higher the accuracy of the obtained analysis result.
The position and the number of images to be captured are set in the drive control unit 12 based on the information obtained by the preprocessing as described above, and the linear drive at a constant speed of the stage drive unit 17 for image capture is executed in the optical axis direction. Is done.
[0031]
It is assumed that the storage time of image data can be arbitrarily selected depending on the signal system or imaging situation. For example, in NTSC, which is generally used in domestic television systems, one screen image is input in 1 frame storage time of 1/30 seconds as a standard. In order to be able to input image data of a desired focal plane within this time, that is, while the focal plane to be input is moving within the sample focal depth range in the optical axis direction derived from the characteristics of the objective lens, Drive at a constant speed to allow input.
[0032]
The CPU 24 determines the drive speed so as to satisfy this condition, and sets it in the drive amount control unit 26. The image capture position information is obtained by generating an image capture timing based on the data calculated by the preprocessing and the position detection data. At this time, image data for several screens is added from the calculated data. If necessary, the image addition timing generator 27 generates timing signals for the number of sheets required for the addition in accordance with the signal from the position detector 26c.
[0033]
The image capturing operation for each sheet will be described with reference to FIGS. FIG. 3 shows the relationship between the time t and the optical axis distance Z of the stage drive unit 17 linearly driven in the optical axis direction at a constant speed v1, and the timing of generating a timing signal for image addition corresponding to this. 4 is an enlarged view of the generation timing of the image addition timing signal.
[0034]
The drive amount control unit 26 of the drive control unit 12 drives the stage drive unit 17 linearly at a constant speed v1 and inputs an image within the focal depth interval of ΔZ1 at the positions Z11, Z12, and Z13 in FIG. The times at that time are t1, t2, and t3, respectively, and the allowable input time is Δt1. During this time, the CPU 24 sets the speed so that an image is input (Δt1> 1/30 [seconds], v1 = Z11 / t1).
[0035]
Then, the CPU 24 generates an image capture timing signal at a certain set time when the image capture target position is reached, and generates an image input and addition permission signal as shown in FIG. 4 (2) as a capture start trigger. , Input to the adder 19.
[0036]
The addition unit 19 performs addition input on an image that has been input during the permission period in which the addition permission signal is at the “H” level. In this method, image input and addition are performed at the start time of the frame of the image, that is, at the start timing of the vertical synchronization signal as shown in FIG. 4 (3). An addition permission signal is generated at the position to perform image addition with the next image. As a result, it is possible to sequentially input a sharp image with no blur in the focused range of interest within the focal depth range, and finally a good observation image can be obtained by performing the recovery process.
[0037]
In addition, if the light quantity or image contrast is insufficient for a certain focal plane, the input of the focal plane is performed for multiple images and addition is performed to compensate for the insufficient light quantity and image contrast. As a result, a good image can be obtained.
[0038]
FIGS. 5 and 6 explain the operation of capturing a plurality of images. FIG. 5 shows the relationship between the time t and the optical axis distance Z of the stage drive unit 17 linearly driven in the optical axis direction at a constant speed v2. FIG. 6 shows the generation timing of the image addition timing signal in an enlarged manner.
[0039]
In this case, since a plurality of images are captured and input as shown in FIG. 5, the constant driving speed v2 is within the focal depth range on the in-focus plane to be measured. It may be set to be sufficiently lower than the driving speed v1 at that time, and the number of pulses of the image input timing signal is generated by the number of additions of the input image as shown in FIGS. At this time, similarly, image input is performed at the positions Z21, Z22, and Z23 in FIG. 5 within the interval of the focal depth of ΔZ1. The times at that time are t1, t2, and t3, respectively, and the allowable input time is Δt2. In the meantime, the CPU 24 sets the speed so that an image is input. For example, although two screens are input in FIG. 6, in such a case, the driving speed v2 may be set so that the focal depth range can be driven in a time of 2/30 [seconds] (Δt2> 2). / 30 [seconds], v2 = Z21 / t1).
[0040]
Then, the CPU 24 continuously generates two pulses of an image addition timing signal indicating the number of input images as shown in FIG. 6A, and inputs the signal to the adder 19. In this case, the number of sheets to be added corresponds to the number of pulses, and as described above, image input is performed for two screens. The pulse of the image addition timing signal indicating the number of input images may be generated at a time using a plurality of signals in parallel.
[0041]
When the drive system performs closed-loop drive control, the position detection unit 26c of the drive amount control unit 26 always detects the position of the stage drive unit 17 and constantly corrects the position while maintaining position accuracy. Drive at a constant speed. Then, when the target position for image capture is reached, an image capture timing signal is used as a trigger based on the position detection signal to generate an input and addition permission signal as in FIG. . Therefore, processing similar to the processing in the case of the open loop described above is performed, and finally a good observation image can be obtained.
[0042]
In the configuration of the above-described embodiment, in the case of an image with insufficient light quantity and contrast with respect to a certain focal plane, the same image is added and corrected multiple times. It is necessary to reduce the speed accordingly, and it is necessary to change the setting for each sample.
[0043]
For such an image with insufficient light quantity and contrast, data conversion for correcting this is performed in real time so that only one image needs to be acquired, and there is no need to change the drive speed setting. This will be described as another configuration example according to the embodiment.
[0044]
FIG. 7 exemplifies the configuration of the circuit and is basically the same as that shown in FIG. 1 described above. Therefore, the same parts are denoted by the same reference numerals and description thereof is omitted.
Thus, the level converter including the A / D converter 18 that performs arbitrary level conversion on the analog image input signal obtained by the TV camera 16 and outputs the digitized signal is provided upstream of the adder 19. A portion 31 is provided.
[0045]
This level conversion unit 31 can process without adjusting the exposure time of imaging of each image and without generating a plurality of timing signals for one image.
FIG. 8 shows a first configuration example of the level conversion unit 31. The level conversion unit 31 is configured by the gain variable amplifier 32 and the A / D converter 18. In FIG. In this case, the analog image signal obtained by the television camera 16 is amplified several times by the variable gain amplifier 32, then sampled by the A / D converter 18 and digitized, and then added to the adder 19 in the next stage. Provided. Therefore, even if the image signal from the television camera 16 is insufficient in light quantity or insufficient in contrast, this can be compensated for each input image by arbitrarily adjusting the gain of the gain variable amplifier 32.
[0046]
FIG. 9 shows a second configuration example of the level conversion unit 31. The level conversion unit 31 is configured by the A / D converter 18 and the lookup table 33. In this case, the analog image signal obtained by the television camera 16 is sampled by the A / D converter 18 and digitized, and then supplied to the lookup table 33. A memory (ROM, RAM) is used as the look-up table 33, and A / D converted input image data is used as a designated address, and level-converted image data written in advance at the corresponding address position is read. Level conversion is performed by outputting to the adder 19 in the next stage. In the look-up table 33, image data level-converted in advance in accordance with an arbitrary amplification factor is written by the CPU 24 in the case of a RAM, for example. As in the case of FIG. Even if the signal is insufficient in light quantity or insufficient in contrast, this level conversion can sufficiently compensate for this.
[0047]
Further, the look-up table 33 is constituted by, for example, a RAM, and is provided so that the CPU 24 can freely set or rewrite the contents thereof, and can have various conversion characteristics depending on observation conditions and samples. Compared to the case shown in FIG. 8, the degree of freedom can be made higher.
[0048]
For example, as shown in FIG. 10, when the input image has a large number of low-luminance portions as a whole, the contrast with the portion having the high-luminance component can be clearly seen, but the contrast in the low-luminance portion is not clear.
[0049]
In such a case, a characteristic table as shown in FIG. 11 is written in the look-up table 33 and luminance conversion is performed. As a result, the low luminance portion is emphasized as shown in FIG. The contrast in the low-luminance portion is clarified, and an image display that can obtain a constant contrast as a whole is possible.
[0050]
In the above embodiment, the optical microscope 11 is moved in the direction of the optical axis by the stage drive unit 17 and the focal plane with respect to the specimen S placed on the stage is adjusted. However, the present invention is not limited to this. Absent. FIG. 13 lists other drive units that can adjust the focal plane of the object with the optical microscope 11. In addition to the stage drive unit 17, the objective revolver drive unit 41, the TV camera lens drive unit 42, and the like. Any one of these or a combination thereof can be easily realized. Furthermore, various drive mechanisms such as an electromagnetic motor, an ultrasonic motor, and a piezoelectric element can be considered as the drive mechanism of the drive unit.
[0051]
Further, the TV camera 16 is not limited to the NTSC system, but can obtain images by PAL, SECAM and other necessary television systems. If a high-definition system capable of capturing a higher-band image is used, a high resolution can be obtained. Needless to say, an image can be obtained.
[0052]
As mentioned above, although demonstrated based on the Example, the following invention is contained in this invention.
(1) In image input / output for inputting / outputting image information, an image pickup means for picking up an image of a subject, a drive means for performing focusing on the subject, the number of subjects, the distance from the image pickup means to the subject, Based on measurement means for measuring each information of the brightness of the subject, storage means for storing the image of the subject obtained by the imaging means, each information obtained by the measurement means, and information on the drive position by the drive means Driving control means for controlling the focal plane position with respect to the driving means, and an addition timing signal for the image stored in the storage means based on the driving position of the driving means and each information obtained by the measuring means. A timing signal generating means; an image of the subject obtained by the imaging means by an addition timing signal from the timing signal generating means; and an image stored in the storage means. A calculation adding means, image input and output apparatus characterized by comprising a recovery means for performing recovery processing by the spatial frequency filtering on the added image by the adding means.
[0053]
In this way, when inputting an image, the driving of the subject in the optical axis direction is set to a linear constant speed driving, and the timing signal generating means is provided that can add the required number of the same images by the light quantity and contrast of the image. As a result, it is possible to simplify the driving means, and there is no need to calculate complicated parameters such as input conditions or to perform exposure control of a special imaging unit, and a good final image can be obtained by simple control. it can.
[0054]
(2) In the image input / output device described in (1), the adding means performs signal level conversion on one image based on the amount of light and contrast, and then adds the image to the other image. Output device.
[0055]
In this way, the desired level conversion processing is performed in accordance with the environmental conditions at the time of image input and the characteristics of the subject, so that the brightness and contrast of the input image can be improved and the degradation of the processed image can be prevented. A good final image can be obtained with simple control.
[0056]
【The invention's effect】
As described above, according to the present invention, each process such as preprocessing, drive control of the drive unit, and image addition is performed as much as possible without performing complicated drive control in order to increase the depth of focus by adding the input images. It is possible to obtain a good final image while simplifying, and to reduce the cost of the apparatus configuration.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall circuit configuration according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a detailed circuit configuration of a drive amount control unit mainly in FIG. 1;
FIG. 3 is a diagram for explaining an operation according to the embodiment;
FIG. 4 is a timing chart for explaining the operation according to the embodiment.
FIG. 5 is a diagram for explaining an operation according to the embodiment;
FIG. 6 is a timing chart for explaining the operation according to the embodiment.
FIG. 7 is a block diagram illustrating another circuit configuration according to the embodiment;
8 is a block diagram illustrating a specific configuration of a level conversion unit in FIG. 7;
9 is a block diagram illustrating a specific configuration of a level conversion unit in FIG. 7;
10 is a diagram for explaining the operation in the level conversion unit of FIG. 9;
11 is a diagram for explaining the operation in the level conversion unit of FIG. 9;
12 is a diagram for explaining the operation in the level conversion unit of FIG. 9;
FIG. 13 is a diagram illustrating another driving unit that performs focusing surface alignment of the optical microscope according to the embodiment;
FIG. 14 is a block diagram showing a configuration of a first conventional image input / output device.
15 is a diagram illustrating a driving method of the apparatus of FIG. 14;
16 is a diagram illustrating a driving method of the apparatus in FIG. 14;
FIG. 17 is a block diagram showing a configuration of a conventional second image input / output device.
18 is a diagram illustrating an exposure control method of the apparatus of FIG.
FIG. 19 is a diagram showing a position displacement characteristic of a piezo element.
[Explanation of symbols]
11 ... Optical microscope
12 ... Drive control unit
13. Image input / output unit
14 ... Display section
15 ... Lighting device
16 ... TV camera
17 ... Stage drive unit
18 ... A / D converter
19 ... Adder
20: First memory
21 ... Spatial filter
22 ... second memory
23 ... D / A converter
24 ... CPU
25. Storage control unit
26: Drive amount control unit
27. Image addition timing generator
31 ... Level converter
32 ... Variable gain amplifier
33 ... Lookup table
41 ... Objective revolver drive unit
42 ... TV camera lens drive unit

Claims (6)

顕微鏡の検体観察画像情報を入出力する画像入出力装置において、
被写体の画像を撮像する撮像手段と、
被写体の合焦面合わせを行なうために上記撮像手段または上記撮像手段における検体保持手段を光軸方向に駆動する駆動手段と、
上記撮像手段で得た画像の光量とそのコントラストにより複数の合焦点位置を特定するコントラスト計測手段と、
上記合焦点位置を記憶する合焦点位置記憶手段と、
上記撮像手段で得た上記被写体の画像を記憶する画像記憶手段と、
上記合焦点位置記憶手段に記憶される複数の合焦点位置のそれぞれの合焦点位置において焦点深度範囲内を移動する間に画像入力が行われる速度で、かつ、最初の合焦点位置から最後の合焦点位置までの間を一定速度で移動するように前記駆動手段を制御する駆動制御手段と、
上記複数の合焦点位置のそれぞれにおいて前記撮像手段から入力される画像を加算するように制御するための加算タイミング信号を発生するタイミング信号発生手段と、
このタイミング信号発生手段からの加算タイミング信号により上記撮像手段で得た上記被写体の画像と上記画像記憶手段に記憶された画像とを加算する加算手段と、
この加算手段による加算画像に対して空間周波数フィルタリングによって加算画像のぼけ部分を除去し合焦した画像のみを復元する回復処理を施す画像焦点回復手段と
を具備したことを特徴とする画像入出力装置。
In an image input / output device that inputs and outputs specimen observation image information of a microscope,
Imaging means for capturing an image of a subject;
Driving means for driving the imaging means or the sample holding means in the imaging means in the direction of the optical axis in order to perform focusing on the subject;
Contrast measuring means for specifying a plurality of in-focus positions based on the light amount of the image obtained by the imaging means and its contrast;
In-focus position storage means for storing the in-focus position;
Image storage means for storing an image of the subject obtained by the imaging means;
The speed at which image input is performed while moving within the focal depth range at each of the plurality of focal positions stored in the focal position storage means, and from the first focal position to the last focal position. Drive control means for controlling the drive means to move at a constant speed between the focal position and
Timing signal generating means for generating an addition timing signal for controlling to add images input from the imaging means at each of the plurality of in- focus positions;
Adding means for adding the image of the subject obtained by the imaging means and the image stored in the image storage means by the addition timing signal from the timing signal generating means;
An image input / output device comprising: image focus recovery means for performing recovery processing for restoring only a focused image by removing a blurred portion of the added image by spatial frequency filtering with respect to the added image by the adding means .
上記加算手段は、
一方の画像に対してその光量及びコントラストにより信号レベル変換を行なってから他方の画像と加算することを特徴とする請求項1記載の画像入出力装置。
The adding means is
2. The image input / output apparatus according to claim 1, wherein a signal level conversion is performed on one image based on a light amount and a contrast and then the other image is added .
上記加算手段は、
上記撮像手段で得た上記被写体の画像の信号に対して任意のレベル変換を行なうことを特徴とする請求項2記載の画像入出力装置。
The adding means is
3. The image input / output apparatus according to claim 2, wherein an arbitrary level conversion is performed on a signal of the image of the subject obtained by the imaging means .
上記駆動制御手段は、
さらに駆動系がクローズドループの駆動制御を行なう場合に、常に駆動量制御部の位置検出部でステージ駆動部の位置検出を行ない、常時位置補正を行なうことを特徴とする請求項1記載の画像入出力装置。
The drive control means includes
2. The image input device according to claim 1, wherein when the drive system performs closed-loop drive control, the position detection unit of the drive amount control unit always detects the position of the stage drive unit and always performs position correction. Output device.
上記タイミング信号発生手段は、発生する加算タイミング信号を任意に選択できることを特徴とする請求項1記載の画像入出力装置。 2. An image input / output apparatus according to claim 1 , wherein said timing signal generating means can arbitrarily select an addition timing signal to be generated . 上記加算手段は、
さらにある合焦面に対して上記コントラスト計測手段で計測されたコントラストまたはその光量が不足する場合、その合焦面の入力を複数画像分行なって加算を行なうことを特徴とする請求項1記載の画像入出力装置。
The adding means is
2. The method according to claim 1 , wherein when the contrast measured by the contrast measuring means or the light quantity thereof is insufficient with respect to a certain in-focus surface, the in-focus surface is input for a plurality of images and addition is performed . Image input / output device.
JP12378895A 1995-05-23 1995-05-23 Image input / output device Expired - Fee Related JP3992302B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12378895A JP3992302B2 (en) 1995-05-23 1995-05-23 Image input / output device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12378895A JP3992302B2 (en) 1995-05-23 1995-05-23 Image input / output device

Publications (2)

Publication Number Publication Date
JPH08317273A JPH08317273A (en) 1996-11-29
JP3992302B2 true JP3992302B2 (en) 2007-10-17

Family

ID=14869320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12378895A Expired - Fee Related JP3992302B2 (en) 1995-05-23 1995-05-23 Image input / output device

Country Status (1)

Country Link
JP (1) JP3992302B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5090188B2 (en) * 2008-01-10 2012-12-05 オリンパス株式会社 Microscope equipment
JP5954933B2 (en) * 2011-03-29 2016-07-20 キヤノン株式会社 Imaging device and lens device

Also Published As

Publication number Publication date
JPH08317273A (en) 1996-11-29

Similar Documents

Publication Publication Date Title
US5734441A (en) Apparatus for detecting a movement vector or an image by detecting a change amount of an image density value
US7916194B2 (en) Image pickup apparatus
US7885489B2 (en) Image pickup apparatus and method and apparatus for manufacturing the same
US7609317B2 (en) Electronic camera and automatic focusing method for generating a light exposure control signal according to a central timing
CN102104738A (en) Multi-step exposed image acquisition method by electronic shutter and photographing apparatus using the same
JP4764712B2 (en) Digital camera and control method thereof
JP2006284965A (en) Microscope device and enlarged image generating method
US20080140317A1 (en) Microscope image pickup apparatus, microscope image pickup program product, microscope image pickup program transmission medium and microscope image pickup method
JPH07253548A (en) Device and method for automatically pursuing sample image
JP3992302B2 (en) Image input / output device
JP2000266995A (en) Microscope focusing point detecting method
JP3290606B2 (en) Autofocus device for microscope
CN1856033A (en) Method for focussing a film scanner and film scanner for carrying out the method
JP2007060520A (en) Imaging apparatus
JP2006350004A (en) Confocal microscope system
JPH0486615A (en) Intermittent photographing device for microscope
JP4574758B2 (en) Microscope image observation device
US20040114198A1 (en) Image processing system and method
JP3560663B2 (en) Scanning optical microscope
JPH07143388A (en) Video camera
JP2004272077A (en) Apparatus and method for shading correction and recording medium on which control program is recorded
JP3678846B2 (en) Auto focus camera
JP3222155B2 (en) Automatic focus adjustment device
JP3709238B2 (en) Automatic focus detection device and microscope using the same
JPH0254522B2 (en)

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050314

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050601

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20051216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070724

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120803

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130803

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees