JP4146916B2 - 画像入力装置 - Google Patents
画像入力装置 Download PDFInfo
- Publication number
- JP4146916B2 JP4146916B2 JP15072397A JP15072397A JP4146916B2 JP 4146916 B2 JP4146916 B2 JP 4146916B2 JP 15072397 A JP15072397 A JP 15072397A JP 15072397 A JP15072397 A JP 15072397A JP 4146916 B2 JP4146916 B2 JP 4146916B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- contrast
- stage
- contrast value
- addition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、光学顕微鏡で観察する厚みのある被写物体の各高さ位置のそれぞれの合焦面での画像を加算して焦点深度が拡大された画像（以下、高深度画像という）を生成する画像入力装置に関するものである。
【０００２】
【従来の技術】
被写物体の入力画像を用いて、この被写物体を画像解析するような場合、入力画像として、明るく高解像で、さらに焦点深度の深い画像であることが要求される。
【０００３】
そこで、このように解像度に優れ、しかも高倍率で明るい画像を光学的に取り込むには、開口数の大きな光学素子を用いた結像光学系が用いられている。
【０００４】
ところが、レンズに代表される結像光学素子は、開口数が大きくなると焦点深度が浅くなるため、大きな倍率を確保するために開口の大きい結像光学素子を使用すると、焦点深度が浅くなることから、仮に、厚みのある被写物体で、光軸方向に異なる高さ位置が存在するような場合には、一つの高さ位置にしかピントを合わせることができず、その他の部分の画像はぼけてしまう。
【０００５】
そこで、従来から顕微鏡、カメラ、内視鏡などの画像機器を利用する分野では、被写物体の異なる高さ位置の全てに焦点が合うように焦点深度を深くする手段が種々考えられている。
【０００６】
一例として、特開平５−３１３０６８号公報は、マルチエリア測距装置なるもので、各エリア内の空間周波数特性を、レンズ駆動装置でレンズを駆動して物体面における合焦位置を変えながら測定し、各物体までの距離を予め測定した後（前処理）、視野内の複数枚の物体面の像の空間周波数的特性が、累積加算された画像の各エリアにおいて最も均一に近くなるような画像を、レンズ駆動装置でレンズを駆動して累積加算して合成する（後処理）技術が開示されている。
【０００７】
また、特開昭６０−６８３１２号公報には、撮影視野内の試料の最も凸なる部分の合焦位置から、最も凹なる部分の合焦位置の間で合焦位置を移動し、フィルム上で光量を順次積算する事で、焦点深度が拡大された画像を構築する技術が開示されている。
【０００８】
さらに、特開平１−３０９４７８号公報には、光学系の合焦位置を、適当に設定した距離間隔および距離範囲で離散的に変えながら、画像を取り込み積算していく技術やＴＶカメラの受光素子部に画像が蓄積される時間の間で、試料の合焦面を、フォーカスレベル駆動装置によって連続的に変えて画像を取り込み積算していく技術が開示されている。
【０００９】
【発明が解決しようとする課題】
ところが、特開平５−３１３０６８号公報に開示されるものは、画像を取り込む動作の前に、予め、予想される物体の合焦範囲でレンズを駆動して、空間周波数特性を測定しなければならないため、高深度画像を構築するまでに余分な時間が必要となる問題があり、また、特開昭６０−６８３１２号公報に開示されるものは、試料の最も凸なる部分と最も凹なる部分を始めに設定しなくてはならないため、操作が煩わしい上にその分時間がかかるという問題があり、さらに特開平１−３０９４７８号公報に開示されるものは、予め設定した距離間隔および距離範囲が試料ごとに異なる場合、試料を変えるたびに設定し直さなければならないので、操作が面倒になるという問題があった。
【００１０】
本発明は、上記事情に鑑みてなされたもので、操作が簡単で、しかも速やかに被写物体に応じて最適で良好な高深度画像を構築できる画像入力装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
請求項１記載の発明は、被写物体を撮像する撮像手段と、この撮像手段に対する上記被写物体の合焦位置を移動させる合焦位置移動手段と、この合焦位置移動手段により移動される上記被写物体の上記撮像手段より撮像される画像を加算する画像加算手段と、上記撮像手段により撮像される上記被写物体の画像のコントラスト値を演算するコントラスト演算手段と、コントラスト値の変化状態が増加傾向となる方向を判断し、上記合焦位置移動手段によりコントラスト値の変化状態が増加となる方向に合焦位置を移動させ、上記コントラスト演算手段により演算されるコントラスト値が予め設定した所定値より大きい地点をスタート位置とし、コントラスト値の変化の度合が一定以上であることを判断し、以後上記合焦位置移動手段によりコントラスト値の変化状態が増加となる方向に合焦位置を移動させながら継続して上記画像加算手段への画像加算を指示し、コントラスト値がピーク値を超えて予め設定した所定値以下となった地点をエンド位置として上記画像加算手段での画像加算を停止させる制御手段とにより構成している。
【００１３】
請求項２記載の発明は、上記請求項１記載の発明において、上記撮像手段で撮像した画像を記憶する記憶手段と、上記合焦位置移動手段による合焦点の移動によって上記撮像手段で得られる画像に生じるぶれ量を検出する検出手段と、この検出手段で検出したぶれ量により上記記憶手段の書込み、読出しアドレスを制御するアドレス制御手段とをさらに具備し、上記画像加算手段は、上記アドレス制御手段のアドレス制御により上記記憶手段より読出した画像に上記撮像手段で得た画像を加算し、該加算された画像を上記記憶手段に書込むようにしている。
【００１６】
この結果、請求項１記載の発明によれば、被写物体の異なる合焦位置での撮像画像のコントラスト値が所定の変化を呈する時点から画像加算を行なうようにできるので、コントラスト値が急激に増加する安定した画像領域を選択して画像加算を行なうようにでき、被写物体に応じて最適で良好な高深度画像を速やかに構築できる。また、従来に見られる事前に被写物体に応じた種々の条件を設定するなどの作業を必要としないので、操作も簡単にできる。
【００１８】
請求項２記載の発明によれば、上記請求項１記載の発明の作用に加えて、高深度画像を自動的に構築する際に、観察標本を載置したステージに移動によるぶれが生じた場合でも、ぶれを生じない場合と同様にコントラスト計算を行ない、正確な合焦範囲を決定することができると共に、この決定した合焦範囲によって画像の取り込入力時に画像の積算に対してもぶれ補正を行なって、正確な画像をぶれなく入力し、良好な高深度画像を取得することができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
【００２２】
（第１の実施の形態）
図１は、本発明が適用される画像入力装置の概略構成を示している。この場合、画像入力装置は、撮像手段１、装置本体２、テレビモニター３および操作部４から構成している。
【００２３】
撮像手段１は、光学顕微鏡１０１による被写物体の観察像を撮像するもので、ここでは、光学顕微鏡１０１のステージ１０２に載置される被写物体としての標本の観察像を中間倍率レンズ１０３を通してＣＣＤカメラ１０４で撮像するようにしている。この場合、光学顕微鏡１０１のステージ１０２は、ステージ駆動回路１０５により光軸方向、つまり上下方向に移動可能にしている。
【００２４】
装置本体２は、画像入力手段としての画像取り込み回路２０１、画像加算記憶手段としての画像加算回路２０２、加算メモリ２０３、コントラスト演算手段としてのコントラスト計算用メモリ２０４、ＤＳＰ２０５、中央制御手段としてのＣＰＵ２０６、加算された画像に回復処理を施すための空間フィルタ回路２０７、空間フィルタ回路２０７で回復処理された画像を表示、記憶するための表示メモリ２０８、テレビモニター３に画像を表示するための画像表示回路２０９を有している。この場合、撮像手段１のＣＣＤカメラ１０４の映像出力端子に画像取り込み回路２０１を接続し、画像取り込み回路２０１の出力端子を画像加算回路２０２の２つある入力の内の一方とコントラスト計算用メモリ２０４にそれぞれ接続している。コントラスト計算用メモリ２０４には、ＤＳＰ２０５を接続し、このＤＳＰ２０５には、ＣＰＵ２０６を接続している。また、画像加算回路２０２の出力端子には、加算メモリ２０３を接続し、この加算メモリ２０３の出力端子には、空間フィルタ回路２０７の入力端子と画像加算回路２０２のもう一方の入力端子を接続している。空間フィルタ回路２０７の出力端子には、表示メモリ２０８の入力端子を接続し、その出力端子には、画像表示回路２０９の入力端子を接続している。そして、この画像表示回路２０９の出力端子には、テレビモニター３を接続している。また、ＣＰＵ２０６には、画像加算回路２０２、加算メモリ２０３、空間フィルタ回路２０７、表示メモリ２０８および画像表示回路２０９を接続し、さらに、上述した撮像手段１に対する合焦位置移動手段としてのステージ駆動回路１０５、操作部４を接続している。
【００２５】
テレビモニター３は、装置本体２で加工された画像を画像表示回路２０９を介して表示するものである。操作部４は、動作の開始設定を始めとする各種の制御のための操作を行なうもので、例えば、図２（ａ）（ｂ）に示すように顕微鏡１０１のステージ１０２を光軸方向に上下させるための焦準ハンドル４０１、レディーＬＥＤ４０２、高深度画像を構築する動作を開始するための開始ボタン４０３およびコントラストレベルを決定するためのコントララストレベル調整ツマミ４０４を有している。
【００２６】
次に、以上のように構成した実施の形態の動作を説明する。
【００２７】
いま、光学顕微鏡１０１のステージ１０２に載置される標本の観察像を中間倍率レンズ１０３を通してＣＣＤカメラ１０４で撮像すると、この映像信号は、装置本体２の画像取り込み回路２０１でアナログ信号からデジタル信号に変換され、デジタル画像データとして画像加算回路２０２とコントラスト計算用メモリ２０４に順次送られる。
【００２８】
コントラスト計算用メモリ２０４の画像データは、ＤＳＰ２０５により読出され、画像コントラストが求められる。この場合、図３に示すように画像データの画面１１の中央の縦横のライン１２、１３と対角線上のライン１４、１５について、それぞれのコントラストを計算し、画面１１全体のコントラスト値を求めるようにする。また、コントラスト値のＳ／Ｎを向上するため、フィールド（１）で記憶された画素（図示の斜線を付した丸）のうち、図３の（ａ）〜（ｄ）に示すように画面１１の中央の縦横のライン１２、１３、対角線上のライン１４、１５のそれぞれの４画素（図示の黒丸）を１ブロックとみなし、これら４画素の平均をそのブロックの平均画素データとしてから、隣り合うブロックの平均画素データの差の２乗を全ブロックで加算して画面１１のコントラスト値を求めるようにしている。つまり、ＣＣＤカメラ１０４は、一般的にインターレース走査方式を取っており、１画面分の映像信号は、２枚のフィールド（１）、（２）に分けられるが、ＤＳＰ２０５では、これを利用して、始めのフィールド（１）が終了したことを確認した後、このフィールド（１）の画像データにより、図３の（ａ）〜（ｄ）で示す各ライン１２〜１５でのコントラスト値を求めている。
【００２９】
そして、ＤＳＰ２０５は、コントラスト計算が終了すると、図４に示すように垂直同期信号Ｖに対応するフィールド（１）、（２）のうち、フィールド（２）の期間中にＣＰＵ２０６に対して、コントラスト計算が終了したことを知らせるＤＳＰ割り込み信号を発生する。
【００３０】
一方、画像加算回路２０２では、加算メモリ２０３から読出した画像データと画像取り込み回路２０１により取り込まれた画像データとの間での加算処理が行なわれ、この加算された画像データは、再び、加算メモリ２０３に格納される。そして、加算メモリ２０３から読出された画像データは、空間フィルタ回路２０７に入力される。空間フィルタ回路２０７では、例えば７×７画素サイズまでの２次元の画像処理が施され、画像の回復が行なわれ、その後、画像データは、表示のため表示メモリ２０８に一時格納された後、画像表示回路２０９によって映像信号に変換され、テレビモニター３に表示される。
【００３１】
この状態で、操作部４のコントラストレベル調整ツマミ４０４により事前に設定された高深度画像構築を開始するコントラストレベルと、ＤＳＰ２０５が求めたコントラスト値のレベルがＣＰＵ２０６で比較され、ＤＳＰ２０５のコントラスト値のレベルの方が高いと判断されると、レディーＬＥＤ４０２が点灯され、高深度画像を得るための開始ボタン４０３の使用が許可されるようになる。
【００３２】
次に、このような高深度画像を得るための動作をさらに説明する。
【００３３】
この場合、使用者は、誤動作を防止するため、始めの１回だけ操作部４のコントラストレベル調整ツマミ４０４を操作して、高深度画像を構築する動作（以下、Ａ動作という）が開始できるコントラストレベル（以下、スタートレベルという）を設定する。
【００３４】
このスタートレベルの設定は、顕微鏡１０１のステージ１０２に観察したい標本を載置し、操作部４の焦準ハンドル４０１を回して標本にピントを合わせた後、コントラストレベル調整ツマミ４０４を操作し、レディＬＥＤ４０２が点灯する位置にすることで完了する。この場合、確実に標本にピントが合っている必要はなく、おおむね、標本が認識できる程度で十分である。
【００３５】
仮に、この設定により、標本にピントが合っていない場合には、レディＬＥＤ４０２は、点灯せず、操作部４の開始ボタン４０３を押してもＡ動作を開始することができなくなる。これにより、万が一、標本に対して大きくピントがずれている場合は、Ａ動作を開始することがなくなり、以後説明する、Ａ動作の基本となるアルゴリズムの誤動作を防止することができる。また、ピントが大きく外れている状態では、前後の標本画像を加算し、高深度画像を構築しても何も意味を持たないことも、理解できる。
【００３６】
この状態から、操作部４のレディＬＥＤ４０２が点灯するところまで、顕微鏡１０１のステージ１０２を操作部４の焦準ハンドル４０１の操作により移動させ、ステージ１０２を操作部４の焦準ハンドル４０１で移動した後、開始ボタン４０３を押し操作する。
【００３７】
すると、図６に示すように、ステップ６０１で、Ａ動作を実行するためのＶ′の割り込みを許可し、ステップ６０２で、Ｖ′の割り込み処理ルーチン内で使用する変数をｍｏｄｅ＝１、ｓｔｕｔａｓ＝１に初期化する。なお、このＶ′の割り込みは、図４に示すようにフィールド（１）、（２）の垂直同期信号Ｖのうち、フィールド（１）の垂直同期信号Ｖに同期して行なわれる。
【００３８】
そして、これ以後、Ｖ′の割り込み処理ルーチンに記述された図７〜図１１に示すアルゴリズムに従って、Ａ動作が実行される。
【００３９】
なお、ステージ１０２を上から下まで移動した時のコントラスト値の変化は、おおむね、図５のようになるものとする
図８〜図１１は、図７のフローチャートに示す処理１〜処理３に対応したものである。そして、図７に示すルーチンは、Ｖ′の割込み毎に呼び出されるため、何回目の呼び出しかを表す変数としてｓｔａｔｕｓを使用している。このｓｔｕｔｕｓは、処理１〜処理３の中で１加算され、次の割り込み時の呼び出しに備える。また、例外として、ｓｔａｔｕｓを加算せずに次の割り込み時の呼び出しを待てば、もう一度、同じ処理を行なうことができる。
【００４０】
まず、ステップ７０１のｍｏｄｅ＝１で、ステップ７０２の処理１が呼び出される。この処理１は、図８および図９に示すフローチャートが実行される。この処理１の概要は、ステージ１０２を上下のいずれかに移動し、標本画像に十分ピントが合っていないステージ位置（以後、ステージ位置という）を決定することである。
【００４１】
最初に、ｓｔａｔｕｓ＝１で、３０μｍ／ｓｅｃの一定速度でステージ１０２を下方向に移動開始し、各種の変数を初期化する（ステップ８０１〜８０３）。ここで、一つ前のコントラスト値ｂｅｆｏｒｅＣと現在のコントラスト値ｎｏｗＣが等しければ、ｓｔａｔｕｓをインクリメントし、Ｅｒｒ＝１でなければ、次の割り込みを待ち、Ｅｒｒ＝１ならば、ステージ停止、Ｖ′の割り込みを禁止し（ステップ８０４〜８０６）、Ａ動作が成功しなかったことを使用者に知らせるようになる。
【００４２】
次に、ｓｔａｔｕｓ＝２がないのでｓｔａｔｕｓ＝３まで処理は待たされる。これは、ｓｔａｔｕａ＝１でステージ１０２の移動を開始して十分にステージ１０２が安定して移動するまでのウェイトを置くためである。
【００４３】
ｓｔａｔｕｓ＝３で、現在のコントラスト値ｎｏｗＣをスタート時のコントラスト値ｓｔａｒｔＣに格納し、ｎｏｗＣが、画像がない時のコントラスト値ｎｏｎｉｍｇＣより小さいかどうか判断し、小さければ、後述するステップ８２６以降の処理に移行し、現在のステージ位置をスタート位置とする処理を行なう（ステップ８０７〜８０９）。また、そうでなければ、上述のステップ８０４〜８０６の処理に移行する。
【００４４】
次に、ｓｔａｔｕｓ＝４で、一つ前のコントラスト値ｂｅｆｏｒｅＣとｎｏｗＣを比較して、ｎｏｗＣが大きい時は、次のｓｔａｔｕｓ＝６にすぐ移行できるようにｓｔａｔｕｓを１加算して、変数を初期化する（ステップ８１０〜８１３）。ｎｏｗＣの方が小さい時は、現時点よりステージ１０２のどちらの方向に標本のコントラストの最大点があるかを示す変数ＰＫＤＩＲをＰＫＤＩＲ＝０として、ステージ１０２の移動を停止し、今までとは逆の上の方向に３０μｍ／ｓｅｃでステージ１０２の移動を開始し、変数を初期化する（ステップ８１４、８１３）。そして、上述のステップ８０４〜８０６の処理に移行する。
【００４５】
このｓｔａｔｕｓ＝４では、一つ前のコントラスト値と現在のコントラスト値を比較することでステージ１０２の現在位置が、図５に示すコントラストカーブのどちらかの斜面にいるのかを判定している。
【００４６】
次に、ｓｔａｔｕｓ＝６で、ｃｎｔが１５より小さく、ｎｏｗＣとｎｏｎｉｍｇＣを比較してｎｏｗＣが小さければ、後述するステップ８２６以降の処理に移行し、また、ｎｏｗＣとｂｅｆｏｒｅＣを比較してｎｏｗＣが小さく、かつ、ｂｅｆｏｒｅＣ−ｎｏｗＣと標本にピントがかなり合っていない時のコントラスト値ｕｎｆｏｕｃＣを比較して、ｕｎｆｏｕｃＣが大きければ、ｎｐｃｎｔを１加算し（ステップ８１５〜８２１）、そして、ｎｐｃｎｔが２以上になれば、ステップ８０４〜８０６の処理に移行する。一方、ｎｏｗＣとｂｅｆｏｒｅＣを比較してｎｏｗＣが大きく、ｂｅｆｏｒｅＣ−ｎｏｗＣと標本にピントがかなり合っていない時のコントラスト値ｕｎｆｏｕｃＣを比較して、ｕｎｆｏｕｃＣが小さければ、ｎｐｃｎｔを０とし、ｃｎｔを１加算し、ｓｔａｔｕｓを１減算して （ステップ８２２、８２３）、ステップ８０４〜８０６の処理に移行する。さらに、ｃｎｔが１５を越える時は、Ｅｒｒを１とし（ステップ８２４）、後述するステップ８２６以降の処理に移行する。
【００４７】
このｓｔａｔｕｓ＝６では、そのステージ位置でのコントラストの微分係数がｕｎｆｏｕｃＣ以下、つまり、コントラストカーブが緩やかになってきたことを確認している。
【００４８】
そして、ｓｔａｔｕｓ＝７では、ステージ１０２の移動を止め、ｎｏｗＣとＣＣＤカメラ１０４が汚れている時のコントラスト値ｃｃｄＣを比較して、ｎｏｗＣが大きければ、エラーとしてエラー処理を行なうための変数Ｅｒｒを１とする（ステップ８２５〜８２８）。そうでなければ、現在のコントラスト値ｎｏｗＣをスタート位置のコントラスト値ｓｔａｒｔＣとする（ステップ８２９、８３０）。ここで、ｃｃｄＣは、ＣＣＤカメラ１０４に汚れがあり、全体のコントラストレベルが高い時にエラーとする働きがある。そして、ステップ８０４〜８０６の処理に移行する。
【００４９】
つまり、かかる処理１では、図５に示す（１）にステージ１０２が合った場合は、（２）の位置までステージ１０２を移動し、また、同図（４）にステージ１５が合った場合は、（５）の位置までステージ１０２を移動するようにしている。つまり、処理１では、一旦コントラストが低くなる方向を検出し、その方向にステージ１０２を移動させ、その後の移動に備えるようにしているので、ステージ１０２が無駄に移動するのを防止できる。
【００５０】
次に、図７に戻って、処理１がエラーなく終了すると、ｒｅｔ＝１を判断し、、ｍｏｄｅ＝ｍｏｄｅ＋１、ｓｔａｔｕｓ＝１として（ステップ７０３、７０４）、処理２を呼び出すようになる。この場合、コントラスト値のピークＭａｘＣよりｎｏｗＣが小さければ、処理を終了し、また、コントラスト値のピークＭａｘＣよりｎｏｗＣが大きければ、ＭａｘＣ＝ｎｏｗＣとして、処理を終了する（ステップ７０５、７０６）。
【００５１】
ステップ７０７のｍｏｄｅ＝２では、ステップ７０８の処理２が呼び出される。この処理２は、図１０に示すフローチャートが実行される。この処理２の概要は、ステージ１０２をゆっくり移動し、高深度画像を構築するために画像の加算を開始するステージ位置を決定することである。
【００５２】
まず、ｓｔａｔｕｓ＝１で、処理１で求めたＰＫＤＩＲに従って、ステージ１０２の移動方向を決める。ここで、ＰＫＤＩＲが０ならば、標本のコントラストのピークは、下にステージ１０２を移動する方向にあり、また、１ならば、上に移動する方向にあることを示すので、これらに従って、ステージ１０２を移動させる（ステップ１００１〜１００４）。この時、ステージ１０２の移動速度は、Ｖ′の割込みがインターレース走査の２倍の周期で発生すること、つまり、１／３０ｓｅｃ毎、さらに対物レンズの焦点深度を、約０．４μｍ程度として、ＣＣＤカメラ１０４で１画面の映像を０．４μｍピッチで撮影するために下式より、
１２μｍ／ｓｅｃ＝０．４μｍ×３０画面／ｓｅｃ
としている。そして、変数を初期化する（ステップ１００５）。
【００５３】
ここで、一つ前のコントラスト値ｂｅｆｏｒｅＣと現在のコントラスト値ｎｏｗＣが等しければ、ｓｔａｔｕｓをインクリメントし、Ｅｒｒ＝１でなければ、次の割り込みを待ち、Ｅｒｒ＝１ならば、ステージ停止、Ｖ′の割り込みを禁止し（ステップ１００６〜１００８）、Ａ動作が成功しなかったことを使用者に知らせるようになる。
【００５４】
次に、ｓｔａｔｕｓ＝３で、ｃｎｔが３１より小さく、ｎｏｗＣがｓｔａｒｔＣより大きく、ｎｏｗＣ−ｂｅｆｏｒｅＣ、つまり、微分係数が１００を超えた場合には、次の処理に移行出来るようになっている。そうでない場合は、ｃｎｔを１加算してエラー処理に備え、ｓｔａｔｕｓを１減算し、もう一度、ｓｔａｔｕｓ＝３の処理を実行可能にしている（ステップ１００９〜１０１３）。そして、ステップ１００６〜１００８の処理に移行する。また、ｃｎｔが３１を越える時は、条件に合わないとしてＥｒｒを１とし（ステップ１０１４）、ステップ１００６〜１００８の処理に移行する。
【００５５】
ここで、ｓｔａｔｕｓ＝１からｓｔａｔｕｓ＝３に飛んでいるのは、ステージ１０２が完全に動き出すのを確認するとともに、一定速度運動に入るまでのウェイトである。
【００５６】
次に、ｓｔａｔｕｓ＝４で、画像の加算処理を開始するとともに変数を初期化し、処理２を終了する（ステップ１０１５、１０１６）。
【００５７】
次に、図７に戻って、処理２がエラーなく終了すると、ｒｅｔ＝１を判断し、、ｍｏｄｅ＝ｍｏｄｅ＋１、ｓｔａｔｓｕ＝１として（ステップ７０９、７１０）、処理３を呼び出すようになる。
【００５８】
ステップ７１１のｍｏｄｅ＝３では、ステップ７１２の処理３が呼び出される。この処理３は、図１１に示すフローチャートが実行される。この処理３の概要は、処理２で開始された画像の加算処理を、図５に示すコントラストカーブを低コントラスト側からコントラストのピークを超えて再度低コントラスト側にきた時、適切に終了させることである。
【００５９】
まず、ｓｔａｔｕｓ＝１で、ｎｏｗＣとｂｅｆｏｒｅＣを比較してコントラストの変化が下がっていく方向にくるのを待つ（ステップ１１０１）。ｎｏｗＣの方が大きい時はまだ、コントラストのカーブの上りにいることを示し、小さくなった時、下りにいることを判断する。ここで、ｎｏｗＣがｓｔａｒｔＣよりも小さくなったのであれば、直ちに、ｓｔａｔｕｓを１加算して次の処理へ移行する（ステップ１１０４）。そうでなければ、確実にコントラストが下がっている事を確認するために、連続で４回下がっていることをｎｐｃｎｔでカウントする。さらに、４回連続で下がって、コントラスト値のピークＭａｘＣとｓｔａｒｔＣの差の１／２（＝ｔｍｐ）より、ｎｏｗＣが小さければ、次の処理に移行する（ステップ１１０５〜１１０７、ステップ１１０４）。また、ステップ１１０２で、ｎｏｗＣがｂｅｆｏｒｅＣより大きいままならば、ｎｐｃｎｔを０にして、ｃｎｔを１加算、ｓｔａｔｕｓを１減算して、次の処理へ移行し（ステップ１１０８、１１０９）、また、ステップ１１０５で、ｎｐｃｎｔが３以下またはステップ１１０７で、ｔｍｐよりｎｏｗＣが大きければ、ステップ１１１０で、ｎｐｃｎｔを１加算し、ステップ１１０９に進むようになる。
【００６０】
次に、ｓｔａｔｓｕ＝３で、画像の加算処理とステージ１０２の移動を停止し（ステップ１０１１〜１０１３）、Ｖ′の割り込みを禁止して処理３を終了する。
【００６１】
この処理３では、画像の加算処理の終了をコントラスト値のピークＭａｘＣとｓｔｓｒｔＣの差の１／２より、ｎｏｗＣが小さいという条件で判断しているので、無駄に低コントラストな画像を加算することがなくなり、高深度画像の画質を劣化させることはない。
【００６２】
このようにして、処理１〜処理３までをエラーなく終了したならば、加算メモリ２０３の加算画像を、空間フィルタ回路２０７に送り、対物レンズの特性やＣＣＤカメラ１０４のサイズ、顕微鏡１０１とＣＣＤカメラ１０４の間の中間倍率レンズ１０３等の結像光学系の特性より求められる２次元の画像処理フィルタ係数によって、画像の回復処理を行なう。この際、加算メモリ２０３から画像データをノンインターレース走査形式で読出し、空間フィルタ回路２０７で処理すれば、画質を劣化させることなく処理できる。
【００６３】
そして、この空間フィルタ回路２０７で処理した画像データを、ノンインターレース走査形式で表示メモリ２０８に格納し、さらに画像表示回路２０９に送られる。この場合、画像表示回路２０９では、表示メモリ２０８から画像データを読出す際にテレビモニター３の表示形式に合わせて、インターレース走査、ノンインターレース走査のいずれかの方式で行なえばよい。
【００６４】
従って、このようにすれば、始めにステージ１０２を少し移動させた時のコントラストの変化から、コントラストカーブのどちら側にいるかをすばやく判断し、コントラストが下がる方向にステージ１０２を移動し、その後、ステージ１０２の移動をコントラスト値がピーク値に向かう方向に反転し、この移動で、標本に対する撮像画像のコントラスト値が所定の変化を呈する時点から画像加算回路１０２により画像加算を行なうようにしたので、合焦位置を全体に渡って移動するような無駄な動きがなくなり、しかも、コントラスト値が急激に増加する安定した画像領域を選択して画像加算を行なうようにできるので、被写物体に応じて最適で良好な高深度画像を速やかに構築できる。また、従来に見られる事前に被写物体に応じた種々の条件を設定するなどの作業を必要としないので、操作の簡単化も実現できる。
【００６５】
また、画像の加算の最低条件として、スタート位置を設定しているので、ぼけた画像を取り込むことがなく、所定のコントラスト値以上の画像のみを取り込むようになって、加算画像の画質を劣化させることなく、良好な高深度画像を構築することができる。
【００６６】
これにより、光学顕微鏡１０１を用いた厚みのある標本の各高さ位置に、それぞれ焦点の合った複数枚の入力画像から標本の各高さ位置全てに焦点が合っていて、あたかも焦点深度が拡大されたような高深度画像を安定して得られる。
【００６７】
なお、上述した第１の実施の形態では、コントラストを求める際の計算領域として画面１１の縦横ライン１２、１３、対角方向のライン１４、１５を用いたが、それに限らず、また、コントラストの計算は、飛び飛びの画素を４つまとめて平均を取る方法でＳ／Ｎを向上させていたが、これに限らない。さらに、処理１から処理３で用いた定数は、これに限定されない。ステージの駆動速度もこれに限らず、対物レンズの焦点深度を正確に求めておき、対物レンズが変わる度に駆動速度を変えても良い。この装置は、ＣＣＤカメラの映像信号の方式は、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭなどに制限させる事はなく、それぞれに対応可能である。
【００６８】
（第２の実施の形態）
上述した第１の実施の形態では、画像取り込み用のパラメータが固定であったが、この第２の実施の形態では、サンプル毎に画像取り込み用のパラメータを算出することにより、エラーと判断されるようなサンプルの場合でも、画像の取り込みを可能にして、高深度画像を得られるようにしている。
【００６９】
図１２は、第２の実施の形態の概略構成を示すもので、図１と同一部分には、同符号を付している。
【００７０】
この場合、ＣＰＵ２０６には、画像取り込み時のパラメータを計算するサンプル登録部２１０、計算したパラメータを記憶するデータ記憶部２１１を接続している。ここでのデータ記憶部２１１には、ＮＶＲＡＭなどの不揮発性のメモリを用いている。
【００７１】
また、操作部４は、図１３（ａ）（ｂ）に示すように、顕微鏡１０１のステージ１０２を光軸方向に上下させるためのステージ移動用の準焦ハンドル４０１、レディーＬＥＤ４０２、高深度画像を構築する動作を開始するための開始ボタン４０３、コントラストレベルを決定するためのコントラストレベル調整ツマミ４０４の他に、画像取り込みをマニュアルで行なうか自動で行なうかを設定するモードセレクトツマミ４０５およびサンプル登録開始ボタン４０６を有している。
【００７２】
しかして、このような構成において、通常の画像自動取り込みでは、第１の実施の形態で述べたアルゴリズムにより、コントラスト値の計算およびＣＰＵ２０６による画像取り込みの可否の判断が行なわれるが、この際に、コントラストレベルが低すぎると、画像取り込み範囲にサンプル画像がないと判断して、画像取り込みを中止してしまうことがある。
【００７３】
そこで、このような場合、使用者は、サンプル登録部２１０により、以下の方法でサンプルの登録を行ない、画像取り見込みパラメータを再設定し、取り込み範囲を指定し直すことで、サンプル画像の取り込みを可能にしている。
【００７４】
まず、サンプル登録は、サンプル登録開始位置から合焦画像がなくなる±２０μm の範囲でプリスキャナを行ない、この範囲のコントラストカーブを求める。このコントラストカーブの求め方は、上述した図３の方法が用いられる。
【００７５】
そして、ＤＳＰ２０５によりコントラスト計算を終了すると、ＣＰＵ２０６に対し、図４に示すコントラスト計算が終了したことを知らせるＤＳＰ割り込み信号が発生する。
【００７６】
このような作業を図１４に示すように、サンプル登録開始位置ＳＳから±２０μm の範囲内で行ない、コントラスト値を計算し、ワーク用のメモリに格納する。次いで、プリスキャンが終了したならば、図１５に示すように計算により得られたコントラストカーブから、コントラスト値が最大になるコントラスト最大値ＣMAX を求め、さらに、この位置から±１５μm の位置のコントラスト値の平均Ｃnon を画像中に合焦面のない、ぼけ画像のコントラスト値とする。つまり、コントラスト値が、これ以下になる領域は、画面中に合焦面がなく、画面全体がぼけている領域とする。
【００７７】
次に、こうして求めた画像のコントラストの最大値ＣMAX の中間位置Ｚstart を画像加算開始位置に、Ｚend を画像加算の終了位置にする（図１６）。そして、次回から、このパラメータを用いて画像取り込みを行なうようになる。この計算した画像取り込み用のパラメータは、スイッチなどのチャンネルを切り替えて、データ記録部２１１に各サンプルごとに保存する。また、サンプルが変わった時には、保存の時と同様にスイッチなどでチャンネルを切り替え、操作部４の開始ボタン４０４が押されたときにパラメータの読出しを行なって画像取り込みを行ない、複数のサンプルに対しても適応可能にしている。
【００７８】
次に、実際にサンプル登録を行なって画像を取り込む方法を説明する。
【００７９】
まず、使用者は、始めに１回だけ操作部４のコントラストレベル調整ツマミ４０４を走査して、高深度画像を構築する動作が開始できるコントラストレベル（以下、スタートレベル）を設定する。この設定は、高深度画像を構築する際に、誤動作を防止するために行なう。なぜなら、ＣＰＵ２０６は、コントラスト値が低くなる方向にステージ１０２を移動させるが、例えばサンプルが無かったり、ピントが合っていなかったりすると、この時得られるコントラストカーブは、まったく無意味になって、誤動作の原因になるためで、これを防止するため、コントラストレベル調整ツマミ４０４によりスタートレベルをおおむね標本が認識できる位置に設定している。
【００８０】
この設定は、ステージ１０２に観察したい標本を載せ、操作部４の焦準ハンドル４０１を回し標本にピント合わせをたのち、コントラストレベル調整ツマミ４０４を回して、レディＬＥＤ４０２が点灯する位置にする。この場合、確実に標本にピントが合っている必要はなく、おおむね標本が認識できる程度で十分である。
【００８１】
次に、モードセレクトツマミ４０５により、サンプル登録のチャンネルＡＵＴＯ１〜ＡＵＴＯ３の内の１つを選んで設定する。なお、モードセレクトツマミ４０５に書かれている１〜６は、マニュアルの画像取り込みモード時の画像取り込み範囲を示すものである。
【００８２】
ここでのサンプル登録では、自動取り込みモードの１〜３（ＡＵＴＯ１〜ＡＵＴＯ３）選択する。そして、登録するチャンネルを決定した後は、サンプル登録開始ボタン４０６を押す。すると、この位置をサンプル登録開始位置として、サンプル登録が開始される。
【００８３】
この場合、図１７に示すように、まず、ステップ１７０１で、ＣＰＵ２０６は、ステージ駆動部１０５により、サンプル登録開始位置から２０μm ステージを下げる。次に、ステップ１７０２で、その位置から上方向に４０μm 、すなわちサンプル登録開始位置から±２０μm のプリスキャンを行なう。
【００８４】
そして、ステップ１７０３で、ＤＳＰ２０５は、プリスキャンの間にＶ´の割り込みがくる度にコントラスト計算用メモリ２０４から画像データを読出し、画像のコントラスト値を計算し、図４に示すＤＳＰ割り込み信号を発生させることで、ＣＰＵ２０６に計算が終了したことを知らせる。ＣＰＵ２０６は、割り込みを確認すると、ステップ１７０４で、現在の位置コントラスト値を読み込み、ワークメモリに格納する。
【００８５】
このようなステップ１７０３と１７０４の動作は、ステップ１７０５で、上方向への移動距離が４０μm になると判断されるまで繰り返す。
【００８６】
次に、ステップ１７０６で、格納されたコントラストデータからコントラストの最大値ＣMAX を調べ、その座標ＺMAX を求め、さらに、ステップ１７０７で、ＺMAX −１５μm の位置をＺa 、ＺMAX ＋１５μm の位置をＺb として、ステップ１７０８で、それぞれの位置コントラスト値の平均値
Ｃnon ＝Ｃ（Ｚa ）＋Ｃ（Ｚb ）／２
からぼけ画像のコントラストレベルＣnon を設定し、さらに、ステップ１７０９で、ＣMAX とＣnon の平均値
Ｃth＝（ＣMAX ＋Ｃnon ）／２
から画像積算の開始および終了のレベルＣthを設定する。
【００８７】
そして、これらパラメータが決定すると、ステップ１７１０で、ＣＰＵ２０６により、これらパラメータをデータ記憶部２１１のＮＶＲＡＭなどの不揮発性メモリに保存し、サンプル登録を終了する。
【００８８】
次に、次回からの画像取り込み方法を図１８ににより説明する。
【００８９】
まず、使用者は、レディーＬＥＤ４０２の点灯する位置から、操作部４の開始ボタン４０３を押す。すると、ステップ１８０１で、ＣＰＵ２０６は、ステージ駆動部１０５によりステージ１０２を下方向に移動する。次に、ステップ１８０２で、ＤＳＰ２０５により、Ｖ´の割り込み毎にコントラスト値を計算し、計算が終了すると、ステップ１８０３で、ＤＳＰ割り込みを受けてコントラストが減少しているかを調べる。
【００９０】
ここで、コントラストが増加しているのであれば、ステップ１８０４で、ステージ１０２を上方向に移動させ、ステップ１８０２に戻る。
【００９１】
また、コントラストが減少していれば、ステップ１８０５で、ＣＰＵ２０６により、コントラスト値がＣth以下になったかを調べる。ここで、まだＣth以上であれば、ステップ１８０３に戻って、ステージ１０２の移動を続け、Ｃth以下になったのであれば、ステージの移動を停止する。
【００９２】
そして、今度は、ステップ１８０６で、ステージ１０２を逆方向に移動しながら画像積算を開始する。そして、ステップ１８０７で、Ｖ´の立下がり毎にコントラスト値を計算し、ステップ１８０８で、コントラスト値を監視し、再びＣth以下になると、ステップ１８０９で、ステージ１０２を停止するとともに、画像取り込みも終了する。
【００９３】
これ以降は、第１の実施の形態と同様に、空間フィルタ２０８による回復処理を行なった後、表示メモリ２０８に一時記憶された後、画像表示回路２０９によりアナログの映像信号に変換され、テレビモニター３に表示される。
【００９４】
従って、このようにすれば、自動取り込みでは、ＣＣＤ面の汚れや、標本画像がないと判断してエラーになってしまうようなサンプルに対しても、画像取り込み前にプリサンプルを行ない、そのサンプルのコントラストカーブを用いて画像の取り込み用パラメータを設定できるようにしたので、次回からの画像取り込みに、このパラメータを使うことで、それまでエラーと判断され、最終画像が得られなかったサンプルに対しても、高深度画像が得られるようになる。
【００９５】
また、事前にサンプル登録を行なうことにより、その都度、画像取り込みの前処理を行なうプリスキャンやパラメータの計算にかかる時間を短縮でき、さらにサンプル交換の際も、パラメータを切り替えるモードを用意しているので、サンプル交換ごと、電源投入毎のサンプル登録が不要になり、能率のよい、この種の作業を実現できる。
【００９６】
さらに、パラメータの書込みに、不揮発性のメモリを用いることで、サンプル登録する回数を最小限にできる。
【００９７】
なお、上述した第２の実施の形態でも、コントラストを求める計算領域として対角方向のラインを選んでいるが、これに限らず別の計算方法でも構わない。また、コントラストの計算は、飛び飛びの画素を４つ纏めて平均を取る方法でＳ／Ｎを向上させていたが、これに限らない。さらにサンプル登録で用いるプリスキャンの範囲は、±２０μm に限定する必要はなく、サンプルのコントラストカーブの特性を認識できる範囲でよい。ぼけ画像のコントラストレベル、画像取り込みレベルを決定する計算式も、今回用いた式に限定する必要はなく、計算に用いる定数も変更して構わない。また操作部の形状、機能も今回のものに限らない。サンプルの登録の方法も、専用の登録ボタンである必要はなく、別のボタンと兼用してもよい。そして、この装置は、ＣＣＤカメラの映像信号の方式は、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭなどに制限させる事はなく、それぞれに対応可能である。また、標本と対物レンズの距離を調節する方法として、ステージを駆動する方法だけでなく、対物レボルバの駆動によるもの、テレビカメラの撮像素子前の結像レンズ駆動でもよく、駆動方法としても、電磁モータ、超音波モータ、ピエゾ素子などでもよく、その方法は限定されない。
【００９８】
（第３の実施の形態）
図１９は、本発明が適用される画像入力装置の概略構成を示しており、２１が光学顕微鏡本体である。この光学顕微鏡本体２１は、ステージ２２上に載置した試料標本２３の観察像を対物レンズを含む観察光学系を介して顕微鏡観察用テレビカメラ２４にて撮像するようにしている。
【００９９】
テレビカメラ２４にはＡ／Ｄ変換器２５を接続しており、このＡ／Ｄ変換器２５はテレビカメラ２４からのビデオ信号をデジタル信号に変換して加算器２６及び輝度メモリ３３へ送出する。
【０１００】
加算器２６は、テレビカメラ２４からの入力画像と加算用画像メモリ２７に記憶されている画像とを加算するもので、その加算結果は加算用画像メモリ２７へ出力される。加算用画像メモリ２７は、加算器２６で加算された結果を格納するもので、格納内容は上記加算器２６と除算器２８とに読出される。
【０１０１】
除算器２８は、加算用画像メモリ２７に蓄えられた加算画像を加算枚数を除数とした除算を行なって１枚分の画像を得るためのもので、この除算器２８で得た画像に対して空間フィルタ２９で後述するＣＰＵ３８に選択された特性の空間周波数フィルタでの回復処理を行ない、回復処理した表示画像データを表示用画像メモリ３０に記憶させる。そして、この表示用画像メモリ３０に記憶された表示画像データをＤ／Ａ変換器３１が読出してアナログデータに変換し、上記表示部３２より表示させる。
【０１０２】
上記輝度メモリ３３は、輝度メモリコントローラ３５の制御の下にＡ／Ｄ変換器２５から送られてくる輝度データを書込み、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３４へ読出す。
【０１０３】
ＤＳＰ３４は、輝度メモリ３３から読出した輝度データによりコントラスト値の計算を行なうもので、算出したコントラスト値は合焦範囲検出部３７へ送出される。
【０１０４】
合焦範囲検出部３７は、計算されたコントラスト値からステージ２２の合焦範囲を検出するもので、その検出結果はＣＰＵ３８へ送られる。
【０１０５】
ＣＰＵ３８は、装置全体の動作制御を司るもので、特に上記加算器２６、空間フィルタ２９、輝度メモリコントローラ３５、画像メモリコントローラ３６、ステージ駆動部３９に対して画像処理、像ぶれ補正及び駆動制御のための制御指令を送出し、また操作部４３からダイナミックフォーカスを含む装置全体の操作を受付けている。
【０１０６】
しかして、上記ステージ２２にはぶれ検出部としての光学式エンコーダ４０を設け、また光学顕微鏡本体２１の対物レンズに対応させて対物レンズ情報取得部４１を設けている。ここで光学式エンコーダ４０は、光学顕微鏡本体２１のステージ２２に固定して設けられ、ステージ２２のＸ，Ｙ方向へのぶれ量を検出するものであって、検出したぶれ量は像ぶれ補正量計算部４２へ送られる。
【０１０７】
一方、対物レンズ情報取得部４１は、現在使用している対物レンズの倍率を読取るもので、読取った対物レンズの倍率情報は同じく像ぶれ補正量計算部４２へ送られる。
【０１０８】
像ぶれ補正量計算部４２は、光学式エンコーダ４０から検出されたぶれ量と対物レンズ情報取得部４１の対物レンズの倍率情報とにより補正画素数を計算するもので、算出した補正画素数情報は上記輝度メモリコントローラ３５及び画像メモリコントローラ３６へ出力される。
【０１０９】
輝度メモリコントローラ３５は、像ぶれ補正量計算部４２で計算された像ぶれ補正量に基づいて輝度メモリ３３での書込み、読出しアドレスを制御するものである。
【０１１０】
また画像メモリコントローラ３６は、像ぶれ補正量計算部４２で計算された像ぶれ補正量に基づいて上記加算用画像メモリ２７での書込み、読出しアドレスを制御するものである。
【０１１１】
上記ステージ駆動部３９は、ＣＰＵ１６からの制御指令により上記ステージ２２をＺ方向、つまり観察光軸の方向に駆動する。
【０１１２】
上記のように構成された装置にあって、ぶれ検出とそれに基づく画像の補正、コントラスト値の計算、画像の加算、及び回復処理についてまず処理信号の流れに沿って簡単に説明する。
【０１１３】
操作部４３での操作により画像の取り込みの開始を指示すると、ステージ駆動部３９によりステージ２２をＺ方向に駆動する。そして、テレビカメラ２４により試料標本２３の画像を得るのに同期して、光学式エンコーダ４０でステージ２２のＸ，Ｙ方向へのぶれ量を検出する。
【０１１４】
検出したぶれ量は像ぶれ補正量計算部４２に送られ、ここで対物レンズ情報取得部４１により得た対物レンズの倍率情報をもって補正する画素数の計算が行なわれるもので、算出した補正画素数は輝度メモリコントローラ３５及び画像メモリコントローラ３６に送られる。
【０１１５】
一方、テレビカメラ２４により得た試料標本２３の画像はＡ／Ｄ変換器２５でデジタル化された後にＡ／Ｄ変換器２５と輝度メモリ３３に送られる。ここで輝度メモリ３３では、上述した如くずれ量に対応した補正画素数が輝度メモリコントローラ３５に送られているため、輝度データを書込んだ後、この補正画素数に応じて輝度メモリコントローラ３５により読出しアドレス位置が調整、制御されて、記憶されている輝度データが読出されるもので、具体的には例えば図２０に示すようなずれを生じたライン１２〜１５に沿った輝度データをメモリ３３に書込んだ上で、上記の輝度メモリコントローラ３５によるアドレス調整を行なうことで、ずれの影響を排除した位置で輝度データが読出されるようになるものである。
【０１１６】
こうして輝度メモリ３３から読出された輝度データはＤＳＰ３４へ送られ、ここでコントラスト値が計算されて、そのコントラスト値から合焦範囲検出部３７によりコントラストカーブにおける所定のしきい値Ｃth以上のコントラストの高い範囲が画像加算を行なうべき合焦範囲として決定され、ＣＰＵ３８に出力される。
【０１１７】
しかるに、上記合焦範囲では、Ａ／Ｄ変換器２５より得られるデジタル化された画像が加算器２６で加算用画像メモリ２７に記憶されているそれ以前に得られた同画像と加算され、その和が加算用画像メモリ２７にあらためて記憶されるもので、この際、画像メモリコントローラ３６は像ぶれ補正量計算部４２からの補正画素数を用いて読出しアドレスを調整し、記憶されていた画像と新しく得た画像とのずれをなくした状態で加算させる。
【０１１８】
しかして、加算用画像メモリ２７に記憶された加算画像は除算器２８にて除算され、１枚分の画像とされた後に空間フィルタ２９でＣＰＵ３８から選択された特性の同フィルタを用いて回復処理がなされるもので、回復処理された画像が表示用画像メモリ３０に一旦格納された後に読出され、Ｄ／Ａ変換器３１でアナログ化された後に表示部３２で表示出力される。
【０１１９】
次いで実際の処理内容について図２１のフローチャートを参照して説明する。
【０１２０】
この図２１の処理はＣＰＵ３８の制御の下に行なわれるものであり、処理を開始すると、ステージ駆動部３９によってステージ２２をＺ方向に沿って移動させ、そのときにＤＳＰ３４、合焦範囲検出部３７によって図２２に示すようにコントラスト値がしきい値Ｃth以上となるステージ２２のＺ方向の位置Ｚａ乃至Ｚｂの範囲を取込む。
【０１２１】
このため、まずステージ駆動部３９によりステージ２２を下方向に移動させる（ステップＡ１）。このとき、Ａ／Ｄ変換器２５から得られるデジタル値のビデオ信号中の垂直同期信号（Ｖ）の立下がりタイミング毎に画像のコントラスト値をＤＳＰ３４で計算させる（ステップＡ２）。
【０１２２】
図２３はこの時にＣＰＵ３８が行なうコントラスト値計算のサブルーチンを示すもので、まず始めにステージ２２のぶれ量を光学式エンコーダ４０によって検出する（ステップＢ１）。これと共に、対物レンズ情報取得部４１によって光学顕微鏡本体２１の観察光軸中に挿入されている対物レンズの倍率情報を取得し（ステップＢ２）、これらを基に像ぶれ補正量計算部４２が検出したぶれ量がテレビカメラ２４のＣＣＤ面上で何画素分に相当するのかを表わす像ぶれ補正量を計算する（ステップＢ３）。
【０１２３】
次いで、像ぶれ補正量計算部４２が計算により得た像ぶれ補正量を輝度メモリコントローラ３５及び画像メモリコントローラ３６に送出すると、輝度メモリコントローラ３５では輝度メモリ３３に書込まれている画像の輝度データが像ぶれの影響を全く含まないように読出しアドレスを調整してＤＳＰ３４に読出させるもので（ステップＢ４）、ＤＳＰ３４では像ぶれが全くないが如く処理された輝度データを用いて画像のコントラスト値の計算を行なう（ステップＢ５）。
【０１２４】
コントラスト値は、画面上の連続する輝度データを用いて以下の如く計算する。すなわち、コントラスト値を計算するｉ番目のライン上のｊ番目の点位置の輝度データをＹi,j とすると、そのコントラスト値Ｃi,j(Ｚk)は
Ｃi,j(Ｚk)＝（Ｙi,j(Ｚk)−Ｙi,j-1(Ｚk)）2 …(1)
として、ｉ番目のラインのコントラスト値の総和Ｃi,j を
【数１】
【０１２５】
のように求め、さらにすべてのラインのコントラスト値の総和を
【数２】
【０１２６】
として求める。得たコントラスト値Ｃ（Ｚk)は、図２４に示すように像ぶれ量が多く、計算に用いた各ラインの画素数が減少することを考慮して、計算のライン上の画素数で正規化してＺ＝Ｚk でのコントラスト値、すなわち
Ｃ（Ｚk)＝Ｃ（Ｚk)／Ｄnum …(4)
（但し、Ｄnum ：計算に用いたライン上の画素数。）
を求め、以上でこの図２３のサブルーチンを終了する。
【０１２７】
こうしてステージ２２のぶれ量を補正した画像のコントラスト値の計算が終了すると、図２１のメインルーチンに戻り、同ＤＳＰ３４からの割込みを受けるＣＰＵ３８は、計算したコントラスト値がその前のタイミングで計算したコントラスト値と比して減少しているか否かを判断する（ステップＡ３）。
【０１２８】
コントラスト値が減少している場合には、ステージ２２の下降によりコントラスト値が減少していることから、図２２に示すコントラストカーブ上の左半分にあって、図中に矢印Ｉで示す方向に移動しているものと判断し、次に計算したコントラスト値がしきい値Ｃth未満であるか否か判断する（ステップＡ５）。
【０１２９】
ここで、計算したコントラスト値がしきい値Ｃth未満となった場合には、その時点でのステージ２２の位置がＺａであることとなるので、あらためてステージ駆動部３９によりステージ２２の移動方向を逆、すなわち上方向に設定した上で（ステップＡ６）、ステージ２２を移動させながらテレビカメラ２４で得られる試料標本２３の画像による加算を実行する（ステップＡ７）。
【０１３０】
図２５はこの時にＣＰＵ３８が行なう画像加算のサブルーチンを示すもので、まず始めに上記図２３のコントラスト計算で用いた像ぶれ補正量を像ぶれ補正量計算部４２から画像メモリコントローラ３６に読込ませ（ステップＣ１）、この画像メモリコントローラ３６で加算用画像メモリ２７における画像の読出しアドレスを該像ぶれ補正量を用いて調整して、画像の輝度データが像ぶれの影響を全く含まないように加算器２６及び除算器２８に読出させる（ステップＣ２）。
【０１３１】
次に、テレビカメラ２４からＡ／Ｄ変換器２５を介して送られてくる新たな画像の加算領域を同じく像ぶれ補正量を用いて調整して決定し（ステップＣ３）、この新たな画像と加算用画像メモリ２７から読出した画像とで加算器２６により画像の加算を実行させる（ステップＣ４）。
【０１３２】
その後、２つの画像の和として、得られた加算画像を画像メモリコントローラ３６により書込みアドレスが調整されながら加算用画像メモリ２７に書込み設定され（ステップＣ５，Ｃ６）、以上でこの図２５のサブルーチンを終了する。
【０１３３】
こうして画像の加算実行後、図２１のメインルーチンに戻り、再度上記図２３で説明した如くＡ／Ｄ変換器２５から得られるデジタル値のビデオ信号中の垂直同期信号の立下がりタイミング毎に各画像のコントラスト値をＤＳＰ３４で計算する（ステップＡ８）。
【０１３４】
そして、計算したコントラスト値がしきい値Ｃth未満となったか否か判断する（ステップＡ９）。ここで、計算したコントラスト値がしきい値Ｃth以上であれば、上記ステップＡ７に戻って、画像の加算処理を繰返し続行する。
【０１３５】
その後、ステップＡ９で計算したコントラスト値がしきい値Ｃth未満となった時点で、ステージ２２の移動によりステージ２２の位置が上記図２２中のＺｂとなったこととなり、合焦範囲内での画像の加算を終えたこととなるので、ステージ駆動部３９によるステージ２２の移動を停止すると共に、テレビカメラ２４による画像の取込みを終了し（ステップＡ１０）、その時点で加算用画像メモリ２７に記憶されている合焦範囲内の多数の画像を加算した加算画像を読出し、除算器２８にて画像数で除算して１枚分の画像とした後に空間フィルタ２９によって回復処理を行ない（ステップＡ１１）、得られた高深度画像を表示用画像メモリ３０に一時記憶させた後にＤ／Ａ変換器３１でアナログ化して表示部３２により表示させる。
【０１３６】
なお、上記ステップＡ３で、ステージ２２を下方向に移動させた際に算出したコントラスト値がその前のタイミングで計算したコントラスト値と比して減少していないと判断した場合には、ステージ２２の位置が上記図２２に示すコントラストカーブ上の右半分にあることとなるので、ステージ駆動部３９によりステージ２２を上方向に移動させるものとして移動方向を転換設定した上で（ステップＡ４）、再びステップＡ２からの処理に戻り、ステップＡ２〜Ａ５の処理を繰返し実行して、得られるコントラスト値がしきい値Ｃth未満となる地点、すなわち図２２中のＺｂの位置までステージ２２を移動させる。
【０１３７】
その後、ステップＡ６であらためてステージ２２を逆方向である下方向に移動させるものとして設定してから、ステップＡ７〜Ａ９の処理を繰返し実行し、ステージ２２を下方向に移動させながら、合焦範囲内で得られる画像を順次加算していく。
【０１３８】
そして、ステップＡ９で得られるコントラスト値がしきい値Ｃth未満となる地点、すなわち図２２中のＺａの位置までステージ２２を移動させた状態で、合焦範囲内での画像の加算を終えたこととなるので、上記と同様にステップＡ１０以下の処理に移行する。
【０１３９】
以上のように、複数枚の顕微鏡画像を加算処理した後に回復処理して高深度画像を得る過程において、試料標本２３を載置したステージ２２に移動によるぶれが生じた場合でも、ぶれを生じない場合と同様にコントラスト計算を行ない、正確な合焦範囲を決定することができると共に、この決定した合焦範囲によって画像の取込入力時に画像の加算に対してもぶれ補正を行なって、ぶれの影響を排除した正確な画像を順次加算した上で回復処理し、良好な高深度画像を取得することができる。
【０１４０】
なお、上記実施の形態において、画像の取込速度に対するステージ２２の移動は、無段階に連続して高速移動するものとしてもよいし、ステップ状に画像取込み時のみ停止する如く移動するものとしてもよい。
【０１４１】
これは、例えばステージ駆動部３９をパルスモータで構成してステージ２２を高速直線移動させるものとした場合に、テレビカメラ２４がＮＴＳＣ方式では１画面の画像入力を標準ではＣＣＤの１フレーム蓄積時間約１／３０［秒］で行なうので、この時間内に所望の合焦面の画像データを入力するべく、すなわち入力する合焦面が光学顕微鏡本体２１の対物レンズの特性から導かれる光軸方向の標本焦点深度範囲内を移動している間に画像入力が行なえるように一定速度で駆動するものである。
【０１４２】
なお、上記テレビカメラ２４が撮像する画像のテレビジョン方式は特にＮＴＳＣ方式に限らず、他のＰＡＬ、ＳＥＣＡＭ、ハイビジョン等の方式であってもよい。
【０１４３】
また、試料標本２３に対する合焦位置を変化させる手段としてステージ駆動部３９によりステージ２２を移動させるものとして説明したが、要は観察光軸の方向に沿って移動して試料標本２３の合焦を行なうことができるのであれば、ステージ２２に代えて対物レンズを取付けたレボルバや、テレビカメラ２４のＣＣＤの前位置にある結像レンズ等を移動できるものとし、これをパルスモータ、電磁モータ、超音波モータ、あるいはピエゾ素子等により駆動制御するものとしてもよい。
【０１４４】
さらに、画像のコントラスト値を求める計算領域として対角方向のライン４本を選択するものとしたが、そのラインの本数や方向、他に計算式等に関しても本実施の形態の方法に限定するものではない。
【０１４５】
また、ぶれ量を検出する検出部に光学式エンコーダ４０を用いるものとして説明したが、顕微鏡画像のテレビカメラ２４のＣＣＤ面上での画素単位の検出精度を有するものであれば、他の検出機構であっても構わない。
【０１４６】
そして、像ぶれ補正を行なう輝度メモリ３３へのアクセスは、輝度メモリコントローラ３５による読出しアドレスを調整するものとしたが、書込みアドレスを調整しても、同様に像ぶれ補正を行なうことができるのはいうまでもない。
【０１４７】
（第４の実施の形態）
次に本発明を顕微鏡用の自動合焦機構に適用した場合の第４の実施の形態について図面を参照して説明する。
【０１４８】
図２６はその概略構成を示すもので、基本的には上記図１９で示したものと同様であるので、同一部分には同一符号を付してその説明は省略する。
【０１４９】
しかるに、テレビカメラ２４で撮像され、Ａ／Ｄ変換器２５でデジタル化された画像データは輝度メモリ３３と直接表示用画像メモリ３０とに与えられる。
【０１５０】
また、ステージ２２にぶれ検出部として設けられる光学式エンコーダ４０からのぶれ量と、対物レンズ情報取得部４１からの対物レンズの倍率情報とにより補正画素数を計算する像ぶれ補正量計算部４２は、算出した補正画素数情報を像ぶれ補正量として輝度メモリコントローラ３５及び表示用メモリコントローラ５１へ出力する。
【０１５１】
輝度メモリコントローラ３５は、ＣＰＵ３８′の制御の下に像ぶれ補正量計算部４２からの像ぶれ補正量に基づいて輝度メモリ３３での書込み、読出しアドレスを制御するものである。
【０１５２】
また表示用メモリコントローラ５１は、像ぶれ補正量計算部４２からの像ぶれ補正量に基づいて上記表示用画像メモリ３０の書込み、読出しアドレスを制御するものである。
【０１５３】
ＤＳＰ３４で算出された画像のコントラスト値は合焦位置検出部５２に送出され、合焦位置検出部５２はこのコントラスト値から正確な合焦位置を検出して検出結果をＣＰＵ３８′へ送出する。
【０１５４】
ＣＰＵ３８′は、装置全体の動作制御を司るもので、特に上記輝度メモリコントローラ３５、表示用メモリコントローラ５１、ステージ駆動部３９に対して像ぶれ補正及び駆動制御のための制御指令を送出し、また操作部４３からオートフォーカスを含む装置全体の操作指示を受付けている。
【０１５５】
上記のような構成にあって、光学顕微鏡本体２１のステージ２２上に載置された試料標本２３を対物レンズを含む観察光学系を介してテレビカメラ２４で撮像する。
【０１５６】
撮像された試料標本２３の画像はＡ／Ｄ変換器２５でデジタル化された後に輝度メモリ３３及び表示用画像メモリ３０へ送られ、輝度メモリ３３はこの画像データ（輝度データ）を輝度メモリコントローラ３５の制御に基づいて一時記憶し、ＤＳＰ３４へ読出す。
【０１５７】
ＤＳＰ３４では輝度メモリ３３からの輝度データにより該画像のコントラスト値を計算するもので、その計算には、観察者が必要としている領域を画面１１の計算領域を図２７に示すように設けるものとする。
【０１５８】
この場合の具体的なコントラスト値の計算については上記図２３で説明したものと同様であるものとしてその説明は省略するが、光学式エンコーダ４０によりステージ２２のぶれ量を検出し、対物レンズの倍率情報を用いて像ぶれ補正量を計算して、算出した像ぶれ補正量を用いて輝度メモリコントローラ３５が輝度メモリ３３の読出しアドレスを調整する。
【０１５９】
そして、ＤＳＰ３４により算出したコントラスト値が最大になる位置を合焦位置として検出し、検出結果をＣＰＵ３８′へ送出するものである。
【０１６０】
輝度メモリ３３での読出しアドレスの調整と同時に、表示用メモリコントローラ５１により表示用画像メモリ３０の読出しアドレスの調整を行なうことで、加算用画像メモリ２７を介して除算器２８で表示する試料標本２３の画像も、ステージ２２でのぶれを排除した精細なものとすることができる。
【０１６１】
なお、上記実施の形態においても、試料標本２３に対する合焦位置を変化させる手段としてステージ駆動部３９によりステージ２２を移動させるものとして説明したが、要は観察光軸の方向に沿って移動して試料標本２３の合焦を行なうことができるのであれば、ステージ２２に代えて対物レンズを取付けたレボルバや、テレビカメラ２４のＣＣＤの前位置にある結像レンズ等を移動できるものとし、これをパルスモータ、電磁モータ、超音波モータ、あるいはピエゾ素子等により駆動制御するものとしてもよい。
【０１６２】
また、画像のコントラスト値を求める計算領域として対角方向のライン４本を選択するものとしたが、そのラインの本数や方向、他に計算式等に関しても本実施の形態の方法に限定するものではない。
【０１６３】
さらに、ぶれ量を検出する検出部に光学式エンコーダ４０を用いるものとして説明したが、顕微鏡画像のテレビカメラ２４のＣＣＤ面上での画素単位の検出精度を有するものであれば、他の検出機構であっても構わない。
【０１６４】
そして、像ぶれ補正を行なう輝度メモリ３３へのアクセスは、輝度メモリコントローラ３５による読出しアドレスを調整するものとしたが、書込みアドレスを調整しても、同様に像ぶれ補正を行なうことができるのはいうまでもない。
【０１６５】
その他、本発明は上記第１乃至第４の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【０１６６】
【発明の効果】
以上、述べたように本発明によれば、コントラスト値が急激に増加する安定した画像領域を選択して画像加算を行うようにできるので、被写物体に応じて最適で良好な高深度画像を速やかに構築できる。また、従来に見られる事前に被写物体に応じた種々の条件を設定するなどの作業を必要としないので、操作も簡単にできる。さらに、画像加算のスタート位置を設定することにより、ぼけた画像を取り込むことがなく、所定のコントラスト値以上の画像のみを取り込むようになるので、加算画像の画質を劣化させることなく、良質な高深度画像を構築することができる。
【０１６７】
また、自動取り込みアルゴリズムでは、有効な範囲を取り込めなかった標本のうち、コントラストが比較的高いが、パラメータの値がサンプルに対して適当でなく、画像が取り込めない場合や、コントラストが高すぎてＣＣＤ上のごみなどと判断してしまうような場合でも、高深度画像が得られる。さらに、マニュアルによる画像取り込みに比べ、画像取り込み位置の調整、サンプルの厚さ調整なども不要になり、能率のよい作業を実現できる。
【０１６８】
さらに、観察標本を載置したステージに移動によるぶれが生じた場合でも、ぶれを生じない場合と同様にコントラスト計算を行ない、正確な合焦範囲を決定することができると共に、この決定した合焦範囲によって画像の取込入力時に画像の積算に対してもぶれ補正を行なって、正確な合焦範囲をぶれなく入力することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る概略構成を示すブロック図。
【図２】同実施の形態に係る操作部の概略構成を示す図。
【図３】同実施の形態に係る１画面のコントラスト値を求める方法を説明するための図。
【図４】同実施の形態に係るコントラスト計算が終了したことを知らせるＤＳＰ割り込み信号のタイミングを説明する図。
【図５】同実施の形態に係るステージを上から下まで移動した時のコントラスト値の変化を示す図。
【図６】同実施の形態に係る動作を説明するためのフローチャート。
【図７】同実施の形態に係る動作を説明するためのフローチャート。
【図８】同実施の形態に係る動作を説明するためのフローチャート。
【図９】同実施の形態に係る動作を説明するためのフローチャート。
【図１０】同実施の形態に係る動作を説明するためのフローチャート。
【図１１】同実施の形態に係る動作を説明するためのフローチャート。
【図１２】本発明の第２の実施の形態に係る概略構成を示すブロック図。
【図１３】同実施の形態に係る操作部の概略構成を示す図。
【図１４】同実施の形態に係るサンプル登録方法を説明するための図。
【図１５】同実施の形態に係るサンプル登録方法を説明するための図。
【図１６】同実施の形態に係るサンプル登録方法を説明するための図。
【図１７】同実施の形態に係る動作を説明するためのフローチャート。
【図１８】同実施の形態に係る動作を説明するためのフローチャート。
【図１９】本発明の第３の実施の形態に係る概略構成を示すブロック図。
【図２０】同実施の形態に係る撮像画面中の画像のずれを説明する図。
【図２１】同実施の形態に係る動作処理の内容を示すフローチャート。
【図２２】同実施の形態に係るステージの位置とコントラスト値の関係を示す図。
【図２３】図２１の処理中のコントラスト値の計算のサブルーチンを示すフローチャート。
【図２４】同実施の形態に係る撮像画面中の画像のずれを説明する図。
【図２５】図２１の処理中の画像加算のサブルーチンを示すフローチャート。
【図２６】本発明の第４の実施の形態に係る概略構成を示すブロック図。
【図２７】同実施の形態に係る画像中のコントラスト値の計算方向を示す図。
【符号の説明】
１…撮像手段
１０１…光学顕微鏡
１０２…ステージ
１０３…中間倍率レンズ
１０４…ＣＣＤカメラ
１０５…ステージ駆動回路
２…装置本体
２０１…画像取り込み回路
２０２…画像加算回路
２０３…加算メモリ
２０４…コントラスト計算用メモリ
２０５…ＤＳＰ
２０６…ＣＰＵ
２０７…空間フィルタ回路
２０８…表示メモリ
２０９…画像表示回路
２１０…サンプル登録部
２１１…データ記憶部
３…テレビモニター
４…操作部
４０１…焦準ハンドル
４０２…レディーＬＥＤ
４０３…開始ボタン
４０４…コントララストレベル調整ツマミ
１１…画面
１２，１３…縦横ライン、
１４，１５…対角線上のライン。
２１…光学顕微鏡本体
２２…ステージ
２３…試料標本
２４…テレビカメラ
２５…Ａ／Ｄ変換器
２６…加算器
２７…加算用画像メモリ
２８…除算器
２９…空間フィルタ
３０…表示用画像メモリ
３１…Ｄ／Ａ変換器
３２…表示部
３３…輝度メモリ
３４…ＤＳＰ
３５…輝度メモリコントローラ
３６…画像メモリコントローラ
３７…合焦範囲検出部
３８…ＣＰＵ
３９…ステージ駆動部
４０…光学式エンコーダ
４１…対物レンズ情報取得部
４２…像ぶれ補正量計算部
４３…操作部
５１…表示用メモリコントローラ
５２…合焦位置検出部
【発明の属する技術分野】
本発明は、光学顕微鏡で観察する厚みのある被写物体の各高さ位置のそれぞれの合焦面での画像を加算して焦点深度が拡大された画像（以下、高深度画像という）を生成する画像入力装置に関するものである。
【０００２】
【従来の技術】
被写物体の入力画像を用いて、この被写物体を画像解析するような場合、入力画像として、明るく高解像で、さらに焦点深度の深い画像であることが要求される。
【０００３】
そこで、このように解像度に優れ、しかも高倍率で明るい画像を光学的に取り込むには、開口数の大きな光学素子を用いた結像光学系が用いられている。
【０００４】
ところが、レンズに代表される結像光学素子は、開口数が大きくなると焦点深度が浅くなるため、大きな倍率を確保するために開口の大きい結像光学素子を使用すると、焦点深度が浅くなることから、仮に、厚みのある被写物体で、光軸方向に異なる高さ位置が存在するような場合には、一つの高さ位置にしかピントを合わせることができず、その他の部分の画像はぼけてしまう。
【０００５】
そこで、従来から顕微鏡、カメラ、内視鏡などの画像機器を利用する分野では、被写物体の異なる高さ位置の全てに焦点が合うように焦点深度を深くする手段が種々考えられている。
【０００６】
一例として、特開平５−３１３０６８号公報は、マルチエリア測距装置なるもので、各エリア内の空間周波数特性を、レンズ駆動装置でレンズを駆動して物体面における合焦位置を変えながら測定し、各物体までの距離を予め測定した後（前処理）、視野内の複数枚の物体面の像の空間周波数的特性が、累積加算された画像の各エリアにおいて最も均一に近くなるような画像を、レンズ駆動装置でレンズを駆動して累積加算して合成する（後処理）技術が開示されている。
【０００７】
また、特開昭６０−６８３１２号公報には、撮影視野内の試料の最も凸なる部分の合焦位置から、最も凹なる部分の合焦位置の間で合焦位置を移動し、フィルム上で光量を順次積算する事で、焦点深度が拡大された画像を構築する技術が開示されている。
【０００８】
さらに、特開平１−３０９４７８号公報には、光学系の合焦位置を、適当に設定した距離間隔および距離範囲で離散的に変えながら、画像を取り込み積算していく技術やＴＶカメラの受光素子部に画像が蓄積される時間の間で、試料の合焦面を、フォーカスレベル駆動装置によって連続的に変えて画像を取り込み積算していく技術が開示されている。
【０００９】
【発明が解決しようとする課題】
ところが、特開平５−３１３０６８号公報に開示されるものは、画像を取り込む動作の前に、予め、予想される物体の合焦範囲でレンズを駆動して、空間周波数特性を測定しなければならないため、高深度画像を構築するまでに余分な時間が必要となる問題があり、また、特開昭６０−６８３１２号公報に開示されるものは、試料の最も凸なる部分と最も凹なる部分を始めに設定しなくてはならないため、操作が煩わしい上にその分時間がかかるという問題があり、さらに特開平１−３０９４７８号公報に開示されるものは、予め設定した距離間隔および距離範囲が試料ごとに異なる場合、試料を変えるたびに設定し直さなければならないので、操作が面倒になるという問題があった。
【００１０】
本発明は、上記事情に鑑みてなされたもので、操作が簡単で、しかも速やかに被写物体に応じて最適で良好な高深度画像を構築できる画像入力装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
請求項１記載の発明は、被写物体を撮像する撮像手段と、この撮像手段に対する上記被写物体の合焦位置を移動させる合焦位置移動手段と、この合焦位置移動手段により移動される上記被写物体の上記撮像手段より撮像される画像を加算する画像加算手段と、上記撮像手段により撮像される上記被写物体の画像のコントラスト値を演算するコントラスト演算手段と、コントラスト値の変化状態が増加傾向となる方向を判断し、上記合焦位置移動手段によりコントラスト値の変化状態が増加となる方向に合焦位置を移動させ、上記コントラスト演算手段により演算されるコントラスト値が予め設定した所定値より大きい地点をスタート位置とし、コントラスト値の変化の度合が一定以上であることを判断し、以後上記合焦位置移動手段によりコントラスト値の変化状態が増加となる方向に合焦位置を移動させながら継続して上記画像加算手段への画像加算を指示し、コントラスト値がピーク値を超えて予め設定した所定値以下となった地点をエンド位置として上記画像加算手段での画像加算を停止させる制御手段とにより構成している。
【００１３】
請求項２記載の発明は、上記請求項１記載の発明において、上記撮像手段で撮像した画像を記憶する記憶手段と、上記合焦位置移動手段による合焦点の移動によって上記撮像手段で得られる画像に生じるぶれ量を検出する検出手段と、この検出手段で検出したぶれ量により上記記憶手段の書込み、読出しアドレスを制御するアドレス制御手段とをさらに具備し、上記画像加算手段は、上記アドレス制御手段のアドレス制御により上記記憶手段より読出した画像に上記撮像手段で得た画像を加算し、該加算された画像を上記記憶手段に書込むようにしている。
【００１６】
この結果、請求項１記載の発明によれば、被写物体の異なる合焦位置での撮像画像のコントラスト値が所定の変化を呈する時点から画像加算を行なうようにできるので、コントラスト値が急激に増加する安定した画像領域を選択して画像加算を行なうようにでき、被写物体に応じて最適で良好な高深度画像を速やかに構築できる。また、従来に見られる事前に被写物体に応じた種々の条件を設定するなどの作業を必要としないので、操作も簡単にできる。
【００１８】
請求項２記載の発明によれば、上記請求項１記載の発明の作用に加えて、高深度画像を自動的に構築する際に、観察標本を載置したステージに移動によるぶれが生じた場合でも、ぶれを生じない場合と同様にコントラスト計算を行ない、正確な合焦範囲を決定することができると共に、この決定した合焦範囲によって画像の取り込入力時に画像の積算に対してもぶれ補正を行なって、正確な画像をぶれなく入力し、良好な高深度画像を取得することができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
【００２２】
（第１の実施の形態）
図１は、本発明が適用される画像入力装置の概略構成を示している。この場合、画像入力装置は、撮像手段１、装置本体２、テレビモニター３および操作部４から構成している。
【００２３】
撮像手段１は、光学顕微鏡１０１による被写物体の観察像を撮像するもので、ここでは、光学顕微鏡１０１のステージ１０２に載置される被写物体としての標本の観察像を中間倍率レンズ１０３を通してＣＣＤカメラ１０４で撮像するようにしている。この場合、光学顕微鏡１０１のステージ１０２は、ステージ駆動回路１０５により光軸方向、つまり上下方向に移動可能にしている。
【００２４】
装置本体２は、画像入力手段としての画像取り込み回路２０１、画像加算記憶手段としての画像加算回路２０２、加算メモリ２０３、コントラスト演算手段としてのコントラスト計算用メモリ２０４、ＤＳＰ２０５、中央制御手段としてのＣＰＵ２０６、加算された画像に回復処理を施すための空間フィルタ回路２０７、空間フィルタ回路２０７で回復処理された画像を表示、記憶するための表示メモリ２０８、テレビモニター３に画像を表示するための画像表示回路２０９を有している。この場合、撮像手段１のＣＣＤカメラ１０４の映像出力端子に画像取り込み回路２０１を接続し、画像取り込み回路２０１の出力端子を画像加算回路２０２の２つある入力の内の一方とコントラスト計算用メモリ２０４にそれぞれ接続している。コントラスト計算用メモリ２０４には、ＤＳＰ２０５を接続し、このＤＳＰ２０５には、ＣＰＵ２０６を接続している。また、画像加算回路２０２の出力端子には、加算メモリ２０３を接続し、この加算メモリ２０３の出力端子には、空間フィルタ回路２０７の入力端子と画像加算回路２０２のもう一方の入力端子を接続している。空間フィルタ回路２０７の出力端子には、表示メモリ２０８の入力端子を接続し、その出力端子には、画像表示回路２０９の入力端子を接続している。そして、この画像表示回路２０９の出力端子には、テレビモニター３を接続している。また、ＣＰＵ２０６には、画像加算回路２０２、加算メモリ２０３、空間フィルタ回路２０７、表示メモリ２０８および画像表示回路２０９を接続し、さらに、上述した撮像手段１に対する合焦位置移動手段としてのステージ駆動回路１０５、操作部４を接続している。
【００２５】
テレビモニター３は、装置本体２で加工された画像を画像表示回路２０９を介して表示するものである。操作部４は、動作の開始設定を始めとする各種の制御のための操作を行なうもので、例えば、図２（ａ）（ｂ）に示すように顕微鏡１０１のステージ１０２を光軸方向に上下させるための焦準ハンドル４０１、レディーＬＥＤ４０２、高深度画像を構築する動作を開始するための開始ボタン４０３およびコントラストレベルを決定するためのコントララストレベル調整ツマミ４０４を有している。
【００２６】
次に、以上のように構成した実施の形態の動作を説明する。
【００２７】
いま、光学顕微鏡１０１のステージ１０２に載置される標本の観察像を中間倍率レンズ１０３を通してＣＣＤカメラ１０４で撮像すると、この映像信号は、装置本体２の画像取り込み回路２０１でアナログ信号からデジタル信号に変換され、デジタル画像データとして画像加算回路２０２とコントラスト計算用メモリ２０４に順次送られる。
【００２８】
コントラスト計算用メモリ２０４の画像データは、ＤＳＰ２０５により読出され、画像コントラストが求められる。この場合、図３に示すように画像データの画面１１の中央の縦横のライン１２、１３と対角線上のライン１４、１５について、それぞれのコントラストを計算し、画面１１全体のコントラスト値を求めるようにする。また、コントラスト値のＳ／Ｎを向上するため、フィールド（１）で記憶された画素（図示の斜線を付した丸）のうち、図３の（ａ）〜（ｄ）に示すように画面１１の中央の縦横のライン１２、１３、対角線上のライン１４、１５のそれぞれの４画素（図示の黒丸）を１ブロックとみなし、これら４画素の平均をそのブロックの平均画素データとしてから、隣り合うブロックの平均画素データの差の２乗を全ブロックで加算して画面１１のコントラスト値を求めるようにしている。つまり、ＣＣＤカメラ１０４は、一般的にインターレース走査方式を取っており、１画面分の映像信号は、２枚のフィールド（１）、（２）に分けられるが、ＤＳＰ２０５では、これを利用して、始めのフィールド（１）が終了したことを確認した後、このフィールド（１）の画像データにより、図３の（ａ）〜（ｄ）で示す各ライン１２〜１５でのコントラスト値を求めている。
【００２９】
そして、ＤＳＰ２０５は、コントラスト計算が終了すると、図４に示すように垂直同期信号Ｖに対応するフィールド（１）、（２）のうち、フィールド（２）の期間中にＣＰＵ２０６に対して、コントラスト計算が終了したことを知らせるＤＳＰ割り込み信号を発生する。
【００３０】
一方、画像加算回路２０２では、加算メモリ２０３から読出した画像データと画像取り込み回路２０１により取り込まれた画像データとの間での加算処理が行なわれ、この加算された画像データは、再び、加算メモリ２０３に格納される。そして、加算メモリ２０３から読出された画像データは、空間フィルタ回路２０７に入力される。空間フィルタ回路２０７では、例えば７×７画素サイズまでの２次元の画像処理が施され、画像の回復が行なわれ、その後、画像データは、表示のため表示メモリ２０８に一時格納された後、画像表示回路２０９によって映像信号に変換され、テレビモニター３に表示される。
【００３１】
この状態で、操作部４のコントラストレベル調整ツマミ４０４により事前に設定された高深度画像構築を開始するコントラストレベルと、ＤＳＰ２０５が求めたコントラスト値のレベルがＣＰＵ２０６で比較され、ＤＳＰ２０５のコントラスト値のレベルの方が高いと判断されると、レディーＬＥＤ４０２が点灯され、高深度画像を得るための開始ボタン４０３の使用が許可されるようになる。
【００３２】
次に、このような高深度画像を得るための動作をさらに説明する。
【００３３】
この場合、使用者は、誤動作を防止するため、始めの１回だけ操作部４のコントラストレベル調整ツマミ４０４を操作して、高深度画像を構築する動作（以下、Ａ動作という）が開始できるコントラストレベル（以下、スタートレベルという）を設定する。
【００３４】
このスタートレベルの設定は、顕微鏡１０１のステージ１０２に観察したい標本を載置し、操作部４の焦準ハンドル４０１を回して標本にピントを合わせた後、コントラストレベル調整ツマミ４０４を操作し、レディＬＥＤ４０２が点灯する位置にすることで完了する。この場合、確実に標本にピントが合っている必要はなく、おおむね、標本が認識できる程度で十分である。
【００３５】
仮に、この設定により、標本にピントが合っていない場合には、レディＬＥＤ４０２は、点灯せず、操作部４の開始ボタン４０３を押してもＡ動作を開始することができなくなる。これにより、万が一、標本に対して大きくピントがずれている場合は、Ａ動作を開始することがなくなり、以後説明する、Ａ動作の基本となるアルゴリズムの誤動作を防止することができる。また、ピントが大きく外れている状態では、前後の標本画像を加算し、高深度画像を構築しても何も意味を持たないことも、理解できる。
【００３６】
この状態から、操作部４のレディＬＥＤ４０２が点灯するところまで、顕微鏡１０１のステージ１０２を操作部４の焦準ハンドル４０１の操作により移動させ、ステージ１０２を操作部４の焦準ハンドル４０１で移動した後、開始ボタン４０３を押し操作する。
【００３７】
すると、図６に示すように、ステップ６０１で、Ａ動作を実行するためのＶ′の割り込みを許可し、ステップ６０２で、Ｖ′の割り込み処理ルーチン内で使用する変数をｍｏｄｅ＝１、ｓｔｕｔａｓ＝１に初期化する。なお、このＶ′の割り込みは、図４に示すようにフィールド（１）、（２）の垂直同期信号Ｖのうち、フィールド（１）の垂直同期信号Ｖに同期して行なわれる。
【００３８】
そして、これ以後、Ｖ′の割り込み処理ルーチンに記述された図７〜図１１に示すアルゴリズムに従って、Ａ動作が実行される。
【００３９】
なお、ステージ１０２を上から下まで移動した時のコントラスト値の変化は、おおむね、図５のようになるものとする
図８〜図１１は、図７のフローチャートに示す処理１〜処理３に対応したものである。そして、図７に示すルーチンは、Ｖ′の割込み毎に呼び出されるため、何回目の呼び出しかを表す変数としてｓｔａｔｕｓを使用している。このｓｔｕｔｕｓは、処理１〜処理３の中で１加算され、次の割り込み時の呼び出しに備える。また、例外として、ｓｔａｔｕｓを加算せずに次の割り込み時の呼び出しを待てば、もう一度、同じ処理を行なうことができる。
【００４０】
まず、ステップ７０１のｍｏｄｅ＝１で、ステップ７０２の処理１が呼び出される。この処理１は、図８および図９に示すフローチャートが実行される。この処理１の概要は、ステージ１０２を上下のいずれかに移動し、標本画像に十分ピントが合っていないステージ位置（以後、ステージ位置という）を決定することである。
【００４１】
最初に、ｓｔａｔｕｓ＝１で、３０μｍ／ｓｅｃの一定速度でステージ１０２を下方向に移動開始し、各種の変数を初期化する（ステップ８０１〜８０３）。ここで、一つ前のコントラスト値ｂｅｆｏｒｅＣと現在のコントラスト値ｎｏｗＣが等しければ、ｓｔａｔｕｓをインクリメントし、Ｅｒｒ＝１でなければ、次の割り込みを待ち、Ｅｒｒ＝１ならば、ステージ停止、Ｖ′の割り込みを禁止し（ステップ８０４〜８０６）、Ａ動作が成功しなかったことを使用者に知らせるようになる。
【００４２】
次に、ｓｔａｔｕｓ＝２がないのでｓｔａｔｕｓ＝３まで処理は待たされる。これは、ｓｔａｔｕａ＝１でステージ１０２の移動を開始して十分にステージ１０２が安定して移動するまでのウェイトを置くためである。
【００４３】
ｓｔａｔｕｓ＝３で、現在のコントラスト値ｎｏｗＣをスタート時のコントラスト値ｓｔａｒｔＣに格納し、ｎｏｗＣが、画像がない時のコントラスト値ｎｏｎｉｍｇＣより小さいかどうか判断し、小さければ、後述するステップ８２６以降の処理に移行し、現在のステージ位置をスタート位置とする処理を行なう（ステップ８０７〜８０９）。また、そうでなければ、上述のステップ８０４〜８０６の処理に移行する。
【００４４】
次に、ｓｔａｔｕｓ＝４で、一つ前のコントラスト値ｂｅｆｏｒｅＣとｎｏｗＣを比較して、ｎｏｗＣが大きい時は、次のｓｔａｔｕｓ＝６にすぐ移行できるようにｓｔａｔｕｓを１加算して、変数を初期化する（ステップ８１０〜８１３）。ｎｏｗＣの方が小さい時は、現時点よりステージ１０２のどちらの方向に標本のコントラストの最大点があるかを示す変数ＰＫＤＩＲをＰＫＤＩＲ＝０として、ステージ１０２の移動を停止し、今までとは逆の上の方向に３０μｍ／ｓｅｃでステージ１０２の移動を開始し、変数を初期化する（ステップ８１４、８１３）。そして、上述のステップ８０４〜８０６の処理に移行する。
【００４５】
このｓｔａｔｕｓ＝４では、一つ前のコントラスト値と現在のコントラスト値を比較することでステージ１０２の現在位置が、図５に示すコントラストカーブのどちらかの斜面にいるのかを判定している。
【００４６】
次に、ｓｔａｔｕｓ＝６で、ｃｎｔが１５より小さく、ｎｏｗＣとｎｏｎｉｍｇＣを比較してｎｏｗＣが小さければ、後述するステップ８２６以降の処理に移行し、また、ｎｏｗＣとｂｅｆｏｒｅＣを比較してｎｏｗＣが小さく、かつ、ｂｅｆｏｒｅＣ−ｎｏｗＣと標本にピントがかなり合っていない時のコントラスト値ｕｎｆｏｕｃＣを比較して、ｕｎｆｏｕｃＣが大きければ、ｎｐｃｎｔを１加算し（ステップ８１５〜８２１）、そして、ｎｐｃｎｔが２以上になれば、ステップ８０４〜８０６の処理に移行する。一方、ｎｏｗＣとｂｅｆｏｒｅＣを比較してｎｏｗＣが大きく、ｂｅｆｏｒｅＣ−ｎｏｗＣと標本にピントがかなり合っていない時のコントラスト値ｕｎｆｏｕｃＣを比較して、ｕｎｆｏｕｃＣが小さければ、ｎｐｃｎｔを０とし、ｃｎｔを１加算し、ｓｔａｔｕｓを１減算して （ステップ８２２、８２３）、ステップ８０４〜８０６の処理に移行する。さらに、ｃｎｔが１５を越える時は、Ｅｒｒを１とし（ステップ８２４）、後述するステップ８２６以降の処理に移行する。
【００４７】
このｓｔａｔｕｓ＝６では、そのステージ位置でのコントラストの微分係数がｕｎｆｏｕｃＣ以下、つまり、コントラストカーブが緩やかになってきたことを確認している。
【００４８】
そして、ｓｔａｔｕｓ＝７では、ステージ１０２の移動を止め、ｎｏｗＣとＣＣＤカメラ１０４が汚れている時のコントラスト値ｃｃｄＣを比較して、ｎｏｗＣが大きければ、エラーとしてエラー処理を行なうための変数Ｅｒｒを１とする（ステップ８２５〜８２８）。そうでなければ、現在のコントラスト値ｎｏｗＣをスタート位置のコントラスト値ｓｔａｒｔＣとする（ステップ８２９、８３０）。ここで、ｃｃｄＣは、ＣＣＤカメラ１０４に汚れがあり、全体のコントラストレベルが高い時にエラーとする働きがある。そして、ステップ８０４〜８０６の処理に移行する。
【００４９】
つまり、かかる処理１では、図５に示す（１）にステージ１０２が合った場合は、（２）の位置までステージ１０２を移動し、また、同図（４）にステージ１５が合った場合は、（５）の位置までステージ１０２を移動するようにしている。つまり、処理１では、一旦コントラストが低くなる方向を検出し、その方向にステージ１０２を移動させ、その後の移動に備えるようにしているので、ステージ１０２が無駄に移動するのを防止できる。
【００５０】
次に、図７に戻って、処理１がエラーなく終了すると、ｒｅｔ＝１を判断し、、ｍｏｄｅ＝ｍｏｄｅ＋１、ｓｔａｔｕｓ＝１として（ステップ７０３、７０４）、処理２を呼び出すようになる。この場合、コントラスト値のピークＭａｘＣよりｎｏｗＣが小さければ、処理を終了し、また、コントラスト値のピークＭａｘＣよりｎｏｗＣが大きければ、ＭａｘＣ＝ｎｏｗＣとして、処理を終了する（ステップ７０５、７０６）。
【００５１】
ステップ７０７のｍｏｄｅ＝２では、ステップ７０８の処理２が呼び出される。この処理２は、図１０に示すフローチャートが実行される。この処理２の概要は、ステージ１０２をゆっくり移動し、高深度画像を構築するために画像の加算を開始するステージ位置を決定することである。
【００５２】
まず、ｓｔａｔｕｓ＝１で、処理１で求めたＰＫＤＩＲに従って、ステージ１０２の移動方向を決める。ここで、ＰＫＤＩＲが０ならば、標本のコントラストのピークは、下にステージ１０２を移動する方向にあり、また、１ならば、上に移動する方向にあることを示すので、これらに従って、ステージ１０２を移動させる（ステップ１００１〜１００４）。この時、ステージ１０２の移動速度は、Ｖ′の割込みがインターレース走査の２倍の周期で発生すること、つまり、１／３０ｓｅｃ毎、さらに対物レンズの焦点深度を、約０．４μｍ程度として、ＣＣＤカメラ１０４で１画面の映像を０．４μｍピッチで撮影するために下式より、
１２μｍ／ｓｅｃ＝０．４μｍ×３０画面／ｓｅｃ
としている。そして、変数を初期化する（ステップ１００５）。
【００５３】
ここで、一つ前のコントラスト値ｂｅｆｏｒｅＣと現在のコントラスト値ｎｏｗＣが等しければ、ｓｔａｔｕｓをインクリメントし、Ｅｒｒ＝１でなければ、次の割り込みを待ち、Ｅｒｒ＝１ならば、ステージ停止、Ｖ′の割り込みを禁止し（ステップ１００６〜１００８）、Ａ動作が成功しなかったことを使用者に知らせるようになる。
【００５４】
次に、ｓｔａｔｕｓ＝３で、ｃｎｔが３１より小さく、ｎｏｗＣがｓｔａｒｔＣより大きく、ｎｏｗＣ−ｂｅｆｏｒｅＣ、つまり、微分係数が１００を超えた場合には、次の処理に移行出来るようになっている。そうでない場合は、ｃｎｔを１加算してエラー処理に備え、ｓｔａｔｕｓを１減算し、もう一度、ｓｔａｔｕｓ＝３の処理を実行可能にしている（ステップ１００９〜１０１３）。そして、ステップ１００６〜１００８の処理に移行する。また、ｃｎｔが３１を越える時は、条件に合わないとしてＥｒｒを１とし（ステップ１０１４）、ステップ１００６〜１００８の処理に移行する。
【００５５】
ここで、ｓｔａｔｕｓ＝１からｓｔａｔｕｓ＝３に飛んでいるのは、ステージ１０２が完全に動き出すのを確認するとともに、一定速度運動に入るまでのウェイトである。
【００５６】
次に、ｓｔａｔｕｓ＝４で、画像の加算処理を開始するとともに変数を初期化し、処理２を終了する（ステップ１０１５、１０１６）。
【００５７】
次に、図７に戻って、処理２がエラーなく終了すると、ｒｅｔ＝１を判断し、、ｍｏｄｅ＝ｍｏｄｅ＋１、ｓｔａｔｓｕ＝１として（ステップ７０９、７１０）、処理３を呼び出すようになる。
【００５８】
ステップ７１１のｍｏｄｅ＝３では、ステップ７１２の処理３が呼び出される。この処理３は、図１１に示すフローチャートが実行される。この処理３の概要は、処理２で開始された画像の加算処理を、図５に示すコントラストカーブを低コントラスト側からコントラストのピークを超えて再度低コントラスト側にきた時、適切に終了させることである。
【００５９】
まず、ｓｔａｔｕｓ＝１で、ｎｏｗＣとｂｅｆｏｒｅＣを比較してコントラストの変化が下がっていく方向にくるのを待つ（ステップ１１０１）。ｎｏｗＣの方が大きい時はまだ、コントラストのカーブの上りにいることを示し、小さくなった時、下りにいることを判断する。ここで、ｎｏｗＣがｓｔａｒｔＣよりも小さくなったのであれば、直ちに、ｓｔａｔｕｓを１加算して次の処理へ移行する（ステップ１１０４）。そうでなければ、確実にコントラストが下がっている事を確認するために、連続で４回下がっていることをｎｐｃｎｔでカウントする。さらに、４回連続で下がって、コントラスト値のピークＭａｘＣとｓｔａｒｔＣの差の１／２（＝ｔｍｐ）より、ｎｏｗＣが小さければ、次の処理に移行する（ステップ１１０５〜１１０７、ステップ１１０４）。また、ステップ１１０２で、ｎｏｗＣがｂｅｆｏｒｅＣより大きいままならば、ｎｐｃｎｔを０にして、ｃｎｔを１加算、ｓｔａｔｕｓを１減算して、次の処理へ移行し（ステップ１１０８、１１０９）、また、ステップ１１０５で、ｎｐｃｎｔが３以下またはステップ１１０７で、ｔｍｐよりｎｏｗＣが大きければ、ステップ１１１０で、ｎｐｃｎｔを１加算し、ステップ１１０９に進むようになる。
【００６０】
次に、ｓｔａｔｓｕ＝３で、画像の加算処理とステージ１０２の移動を停止し（ステップ１０１１〜１０１３）、Ｖ′の割り込みを禁止して処理３を終了する。
【００６１】
この処理３では、画像の加算処理の終了をコントラスト値のピークＭａｘＣとｓｔｓｒｔＣの差の１／２より、ｎｏｗＣが小さいという条件で判断しているので、無駄に低コントラストな画像を加算することがなくなり、高深度画像の画質を劣化させることはない。
【００６２】
このようにして、処理１〜処理３までをエラーなく終了したならば、加算メモリ２０３の加算画像を、空間フィルタ回路２０７に送り、対物レンズの特性やＣＣＤカメラ１０４のサイズ、顕微鏡１０１とＣＣＤカメラ１０４の間の中間倍率レンズ１０３等の結像光学系の特性より求められる２次元の画像処理フィルタ係数によって、画像の回復処理を行なう。この際、加算メモリ２０３から画像データをノンインターレース走査形式で読出し、空間フィルタ回路２０７で処理すれば、画質を劣化させることなく処理できる。
【００６３】
そして、この空間フィルタ回路２０７で処理した画像データを、ノンインターレース走査形式で表示メモリ２０８に格納し、さらに画像表示回路２０９に送られる。この場合、画像表示回路２０９では、表示メモリ２０８から画像データを読出す際にテレビモニター３の表示形式に合わせて、インターレース走査、ノンインターレース走査のいずれかの方式で行なえばよい。
【００６４】
従って、このようにすれば、始めにステージ１０２を少し移動させた時のコントラストの変化から、コントラストカーブのどちら側にいるかをすばやく判断し、コントラストが下がる方向にステージ１０２を移動し、その後、ステージ１０２の移動をコントラスト値がピーク値に向かう方向に反転し、この移動で、標本に対する撮像画像のコントラスト値が所定の変化を呈する時点から画像加算回路１０２により画像加算を行なうようにしたので、合焦位置を全体に渡って移動するような無駄な動きがなくなり、しかも、コントラスト値が急激に増加する安定した画像領域を選択して画像加算を行なうようにできるので、被写物体に応じて最適で良好な高深度画像を速やかに構築できる。また、従来に見られる事前に被写物体に応じた種々の条件を設定するなどの作業を必要としないので、操作の簡単化も実現できる。
【００６５】
また、画像の加算の最低条件として、スタート位置を設定しているので、ぼけた画像を取り込むことがなく、所定のコントラスト値以上の画像のみを取り込むようになって、加算画像の画質を劣化させることなく、良好な高深度画像を構築することができる。
【００６６】
これにより、光学顕微鏡１０１を用いた厚みのある標本の各高さ位置に、それぞれ焦点の合った複数枚の入力画像から標本の各高さ位置全てに焦点が合っていて、あたかも焦点深度が拡大されたような高深度画像を安定して得られる。
【００６７】
なお、上述した第１の実施の形態では、コントラストを求める際の計算領域として画面１１の縦横ライン１２、１３、対角方向のライン１４、１５を用いたが、それに限らず、また、コントラストの計算は、飛び飛びの画素を４つまとめて平均を取る方法でＳ／Ｎを向上させていたが、これに限らない。さらに、処理１から処理３で用いた定数は、これに限定されない。ステージの駆動速度もこれに限らず、対物レンズの焦点深度を正確に求めておき、対物レンズが変わる度に駆動速度を変えても良い。この装置は、ＣＣＤカメラの映像信号の方式は、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭなどに制限させる事はなく、それぞれに対応可能である。
【００６８】
（第２の実施の形態）
上述した第１の実施の形態では、画像取り込み用のパラメータが固定であったが、この第２の実施の形態では、サンプル毎に画像取り込み用のパラメータを算出することにより、エラーと判断されるようなサンプルの場合でも、画像の取り込みを可能にして、高深度画像を得られるようにしている。
【００６９】
図１２は、第２の実施の形態の概略構成を示すもので、図１と同一部分には、同符号を付している。
【００７０】
この場合、ＣＰＵ２０６には、画像取り込み時のパラメータを計算するサンプル登録部２１０、計算したパラメータを記憶するデータ記憶部２１１を接続している。ここでのデータ記憶部２１１には、ＮＶＲＡＭなどの不揮発性のメモリを用いている。
【００７１】
また、操作部４は、図１３（ａ）（ｂ）に示すように、顕微鏡１０１のステージ１０２を光軸方向に上下させるためのステージ移動用の準焦ハンドル４０１、レディーＬＥＤ４０２、高深度画像を構築する動作を開始するための開始ボタン４０３、コントラストレベルを決定するためのコントラストレベル調整ツマミ４０４の他に、画像取り込みをマニュアルで行なうか自動で行なうかを設定するモードセレクトツマミ４０５およびサンプル登録開始ボタン４０６を有している。
【００７２】
しかして、このような構成において、通常の画像自動取り込みでは、第１の実施の形態で述べたアルゴリズムにより、コントラスト値の計算およびＣＰＵ２０６による画像取り込みの可否の判断が行なわれるが、この際に、コントラストレベルが低すぎると、画像取り込み範囲にサンプル画像がないと判断して、画像取り込みを中止してしまうことがある。
【００７３】
そこで、このような場合、使用者は、サンプル登録部２１０により、以下の方法でサンプルの登録を行ない、画像取り見込みパラメータを再設定し、取り込み範囲を指定し直すことで、サンプル画像の取り込みを可能にしている。
【００７４】
まず、サンプル登録は、サンプル登録開始位置から合焦画像がなくなる±２０μm の範囲でプリスキャナを行ない、この範囲のコントラストカーブを求める。このコントラストカーブの求め方は、上述した図３の方法が用いられる。
【００７５】
そして、ＤＳＰ２０５によりコントラスト計算を終了すると、ＣＰＵ２０６に対し、図４に示すコントラスト計算が終了したことを知らせるＤＳＰ割り込み信号が発生する。
【００７６】
このような作業を図１４に示すように、サンプル登録開始位置ＳＳから±２０μm の範囲内で行ない、コントラスト値を計算し、ワーク用のメモリに格納する。次いで、プリスキャンが終了したならば、図１５に示すように計算により得られたコントラストカーブから、コントラスト値が最大になるコントラスト最大値ＣMAX を求め、さらに、この位置から±１５μm の位置のコントラスト値の平均Ｃnon を画像中に合焦面のない、ぼけ画像のコントラスト値とする。つまり、コントラスト値が、これ以下になる領域は、画面中に合焦面がなく、画面全体がぼけている領域とする。
【００７７】
次に、こうして求めた画像のコントラストの最大値ＣMAX の中間位置Ｚstart を画像加算開始位置に、Ｚend を画像加算の終了位置にする（図１６）。そして、次回から、このパラメータを用いて画像取り込みを行なうようになる。この計算した画像取り込み用のパラメータは、スイッチなどのチャンネルを切り替えて、データ記録部２１１に各サンプルごとに保存する。また、サンプルが変わった時には、保存の時と同様にスイッチなどでチャンネルを切り替え、操作部４の開始ボタン４０４が押されたときにパラメータの読出しを行なって画像取り込みを行ない、複数のサンプルに対しても適応可能にしている。
【００７８】
次に、実際にサンプル登録を行なって画像を取り込む方法を説明する。
【００７９】
まず、使用者は、始めに１回だけ操作部４のコントラストレベル調整ツマミ４０４を走査して、高深度画像を構築する動作が開始できるコントラストレベル（以下、スタートレベル）を設定する。この設定は、高深度画像を構築する際に、誤動作を防止するために行なう。なぜなら、ＣＰＵ２０６は、コントラスト値が低くなる方向にステージ１０２を移動させるが、例えばサンプルが無かったり、ピントが合っていなかったりすると、この時得られるコントラストカーブは、まったく無意味になって、誤動作の原因になるためで、これを防止するため、コントラストレベル調整ツマミ４０４によりスタートレベルをおおむね標本が認識できる位置に設定している。
【００８０】
この設定は、ステージ１０２に観察したい標本を載せ、操作部４の焦準ハンドル４０１を回し標本にピント合わせをたのち、コントラストレベル調整ツマミ４０４を回して、レディＬＥＤ４０２が点灯する位置にする。この場合、確実に標本にピントが合っている必要はなく、おおむね標本が認識できる程度で十分である。
【００８１】
次に、モードセレクトツマミ４０５により、サンプル登録のチャンネルＡＵＴＯ１〜ＡＵＴＯ３の内の１つを選んで設定する。なお、モードセレクトツマミ４０５に書かれている１〜６は、マニュアルの画像取り込みモード時の画像取り込み範囲を示すものである。
【００８２】
ここでのサンプル登録では、自動取り込みモードの１〜３（ＡＵＴＯ１〜ＡＵＴＯ３）選択する。そして、登録するチャンネルを決定した後は、サンプル登録開始ボタン４０６を押す。すると、この位置をサンプル登録開始位置として、サンプル登録が開始される。
【００８３】
この場合、図１７に示すように、まず、ステップ１７０１で、ＣＰＵ２０６は、ステージ駆動部１０５により、サンプル登録開始位置から２０μm ステージを下げる。次に、ステップ１７０２で、その位置から上方向に４０μm 、すなわちサンプル登録開始位置から±２０μm のプリスキャンを行なう。
【００８４】
そして、ステップ１７０３で、ＤＳＰ２０５は、プリスキャンの間にＶ´の割り込みがくる度にコントラスト計算用メモリ２０４から画像データを読出し、画像のコントラスト値を計算し、図４に示すＤＳＰ割り込み信号を発生させることで、ＣＰＵ２０６に計算が終了したことを知らせる。ＣＰＵ２０６は、割り込みを確認すると、ステップ１７０４で、現在の位置コントラスト値を読み込み、ワークメモリに格納する。
【００８５】
このようなステップ１７０３と１７０４の動作は、ステップ１７０５で、上方向への移動距離が４０μm になると判断されるまで繰り返す。
【００８６】
次に、ステップ１７０６で、格納されたコントラストデータからコントラストの最大値ＣMAX を調べ、その座標ＺMAX を求め、さらに、ステップ１７０７で、ＺMAX −１５μm の位置をＺa 、ＺMAX ＋１５μm の位置をＺb として、ステップ１７０８で、それぞれの位置コントラスト値の平均値
Ｃnon ＝Ｃ（Ｚa ）＋Ｃ（Ｚb ）／２
からぼけ画像のコントラストレベルＣnon を設定し、さらに、ステップ１７０９で、ＣMAX とＣnon の平均値
Ｃth＝（ＣMAX ＋Ｃnon ）／２
から画像積算の開始および終了のレベルＣthを設定する。
【００８７】
そして、これらパラメータが決定すると、ステップ１７１０で、ＣＰＵ２０６により、これらパラメータをデータ記憶部２１１のＮＶＲＡＭなどの不揮発性メモリに保存し、サンプル登録を終了する。
【００８８】
次に、次回からの画像取り込み方法を図１８ににより説明する。
【００８９】
まず、使用者は、レディーＬＥＤ４０２の点灯する位置から、操作部４の開始ボタン４０３を押す。すると、ステップ１８０１で、ＣＰＵ２０６は、ステージ駆動部１０５によりステージ１０２を下方向に移動する。次に、ステップ１８０２で、ＤＳＰ２０５により、Ｖ´の割り込み毎にコントラスト値を計算し、計算が終了すると、ステップ１８０３で、ＤＳＰ割り込みを受けてコントラストが減少しているかを調べる。
【００９０】
ここで、コントラストが増加しているのであれば、ステップ１８０４で、ステージ１０２を上方向に移動させ、ステップ１８０２に戻る。
【００９１】
また、コントラストが減少していれば、ステップ１８０５で、ＣＰＵ２０６により、コントラスト値がＣth以下になったかを調べる。ここで、まだＣth以上であれば、ステップ１８０３に戻って、ステージ１０２の移動を続け、Ｃth以下になったのであれば、ステージの移動を停止する。
【００９２】
そして、今度は、ステップ１８０６で、ステージ１０２を逆方向に移動しながら画像積算を開始する。そして、ステップ１８０７で、Ｖ´の立下がり毎にコントラスト値を計算し、ステップ１８０８で、コントラスト値を監視し、再びＣth以下になると、ステップ１８０９で、ステージ１０２を停止するとともに、画像取り込みも終了する。
【００９３】
これ以降は、第１の実施の形態と同様に、空間フィルタ２０８による回復処理を行なった後、表示メモリ２０８に一時記憶された後、画像表示回路２０９によりアナログの映像信号に変換され、テレビモニター３に表示される。
【００９４】
従って、このようにすれば、自動取り込みでは、ＣＣＤ面の汚れや、標本画像がないと判断してエラーになってしまうようなサンプルに対しても、画像取り込み前にプリサンプルを行ない、そのサンプルのコントラストカーブを用いて画像の取り込み用パラメータを設定できるようにしたので、次回からの画像取り込みに、このパラメータを使うことで、それまでエラーと判断され、最終画像が得られなかったサンプルに対しても、高深度画像が得られるようになる。
【００９５】
また、事前にサンプル登録を行なうことにより、その都度、画像取り込みの前処理を行なうプリスキャンやパラメータの計算にかかる時間を短縮でき、さらにサンプル交換の際も、パラメータを切り替えるモードを用意しているので、サンプル交換ごと、電源投入毎のサンプル登録が不要になり、能率のよい、この種の作業を実現できる。
【００９６】
さらに、パラメータの書込みに、不揮発性のメモリを用いることで、サンプル登録する回数を最小限にできる。
【００９７】
なお、上述した第２の実施の形態でも、コントラストを求める計算領域として対角方向のラインを選んでいるが、これに限らず別の計算方法でも構わない。また、コントラストの計算は、飛び飛びの画素を４つ纏めて平均を取る方法でＳ／Ｎを向上させていたが、これに限らない。さらにサンプル登録で用いるプリスキャンの範囲は、±２０μm に限定する必要はなく、サンプルのコントラストカーブの特性を認識できる範囲でよい。ぼけ画像のコントラストレベル、画像取り込みレベルを決定する計算式も、今回用いた式に限定する必要はなく、計算に用いる定数も変更して構わない。また操作部の形状、機能も今回のものに限らない。サンプルの登録の方法も、専用の登録ボタンである必要はなく、別のボタンと兼用してもよい。そして、この装置は、ＣＣＤカメラの映像信号の方式は、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭなどに制限させる事はなく、それぞれに対応可能である。また、標本と対物レンズの距離を調節する方法として、ステージを駆動する方法だけでなく、対物レボルバの駆動によるもの、テレビカメラの撮像素子前の結像レンズ駆動でもよく、駆動方法としても、電磁モータ、超音波モータ、ピエゾ素子などでもよく、その方法は限定されない。
【００９８】
（第３の実施の形態）
図１９は、本発明が適用される画像入力装置の概略構成を示しており、２１が光学顕微鏡本体である。この光学顕微鏡本体２１は、ステージ２２上に載置した試料標本２３の観察像を対物レンズを含む観察光学系を介して顕微鏡観察用テレビカメラ２４にて撮像するようにしている。
【００９９】
テレビカメラ２４にはＡ／Ｄ変換器２５を接続しており、このＡ／Ｄ変換器２５はテレビカメラ２４からのビデオ信号をデジタル信号に変換して加算器２６及び輝度メモリ３３へ送出する。
【０１００】
加算器２６は、テレビカメラ２４からの入力画像と加算用画像メモリ２７に記憶されている画像とを加算するもので、その加算結果は加算用画像メモリ２７へ出力される。加算用画像メモリ２７は、加算器２６で加算された結果を格納するもので、格納内容は上記加算器２６と除算器２８とに読出される。
【０１０１】
除算器２８は、加算用画像メモリ２７に蓄えられた加算画像を加算枚数を除数とした除算を行なって１枚分の画像を得るためのもので、この除算器２８で得た画像に対して空間フィルタ２９で後述するＣＰＵ３８に選択された特性の空間周波数フィルタでの回復処理を行ない、回復処理した表示画像データを表示用画像メモリ３０に記憶させる。そして、この表示用画像メモリ３０に記憶された表示画像データをＤ／Ａ変換器３１が読出してアナログデータに変換し、上記表示部３２より表示させる。
【０１０２】
上記輝度メモリ３３は、輝度メモリコントローラ３５の制御の下にＡ／Ｄ変換器２５から送られてくる輝度データを書込み、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３４へ読出す。
【０１０３】
ＤＳＰ３４は、輝度メモリ３３から読出した輝度データによりコントラスト値の計算を行なうもので、算出したコントラスト値は合焦範囲検出部３７へ送出される。
【０１０４】
合焦範囲検出部３７は、計算されたコントラスト値からステージ２２の合焦範囲を検出するもので、その検出結果はＣＰＵ３８へ送られる。
【０１０５】
ＣＰＵ３８は、装置全体の動作制御を司るもので、特に上記加算器２６、空間フィルタ２９、輝度メモリコントローラ３５、画像メモリコントローラ３６、ステージ駆動部３９に対して画像処理、像ぶれ補正及び駆動制御のための制御指令を送出し、また操作部４３からダイナミックフォーカスを含む装置全体の操作を受付けている。
【０１０６】
しかして、上記ステージ２２にはぶれ検出部としての光学式エンコーダ４０を設け、また光学顕微鏡本体２１の対物レンズに対応させて対物レンズ情報取得部４１を設けている。ここで光学式エンコーダ４０は、光学顕微鏡本体２１のステージ２２に固定して設けられ、ステージ２２のＸ，Ｙ方向へのぶれ量を検出するものであって、検出したぶれ量は像ぶれ補正量計算部４２へ送られる。
【０１０７】
一方、対物レンズ情報取得部４１は、現在使用している対物レンズの倍率を読取るもので、読取った対物レンズの倍率情報は同じく像ぶれ補正量計算部４２へ送られる。
【０１０８】
像ぶれ補正量計算部４２は、光学式エンコーダ４０から検出されたぶれ量と対物レンズ情報取得部４１の対物レンズの倍率情報とにより補正画素数を計算するもので、算出した補正画素数情報は上記輝度メモリコントローラ３５及び画像メモリコントローラ３６へ出力される。
【０１０９】
輝度メモリコントローラ３５は、像ぶれ補正量計算部４２で計算された像ぶれ補正量に基づいて輝度メモリ３３での書込み、読出しアドレスを制御するものである。
【０１１０】
また画像メモリコントローラ３６は、像ぶれ補正量計算部４２で計算された像ぶれ補正量に基づいて上記加算用画像メモリ２７での書込み、読出しアドレスを制御するものである。
【０１１１】
上記ステージ駆動部３９は、ＣＰＵ１６からの制御指令により上記ステージ２２をＺ方向、つまり観察光軸の方向に駆動する。
【０１１２】
上記のように構成された装置にあって、ぶれ検出とそれに基づく画像の補正、コントラスト値の計算、画像の加算、及び回復処理についてまず処理信号の流れに沿って簡単に説明する。
【０１１３】
操作部４３での操作により画像の取り込みの開始を指示すると、ステージ駆動部３９によりステージ２２をＺ方向に駆動する。そして、テレビカメラ２４により試料標本２３の画像を得るのに同期して、光学式エンコーダ４０でステージ２２のＸ，Ｙ方向へのぶれ量を検出する。
【０１１４】
検出したぶれ量は像ぶれ補正量計算部４２に送られ、ここで対物レンズ情報取得部４１により得た対物レンズの倍率情報をもって補正する画素数の計算が行なわれるもので、算出した補正画素数は輝度メモリコントローラ３５及び画像メモリコントローラ３６に送られる。
【０１１５】
一方、テレビカメラ２４により得た試料標本２３の画像はＡ／Ｄ変換器２５でデジタル化された後にＡ／Ｄ変換器２５と輝度メモリ３３に送られる。ここで輝度メモリ３３では、上述した如くずれ量に対応した補正画素数が輝度メモリコントローラ３５に送られているため、輝度データを書込んだ後、この補正画素数に応じて輝度メモリコントローラ３５により読出しアドレス位置が調整、制御されて、記憶されている輝度データが読出されるもので、具体的には例えば図２０に示すようなずれを生じたライン１２〜１５に沿った輝度データをメモリ３３に書込んだ上で、上記の輝度メモリコントローラ３５によるアドレス調整を行なうことで、ずれの影響を排除した位置で輝度データが読出されるようになるものである。
【０１１６】
こうして輝度メモリ３３から読出された輝度データはＤＳＰ３４へ送られ、ここでコントラスト値が計算されて、そのコントラスト値から合焦範囲検出部３７によりコントラストカーブにおける所定のしきい値Ｃth以上のコントラストの高い範囲が画像加算を行なうべき合焦範囲として決定され、ＣＰＵ３８に出力される。
【０１１７】
しかるに、上記合焦範囲では、Ａ／Ｄ変換器２５より得られるデジタル化された画像が加算器２６で加算用画像メモリ２７に記憶されているそれ以前に得られた同画像と加算され、その和が加算用画像メモリ２７にあらためて記憶されるもので、この際、画像メモリコントローラ３６は像ぶれ補正量計算部４２からの補正画素数を用いて読出しアドレスを調整し、記憶されていた画像と新しく得た画像とのずれをなくした状態で加算させる。
【０１１８】
しかして、加算用画像メモリ２７に記憶された加算画像は除算器２８にて除算され、１枚分の画像とされた後に空間フィルタ２９でＣＰＵ３８から選択された特性の同フィルタを用いて回復処理がなされるもので、回復処理された画像が表示用画像メモリ３０に一旦格納された後に読出され、Ｄ／Ａ変換器３１でアナログ化された後に表示部３２で表示出力される。
【０１１９】
次いで実際の処理内容について図２１のフローチャートを参照して説明する。
【０１２０】
この図２１の処理はＣＰＵ３８の制御の下に行なわれるものであり、処理を開始すると、ステージ駆動部３９によってステージ２２をＺ方向に沿って移動させ、そのときにＤＳＰ３４、合焦範囲検出部３７によって図２２に示すようにコントラスト値がしきい値Ｃth以上となるステージ２２のＺ方向の位置Ｚａ乃至Ｚｂの範囲を取込む。
【０１２１】
このため、まずステージ駆動部３９によりステージ２２を下方向に移動させる（ステップＡ１）。このとき、Ａ／Ｄ変換器２５から得られるデジタル値のビデオ信号中の垂直同期信号（Ｖ）の立下がりタイミング毎に画像のコントラスト値をＤＳＰ３４で計算させる（ステップＡ２）。
【０１２２】
図２３はこの時にＣＰＵ３８が行なうコントラスト値計算のサブルーチンを示すもので、まず始めにステージ２２のぶれ量を光学式エンコーダ４０によって検出する（ステップＢ１）。これと共に、対物レンズ情報取得部４１によって光学顕微鏡本体２１の観察光軸中に挿入されている対物レンズの倍率情報を取得し（ステップＢ２）、これらを基に像ぶれ補正量計算部４２が検出したぶれ量がテレビカメラ２４のＣＣＤ面上で何画素分に相当するのかを表わす像ぶれ補正量を計算する（ステップＢ３）。
【０１２３】
次いで、像ぶれ補正量計算部４２が計算により得た像ぶれ補正量を輝度メモリコントローラ３５及び画像メモリコントローラ３６に送出すると、輝度メモリコントローラ３５では輝度メモリ３３に書込まれている画像の輝度データが像ぶれの影響を全く含まないように読出しアドレスを調整してＤＳＰ３４に読出させるもので（ステップＢ４）、ＤＳＰ３４では像ぶれが全くないが如く処理された輝度データを用いて画像のコントラスト値の計算を行なう（ステップＢ５）。
【０１２４】
コントラスト値は、画面上の連続する輝度データを用いて以下の如く計算する。すなわち、コントラスト値を計算するｉ番目のライン上のｊ番目の点位置の輝度データをＹi,j とすると、そのコントラスト値Ｃi,j(Ｚk)は
Ｃi,j(Ｚk)＝（Ｙi,j(Ｚk)−Ｙi,j-1(Ｚk)）2 …(1)
として、ｉ番目のラインのコントラスト値の総和Ｃi,j を
【数１】
のように求め、さらにすべてのラインのコントラスト値の総和を
【数２】
として求める。得たコントラスト値Ｃ（Ｚk)は、図２４に示すように像ぶれ量が多く、計算に用いた各ラインの画素数が減少することを考慮して、計算のライン上の画素数で正規化してＺ＝Ｚk でのコントラスト値、すなわち
Ｃ（Ｚk)＝Ｃ（Ｚk)／Ｄnum …(4)
（但し、Ｄnum ：計算に用いたライン上の画素数。）
を求め、以上でこの図２３のサブルーチンを終了する。
【０１２７】
こうしてステージ２２のぶれ量を補正した画像のコントラスト値の計算が終了すると、図２１のメインルーチンに戻り、同ＤＳＰ３４からの割込みを受けるＣＰＵ３８は、計算したコントラスト値がその前のタイミングで計算したコントラスト値と比して減少しているか否かを判断する（ステップＡ３）。
【０１２８】
コントラスト値が減少している場合には、ステージ２２の下降によりコントラスト値が減少していることから、図２２に示すコントラストカーブ上の左半分にあって、図中に矢印Ｉで示す方向に移動しているものと判断し、次に計算したコントラスト値がしきい値Ｃth未満であるか否か判断する（ステップＡ５）。
【０１２９】
ここで、計算したコントラスト値がしきい値Ｃth未満となった場合には、その時点でのステージ２２の位置がＺａであることとなるので、あらためてステージ駆動部３９によりステージ２２の移動方向を逆、すなわち上方向に設定した上で（ステップＡ６）、ステージ２２を移動させながらテレビカメラ２４で得られる試料標本２３の画像による加算を実行する（ステップＡ７）。
【０１３０】
図２５はこの時にＣＰＵ３８が行なう画像加算のサブルーチンを示すもので、まず始めに上記図２３のコントラスト計算で用いた像ぶれ補正量を像ぶれ補正量計算部４２から画像メモリコントローラ３６に読込ませ（ステップＣ１）、この画像メモリコントローラ３６で加算用画像メモリ２７における画像の読出しアドレスを該像ぶれ補正量を用いて調整して、画像の輝度データが像ぶれの影響を全く含まないように加算器２６及び除算器２８に読出させる（ステップＣ２）。
【０１３１】
次に、テレビカメラ２４からＡ／Ｄ変換器２５を介して送られてくる新たな画像の加算領域を同じく像ぶれ補正量を用いて調整して決定し（ステップＣ３）、この新たな画像と加算用画像メモリ２７から読出した画像とで加算器２６により画像の加算を実行させる（ステップＣ４）。
【０１３２】
その後、２つの画像の和として、得られた加算画像を画像メモリコントローラ３６により書込みアドレスが調整されながら加算用画像メモリ２７に書込み設定され（ステップＣ５，Ｃ６）、以上でこの図２５のサブルーチンを終了する。
【０１３３】
こうして画像の加算実行後、図２１のメインルーチンに戻り、再度上記図２３で説明した如くＡ／Ｄ変換器２５から得られるデジタル値のビデオ信号中の垂直同期信号の立下がりタイミング毎に各画像のコントラスト値をＤＳＰ３４で計算する（ステップＡ８）。
【０１３４】
そして、計算したコントラスト値がしきい値Ｃth未満となったか否か判断する（ステップＡ９）。ここで、計算したコントラスト値がしきい値Ｃth以上であれば、上記ステップＡ７に戻って、画像の加算処理を繰返し続行する。
【０１３５】
その後、ステップＡ９で計算したコントラスト値がしきい値Ｃth未満となった時点で、ステージ２２の移動によりステージ２２の位置が上記図２２中のＺｂとなったこととなり、合焦範囲内での画像の加算を終えたこととなるので、ステージ駆動部３９によるステージ２２の移動を停止すると共に、テレビカメラ２４による画像の取込みを終了し（ステップＡ１０）、その時点で加算用画像メモリ２７に記憶されている合焦範囲内の多数の画像を加算した加算画像を読出し、除算器２８にて画像数で除算して１枚分の画像とした後に空間フィルタ２９によって回復処理を行ない（ステップＡ１１）、得られた高深度画像を表示用画像メモリ３０に一時記憶させた後にＤ／Ａ変換器３１でアナログ化して表示部３２により表示させる。
【０１３６】
なお、上記ステップＡ３で、ステージ２２を下方向に移動させた際に算出したコントラスト値がその前のタイミングで計算したコントラスト値と比して減少していないと判断した場合には、ステージ２２の位置が上記図２２に示すコントラストカーブ上の右半分にあることとなるので、ステージ駆動部３９によりステージ２２を上方向に移動させるものとして移動方向を転換設定した上で（ステップＡ４）、再びステップＡ２からの処理に戻り、ステップＡ２〜Ａ５の処理を繰返し実行して、得られるコントラスト値がしきい値Ｃth未満となる地点、すなわち図２２中のＺｂの位置までステージ２２を移動させる。
【０１３７】
その後、ステップＡ６であらためてステージ２２を逆方向である下方向に移動させるものとして設定してから、ステップＡ７〜Ａ９の処理を繰返し実行し、ステージ２２を下方向に移動させながら、合焦範囲内で得られる画像を順次加算していく。
【０１３８】
そして、ステップＡ９で得られるコントラスト値がしきい値Ｃth未満となる地点、すなわち図２２中のＺａの位置までステージ２２を移動させた状態で、合焦範囲内での画像の加算を終えたこととなるので、上記と同様にステップＡ１０以下の処理に移行する。
【０１３９】
以上のように、複数枚の顕微鏡画像を加算処理した後に回復処理して高深度画像を得る過程において、試料標本２３を載置したステージ２２に移動によるぶれが生じた場合でも、ぶれを生じない場合と同様にコントラスト計算を行ない、正確な合焦範囲を決定することができると共に、この決定した合焦範囲によって画像の取込入力時に画像の加算に対してもぶれ補正を行なって、ぶれの影響を排除した正確な画像を順次加算した上で回復処理し、良好な高深度画像を取得することができる。
【０１４０】
なお、上記実施の形態において、画像の取込速度に対するステージ２２の移動は、無段階に連続して高速移動するものとしてもよいし、ステップ状に画像取込み時のみ停止する如く移動するものとしてもよい。
【０１４１】
これは、例えばステージ駆動部３９をパルスモータで構成してステージ２２を高速直線移動させるものとした場合に、テレビカメラ２４がＮＴＳＣ方式では１画面の画像入力を標準ではＣＣＤの１フレーム蓄積時間約１／３０［秒］で行なうので、この時間内に所望の合焦面の画像データを入力するべく、すなわち入力する合焦面が光学顕微鏡本体２１の対物レンズの特性から導かれる光軸方向の標本焦点深度範囲内を移動している間に画像入力が行なえるように一定速度で駆動するものである。
【０１４２】
なお、上記テレビカメラ２４が撮像する画像のテレビジョン方式は特にＮＴＳＣ方式に限らず、他のＰＡＬ、ＳＥＣＡＭ、ハイビジョン等の方式であってもよい。
【０１４３】
また、試料標本２３に対する合焦位置を変化させる手段としてステージ駆動部３９によりステージ２２を移動させるものとして説明したが、要は観察光軸の方向に沿って移動して試料標本２３の合焦を行なうことができるのであれば、ステージ２２に代えて対物レンズを取付けたレボルバや、テレビカメラ２４のＣＣＤの前位置にある結像レンズ等を移動できるものとし、これをパルスモータ、電磁モータ、超音波モータ、あるいはピエゾ素子等により駆動制御するものとしてもよい。
【０１４４】
さらに、画像のコントラスト値を求める計算領域として対角方向のライン４本を選択するものとしたが、そのラインの本数や方向、他に計算式等に関しても本実施の形態の方法に限定するものではない。
【０１４５】
また、ぶれ量を検出する検出部に光学式エンコーダ４０を用いるものとして説明したが、顕微鏡画像のテレビカメラ２４のＣＣＤ面上での画素単位の検出精度を有するものであれば、他の検出機構であっても構わない。
【０１４６】
そして、像ぶれ補正を行なう輝度メモリ３３へのアクセスは、輝度メモリコントローラ３５による読出しアドレスを調整するものとしたが、書込みアドレスを調整しても、同様に像ぶれ補正を行なうことができるのはいうまでもない。
【０１４７】
（第４の実施の形態）
次に本発明を顕微鏡用の自動合焦機構に適用した場合の第４の実施の形態について図面を参照して説明する。
【０１４８】
図２６はその概略構成を示すもので、基本的には上記図１９で示したものと同様であるので、同一部分には同一符号を付してその説明は省略する。
【０１４９】
しかるに、テレビカメラ２４で撮像され、Ａ／Ｄ変換器２５でデジタル化された画像データは輝度メモリ３３と直接表示用画像メモリ３０とに与えられる。
【０１５０】
また、ステージ２２にぶれ検出部として設けられる光学式エンコーダ４０からのぶれ量と、対物レンズ情報取得部４１からの対物レンズの倍率情報とにより補正画素数を計算する像ぶれ補正量計算部４２は、算出した補正画素数情報を像ぶれ補正量として輝度メモリコントローラ３５及び表示用メモリコントローラ５１へ出力する。
【０１５１】
輝度メモリコントローラ３５は、ＣＰＵ３８′の制御の下に像ぶれ補正量計算部４２からの像ぶれ補正量に基づいて輝度メモリ３３での書込み、読出しアドレスを制御するものである。
【０１５２】
また表示用メモリコントローラ５１は、像ぶれ補正量計算部４２からの像ぶれ補正量に基づいて上記表示用画像メモリ３０の書込み、読出しアドレスを制御するものである。
【０１５３】
ＤＳＰ３４で算出された画像のコントラスト値は合焦位置検出部５２に送出され、合焦位置検出部５２はこのコントラスト値から正確な合焦位置を検出して検出結果をＣＰＵ３８′へ送出する。
【０１５４】
ＣＰＵ３８′は、装置全体の動作制御を司るもので、特に上記輝度メモリコントローラ３５、表示用メモリコントローラ５１、ステージ駆動部３９に対して像ぶれ補正及び駆動制御のための制御指令を送出し、また操作部４３からオートフォーカスを含む装置全体の操作指示を受付けている。
【０１５５】
上記のような構成にあって、光学顕微鏡本体２１のステージ２２上に載置された試料標本２３を対物レンズを含む観察光学系を介してテレビカメラ２４で撮像する。
【０１５６】
撮像された試料標本２３の画像はＡ／Ｄ変換器２５でデジタル化された後に輝度メモリ３３及び表示用画像メモリ３０へ送られ、輝度メモリ３３はこの画像データ（輝度データ）を輝度メモリコントローラ３５の制御に基づいて一時記憶し、ＤＳＰ３４へ読出す。
【０１５７】
ＤＳＰ３４では輝度メモリ３３からの輝度データにより該画像のコントラスト値を計算するもので、その計算には、観察者が必要としている領域を画面１１の計算領域を図２７に示すように設けるものとする。
【０１５８】
この場合の具体的なコントラスト値の計算については上記図２３で説明したものと同様であるものとしてその説明は省略するが、光学式エンコーダ４０によりステージ２２のぶれ量を検出し、対物レンズの倍率情報を用いて像ぶれ補正量を計算して、算出した像ぶれ補正量を用いて輝度メモリコントローラ３５が輝度メモリ３３の読出しアドレスを調整する。
【０１５９】
そして、ＤＳＰ３４により算出したコントラスト値が最大になる位置を合焦位置として検出し、検出結果をＣＰＵ３８′へ送出するものである。
【０１６０】
輝度メモリ３３での読出しアドレスの調整と同時に、表示用メモリコントローラ５１により表示用画像メモリ３０の読出しアドレスの調整を行なうことで、加算用画像メモリ２７を介して除算器２８で表示する試料標本２３の画像も、ステージ２２でのぶれを排除した精細なものとすることができる。
【０１６１】
なお、上記実施の形態においても、試料標本２３に対する合焦位置を変化させる手段としてステージ駆動部３９によりステージ２２を移動させるものとして説明したが、要は観察光軸の方向に沿って移動して試料標本２３の合焦を行なうことができるのであれば、ステージ２２に代えて対物レンズを取付けたレボルバや、テレビカメラ２４のＣＣＤの前位置にある結像レンズ等を移動できるものとし、これをパルスモータ、電磁モータ、超音波モータ、あるいはピエゾ素子等により駆動制御するものとしてもよい。
【０１６２】
また、画像のコントラスト値を求める計算領域として対角方向のライン４本を選択するものとしたが、そのラインの本数や方向、他に計算式等に関しても本実施の形態の方法に限定するものではない。
【０１６３】
さらに、ぶれ量を検出する検出部に光学式エンコーダ４０を用いるものとして説明したが、顕微鏡画像のテレビカメラ２４のＣＣＤ面上での画素単位の検出精度を有するものであれば、他の検出機構であっても構わない。
【０１６４】
そして、像ぶれ補正を行なう輝度メモリ３３へのアクセスは、輝度メモリコントローラ３５による読出しアドレスを調整するものとしたが、書込みアドレスを調整しても、同様に像ぶれ補正を行なうことができるのはいうまでもない。
【０１６５】
その他、本発明は上記第１乃至第４の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【０１６６】
【発明の効果】
以上、述べたように本発明によれば、コントラスト値が急激に増加する安定した画像領域を選択して画像加算を行うようにできるので、被写物体に応じて最適で良好な高深度画像を速やかに構築できる。また、従来に見られる事前に被写物体に応じた種々の条件を設定するなどの作業を必要としないので、操作も簡単にできる。さらに、画像加算のスタート位置を設定することにより、ぼけた画像を取り込むことがなく、所定のコントラスト値以上の画像のみを取り込むようになるので、加算画像の画質を劣化させることなく、良質な高深度画像を構築することができる。
【０１６７】
また、自動取り込みアルゴリズムでは、有効な範囲を取り込めなかった標本のうち、コントラストが比較的高いが、パラメータの値がサンプルに対して適当でなく、画像が取り込めない場合や、コントラストが高すぎてＣＣＤ上のごみなどと判断してしまうような場合でも、高深度画像が得られる。さらに、マニュアルによる画像取り込みに比べ、画像取り込み位置の調整、サンプルの厚さ調整なども不要になり、能率のよい作業を実現できる。
【０１６８】
さらに、観察標本を載置したステージに移動によるぶれが生じた場合でも、ぶれを生じない場合と同様にコントラスト計算を行ない、正確な合焦範囲を決定することができると共に、この決定した合焦範囲によって画像の取込入力時に画像の積算に対してもぶれ補正を行なって、正確な合焦範囲をぶれなく入力することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る概略構成を示すブロック図。
【図２】同実施の形態に係る操作部の概略構成を示す図。
【図３】同実施の形態に係る１画面のコントラスト値を求める方法を説明するための図。
【図４】同実施の形態に係るコントラスト計算が終了したことを知らせるＤＳＰ割り込み信号のタイミングを説明する図。
【図５】同実施の形態に係るステージを上から下まで移動した時のコントラスト値の変化を示す図。
【図６】同実施の形態に係る動作を説明するためのフローチャート。
【図７】同実施の形態に係る動作を説明するためのフローチャート。
【図８】同実施の形態に係る動作を説明するためのフローチャート。
【図９】同実施の形態に係る動作を説明するためのフローチャート。
【図１０】同実施の形態に係る動作を説明するためのフローチャート。
【図１１】同実施の形態に係る動作を説明するためのフローチャート。
【図１２】本発明の第２の実施の形態に係る概略構成を示すブロック図。
【図１３】同実施の形態に係る操作部の概略構成を示す図。
【図１４】同実施の形態に係るサンプル登録方法を説明するための図。
【図１５】同実施の形態に係るサンプル登録方法を説明するための図。
【図１６】同実施の形態に係るサンプル登録方法を説明するための図。
【図１７】同実施の形態に係る動作を説明するためのフローチャート。
【図１８】同実施の形態に係る動作を説明するためのフローチャート。
【図１９】本発明の第３の実施の形態に係る概略構成を示すブロック図。
【図２０】同実施の形態に係る撮像画面中の画像のずれを説明する図。
【図２１】同実施の形態に係る動作処理の内容を示すフローチャート。
【図２２】同実施の形態に係るステージの位置とコントラスト値の関係を示す図。
【図２３】図２１の処理中のコントラスト値の計算のサブルーチンを示すフローチャート。
【図２４】同実施の形態に係る撮像画面中の画像のずれを説明する図。
【図２５】図２１の処理中の画像加算のサブルーチンを示すフローチャート。
【図２６】本発明の第４の実施の形態に係る概略構成を示すブロック図。
【図２７】同実施の形態に係る画像中のコントラスト値の計算方向を示す図。
【符号の説明】
１…撮像手段
１０１…光学顕微鏡
１０２…ステージ
１０３…中間倍率レンズ
１０４…ＣＣＤカメラ
１０５…ステージ駆動回路
２…装置本体
２０１…画像取り込み回路
２０２…画像加算回路
２０３…加算メモリ
２０４…コントラスト計算用メモリ
２０５…ＤＳＰ
２０６…ＣＰＵ
２０７…空間フィルタ回路
２０８…表示メモリ
２０９…画像表示回路
２１０…サンプル登録部
２１１…データ記憶部
３…テレビモニター
４…操作部
４０１…焦準ハンドル
４０２…レディーＬＥＤ
４０３…開始ボタン
４０４…コントララストレベル調整ツマミ
１１…画面
１２，１３…縦横ライン、
１４，１５…対角線上のライン。
２１…光学顕微鏡本体
２２…ステージ
２３…試料標本
２４…テレビカメラ
２５…Ａ／Ｄ変換器
２６…加算器
２７…加算用画像メモリ
２８…除算器
２９…空間フィルタ
３０…表示用画像メモリ
３１…Ｄ／Ａ変換器
３２…表示部
３３…輝度メモリ
３４…ＤＳＰ
３５…輝度メモリコントローラ
３６…画像メモリコントローラ
３７…合焦範囲検出部
３８…ＣＰＵ
３９…ステージ駆動部
４０…光学式エンコーダ
４１…対物レンズ情報取得部
４２…像ぶれ補正量計算部
４３…操作部
５１…表示用メモリコントローラ
５２…合焦位置検出部
Claims (2)
- 被写物体を撮像する撮像手段と、
この撮像手段に対する上記被写物体の合焦位置を移動させる合焦位置移動手段と、
この合焦位置移動手段により移動される上記被写物体の上記撮像手段より撮像される画像を加算する画像加算手段と、
上記撮像手段により撮像される上記被写物体の画像のコントラスト値を演算するコントラスト演算手段と、
コントラスト値の変化状態が増加傾向となる方向を判断し、上記合焦位置移動手段によりコントラスト値の変化状態が増加となる方向に合焦位置を移動させ、上記コントラスト演算手段により演算されるコントラスト値が予め設定した所定値より大きい地点をスタート位置とし、コントラスト値の変化の度合が一定以上であることを判断し、以後上記合焦位置移動手段によりコントラスト値の変化状態が増加となる方向に合焦位置を移動させながら継続して上記画像加算手段への画像加算を指示し、コントラスト値がピーク値を超えて予め設定した所定値以下となった地点をエンド位置として上記画像加算手段での画像加算を停止させる制御手段と
を具備したことを特徴とする画像入力装置。 - 上記撮像手段で撮像した画像を記憶する記憶手段と、
上記合焦位置移動手段による合焦点の移動によって上記撮像手段で得られる画像に生じるぶれ量を検出する検出手段と、
この検出手段で検出したぶれ量により上記記憶手段の書込み、読出しアドレスを制御するアドレス制御手段と
をさらに具備し、
上記画像加算手段は、上記アドレス制御手段のアドレス制御により上記記憶手段より読出した画像に上記撮像手段で得た画像を加算し、該加算された画像を上記記憶手段に書込むことを特徴とする請求項１記載の画像入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15072397A JP4146916B2 (ja) | 1997-01-08 | 1997-06-09 | 画像入力装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP147297 | 1997-01-08 | ||
| JP9-1472 | 1997-01-08 | ||
| JP15072397A JP4146916B2 (ja) | 1997-01-08 | 1997-06-09 | 画像入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10253896A JPH10253896A (ja) | 1998-09-25 |
| JP4146916B2 true JP4146916B2 (ja) | 2008-09-10 |
Family
ID=26334687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15072397A Expired - Fee Related JP4146916B2 (ja) | 1997-01-08 | 1997-06-09 | 画像入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4146916B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8357730B2 (en) | 2006-10-25 | 2013-01-22 | Asahi Glass Company, Limited | Process for producing flexible polyurethane foam |
| US8541479B2 (en) | 2005-04-21 | 2013-09-24 | Asahi Glass Company, Limited | Low resilience flexible polyurethane foam and process for its production |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10005852C2 (de) * | 2000-02-10 | 2002-01-17 | Nano Focus Mestechnik Gmbh | Verfahren zur Herstellung von Höhenbildern technischer Oberflächen in mikroskopischer Auflösung |
| JP2002072099A (ja) * | 2000-08-29 | 2002-03-12 | Olympus Optical Co Ltd | 顕微鏡の焦準装置 |
| JP4522668B2 (ja) * | 2002-06-03 | 2010-08-11 | オリンパス株式会社 | 画像処理装置 |
| JP2005198700A (ja) * | 2004-01-13 | 2005-07-28 | Olympus Corp | 手術用顕微鏡システム |
| JP4589646B2 (ja) * | 2004-03-31 | 2010-12-01 | 富士フイルム株式会社 | ディジタル・スチル・カメラおよびその制御方法 |
| JP5289756B2 (ja) * | 2007-11-26 | 2013-09-11 | オリンパス株式会社 | 顕微鏡観察システム |
-
1997
- 1997-06-09 JP JP15072397A patent/JP4146916B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8541479B2 (en) | 2005-04-21 | 2013-09-24 | Asahi Glass Company, Limited | Low resilience flexible polyurethane foam and process for its production |
| US8357730B2 (en) | 2006-10-25 | 2013-01-22 | Asahi Glass Company, Limited | Process for producing flexible polyurethane foam |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10253896A (ja) | 1998-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4525089B2 (ja) | オートフォーカスシステム | |
| KR101237540B1 (ko) | 화상의 확대 표시 기능을 구비한 카메라 | |
| JP4784678B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| US20050001924A1 (en) | Image capturing apparatus | |
| JP5380784B2 (ja) | オートフォーカス装置、撮像装置及びオートフォーカス方法 | |
| JP3823921B2 (ja) | 撮像装置 | |
| JP5655291B2 (ja) | 電子カメラ | |
| JPH08331285A (ja) | 画像入力装置 | |
| JP2002277756A (ja) | 変倍機能を有する電子内視鏡装置 | |
| JP3788714B2 (ja) | 撮像装置及びデジタルカメラ | |
| JP4146916B2 (ja) | 画像入力装置 | |
| JP3794744B2 (ja) | 合焦面検出方法及び画像入出力装置及び光学顕微鏡 | |
| JP2006058431A (ja) | オートフォーカスシステム | |
| US8514305B2 (en) | Imaging apparatus | |
| JP3398550B2 (ja) | 電子シャッタ機能を備えた電子内視鏡装置 | |
| JPH0836129A (ja) | ピント調整方法 | |
| JP3628648B2 (ja) | 光学系制御装置 | |
| JP6200240B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| JP2000267016A (ja) | 変倍機能を有する電子内視鏡装置 | |
| JP3956284B2 (ja) | 撮像装置 | |
| CN106464783B (zh) | 图像拾取控制设备、图像拾取设备和图像拾取控制方法 | |
| JP3866844B2 (ja) | オートフォーカス装置及びカメラ | |
| JP2984281B2 (ja) | 電子カメラ | |
| JP5790011B2 (ja) | 撮像装置 | |
| JP2000270256A (ja) | 変倍機能を有する電子内視鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040528 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |