JP3872866B2 - Depth of focus extension device - Google Patents
Depth of focus extension device Download PDFInfo
- Publication number
- JP3872866B2 JP3872866B2 JP13675597A JP13675597A JP3872866B2 JP 3872866 B2 JP3872866 B2 JP 3872866B2 JP 13675597 A JP13675597 A JP 13675597A JP 13675597 A JP13675597 A JP 13675597A JP 3872866 B2 JP3872866 B2 JP 3872866B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- image
- focus
- recovery
- objective lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、厚みのある被写体物の各高さ位置にそれぞれ合焦した画像を含む複数枚の入力画像から被写体物の各高さ位置に焦点が合っていてあたかも焦点深度の伸長されたような画像を得ることのできる焦点深度伸長装置に関する。
【0002】
【従来の技術】
被写体物をその入力画像を用いて解析する場合、得られた画像が明るく高解像度で、且つ焦点深度の深い画像であることが要求される。一般に、解像度に優れ、且つ高倍率で明るい画像を光学的に取込むためには、開口の大きな光学素子を用いた結像光学系が必要である。
【0003】
しかし、レンズに代表される結像用光学素子は、開口が大きくなると焦点深度が浅くなってしまう。したがって、大きな倍率を確保するために開口の大きい結像用光学素子を使用すると焦点深度が極端に浅くなることから、光軸方向の異なる位置に被写体が存在していると、被写体の一方にしか合焦させることができず、その他の部分の画像はぼけたものとなってしまう。
【0004】
そこで、顕微鏡、カメラ、内視鏡等の画像機器を利用する分野においては、焦点深度を深くする種々の手段が考えられている。例えば、特開平5−313,068号公報(以下「従来例1」と略称する)には、マルチエリア測距装置なるもので各エリア内の空間周波数的特性をレンズ駆動装置でレンズを駆動して物体面における合焦位置を変えながら測定し、各物体までの距離を予め測定した後、これを前処理として、視野内の複数枚の物体面の像の空間周波数的特性が、累積加算された画像の各エリアにおいて最も均一に近くなるような画像を、レンズ駆動装置でレンズを駆動して画像を累積加算して合成し、以上を後処理として空間フィルタにより所定の中域乃至高域の空間周波数を強調するフィルタリング処理を行なうことで、焦点深度が深くなった画像を得る技術が開示されている。
【0005】
また、特願平8−109,714号(以下「従来例2」と略称する)には、累積加算した画像に対する空間フィルタによる回復処理において、用いるフィルタのフィルタ係数またはフィルタサイズをCCDカメラ等の受光素子上の点像強度分布の広がりと該受光素子の大きさとの相関関係によって変更する回復フィルタ可変手段を備えた技術が開示されている。
【0006】
さらに、特願平9−1,472号(以下「従来例3」と略称する)には、始めに顕微鏡のステージを少し移動させた時のコントラストの変化からコントラストカーブのどちら側にあるかを迅速に判断し、コントラストが下がる方向にステージを移動し、その後にステージの移動方向をコントラストがピーク値に向かう方向に反転して、この移動で標本に対する各合焦位置での撮像画像のコントラスト値の変化の程度が所定の条件に達した時点から画像加算回路により画像加算を行なう技術が開示されている。
【0007】
【発明が解決しようとする課題】
例えば、透明に近い標本などは、通常の観察でも視認が困難であるため、微分干渉等の観察方法が採られる。画像処理においても微分処理などを施すことは可能であり、一般の画像処理装置にはそのような機能を持たせているものがある。
【0008】
しかるに、上記従来例1では、フィルタが光学条件にのみ起因して静的に決定されるので、標本に合わせてフィルタを変更することができず、また累積加算した画像に対するフィルタによる回復あるいは強調処理を画像処理と見なした場合、一般的に画像処理で行なわれているエッジ強調やエッジ抽出、平均化等の処理を標本や観察者の意図に応じて即時選択し、実行させることができない。
【0009】
さらに、近時は顕微鏡の対物レンズの切換時の同焦操作をより簡単にするために同焦補正機能を持った顕微鏡が考えられており、例えば特開平3−15,015号公報には、対物レンズ毎の同焦データを記憶し、切換前後の対物レンズの同焦データに基づいて結像状態を補正し、対物レンズを切換えても常に合焦状態とすることで対物レンズ交換後の同焦操作を省略する技術が開示されている。
【0010】
しかしながら、上述した従来例1乃至3ではいずれも同焦補正機能がなく、対物レンズを切換えた後には必ず同焦させる操作が必要となる。そのため、本来は標本の観察を行なうことを目的としている観察者にとっては、顕微鏡や装置の操作が煩雑なものとなり、本来の目的に専念できないという不具合を生じるものとなる。
【0011】
また特に上記従来例3においては、対物レンズの交換後の同焦差で大きくピントがぼけた、一般にコントラストの低い場合には、ピントのぼけた状態から始めのステージの移動でさらにコントラストが下がる方向に、つまりピントがぼける方向に変化するため、次にコントラストがピーク値に向かう方向を検出することができず、高深度画像を得ることができない場合があり得る。
【0012】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、高焦点深度画像の構築動作を安定させると共に、観察者の装置操作に関する負担を軽減し、観察者の意図に沿った高焦点深度画像を容易に得ることが可能な焦点深度伸長装置を提供することにある。
【0013】
【課題を解決するための手段】
請求項1記載の発明は、複数の対物レンズを切換えて使用する顕微鏡を用い、物体の像を結像光学系を介して複数の受光素子からなる撮像手段へ投影し、当該物体像を撮像することにより画像として取込む画像入力手段、物体面における合焦位置を移動させる合焦位置移動手段、この合焦位置移動手段により上記画像入力手段から複数回に亘って取込んだ異なる物体面に同焦した画像を含む複数の画像を加え合わせて積算画像にする画像積算手段、及びこの画像積算手段で取得した積算画像に対して空間周波数フィルタでなる回復フィルタを使用して画像の回復処理を行なう回復手段を有する焦点深度伸長装置において、上記複数の対物レンズ毎に複数の回復フィルタの中から対応したものを予め設定する複数のフィルタ設定手段と、上記複数の対物レンズから所望の1つを選択する対物レンズ選択手段と、上記フィルタ設定手段にて設定された回復フィルタを上記対物レンズ選択手段と連動して選択する第1ポジションと、上記フィルタ設定手段の設定とは無関係に回復フィルタを選択する第2ポジションとを切換可能なフィルタ選択手段とを具備し、上記回復手段は、上記フィルタ選択手段により選択されたフィルタを用いて画像処理を行なうことを特徴とする。
【0014】
このような構成とすれば、対物レンズ毎に回復処理で使用するフィルタを独立に設定し、対物レンズを切換えた際でも観察者は該回復フィルタを切換える操作を行なう必要がないため、観察者の装置操作に要する負担を大幅に軽減することができると共に、予め設定された回復フィルタを用いた回復処理では得られる画像に満足できない場合には該回復フィルタを即座に他のものに切換えることができるので、観察者の意思に沿った画像処理を即座に行なわせることができる。
【0015】
請求項2記載の発明は、上記請求項1記載の発明において、上記対物レンズの切換時に切換えた対物レンズの同焦差を補正する同焦制御手段をさらに具備したことを特徴とする。
【0016】
このような構成とすれば、上記請求項1記載の発明の作用に加えて、対物レンズ切換時に同焦補正を行なうようにしたことで、対物レンズ切換直後に観察者自らが同焦動作を行なわずとも高焦点深度画像を得ることができるため、さらに観察者の装置操作に要する負担を軽減することができる。
【0017】
【発明の実施の形態】
(第1の実施の形態)
以下本発明の第1の実施の形態について図面を参照して説明する。
図1は第1の実施の形態にかかる焦点深度伸長装置の基本構成を示すもので、一点鎖線で示す1が装置本体、2が撮影手段としてのCCDカメラ、3が最終的に得られる画像を表示するテレビモニタ、4が上記CCDカメラ2を設置した、標本画像を得るための顕微鏡であり、また装置本体1には各種動作を指示するために観察者が操作する操作部5が接続される。
【0018】
顕微鏡4は、光路軸に沿って上下方向に移動可能な、観察標本を載置したステージ11、このステージ11を装置本体1からの制御により駆動するステージ駆動部12、取付けられた倍率の異なる複数の対物レンズ13,13,…に対し、選択的に光路中に挿入するレボルバ14、このレボルバ14を装置本体1からの制御により回転駆動して所望の倍率の対物レンズ13を光路中に挿入させるレボルバ制御部15、及び中間倍率レンズ16を有しており、上記CCDカメラ2で得られた観察標本の拡大画像は装置本体1へ送られる。
【0019】
装置本体1は、CCDカメラ2で得た画像を入力し、入力した複数枚の画像を積算する画像入力積算部21、この画像入力積算部21で得た積算画像に回復処理を施す画像処理部22、この画像処理部22で回復処理を施した画像を上記テレビモニタ3で表示させる画像表示部23、これら画像入力積算部21、画像処理部22、及び画像表示部23を含む装置全体の動作制御を行なうCPU24、このCPU24の動作プログラムや各種データを記憶する記憶部25、上記画像処理部22で使用する空間周波数フィルタでなる回復フィルタを上記レボルバ14の対物レンズ13,13,…毎に対応して設定するフィルタ設定部26、及びこのフィルタ設定部26で設定した以外の上記画像処理部22で使用する回復フィルタを選択するフィルタ選択部27とを有する。
【0020】
CPU24は、上記画像入力積算部21、画像処理部22、画像表示部23、上記記憶部25、フィルタ設定部26、及びフィルタ選択部27の他に、上記顕微鏡4のレボルバ制御部15、ステージ駆動部12、操作部5、及びフィルタ設定部26とも接続されている。
【0021】
次いで図2により上記操作部5の具体的な外観構成について例示する。同図(a)は操作部5の立面図、同図(b)は操作部5の側面図であり、その側面部に顕微鏡4のステージ11を上下に移動させるための焦準ハンドル31が設けられると共に、上面部に高焦点深度画像の撮影動作を開始するための開始(START)ボタン32と、レボルバ14の対物レンズ13,13,…を切換えるための一対の対物切換ボタン33,33が設けられている。
【0022】
対物切換ボタン33,33は、そのいずれかを押圧操作することによりレボルバ14に取付けられている対物レンズ13,13,…がレボルバ制御部15の駆動制御によるレボルバ14の回転に伴って順次光路中に挿入されるようになるものである。
【0023】
また、図3は上記レボルバ14の対物レンズ13,13,…が計5個あった場合のフィルタ設定部26の構成を例示するもので、対物レンズの数だけのロータリスイッチ26a〜26eが設けられる。
【0024】
図中の「REV1」〜「REV5」はレボルバ14のレボ穴位置、すなわちそこに取付けられている対物レンズを表す。また、図中のロータリスイッチ26a〜26eは設定前の初期状態のためにすべて「0」となっているが、個々のロータリスイッチ26a(〜26e)は、画像処理部22に設けられる回復フィルタの数、例えば「8」に対応して「0」〜「7」のフィルタ番号を設定することが可能となり、中央の切換ダイヤル261をマイナスドライバ等を用いて回動させることで、画像処理部22に備えられる任意の回復フィルタを対物レンズ13,13,…毎に設定することができるものである。
【0025】
さらに、図4に示すように上記フィルタ選択部27は、フィルタ設定部26によって対物レンズ13,13,…毎に設定された回復フィルタをそのまま画像処理部22で使用するように指示する、マーク「*」で表されたポジションAと、臨時にそれとは異なる他の回復フィルタを選択できるポジションBとを兼ね備えた、つまみつきのロータリスイッチ271で構成されるもので、ポジションBにおける「0」〜「7」の数字は上記フィルタ設定部26の切換ダイヤル261で設定するフィルタ番号と対応する。
【0026】
なお、上記レボルバ制御部15は、レボルバ14を回転駆動するためのモータ等を含む回転駆動部と、各種センサを用いたレボ穴位置検出部とからなり、CPU24からの指示を受けて指定されたレボ穴に取付けられている対物レンズ13が光路中に挿入されるようにレボルバ14を回転させて移動させる一方、その時点でどのレボ穴が光路中にあるかを検出して上記CPU24へ送出するようになっている。
【0027】
また上記ステージ駆動部12は、CPU24からの指示を受けてステージ11を光路軸に沿って上下に移動させることが可能であり、ステージ11の位置を絶対位置あるいは相対位置として管理することができるようになっている。
【0028】
次に上記実施の形態の動作について説明する。
装置本体1は、操作部5の開始ボタン32が押圧操作されることによって、顕微鏡4のステージ11に載置された観察標本の高焦点深度の画像を得るためのCPU24の制御に基づく動作が開始されるものであって、その動作当所には、まず、顕微鏡4のステージ駆動部12によりステージ11を上もしくは下方向に移動させながら、ステージ11に載置された観察標本の画像を対物レンズ13、中間倍率レンズ16を介してCCDカメラ2で撮影する。このCCDカメラ2で撮影された標本画像は、装置本体1の画像入力積算部21にて順次取込まれ、それ以前に取込まれている同観察標本の標本画像に積算されていく。
【0029】
画像入力積算部21は所定枚数の画像を積算した後に画像処理部22へ送出するもので、画像処理部22では積算画像に対してCPU24から指定される回復フィルタを用いて回復処理を実行する。
【0030】
ここで、CPU24が顕微鏡4を制御して積算画像を取込ませる際の動作をもう少し詳細に説明すると、CPU24はその時点のステージ11の位置において制御が可能であるか否かについてを画像入力積算部21に入力される画像のコントラスト値が所定値よりも高いか否かにより判断し、制御が可能であると判断すると、ステージ駆動部12によりステージ11を所定方向に移動させ、画像入力積算部21からの画像のコントラスト値により標本画像が完全にぼけたものであることを認識できた位置でステージ11の移動を停止させる。
【0031】
その後、それまでのステージ11の移動方向とは反対の方向にステージ11を駆動させ、駆動後に画像のコントラスト値に基づいて各ステージ11の位置において画像積算を開始すべきか否か判定し、コントラスト値が画像積算すべき状態になったと判定した位置でステージ11の駆動を停止させる。
【0032】
あるステージ11の位置で画像積算開始と判定すると、CCDカメラ2で撮像された標本画像を画像入力積算部21で積算させる。ステージ11をステージ駆動部12により一定速度で駆動させたまま、画像入力積算部21に順次入力される各ステージ11の位置での標本画像を、積算終了指令を出力するまで、逐次積算させる。このときCPU24は、画像入力積算部21による画像積算の演算中もその時点で得られる標本画像のコントラスト値を逐次評価し、ステージ11の位置と共に変化する該コントラスト値の変化が所定の値となったところで積算の終了を判定する。この積算の終了を判定するまで画像入力積算部21での画像積算とステージ駆動部12によるステージ11の駆動を繰返し実行させる。
【0033】
画像の積算が終了すると、画像入力積算部21で積算した積算画像を画像処理部22に転送し、画面の全ての面に合焦した画像を得るための回復フィルタを用いた回復処理を積算画像に対して施すものである。
【0034】
すなわち、この画像処理部22での回復処理に用いる回復フィルタは、具体的には記憶部25の一部を構成するROMに全て記憶しておくものであり、予めフィルタ設定部26での設定に基づいたフィルタ番号が付加されているものとする。
【0035】
この回復フィルタは、使用している対物レンズ13、中間倍率レンズ16、CCDカメラ2の各サイズ等の光学条件から決定した特性を有するもの、あるいはさらにエッジ強調やエッジ抽出、平均化などの画像処理の効果を加えて2次元もしくは3次元のテーブル状に拡張し配置したものでも良い。
【0036】
ここで、上記光学条件とは独立にそのフィルタ自身を画像処理の観点から見て、回復処理の効果に加え、各種の画像処理効果を併せてもつものを配置するものとしてもよい。
【0037】
しかるに、上記回復フィルタを特定するために各フィルタに番号を付加し、上述したフィルタ設定部26、フィルタ選択部27との関連付けを行なうものとする。すなわち、予めレボルバ14に取付けられた対物レンズ13,13,…毎に対応してフィルタ設定部26のロータリスイッチ26a〜26eによって設定されたフィルタ、もしくはフィルタ選択部27のつまみ付きロータリスイッチ271で設定、選択された回復フィルタであり、フィルタ選択部27のつまみ付きロータリスイッチ271がポジションAの位置にあれば、フィルタ設定部26のロータリスイッチ26a(〜26e)によって設定されている回復フィルタが使用されることとなる。
【0038】
また、フィルタ選択部27のつまみ付きロータリスイッチ271がポジションBの位置にあれば、ポジションBで指示される「0」〜「7」の回復フィルタが使用されることとなる。
【0039】
したがって、フィルタ選択部27のつまみ付きロータリスイッチ271をポジションAの位置としてレボルバ14の対物レンズ13,13,…を切換えさせ、観察標本に関する高焦点深度の標本画像を得る場合には、切換後にその使用する対物レンズ13に対応したフィルタ設定部26で予め設定されている回復フィルタが自動的に記憶部25から読出され、標本画像の作成に使用される。
【0040】
また、フィルタ選択部27のつまみ付きロータリスイッチ271をポジションBの位置としてレボルバ14の対物レンズ13,13,…を切換えさせ、観察標本に関する高焦点深度の標本画像を得る場合には、切換後にそのポジションB中のフィルタ番号で予め設定されている回復フィルタが自動的に記憶部25から読出され、標本画像の作成に使用される。
【0041】
さらに、開始ボタン32を押圧し、高焦点深度の標本画像を作成した後でも、つまみ付きロータリスイッチ271のポジションB内でフィルタ番号を切換えれば、即座にそのフィルタ番号の回復フィルタが使用され、新たな標本画像が作成される。
【0042】
そのため、フィルタ選択部27のつまみ付きロータリスイッチ271をポジションAにして対物レンズ13を切換えさせ、観察標本の高焦点深度の標本画像を得る場合には、切換後の対物レンズ13に対応した回復フィルタが自動的に使用される一方、フィルタ選択部27のつまみ付きロータリスイッチ271をポジションB中の任意フィルム番号にして対物レンズ13を切換えさせ、観察標本の高焦点深度の標本画像を得る場合には、対物レンズ13を切換えた後もポジションB中のフィルム番号に対応した回復フィルタが継続して使用されることとなる。
【0043】
こうして画像処理部22で回復処理によって得られた高焦点深度画像は画像表示部23によってテレビモニタ3で表示出力される。
なお、上記実施の形態では、フィルタ設定部26、フィルタ選択部27にロータリスイッチ26a〜26e,271を用いるものとして説明したが、これに限るものではなく、他の形式の選択スイッチを用いるものとしてもよい。
【0044】
また、この第1の実施の形態の他の構成例について図5を用いて説明する。
すなわち、図5は上記フィルタ設定部26とフィルタ選択部27を操作部5に統合して操作パネル部41としたもので、この操作パネル部41は例えば液晶表示パネルにタッチセンサパネルを一体にして構成され、ディスプレイ上の任意の位置を手指により押圧することで、対応した位置に表示されているボタン等を操作することができる。
【0045】
該パネル部には上記フィルタ設定部26のロータリスイッチ26a〜26eに代わるフィルタ設定ボタン42a〜42e、上記フィルタ選択部27のロータリスイッチ271に代わるフィルタ選択ボタン43、上記操作部5と同様の開始ボタン32′及び対物切換ボタン33′、ステージ移動ボタン44を備える。
【0046】
対物切換ボタン33′は、その一対のいずれか一方を操作することでCPU24を介してレボルバ制御部15によりレボルバ14が回転駆動され、光路中に挿入されている対物レンズ13が切換されるもので、切換わった結果に応じて個々の対物レンズ13,13…に対応して設けられたフィルタ設定ボタン42a〜42eのうちの1つが高輝度で点灯表示され、使用されているレボ穴の位置を確認できるようになっている。
【0047】
フィルタ設定ボタン42a〜42eは、予め設定した回復フィルタのフィルタ番号を、レボ穴位置を示す「REV1」〜「REV5」の文字の下に表示しているが、このレボ穴位置を示す「REV1」〜「REV5」の表記に代えて、各レボ穴に取付けた対物レンズ13,13,…の名称、倍率等の情報を記憶させておき、これらの情報を表示させるようにすることもできる。
【0048】
ステージ移動ボタン44は、多数の矩形状のボタンが1列に配列されてなり、その一方の端部に「Up」、他方の端部に「Down」の文字が付されるもので、「Down」の方向から「Up」の方向に向けて矩形状ボタンを順次手指でなぞることにより、CPU24がステージ駆動部12によってステージ11を上方向に移動させるようにする。また、同様にして逆方向になぞることにより、ステージ11を下方向に移動させるようになる。
【0049】
フィルタ設定ボタン42a〜42eは、それぞれレボ穴番号毎にボタンの矩形枠内を手指で操作することで、操作パネル部41の表示画面がこの図5に示す状態からフィルタ番号を設定するための専用画面に切換わり、設定可能な回復フィルタの番号が一覧表示されるもので、その一覧表示されたフィルタ番号内から所望するものを指示操作することにより、操作指示したフィルタ番号が入力され、再び図5の表示画面に戻って、該当するレボ穴番号のボタン矩形枠内に入力したフィルタ番号が表示される。以上の操作をすべてのレボ穴に対応して実行する。
【0050】
また、上記フィルタ選択ボタン43は、現在先端しているフィルタ番号をボタンの矩形枠内に表示するもので、フィルタ番号を他のものに切換える場合には、該矩形内を手指で操作することで、矩形内に表示されるフィルタ番号が「*」→「0」→「1」→「2」→‥‥→「6」→「7」→「*」→「0」→「1」→‥‥というように循環的に切換わる。この場合、「*」が表示されている状態では上述した如く上記フィルタ設定ボタン42a〜42e内のうち、その時点で使用しているレボ穴に対応したフィルタ番号が同時に点灯表示される。
【0051】
なお、上記フィルタ設定ボタン42a〜42e及びフィルタ選択ボタン43での設定、選択した内容は例えばEEPROM、フラッシュROM、NVRAM等の電気的に書換可能な不揮発性メモリに保持されるため、装置の電源が断たれた場合でもその内容を維持することができるようになっているものとする。
【0052】
また、上記図5の説明では、操作パネル部41が液晶表示パネルにタッチセンサパネルを一体にして構成されたものとして説明したが、これらに代えて、CRTと例えばマウス等のポインティングデバイスとで構成するようにしてもよい。
【0053】
このように上記実施の形態によれば、対物レンズ13,13.…毎に回復処理で使用する回復フィルタを独立して設定することができるため、使用している対物レンズ13を切換えた場合でも観察者はその度毎に回復フィルタを適切なものに切換える操作を行なう必要がなく、余計な操作を簡略化することができる。
【0054】
また、回復処理された画像が、予め設定した回復フィルタによる内容では満足できないような場合には、即座に他の回復フィルタを選択し直すことができるため、観察者の意思に沿った画像処理を即時実行し、高焦点深度の標本画像を迅速に取得することができる。
【0055】
(第2の実施の形態)
次いで本発明の第2の実施の形態について図面を参照して説明する。
なお、焦点深度伸長装置の基本構成については上記図1に示したものと基本的に同様であるものとして、同一部分には同一符号を付してその説明は省略するものとする。
【0056】
しかるに、記憶部25にはCPU24が行なう動作制御のための動作プログラムの1つとして、対物レンズ13の切換時に対物レンズ間の同焦差を補正する同焦補正処理プログラムを記憶している。
【0057】
この同焦補正処理プログラムは、対物レンズ13の切換時に操作部5で一対の対物切換ボタン33を両方同時に操作しながら、装置本体1の電源を投入すると動作を開始するようにセットしておくもので、その場合には確認のために警告音を発し、通常の動作とは異なることを観察者に対して報知する。
【0058】
以下、上記同焦補正処理プログラムの内容について説明する。
図6はレボルバ14に取付けられた各対物レンズ13,13,…の各焦点位置を示すもので、レボ穴「REV1」に取付けた対物レンズ13の倍率が「100倍」、レボ穴「REV2」に取付けた対物レンズ13の倍率が「50倍」、レボ穴「REV3」に取付けた対物レンズ13の倍率が「20倍」、レボ穴「REV4」に取付けた対物レンズ13の倍率が「10倍」、レボ穴「REV5」に取付けた対物レンズ13の倍率が「5倍」であるものとする。
【0059】
これら対物レンズ13,13,…のうち、倍率の最も高いレボ穴「REV1」に取付けた「100倍」の対物レンズ13を対物切換ボタン33の操作によって切換え、適当な観察標本をステージ11に載置し、焦準ハンドル31を手動で回動して観察標本に合焦させる。ここで、図6(a)で示す現在のステージ11の位置を記憶するために開始ボタン32を操作する。この開始ボタン32は、同焦補正処理プログラムの実行中はステージ11の位置を記憶させるために機能するものとする。
【0060】
しかるに、ステージ11の位置はステージ駆動部12によって逐次認識できるものとしておく。これは、例えばステージ11の移動軸と連動する形でロータリエンコーダを用いてステージ11の位置座標を管理すればよく、またステージ11の駆動にステッピングモータを用いている場合にはステージ11の移動量を該ステッピングモータに与える駆動パルスの数で管理することにより、相対的な位置情報として取得するようにしてもかまわない。
【0061】
この場合、使用する観察標本は、どの倍率の対物レンズ13で観察しても、見えている視野内の標本の段差面の数が少ない方が正確に合焦させやすい。
次に、今まで使用した対物レンズ13を除いて、最も倍率の高いもの、この場合はレボ穴「REV2」に取付けた「50倍」の対物レンズ13を対物切換ボタン33の操作によって切換え、同様に観察標本に合焦させてその時点での図6(b)で示すステージ11の位置を開始ボタン32の操作により記憶させる。
【0062】
以上の動作を倍率の高い順番で他の対物レンズ13,13,…に対しても実行する。
CPU24では、すべての対物レンズ13,13,…に対する上記操作が完了すると、各対物レンズ13間のステージ11の位置の差から同焦補正に用いる同焦データ、例えば図6中に示すように「REV1」の「100倍」の対物レンズ13と「REV2」の「50倍」の対物レンズ13の同焦差「5[μm]」を算出し、算出した同焦差データを記憶部25内の電気的に書換可能な不揮発性メモリに記憶し、以上でこの同焦補正処理プログラムの実行を終了する。
【0063】
記憶部25に一度記憶された同焦データは、対物レンズ13の付換えが行なわれない限り有効となるもので、もし付換えが行なわれた際には再度上記同焦補正処理プログラムを実行し、同焦差データを取得し直せばよい。
【0064】
しかして、同焦補正処理プログラムの実行終了と共にCPU24では、通常の高焦点深度画像を得るための準備を開始する。この際、一旦装置の電源を断ってから、電源を再投入するようにすれば、直ちに通常の動作を開始することができる。
【0065】
次に、通常の高焦点深度画像の撮影時に行なう上記同焦差データを使用した対物レンズ13切換えに際しての同焦補正動作について説明する。
上記操作部5の対物切換ボタン33が操作された場合、安全のためにステージ11を所定量下げる。次に、目的の対物レンズ13を光路中に移動させるためにCPU24がレボルバ制御部15によりレボルバ14を回転駆動させ、所望する対物レンズ13が光路中に挿入されたことを確認し、対物レンズ13の切換前後の同焦データを記憶部25から読出してそれに基づきステージ11を再度移動させる。
【0066】
これは、例えば図6に示した「REV1」の「100倍」の対物レンズ13から「REV2」の「50倍」の対物レンズ13に切換えられた場合に、切換え前後の同焦差が「5[μm]」で切換後の合焦位置が切換前の合焦位置よりステージ11の下方向にあるものとすると、ステージ11をもとに戻す際に、ステージ11を始めに下げた際の移動量から「5[μm]」だけ減じた分のみの移動量で戻すようにするもので、これにより同焦補正の処理が完了し、観察者の手間を煩わさずとも、観察標本に正確に合焦させた状態を維持することができる。
【0067】
したがって、この時点からは操作部5の開始ボタン32を操作するだけで、直ちに高焦点深度画像を得ることができる。
このように第2の実施の形態では、対物レンズ13の切換時に同焦補正を実施するようにしたことで、対物レンズ13切換直後の観察者の同焦補正のための操作を省略し、直ちに観察に移行することができるため、観察者の装置操作の負担を軽減し、効率よく迅速に高焦点深度画像を得ることができるものである。
【0068】
なお、上記同焦補正処理プログラムを実行させるための専用の起動スイッチを操作部5に設けるものとしてもよく、また同焦差を測定することなしに、静的に各対物レンズ13,13,…の焦点位置データから同焦差を算出するものとしてもよい。しかしながら、この静的に同焦差を算出する方法では、対物レンズ13のレボルバ14のレボ穴への取付けで該レボ穴毎の加工精度にばらつきがある場合、及び対物レンズ13自体に加工精度等のばらつきがある場合等に、それらを考慮することができず、上記実施の形態で説明した、実際に各対物レンズ13,13,…の合焦位置から同焦差データを求める方法の方が、手間はかかるものの、使用している各対物レンズ13,13,…の個体差や取付け状態等も考慮して現実に則した正確な同焦補正量を算出することができるものである。
【0069】
【発明の効果】
請求項1記載の発明によれば、対物レンズ毎に回復処理で使用するフィルタを独立に設定し、対物レンズを切換えた際でも観察者は該回復フィルタを切換える操作を行なう必要がないため、観察者の装置操作に要する負担を大幅に軽減することができると共に、予め設定された回復フィルタを用いた回復処理では得られる画像に満足できない場合には該回復フィルタを即座に他のものに切換えることができるので、観察者の意思に沿った画像処理を即座に行なわせることができる。
【0070】
請求項2記載の発明によれば、上記請求項1記載の発明の効果に加えて、対物レンズ切換時に同焦補正を行なうようにしたことで、対物レンズ切換直後に観察者自らが同焦動作を行なわずとも高焦点深度画像を得ることができるため、さらに観察者の装置操作に要する負担を軽減することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る基本構成を示す図。
【図2】同実施の形態に係る操作部の具体的な外観構成を例示する図。
【図3】同実施の形態に係るフィルタ設定部の具体的な外観構成を例示する図。
【図4】同実施の形態に係るフィルタ選択部の具体的な外観構成を例示する図。
【図5】同実施の形態に係るフィルタ設定部、フィルタ選択部を操作部に統合して操作パネル部とした場合の他の構成例を示す図。
【図6】本発明の第2の実施の形態に係る同焦補正を説明するための図。
【符号の説明】
1…装置本体
2…CCDカメラ
3…テレビモニタ
4…顕微鏡
5…操作部
11…ステージ
12…ステージ駆動部
13…対物レンズ
14…レボルバ
15…レボルバ制御部
16…中間倍率レンズ
21…画像入力積算部
22…画像処理部
23…画像表示部
24…CPU
25…記憶部
26…フィルタ設定部
26a〜26e…ロータリスイッチ
27…フィルタ選択部
271…つまみ付きロータリスイッチ
31…焦準ハンドル
32,32′…開始ボタン
33,33′…対物切換ボタン
41…操作パネル部
42a〜42e…フィルタ設定ボタン
43…フィルタ選択ボタン
44…ステージ移動ボタン[0001]
BACKGROUND OF THE INVENTION
According to the present invention, it is as if the depth of focus is extended from a plurality of input images including an image focused on each height position of a thick subject as if the depth of focus is in focus. The present invention relates to a depth of focus extension apparatus capable of obtaining an image.
[0002]
[Prior art]
When an object is analyzed using the input image, the obtained image is required to be a bright image with high resolution and a deep focal depth. In general, in order to optically capture a bright image with excellent resolution and high magnification, an imaging optical system using an optical element having a large aperture is required.
[0003]
However, an imaging optical element represented by a lens has a shallow depth of focus when the aperture is large. Therefore, if an imaging optical element with a large aperture is used to ensure a large magnification, the depth of focus becomes extremely shallow.Therefore, if the subject exists at a different position in the optical axis direction, only one of the subjects The image cannot be brought into focus, and the other part of the image becomes blurred.
[0004]
Therefore, in the field of using image equipment such as a microscope, a camera, and an endoscope, various means for increasing the depth of focus are considered. For example, Japanese Patent Laid-Open No. 5-313,068 (hereinafter abbreviated as “conventional example 1”) is a multi-area distance measuring device in which a spatial frequency characteristic in each area is driven by a lens driving device. After measuring the in-focus position on the object plane and measuring the distance to each object in advance, the spatial frequency characteristics of the images of multiple object planes in the field of view are cumulatively added. The images that are the most uniform in each area of the obtained image are synthesized by accumulating the images by driving the lens with a lens driving device, and the above processing is post-processed to obtain a predetermined mid-range to high-frequency range by a spatial filter. A technique for obtaining an image with a deeper depth of focus by performing a filtering process that emphasizes the spatial frequency is disclosed.
[0005]
In Japanese Patent Application No. 8-109,714 (hereinafter abbreviated as “conventional example 2”), a filter coefficient or a filter size of a filter to be used in a recovery process using a spatial filter for the cumulatively added image is set to a CCD camera or the like. A technique is disclosed that includes recovery filter variable means that changes the correlation between the spread of the point image intensity distribution on the light receiving element and the size of the light receiving element.
[0006]
Furthermore, in Japanese Patent Application No. 9-1,472 (hereinafter abbreviated as “Conventional Example 3”), which side of the contrast curve is determined from the change in contrast when the stage of the microscope is first moved slightly. Judge quickly, move the stage in the direction of decreasing contrast, and then reverse the moving direction of the stage in the direction of the contrast toward the peak value, and with this movement, the contrast value of the captured image at each in-focus position with respect to the sample A technique is disclosed in which image addition is performed by an image addition circuit from the time when the degree of change reaches a predetermined condition.
[0007]
[Problems to be solved by the invention]
For example, an observation method such as differential interference is adopted because a sample that is nearly transparent is difficult to visually recognize even with normal observation. It is possible to perform differential processing in image processing, and some general image processing apparatuses have such a function.
[0008]
However, in the conventional example 1, since the filter is statically determined only due to the optical condition, the filter cannot be changed according to the sample, and the recovery or enhancement processing by the filter for the cumulatively added image is performed. Is regarded as image processing, processing such as edge enhancement, edge extraction, and averaging that are generally performed in image processing cannot be immediately selected and executed according to the sample or the intention of the observer.
[0009]
Furthermore, recently, a microscope having a focusing correction function has been considered in order to make the focusing operation easier when switching the objective lens of the microscope. For example, Japanese Patent Laid-Open No. 3-15015, Stores in-focus data for each objective lens, corrects the imaging state based on the in-focus data of the objective lens before and after switching, and always keeps the in-focus state even after switching the objective lens. A technique that omits the focusing operation is disclosed.
[0010]
However, none of the above-described conventional examples 1 to 3 has a confocal correction function, and an operation for making the focal point indispensable is necessary after switching the objective lens. Therefore, for an observer who originally intends to observe the specimen, the operation of the microscope and the apparatus becomes complicated, and this causes a problem that it cannot concentrate on the original purpose.
[0011]
In particular, in the above-described conventional example 3, the focus is greatly blurred due to the same focal difference after replacement of the objective lens. In general, when the contrast is low, the contrast is further lowered by moving the first stage from the out-of-focus state. In other words, since it changes in the direction in which the image is out of focus, it may not be possible to detect the next direction in which the contrast goes to the peak value, and a high depth image may not be obtained.
[0012]
The present invention has been made in view of the above circumstances, and the object of the present invention is to stabilize the operation of constructing a high-focus depth image and to reduce the burden on the observer's device operation. It is an object of the present invention to provide a depth of focus extension device that can easily obtain a high depth of focus image along the line.
[0013]
[Means for Solving the Problems]
According to the first aspect of the present invention, a microscope that switches and uses a plurality of objective lenses is used, and an image of an object is projected onto an imaging means including a plurality of light receiving elements via an imaging optical system, and the object image is captured. The image input means for capturing as an image, the focus position moving means for moving the focus position on the object plane, and the same object position captured multiple times from the image input means by the focus position moving means. An image integration unit that adds a plurality of images including a focused image to an integrated image, and an image recovery process using a recovery filter that is a spatial frequency filter for the integrated image acquired by the image integration unit. In the depth of focus extending apparatus having recovery means, a plurality of filter setting means for presetting a corresponding one of the plurality of recovery filters for each of the plurality of objective lenses, An objective lens selecting means for selecting one of the objective lens of a desired, The first position for selecting the recovery filter set by the filter setting means in conjunction with the objective lens selection means and the second position for selecting the recovery filter regardless of the setting of the filter setting means can be switched. Filter selection means The recovery means performs image processing using the filter selected by the filter selection means.
[0014]
With such a configuration, a filter used in the recovery process is set independently for each objective lens, and the observer does not need to perform an operation of switching the recovery filter even when the objective lens is switched. The burden required for the operation of the apparatus can be greatly reduced, and when the image obtained by the recovery process using the preset recovery filter is not satisfactory, the recovery filter can be immediately switched to another one. Therefore, it is possible to promptly perform image processing according to the intention of the observer.
[0015]
The invention described in
[0016]
With such a configuration, in addition to the operation of the first aspect of the invention described above, since the in-focus correction is performed when the objective lens is switched, the observer himself performs the in-focus operation immediately after the objective lens is switched. Since it is possible to obtain a high-focus depth image at least, it is possible to further reduce the burden required for the observer to operate the apparatus.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows a basic configuration of a depth-of-focus extension apparatus according to the first embodiment.
[0018]
The
[0019]
The apparatus
[0020]
In addition to the image
[0021]
Next, a specific external configuration of the
[0022]
The
[0023]
3 illustrates the configuration of the
[0024]
“REV1” to “REV5” in the drawing represent the revolver hole position of the revolver 14, that is, the objective lens attached thereto. In addition, the rotary switches 26a to 26e in the figure are all “0” because of the initial state before the setting, but each
[0025]
Further, as shown in FIG. 4, the
[0026]
The revolver control unit 15 includes a rotation drive unit including a motor for rotating the revolver 14 and a rebo hole position detection unit using various sensors. The revolver control unit 15 is designated in response to an instruction from the
[0027]
The
[0028]
Next, the operation of the above embodiment will be described.
The apparatus
[0029]
The image
[0030]
Here, the operation when the
[0031]
Thereafter, the stage 11 is driven in a direction opposite to the moving direction of the stage 11 until then, and it is determined whether or not image integration should be started at the position of each stage 11 after driving based on the contrast value of the image. The drive of the stage 11 is stopped at the position where it is determined that the image is to be accumulated.
[0032]
When it is determined that image integration starts at a certain stage 11, the sample image captured by the
[0033]
When the integration of the images is completed, the integration image integrated by the image
[0034]
That is, the recovery filter used for the recovery process in the
[0035]
This recovery filter has characteristics determined from optical conditions such as the
[0036]
Here, independent of the above optical conditions, the filter itself may be arranged in combination with various image processing effects in addition to the effect of the recovery processing when viewed from the viewpoint of image processing.
[0037]
However, in order to identify the recovery filter, a number is added to each filter, and association with the
[0038]
If the
[0039]
Therefore, when the
[0040]
When the
[0041]
Furthermore, even after the
[0042]
For this reason, when the
[0043]
The high depth of focus image obtained by the recovery process in the
In the above embodiments, the rotary switches 26a to 26e and 271 are used for the
[0044]
Another configuration example of the first embodiment will be described with reference to FIG.
That is, FIG. 5 shows the operation panel unit 41 by integrating the
[0045]
The panel section includes
[0046]
The objective switching button 33 'is one in which the revolver 14 is rotationally driven by the revolver controller 15 via the
[0047]
The
[0048]
The
[0049]
The
[0050]
The
[0051]
Note that the setting and selection contents of the
[0052]
In the description of FIG. 5 described above, the operation panel unit 41 has been described as a liquid crystal display panel integrated with a touch sensor panel. Instead, the operation panel unit 41 includes a CRT and a pointing device such as a mouse. You may make it do.
[0053]
As described above, according to the embodiment, the
[0054]
In addition, when the restored image cannot be satisfied with the contents of the preset restoration filter, another restoration filter can be immediately selected again, so that the image processing according to the intention of the observer is performed. It can be executed immediately and a sample image with a high depth of focus can be acquired quickly.
[0055]
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to the drawings.
The basic configuration of the depth-of-focus extending apparatus is basically the same as that shown in FIG. 1, and the same parts are denoted by the same reference numerals and the description thereof is omitted.
[0056]
However, the
[0057]
This in-focus correction processing program is set so as to start operation when the power of the apparatus
[0058]
Hereinafter, the contents of the in-focus correction processing program will be described.
FIG. 6 shows the focal positions of the
[0059]
Of these
[0060]
However, it is assumed that the position of the stage 11 can be sequentially recognized by the
[0061]
In this case, the observation sample to be used can be more accurately focused when the number of stepped surfaces of the sample in the field of view is smaller, regardless of the magnification of the
Next, with the exception of the
[0062]
The above operations are also performed on the other
When the
[0063]
The in-focus data once stored in the
[0064]
Accordingly, the
[0065]
Next, a description will be given of an in-focus correction operation at the time of switching the
When the
[0066]
For example, when the
[0067]
Therefore, from this point in time, a high depth of focus image can be obtained immediately by simply operating the
As described above, in the second embodiment, since the in-focus correction is performed when the
[0068]
It should be noted that a dedicated start switch for executing the above-mentioned in-focus correction processing program may be provided in the
[0069]
【The invention's effect】
According to the first aspect of the present invention, the filter used for the recovery process is set independently for each objective lens, and the observer does not need to perform an operation to switch the recovery filter even when the objective lens is switched. It is possible to greatly reduce the burden required for the user's operation of the apparatus, and when the restoration process using the preset restoration filter is not satisfactory with the image obtained, the restoration filter is immediately switched to another one. Therefore, it is possible to immediately perform image processing according to the intention of the observer.
[0070]
According to the second aspect of the invention, in addition to the effect of the first aspect of the invention, since the in-focus correction is performed at the time of switching the objective lens, the observer himself performs the focusing operation immediately after the objective lens is switched. Since a high depth-of-focus image can be obtained without performing the above, it is possible to further reduce the burden required for the observer to operate the apparatus.
[Brief description of the drawings]
FIG. 1 is a diagram showing a basic configuration according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a specific external configuration of an operation unit according to the embodiment;
FIG. 3 is a diagram illustrating a specific external configuration of a filter setting unit according to the embodiment;
FIG. 4 is a diagram illustrating a specific external configuration of a filter selection unit according to the embodiment;
FIG. 5 is a diagram showing another configuration example when the filter setting unit and the filter selection unit according to the embodiment are integrated into an operation unit to form an operation panel unit.
FIG. 6 is a view for explaining in-focus correction according to a second embodiment of the present invention.
[Explanation of symbols]
1 ... Main unit
2 ... CCD camera
3 ... TV monitor
4 ... Microscope
5. Operation unit
11 ... Stage
12 ... Stage drive unit
13 ... Objective lens
14 ... Revolver
15 ... Revolver control unit
16 ... Intermediate magnification lens
21. Image input integration unit
22. Image processing unit
23. Image display section
24 ... CPU
25. Storage unit
26: Filter setting section
26a-26e ... Rotary switch
27: Filter selection section
271 ... Rotary switch with knob
31 ... Focusing handle
32, 32 '... Start button
33, 33 '... Objective switching button
41. Operation panel section
42a-42e ... Filter setting button
43 ... Filter selection button
44 ... Stage move button
Claims (2)
上記複数の対物レンズ毎に複数の回復フィルタの中から対応したものを予め設定する複数のフィルタ設定手段と、
上記複数の対物レンズから所望の1つを選択する対物レンズ選択手段と、
上記フィルタ設定手段にて設定された回復フィルタを上記対物レンズ選択手段と連動して選択する第1ポジションと、上記フィルタ設定手段の設定とは無関係に回復フィルタを選択する第2ポジションとを切換可能なフィルタ選択手段と
を具備し、
上記回復手段は、上記フィルタ選択手段により選択されたフィルタを用いて画像処理を行なうことを特徴とする焦点深度伸長装置。Using a microscope that switches between multiple objective lenses, an image of an object is projected onto an imaging means consisting of multiple light receiving elements via an imaging optical system, and image input is performed by capturing the object image. A plurality of images including images focused on different object planes captured multiple times from the image input means by the focus position moving means, the focus position moving means for moving the focus position on the object plane; Depth-of-focus extending apparatus having image integration means for adding images to obtain an integrated image, and recovery means for performing image recovery processing using a recovery filter formed of a spatial frequency filter for the integrated image acquired by the image integration means In
A plurality of filter setting means for presetting a corresponding one of the plurality of recovery filters for each of the plurality of objective lenses;
Objective lens selecting means for selecting a desired one from the plurality of objective lenses;
The first position for selecting the recovery filter set by the filter setting means in conjunction with the objective lens selection means and the second position for selecting the recovery filter regardless of the setting of the filter setting means can be switched. A filter selection means ,
The depth of focus extending apparatus, wherein the recovery means performs image processing using the filter selected by the filter selection means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13675597A JP3872866B2 (en) | 1997-05-27 | 1997-05-27 | Depth of focus extension device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13675597A JP3872866B2 (en) | 1997-05-27 | 1997-05-27 | Depth of focus extension device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10333053A JPH10333053A (en) | 1998-12-18 |
JP3872866B2 true JP3872866B2 (en) | 2007-01-24 |
Family
ID=15182750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13675597A Expired - Fee Related JP3872866B2 (en) | 1997-05-27 | 1997-05-27 | Depth of focus extension device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3872866B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006145667A (en) * | 2004-11-17 | 2006-06-08 | Olympus Corp | Vertical illumination microscope |
JP5293468B2 (en) * | 2009-07-10 | 2013-09-18 | ソニー株式会社 | Fluorescence image acquisition apparatus, fluorescence image acquisition method, and fluorescence image acquisition program |
JP5306088B2 (en) | 2009-07-14 | 2013-10-02 | オリンパス株式会社 | Microscope system |
JP5468892B2 (en) * | 2009-12-22 | 2014-04-09 | オリンパス株式会社 | Microscope controller and microscope system including the microscope controller |
EP2557446B1 (en) | 2010-04-05 | 2019-09-04 | Olympus Corporation | Microscope controller and microscope system comprising the microscope controller |
JP5649848B2 (en) * | 2010-04-05 | 2015-01-07 | オリンパス株式会社 | Microscope controller and microscope system having the microscope controller |
JP4820458B2 (en) * | 2011-03-17 | 2011-11-24 | オリンパス株式会社 | Microscope system, microscope system operation control method, and recording medium recording operation control program |
-
1997
- 1997-05-27 JP JP13675597A patent/JP3872866B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10333053A (en) | 1998-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5732353B2 (en) | Magnification observation apparatus, magnification observation method, and magnification observation program | |
JP4136011B2 (en) | Depth of focus extension device | |
US8339702B2 (en) | Microscope system, storage medium storing control program, and control method | |
JP2008052227A (en) | Observation apparatus | |
US20120293864A1 (en) | Microscope system | |
US20110063327A1 (en) | Display and imager displaying and magnifying images on their screen | |
JP6518126B2 (en) | Slit lamp microscope | |
JP3872866B2 (en) | Depth of focus extension device | |
US20050105174A1 (en) | Microscope system | |
JP6253509B2 (en) | Image display method, control device, microscope system | |
JP5316083B2 (en) | camera | |
WO2017130521A1 (en) | Control device, control method, and program | |
JP5305719B2 (en) | Microscope system | |
JP5532318B2 (en) | Microscope device and recording medium | |
JP3186212B2 (en) | Eye-gaze input camera | |
JP4979464B2 (en) | Microscope device, control program, and control method | |
JP6623916B2 (en) | Imaging device | |
JP4231573B2 (en) | Microscope system | |
JP2009237267A (en) | Microscope system, control method used for microscope system, and program | |
JPH10111445A (en) | Automatic focusing device | |
JP2013051551A (en) | Imaging device | |
JP2000295605A (en) | Electronic endoscope | |
JP2010085699A (en) | Auto focus system | |
JP2018205661A (en) | Microscope apparatus | |
JP5787060B2 (en) | Fundus photographing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061023 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |