JP3811230B2 - Endoscope device - Google Patents
Endoscope device Download PDFInfo
- Publication number
- JP3811230B2 JP3811230B2 JP27833896A JP27833896A JP3811230B2 JP 3811230 B2 JP3811230 B2 JP 3811230B2 JP 27833896 A JP27833896 A JP 27833896A JP 27833896 A JP27833896 A JP 27833896A JP 3811230 B2 JP3811230 B2 JP 3811230B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- lens
- signal
- water supply
- autofocus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、オートフォーカス機能付きの医療用の内視鏡装置に関し、特に生体内観察に最適なオートフォーカス制御装置を備えた内視鏡装置に関する。
【0002】
【従来の技術】
CCD等の撮像素子を用いた民生用のビデオカメラにおいて、一般的にオートフォーカス機能が搭載されているが、医療用の電子内視鏡においては、その使用される環境の特殊性から独自のオートフォーカス機能が要求されている。
【0003】
医療用の電子内視鏡の使用環境の一例として、粘性の高い液体が存在する生体内を観察しなければならない場合が挙げられるが、このような生体内の観察では常に観察窓を送水・送気によってきれいにしておく必要がある。また、胃内の観察においては、大量の胃液が組織の観察を困難にすることが多いため、内視鏡先端に設けられた鉗子口から吸引することも一般的に行われている。
【0004】
このような観察部位に体液とか洗浄液等の液体が存在する環境下においては、本来観察しようとする対象ではなく、観察窓に直接当たる洗浄液等の液体の流れを観察することになる。従って、民生用のビデオカメラ等に用いられる一般的なオートフォーカス機能を適用すると、観察窓上を流れる液体にピントが合ってしまい、送水等が終わった瞬間は観察対象物にピントが合っていない状態となってしまうという不具合が生じるため、このような液体の影響を受けないオートフォーカス機能が望まれている。
【0005】
【発明が解決しようとする課題】
前述したように、観察部位に体液とか洗浄液等の液体が存在する環境下で、使用される内視鏡において、従来からの常にピントがあった状態の観察を可能にするオートフォーカス機能を直接適用しようとすると、送気・送水・吸引中に観察窓上を流れる液体にピントが合ってしまい、送水等が終わった瞬間は観察対象物にピントが合っていない状態となってしまうため、本来の観察対象物に対して常に合焦状態を保持できないという問題点が生じる。しかも、送水等は非常に頻繁に行われるため、到底スムーズな観察は不可能である。
【0006】
本発明は、これらの事情に鑑みてなされたもので、送気・送水・吸引等の管路系の操作時にフォーカシングが不必要に作動しないようにして、スムーズな観察が可能なオートフォーカス機能を持った内視鏡装置を提供することを目的としている。
【0007】
【課題を解決するための手段】
本発明による第1の内視鏡装置は、被検体に挿入可能な挿入部と、前記挿入部に設けられ前記被検体を観察するための撮像手段と、前記撮像手段が撮像する像の焦点を調整するフォーカス調整レンズと、前記フォーカス調整レンズを移動させるためのフォーカス駆動手段と、前記挿入部の先端側に開口を有し少なくとも送水、送気または吸引が可能な管路機構と、前記撮像手段からの画像信号を処理するビデオプロセッサからの出力画像信号を基に前記フォーカス駆動手段を制御すると共に、前記管路機構の動作に応じて出力されるフォーカス動作制御信号を入力した際には、当該フォーカス動作制御信号に応じて前記フォーカス駆動手段の動作を禁止するように制御するオートフォーカス制御手段と、を有することを特徴とする。
本発明による第2の内視鏡装置は、被検体に挿入可能な挿入部と、前記挿入部に設けられ前記被検体を観察するための撮像手段と、前記撮像手段が撮像する像の焦点を調整するフォーカス調整レンズと、前記フォーカス調整レンズを移動させるためのフォーカス駆動手段と、前記挿入部の先端側に開口を有し少なくとも送水、送気または吸引が可能な管路機構と、操作者が操作可能で、前記管路機構による送水、送気または吸引動作を開始するための信号を出力するスイッチと、前記撮像手段からの画像信号を処理するビデオプロセッサからの出力画像信号を基に前記フォーカス駆動手段を制御すると共に、前記スイッチの動作に応じて出力されるフォーカス動作制御信号を入力した際には、当該フォーカス動作制御信号に応じて前記フォーカス駆動手段の動作を禁止するように制御するオートフォーカス制御手段と、を有することを特徴とする。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1ないし図4は本発明の第1の実施形態に係り、図1は内視鏡装置の全体構成を示す構成説明図、図2はオートフォーカス制御装置の主要部の構成を示すブロック図、図3はフォーカス情報検出手段の第1の構成例を示すブロック図、図4はフォーカス情報検出手段の第2の構成例を示すブロック図である。
【0010】
本実施形態の内視鏡装置は、被写体の観察画像を得る電子内視鏡1と、電子内視鏡1の駆動制御及び電子内視鏡1から出力される撮像信号の処理を行うビデオプロセッサ2と、電子内視鏡1に照明光を供給する光源装置3と、ビデオプロセッサ2の出力映像信号を受けて観察画像を表示するモニタ4と、電子内視鏡1に設けられる観察光学系のオートフォーカス動作を制御するオートフォーカス制御装置5とを有して構成される。
【0011】
電子内視鏡1は、挿入部7,操作部8,ユニバーサルコード9,コネクタ部10が連設されて構成され、挿入部7の先端部11には、対物観察のための対物レンズ12,フォーカス調整レンズ13,CCD等の固体撮像素子(SID)14が撮像手段として設けられている。固体撮像素子14は、電子内視鏡1の挿入部7〜コネクタ部10内を挿通された信号線を通じ、接続コード15を介してビデオプロセッサ2と電気的に接続されるようになっている。
【0012】
前記フォーカス調整レンズ13の側部近傍にはレンズ位置センサ16が設けられており、このレンズ位置センサ16は、挿入部7〜コネクタ部10内を挿通された信号線を通じ、外部の接続コードを介してオートフォーカス制御装置5と電気的に接続されている。
【0013】
また、前記フォーカス調整レンズ13には、レンズ駆動手段17が機械的に接続されて設けられており、このレンズ駆動手段17は、レンズ位置センサ16と同様にオートフォーカス制御装置5と電気的に接続されている。レンズ駆動手段17は、例えば圧電アクチュエータからなり、圧電アクチュエータの前後運動をそのままフォーカス調整レンズ13の前後運動として利用できるよう連動させて駆動するようになっている。
【0014】
オートフォーカス制御装置5は、ビデオプロセッサ2から出力される画像情報に基づきフォーカス状態を検出するフォーカス情報検出手段18と、前記レンズ駆動手段17と接続されフォーカス調整レンズ13の駆動を制御するレンズ駆動制御手段19と、前記レンズ位置センサ16と接続されフォーカス調整レンズ13の位置を検出するレンズ位置検出手段20とを有して構成される。
【0015】
前記レンズ位置センサ16は、フォーカス調整レンズ13の移動量を検知し、オートフォーカス制御装置5内のレンズ位置検出手段20にフォーカス調整レンズ13の位置を示す検知信号を送るようになっている。また、前記レンズ駆動手段17は、オートフォーカス制御装置5内のレンズ駆動制御手段19からの駆動信号により挿入部7の長手方向前後にフォーカス調整レンズ13を移動させるようになっている。
【0016】
また、電子内視鏡1の先端面には、対物レンズ12へ向けられたノズル21が設けられており、このノズル21に連通して設けられた送水管路22は、電子内視鏡1の先端部11〜コネクタ部10内を挿通され、コネクタ部10で送水タンク6と接続されている。コネクタ部10により電子内視鏡1と接続される光源装置3は、光源ランプ23と送気送水用のポンプ24とを有してなる送気送水機能付きの光源装置であり、このポンプ24がコネクタ部10を介して前記送水タンク6と接続されている。
【0017】
電子内視鏡1の操作部8には、送水動作を指示する送水スイッチ25が設けられており、この送水スイッチ25は、操作部8〜コネクタ部10内を挿通された信号線を通じ、光源装置3のポンプ24と電気的に接続されている。前記ポンプ24は、送水スイッチ25のオン/オフ操作による操作信号に基づいて作動し、送気を行うようになっている。このポンプ24からの送気により、送水タンク6内に蓄えられた洗浄液等が送水管路22に送られ、送水管路22を通してノズル21から対物レンズ12に向けて送液がなされるようになっている。
【0018】
前記送水スイッチ25の信号線は、コネクタ部10内で分岐してオートフォーカス制御装置5にも電気的に接続されており、送水スイッチ25の操作信号がレンズ駆動制御手段19に入力されるようになっている。すなわち、送水スイッチ25による送水操作に連動して、オートフォーカス制御装置5内のレンズ駆動制御手段19の制御を切り換えることができる。
【0019】
前記ビデオプロセッサ2は、固体撮像素子14からの撮像信号を受け取り、映像信号化処理を行い、モニタ4に映像信号を出力して観察画像を映し出すと共に、オートフォーカス制御装置5内のフォーカス情報検出手段18へ画像情報を送出するようになっている。
【0020】
ここで、前記フォーカス情報検出手段18の詳細構成を説明する。一般的なビデオカメラのオートフォーカス機能は、常時ジャストピントを狙って作動するようになっているが、内視鏡用としてそのままこのような従来のオートフォーカス機能を使おうとすると、観察対象及び内視鏡が常に動いているため、フォーカシングが追従できずにかえって使いにくくなってしまうおそれがある。
【0021】
このような事情を鑑み、内視鏡観察に適したオートフォーカスを行うためのフォーカス情報検出手段の構成例を以下に示す。
【0022】
図3はフォーカス情報検出手段18の第1の構成例を示したものである。第1の構成例は、ビデオプロセッサ2からの画像情報の入力を切り換える画像情報切換部31と、ジャストピント状態を検出するジャストピント検出回路32と、ジャストピント状態の画像を記憶するジャストピント画像メモリ33と、ビデオプロセッサ2から入力される画像のボケ量を検出するボケ量検出回路34とを有して構成される。
【0023】
ジャストピント検出回路32は、ビデオプロセッサ2から入力される画像情報がジャストピント状態であるか否かを判断し、ジャストピント(OK)の場合はジャストピント画像メモリ33に画像信号を送ると共に画像情報切換部31へ切換信号を送り、ジャストピントでない(NG)場合にはレンズ駆動制御手段19へフォーカス情報信号を送る。ジャストピント画像メモリ33は、ジャストピント状態の画像を記憶し、ボケ量検出回路34へ送出する。ボケ量検出回路34は、ビデオプロセッサ2からの入力画像とジャストピント画像メモリ33の記憶画像とを比較し、現在入力された画像のボケ量が例えば30%を超えるとき、画像情報切換部31へ切換信号を送り、それ以外のときには何の信号も送らないようにする。
【0024】
フォーカス調整を行う際に、まず初期状態では画像情報切換部31の接点はJに接続されており、ビデオプロセッサ2の出力映像信号の画像がジャストピントになるまではジャストピント検出回路32からレンズ駆動制御手段19にフォーカス情報信号が送られ、通常のオートフォーカス(AF)調整が行われる。
【0025】
一旦ジャストピント状態となると、ジャストピント検出回路32から画像情報切換部31へ切換信号が送られて画像情報切換部31の接点がIに切換えられ、ボケ量検出回路34において現画像とジャストピントのメモリ画像との比較が行われる。ジャストピント画像とのボケ量の差(ボケ差)が30%以内のときには、レンズ駆動制御手段19へフォーカス情報信号が送出されず、フォーカシングは行われない。
【0026】
前記現画像のボケ量が30%を超えたときは、ボケ量検出回路34から画像情報切換部31へ切換信号が送られて画像情報切換部31の接点がJに戻され、上述した流れと同様に再びオートフォーカス調整が行われる。
【0027】
本構成例では、フォーカス情報をボケ量として検出したが、ボケ量の代わりに画像パターンを用いてフォーカス情報を得ることも可能である。つまり、ボケ量検出回路34を画像認識回路として代わりに設け、この画像認識回路によってジャストピント画像メモリ33に記憶された画像パターンとビデオプロセッサ2からの現画像の画像パターンとを比較して画像がどれだけ動いたか検出し、例えば画角の30%以上が動いたときに再フォーカシングをするようにしても同様な効果が得られる。
【0028】
内視鏡観察においては、内視鏡先端部の対物光学系が狭い空間を目まぐるしいスピードで移動することが多いので、常にジャストピントを求めてフォーカシングするよりも本実施形態のように一定範囲のピント幅を持たせることにより、必要なときのみフォーカシングを追従させることができ、スムーズな観察が可能となる。また、内視鏡ではあまり観察深度を大きくできないため、ポリーブや胃壁を斜めに見たりするような場合、画面全体のピントが合わないことが多いが、本実施形態のようにオートフォーカス制御を行うと不必要にフォーカシングが行われず適切な観察画像が得られる。
【0029】
図4はフォーカス情報検出手段18の第2の構成例を示したものである。第2の構成例は、ビデオプロセッサ2からの画像情報の入力を切り換える画像情報切換部36と、画像情報切換部36に対して一定期間ごとに切換信号を送出するインターバル回路37と、フォーカス状態を検出するフォーカス情報検出回路38とを有して構成される。
【0030】
インターバル回路37は、一定期間ごとに切換信号を画像情報切換部36へ送り、画像情報切換部36の接点K,Lを所定のインターバルで切り換え続ける。画像情報切換部36が接点Kに接続されているときはフォーカシングは行われず、接点Lに接続されているときにオートフォーカス調整が行われる。インターバル回路37からの切換信号は、例えば0.5秒ごとに送出される。
【0031】
このように一定のインターバルでオートフォーカス機能を作動させることにより、例えば胃の観察における拍動に追従した不必要なフォーカシング等を取り除くことができ、スムーズな観察が可能なようにフォーカシングを追従させることができる。なお、画像情報切換部36を切り換えるインターバルは自由に設定することが可能であり、オートフォーカス制御装置5の外部から調整できるようにしても良い。
【0032】
次に、図2を参照してレンズ駆動制御手段19の詳細構成を説明する。レンズ駆動制御手段19は、レンズ移動量演算回路の機能を有するCPU27と、CPU27からの位置制御信号の出力を切り換える接点切換部28と、レンズ駆動手段17の駆動信号を生成するアクチュエータドライバ29とを有して構成される。
【0033】
フォーカス情報検出手段18により、ビデオプロセッサ2の出力映像信号を基にフォーカス情報、例えばボケ量が検出され、CPU27へ伝達される。また、レンズ位置センサ16からの検知信号は、レンズ位置検出手段20に送られてフォーカス調整レンズ13の位置情報として検出され、CPU27へ伝達される。
【0034】
CPU27は、前記2つの検出された情報、すなわちフォーカス情報とレンズ位置情報を受け取り、最適なフォーカス位置(レンズの移動量)を計算して位置制御信号を送出する。アクチュエータドライバ29は、CPU27からの位置制御信号を基に駆動信号を出力し、レンズ駆動手段17を所定量だけ駆動させる。前記CPU27とアクチュエータドライバ29との間には、送水スイッチ25からの操作信号により切り換わる接点切換部28が配設されており、CPU27から出力される位置制御信号がオンオフされる。
【0035】
送水スイッチ25が押されていないとき、つまり送水がなされていないときには接点切換部28は接点Aに接続されており、上述した通りにレンズ駆動手段17によりフォーカス調整レンズ13が駆動されてオートフォーカス調整がなされる。
【0036】
一方、送水スイッチ25が押されているとき、つまり送水動作中には接点切換部28は接点Bに切り換わり、オートフォーカス調整は行われない。従って、レンズ駆動手段17は送水スイッチ25を押した時点で作動停止し、フォーカス調整レンズ13はその位置に固定される。
【0037】
このように、本実施形態のオートフォーカス制御装置5は、送水スイッチ25による送水動作のオン/オフ操作に連動してオートフォーカス動作を停止/作動させるようになっている。
【0038】
本実施形態によれば、通常観察時はスムーズなオートフォーカス動作が実現され、送水動作中には不必要なオートフォーカス機能が作動しないようにしているので、観察窓上を流れる洗浄液等にピントが合ってしまうことを防止でき、送水動作中または送水直後にもピントが大きくずれることなく元の観察対象にほぼピントが合った状態となるため、自然な観察が可能であり、送水動作前後においてスムーズな観察が実行できる。
【0039】
また、本実施例では送水動作中のオートフォーカス制御についてしか述べなかったが、送気または吸引スイッチに連動したオートフォーカス制御を行い、送気動作中や吸引動作中にオートフォーカス機能が作動しないようにすることによっても同様な効果が得られることは明らかである。同様に、フリーズ画像を得るフリーズスイッチに本実施形態の構成を応用することによって、ブレのない最適なフリーズ画像を得ることができる。
【0040】
図5は本発明の第2の実施形態に係るオートフォーカス制御装置の主要部の構成を示すブロック図である。
【0041】
第2の実施形態は、第1の実施形態のレンズ駆動制御手段の構成を変更した構成例である。レンズ駆動制御手段41は、レンズ移動量演算回路の機能を有するCPU27と、レンズ駆動手段17の駆動信号を生成するアクチュエータドライバ29と、CPU27からの位置制御信号の出力を切り換える接点切換部42と、フォーカス調整レンズ13の位置を所定位置に設定するレンズ位置リセット回路43とを有して構成される。CPU27及びアクチュエータドライバ29は、第1の実施形態と同様の機能を有している。
【0042】
接点切換部42は、CPU27から出力される最適なフォーカス位置へのレンズの移動量を示す位置制御信号をアクチュエータドライバ29へそのまま送るか、あるいは、この信号をレンズ位置リセット回路43を経由してアクチュエータドライバ29へ送るかのいずれかに送水スイッチ25からの操作信号に基づいて切り換える。
【0043】
レンズ位置リセット回路43は、CPU27からの位置制御信号を受けるとフォーカス調整レンズ13をフォーカス位置から所定位置に移動させるのに必要な信号をアクチュエータドライバ29へ送出する。この所定位置は、例えばフォーカス調整レンズ13が最も先端側へ位置している状態、あるいは、その逆に最も固体撮像素子14に近い状態等の予め設定したレンズ位置である。
【0044】
送水スイッチ25が押されていないとき、つまり送水がなされていないときには、接点切換部42は接点Cに接続されており、第1の実施形態と同様にレンズ駆動手段17によりフォーカス調整レンズ13が駆動されてオートフォーカス調整がなされる。
【0045】
一方、送水スイッチ25が押されているとき、つまり送水動作中には接点切換部42は接点Dに切り換わり、CPU27の信号がレンズ位置リセット回路43へ伝達されることにより、フォーカス調整レンズ13を所定位置に固定するようにアクチュエータドライバ29からレンズ駆動手段17へ駆動信号が送信される。このとき、前記所定位置をレンズ移動範囲の前端と後端のちょうど中間(一般的なフォーカス位置)にすることにより、送水終了後に素早いAF駆動を実現できる。
【0046】
なお、前記所定位置は求める機能に応じて自由に設定すればよく、例えばフォーカス調整レンズ13を最も前方に移動させるようにした場合は、最も近点寄りとなり、観察対象に近いときにもはっきり観察できて安全である。
【0047】
このように第2の実施形態では、通常観察時はスムーズなオートフォーカス動作が実現され、送水等の管路系の操作時にはフォーカス調整レンズを所定位置に固定するようにしているので、不必要なオートフォーカス機能が作動することを防止でき、管路系の操作中または操作直後にもピントが大きくずれることなく自然な観察が可能となる。
【0048】
図6及び図7は本発明の第3の実施形態に係り、図6は内視鏡装置の全体構成を示す構成説明図、図7はオートフォーカス制御装置の主要部の構成を示すブロック図である。
【0049】
オートフォーカス手段において、迅速なフォーカシング制御を行うためには、その時々の焦点位置、例えばレンズ位置を検出し、画像のボケ量等の情報と合わせて制御することが効果的である。一般的なビデオカメラ用のオートフォーカス手段には、レンズの位置を検出するためのセンサを設ける必要であるが、これをそのまま内視鏡に適用しようとするとセンサの分だけどうしても内視鏡先端の太径化につながってしまう。
【0050】
そこで、第3の実施形態では、内視鏡を太径化することなく迅速なオートフォーカス調整が実施可能な構成例を示す。
【0051】
電子内視鏡1の先端部11に配設されるレンズ駆動手段51は、例えばステッピングモータからなり、このモータの回転を内視鏡挿入方向の前後運動に変換する手段を介してフォーカス調整レンズ13と接続されている。
【0052】
本実施形態のオートフォーカス制御装置52は、ビデオプロセッサ2から出力される画像情報に基づきフォーカス状態を検出するフォーカス情報検出手段53と、前記レンズ駆動手段51と接続されフォーカス調整レンズ13の駆動を制御するレンズ駆動制御手段54と、フォーカス調整レンズ13の駆動量を検出するレンズ駆動計数手段55とを有して構成される。
【0053】
前記レンズ駆動手段51は、オートフォーカス制御装置52内のレンズ駆動制御手段54からの駆動信号により挿入部7の長手方向前後にフォーカス調整レンズ13を移動させるようになっており、このとき、前記駆動信号のパルス数によってモータの回転数、すなわちフォーカス調整レンズ13の移動量が指示される。
【0054】
電子内視鏡1の操作部8には、送水スイッチ25と共にAFオン/オフスイッチ56が設けられており、このAFオン/オフスイッチ56は、ビデオプロセッサ2及びオートフォーカス制御装置52内のレンズ駆動制御手段54と電気的に接続されている。AFオン/オフスイッチ56を押すことにより、オートフォーカス機能がオンとなり、ビデオプロセッサ2により「AF」という文字情報が固体撮像素子14から得られた画像情報の映像信号にスーパーインポーズされ、モニタ4に表示されるようになっている。
【0055】
前記送水スイッチ25は、光源装置3内の送気バルブ57とオートフォーカス制御装置52内のレンズ駆動制御手段54とに電気的に接続されており、この送水スイッチ25を押すことにより、送気バルブ57が開かれてポンプ24から送水タンク6へ送気され、送水タンク6内の洗浄液等が送水管路22を通してノズル21から対物レンズ12の観察窓に向けて送液されるようになっている。
【0056】
本実施形態では、送水スイッチ25,AFオン/オフスイッチ56からの操作信号は共にレンズ駆動制御手段54にも送られているため、これらのスイッチに連動してオートフォーカス機能を切り換えることができるようになっている。
【0057】
次に、図7を参照してオートフォーカス制御装置52の詳細構成を説明する。レンズ駆動制御手段54は、レンズ移動量演算回路の機能を有するCPU61と、送水スイッチ25及びAFオン/オフスイッチ56からの操作信号の入力を切り換える第1接点切換部62と、CPU61からの位置制御信号の出力を切り換える第2接点切換部63と、フォーカス位置リセット用のパルスを発生するリセットパルス発生回路64と、オートフォーカス駆動用のパルスを発生する駆動パルス発生回路65と、レンズ駆動手段51の駆動信号を生成するモータドライバ66とを有して構成される。
【0058】
フォーカス情報検出手段53により、ビデオプロセッサ2の出力映像信号を基にフォーカス情報、例えばボケ量が検出され、CPU61へその情報が伝達される。また、レンズ駆動計数手段55により、駆動パルス発生回路65の出力からフォーカス調整レンズ13の駆動量が検出され、レンズ位置情報がCPU61へ伝達される。
【0059】
CPU61は、フォーカス情報検出手段53からのフォーカス情報と、レンズ駆動計数手段55からのレンズ位置情報(フォーカス位置情報)とを受け取り、最適なフォーカス位置(レンズの移動量)を計算して位置制御信号を第2接点切換部63へ送出する。
【0060】
第1接点切換部62は、AFオン/オフスイッチ56からの操作信号により、接点G,Hが切り換わるようになっている。また、第2接点切換部63は、送水スイッチ25及びAFオン/オフスイッチ56からの操作信号により、接点E,Fが切り換わるようになっている。
【0061】
リセットパルス発生回路64は、CPU61からの位置制御信号を基に、フォーカス調整範囲の一端となる位置、例えばフォーカス調整レンズ13が最先端側に位置するように移動させるパルス数をモータドライバ66に一旦送出し、その後は何の信号も送らない。一方、駆動パルス発生回路65は、CPU61からの位置制御信号を受けてこの信号に従ったパルス数をモータドライバ66,レンズ駆動計数手段55に送り続ける。そして、レンズ駆動計数手段55は、駆動パルス発生回路65から出力されるパルス数をカウントし、そのパルス数をレンズ位置情報としてCPU61へ伝達する。
【0062】
AFオン/オフスイッチ56が押されていないとき、つまりオートフォーカス機能がオフ状態のときには、第2接点切換部63は接点Eに接続されており、リセットパルス発生回路64よりフォーカス位置リセット用のパルスがモータドライバ66へ送られ、モータドライバ66によりフォーカス調整レンズ13が先端側に突き当たるのに十分な駆動信号がレンズ駆動手段51へ送出され、フォーカス調整レンズ13が最先端側に駆動される。
【0063】
リセットパルス発生回路64より一旦フォーカス位置リセット用のパルス信号が送られた後は、何の信号もモータドライバ66へ送出されないので、フォーカス調整レンズ13は最先端側の位置に固定されて通常の固定焦点のビデオカメラとして使用される。またこのとき、第1接点切換部62は接点Hに接続されており、送水スイッチ25からの操作信号はオートフォーカス制御装置52に対して作用しない。
【0064】
AFオン/オフスイッチ56が押されているとき、つまりオートフォーカス機能がオン状態のときには、第2接点切換部63は接点Fに接続されており、CPU61からの位置制御信号が駆動パルス発生回路65へそのまま送られるので、駆動パルス発生回路65よりフォーカス調整レンズ13を合焦位置に移動させるのに必要なパルス数がモータドライバ66及びレンズ駆動計数手段55へ伝達される。レンズ駆動計数手段55は、前記パルス数をカウントすることによりフォーカス調整レンズ13の駆動量を検出し、これをレンズ位置情報としてCPU61へ送る。
【0065】
このとき、AFオン/オフスイッチ56が押されると第1接点切換部62は接点Gに切り換わるので、送水スイッチ25からの操作信号が第2接点切換部63へ作用するようになる。
【0066】
そして、送水スイッチ25が押されていないとき、つまり送水がなされていないときには、第2接点切換部63は接点Fに接続された状態であるので、上述した通りに駆動パルス発生回路65からモータドライバ66へオートフォーカス駆動用のパルスが送られてモータドライバ66より駆動信号が送出され、レンズ駆動手段51によってフォーカス調整レンズ13が駆動されてオートフォーカス調整がなされる。
【0067】
一方、送水スイッチ25が押されているとき、つまり送水動作中には第2接点切換部63は接点Eに切り換わるので、オートフォーカス機能がオフ状態のときと同じ作用となる。すなわち、送水動作中には前述のようなオートフォーカス調整はなされずに、フォーカス調整レンズ13の位置が最先端側に固定された固定焦点のビデオカメラとして使用されることになる。
【0068】
このように第3の実施形態では、AFオン/オフスイッチ56の操作によって使用者が所望のときにオートフォーカス機能の切換えが可能であり、かつ、オートフォーカス切換え時に必ず決まった観察深度にピントが合った状態から観察できるのでスムーズな観察が可能である。また、送水動作中にはフォーカシング中でも送水スイッチ25を押すだけで容易に一旦オートフォーカス機能を停止できるので、操作が楽であり、かつ、スムーズな観察が実行できる。
【0069】
また、第3の実施形態ではレンズ位置センサが不要であるため、内視鏡先端部の径が不必要に太径とならずに細径化でき、また、レンズ位置センサからの情報を受け取る時間が必要なくなるため迅速なオートフォーカス制御が可能である。
【0070】
[付記]
(1) 挿入部先端部に設けた観察光学系の一部を駆動してフォーカシングを行うオートフォーカス駆動手段と、前記挿入部先端部と手元側との間で流体を伝送する管路機構とを有する内視鏡と、
前記観察光学系を通して撮像した画像信号を処理するビデオプロセッサと、
前記ビデオプロセッサの出力の画像信号を基に前記オートフォーカス駆動手段を制御するオートフォーカス制御手段と、
前記管路機構を駆動する管路機構駆動手段と、
を備えた内視鏡装置であって、
前記オートフォーカス制御手段は、前記管路機構駆動手段の駆動中は前記オートフォーカス駆動手段をロックすることを特徴とする内視鏡装置。
【0071】
(2) 挿入部先端部に設けた観察光学系の一部を駆動してフォーカシングを行うオートフォーカス駆動手段と、前記挿入部先端部と手元側との間で流体を伝送する管路機構とを有する内視鏡と、
前記観察光学系を通して撮像した画像信号を処理するビデオプロセッサと、
前記ビデオプロセッサの出力の画像信号を基に前記オートフォーカス駆動手段を制御するオートフォーカス制御手段と、
前記管路機構を駆動する管路機構駆動手段と、
を備えた内視鏡装置であって、
前記オートフォーカス制御手段は、前記管路機構駆動手段の駆動中は前記オートフォーカス駆動手段により前記観察光学系を所定位置に合焦させることを特徴とする内視鏡装置。
【0072】
(3) 前記管路機構駆動手段の操作スイッチは前記内視鏡の操作部に配置され、前記オートフォーカス制御手段は前記操作スイッチの操作に基づいて前記オートフォーカス駆動手段をロックさせることを特徴とする付記1に記載の内視鏡装置。
【0073】
【発明の効果】
以上説明したように本発明によれば、送気・送水・吸引等の管路系の操作時にフォーカシングが不必要に作動しないようにして、スムーズな観察が可能なオートフォーカス機能を持った内視鏡装置を提供できる効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る内視鏡装置の全体構成を示す構成説明図
【図2】第1の実施形態に係るオートフォーカス制御装置の主要部の構成を示すブロック図
【図3】フォーカス情報検出手段の第1の構成例を示すブロック図
【図4】フォーカス情報検出手段の第2の構成例を示すブロック図
【図5】本発明の第2の実施形態に係るオートフォーカス制御装置の主要部の構成を示すブロック図
【図6】本発明の第3の実施形態に係る内視鏡装置の全体構成を示す構成説明図
【図7】第3の実施形態に係るオートフォーカス制御装置の主要部の構成を示すブロック図
【符号の説明】
1…電子内視鏡
2…ビデオプロセッサ
3…光源装置
5…オートフォーカス制御装置
13…フォーカス調整レンズ
16…レンズ位置センサ
17…レンズ駆動手段
18…フォーカス情報検出手段
19…レンズ駆動制御手段
20…レンズ位置検出手段
25…送水スイッチ
27…CPU
28…接点切換部
29…アクチュエータドライバ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a medical endoscope apparatus with an autofocus function, and more particularly to an endoscope apparatus provided with an autofocus control apparatus that is optimal for in vivo observation.
[0002]
[Prior art]
A consumer video camera using an image pickup device such as a CCD is generally equipped with an autofocus function. However, medical electronic endoscopes have their own autofocus function due to the particularity of the environment in which they are used. A focus function is required.
[0003]
An example of the usage environment of medical electronic endoscopes is when you must observe the inside of a living body where a highly viscous liquid exists. It is necessary to keep it clean by mind. Further, in the observation in the stomach, since a large amount of gastric fluid often makes it difficult to observe the tissue, it is generally performed to suck from a forceps opening provided at the distal end of the endoscope.
[0004]
In an environment in which a liquid such as a body fluid or a cleaning liquid is present at such an observation site, the flow of the liquid such as the cleaning liquid directly hitting the observation window is observed, not the target to be observed originally. Therefore, when a general autofocus function used for consumer video cameras, etc. is applied, the liquid flowing on the observation window is in focus, and the object to be observed is not in focus at the moment when the water supply or the like ends. Since an inconvenience of being in a state occurs, an autofocus function that is not affected by such a liquid is desired.
[0005]
[Problems to be solved by the invention]
As described above, the autofocus function that enables the observation of the always focused state in the endoscope used in an environment where body fluid or washing liquid exists at the observation site is directly applied. If you try to do so, the liquid flowing on the observation window will be in focus during air supply / water supply / suction, and the moment the water supply etc. will end, the object will not be in focus. There arises a problem that the focused state cannot always be maintained with respect to the observation object. Moreover, since water supply and the like are performed very frequently, it is impossible to observe smoothly.
[0006]
The present invention has been made in view of these circumstances, and has an autofocus function that enables smooth observation so that focusing is not unnecessarily performed during operation of a pipeline system such as air supply, water supply, and suction. An object of the present invention is to provide an endoscope apparatus having the same.
[0007]
[Means for Solving the Problems]
A first endoscope apparatus according to the present invention includes an insertion unit that can be inserted into a subject, an imaging unit that is provided in the insertion unit for observing the subject, and a focus of an image captured by the imaging unit. A focus adjustment lens to be adjusted, a focus driving means for moving the focus adjustment lens, and an opening at the distal end side of the insertion portion. Water, air or suction A pipeline mechanism capable of While controlling the focus driving means based on the output image signal from the video processor that processes the image signal from the imaging means, Output according to the operation of the pipeline mechanism Auto focus control means for controlling to prohibit the operation of the focus drive means according to the focus operation control signal when a focus operation control signal to be operated is input It is characterized by having.
A second endoscope apparatus according to the present invention includes an insertion portion that can be inserted into a subject, and the insertion portion. Et An imaging unit for observing the subject, a focus adjustment lens for adjusting the focus of an image captured by the imaging unit, a focus driving unit for moving the focus adjustment lens, and a distal end side of the insertion unit At least have an opening Water, air or suction A pipe mechanism that can be operated by an operator, and the pipe mechanism Start water supply, air supply or suction operation A switch for outputting a signal for While controlling the focus driving means based on the output image signal from the video processor that processes the image signal from the imaging means, Output according to the operation of the switch Auto focus control means for controlling to prohibit the operation of the focus drive means according to the focus operation control signal when a focus operation control signal to be operated is input It is characterized by having.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIGS. 1 to 4 relate to a first embodiment of the present invention, FIG. 1 is an explanatory diagram showing the overall configuration of the endoscope apparatus, and FIG. 2 is a block diagram showing the configuration of the main part of the autofocus control apparatus. FIG. 3 is a block diagram showing a first configuration example of the focus information detection means, and FIG. 4 is a block diagram showing a second configuration example of the focus information detection means.
[0010]
The endoscope apparatus of the present embodiment includes an
[0011]
The
[0012]
A
[0013]
The
[0014]
The autofocus control device 5 is connected to the lens driving means 17 and controls the driving of the
[0015]
The
[0016]
Further, a
[0017]
The
[0018]
The signal line of the
[0019]
The
[0020]
Here, the detailed configuration of the focus
[0021]
In view of such circumstances, a configuration example of focus information detection means for performing autofocus suitable for endoscopic observation will be described below.
[0022]
FIG. 3 shows a first configuration example of the focus information detection means 18. The first configuration example includes an image
[0023]
The just
[0024]
When performing the focus adjustment, the contact of the image
[0025]
Once the just-focus state is reached, a switching signal is sent from the just-
[0026]
When the blur amount of the current image exceeds 30%, a switch signal is sent from the blur
[0027]
In this configuration example, focus information is detected as a blur amount, but it is also possible to obtain focus information using an image pattern instead of the blur amount. In other words, the blur
[0028]
In endoscopic observation, the objective optical system at the tip of the endoscope often moves in a narrow space at a dizzying speed.Therefore, a focus within a certain range is used as in this embodiment, rather than always focusing for just focusing. By providing a width, focusing can be followed only when necessary, and smooth observation becomes possible. In addition, since the observation depth cannot be increased too much with an endoscope, the entire screen is often out of focus when viewing a polybe or stomach wall obliquely, but autofocus control is performed as in this embodiment. As a result, focusing is not performed unnecessarily, and an appropriate observation image is obtained.
[0029]
FIG. 4 shows a second configuration example of the focus information detection means 18. The second configuration example includes an image
[0030]
The
[0031]
In this way, by operating the autofocus function at regular intervals, for example, unnecessary focusing following the pulsation in the stomach observation can be removed, and the focusing can be followed so that smooth observation is possible. Can do. Note that the interval for switching the image
[0032]
Next, the detailed configuration of the lens drive control means 19 will be described with reference to FIG. The lens
[0033]
Focus information, for example, a blur amount, is detected by the focus information detection means 18 based on the output video signal of the
[0034]
The
[0035]
When the
[0036]
On the other hand, when the
[0037]
As described above, the autofocus control device 5 of the present embodiment is configured to stop / activate the autofocus operation in conjunction with the on / off operation of the water supply operation by the
[0038]
According to this embodiment, a smooth autofocus operation is realized during normal observation, and an unnecessary autofocus function is not activated during the water supply operation, so that the cleaning liquid flowing on the observation window is in focus. It is possible to prevent the camera from being mixed, and the original observation target is not in focus even during or immediately after the water supply operation. Observation can be performed.
[0039]
In this embodiment, only the autofocus control during the water supply operation has been described. However, the autofocus control linked to the air supply or suction switch is performed so that the autofocus function does not operate during the air supply operation or the suction operation. It is clear that the same effect can be obtained by making the above. Similarly, by applying the configuration of the present embodiment to a freeze switch for obtaining a freeze image, an optimal freeze image without blurring can be obtained.
[0040]
FIG. 5 is a block diagram showing a configuration of a main part of an autofocus control apparatus according to the second embodiment of the present invention.
[0041]
The second embodiment is a configuration example in which the configuration of the lens drive control unit of the first embodiment is changed. The lens
[0042]
The
[0043]
When receiving the position control signal from the
[0044]
When the
[0045]
On the other hand, when the
[0046]
The predetermined position may be freely set according to the function to be obtained. For example, when the
[0047]
As described above, in the second embodiment, a smooth autofocus operation is realized during normal observation, and the focus adjustment lens is fixed at a predetermined position during operation of a pipeline system such as water supply, which is unnecessary. It is possible to prevent the autofocus function from being activated, and natural observation is possible without greatly defocusing during or immediately after operation of the pipeline system.
[0048]
6 and 7 relate to a third embodiment of the present invention, FIG. 6 is a configuration explanatory view showing the overall configuration of the endoscope apparatus, and FIG. 7 is a block diagram showing the configuration of the main part of the autofocus control apparatus. is there.
[0049]
In order to perform quick focusing control in the autofocus means, it is effective to detect the focal position at that time, for example, the lens position, and control it together with information such as the amount of blur of the image. In general autofocus means for video cameras, it is necessary to provide a sensor for detecting the position of the lens. However, if this is applied to an endoscope as it is, the amount of the tip of the endoscope will inevitably be increased. It will lead to thickening.
[0050]
Thus, in the third embodiment, a configuration example is shown in which quick autofocus adjustment can be performed without increasing the diameter of the endoscope.
[0051]
The lens driving means 51 disposed at the
[0052]
The
[0053]
The lens driving means 51 is configured to move the
[0054]
The
[0055]
The
[0056]
In this embodiment, since the operation signals from the
[0057]
Next, a detailed configuration of the
[0058]
Focus information, for example, a blur amount, is detected by the focus information detection means 53 based on the output video signal of the
[0059]
The
[0060]
The first
[0061]
Based on the position control signal from the
[0062]
When the AF on / off
[0063]
After the focus position reset pulse signal is once sent from the reset
[0064]
When the AF on / off
[0065]
At this time, when the AF on / off
[0066]
When the
[0067]
On the other hand, when the
[0068]
As described above, in the third embodiment, it is possible to switch the autofocus function when the user desires by operating the AF on / off
[0069]
In addition, since the lens position sensor is unnecessary in the third embodiment, the diameter of the endoscope tip can be reduced without becoming unnecessarily large, and the time for receiving information from the lens position sensor This eliminates the need for a fast autofocus control.
[0070]
[Appendix]
(1) An autofocus driving means for driving and focusing a part of the observation optical system provided at the distal end portion of the insertion portion, and a conduit mechanism for transmitting fluid between the distal end portion of the insertion portion and the proximal side. An endoscope having;
A video processor for processing an image signal captured through the observation optical system;
Autofocus control means for controlling the autofocus drive means based on an image signal output from the video processor;
A pipeline mechanism driving means for driving the pipeline mechanism;
An endoscopic device comprising:
The endoscope apparatus, wherein the autofocus control means locks the autofocus drive means while the conduit mechanism drive means is being driven.
[0071]
(2) An autofocus driving means for performing focusing by driving a part of the observation optical system provided at the distal end portion of the insertion portion, and a conduit mechanism for transmitting fluid between the distal end portion of the insertion portion and the proximal side. An endoscope having;
A video processor for processing an image signal captured through the observation optical system;
Autofocus control means for controlling the autofocus drive means based on an image signal output from the video processor;
A pipeline mechanism driving means for driving the pipeline mechanism;
An endoscopic device comprising:
The endoscope apparatus according to
[0072]
(3) The operation switch of the conduit mechanism driving unit is disposed in the operation unit of the endoscope, and the autofocus control unit locks the autofocus driving unit based on the operation of the operation switch. The endoscope apparatus according to
[0073]
【The invention's effect】
As described above, according to the present invention, an endoscope having an autofocus function capable of performing smooth observation so that focusing is not unnecessarily performed during operation of a pipeline system such as air supply / water supply / suction. There is an effect that a mirror device can be provided.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing the overall configuration of an endoscope apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a main part of the autofocus control device according to the first embodiment.
FIG. 3 is a block diagram showing a first configuration example of focus information detection means;
FIG. 4 is a block diagram showing a second configuration example of focus information detection means;
FIG. 5 is a block diagram showing a configuration of a main part of an autofocus control device according to a second embodiment of the present invention.
FIG. 6 is an explanatory diagram showing the overall configuration of an endoscope apparatus according to a third embodiment of the present invention.
FIG. 7 is a block diagram showing a configuration of a main part of an autofocus control device according to a third embodiment.
[Explanation of symbols]
1 ... Electronic endoscope
2 ... Video processor
3. Light source device
5 ... Autofocus control device
13. Focus adjustment lens
16. Lens position sensor
17 ... Lens driving means
18: Focus information detecting means
19: Lens drive control means
20 ... Lens position detection means
25 ... Water switch
27 ... CPU
28 ... Contact switching part
29 ... Actuator driver
Claims (2)
前記挿入部に設けられ前記被検体を観察するための撮像手段と、
前記撮像手段が撮像する像の焦点を調整するフォーカス調整レンズと、
前記フォーカス調整レンズを移動させるためのフォーカス駆動手段と、
前記挿入部の先端側に開口を有し少なくとも送水、送気または吸引が可能な管路機構と、
前記撮像手段からの画像信号を処理するビデオプロセッサからの出力画像信号を基に前記フォーカス駆動手段を制御すると共に、前記管路機構の動作に応じて出力されるフォーカス動作制御信号を入力した際には、当該フォーカス動作制御信号に応じて前記フォーカス駆動手段の動作を禁止するように制御するオートフォーカス制御手段と、
を有することを特徴とする内視鏡装置。An insertion section that can be inserted into a subject;
Imaging means provided in the insertion portion for observing the subject;
A focus adjustment lens that adjusts the focus of an image captured by the imaging means;
Focus drive means for moving the focus adjustment lens;
A conduit mechanism having an opening on the distal end side of the insertion portion and capable of at least water supply, air supply or suction ;
When the focus driving means is controlled based on an output image signal from a video processor that processes an image signal from the imaging means, and a focus operation control signal output according to the operation of the conduit mechanism is input. Is an autofocus control means for controlling the operation of the focus drive means in accordance with the focus operation control signal ;
An endoscope apparatus characterized by comprising:
前記挿入部に設けられ前記被検体を観察するための撮像手段と、
前記撮像手段が撮像する像の焦点を調整するフォーカス調整レンズと、
前記フォーカス調整レンズを移動させるためのフォーカス駆動手段と、
前記挿入部の先端側に開口を有し少なくとも送水、送気または吸引が可能な管路機構と、
操作者が操作可能で、前記管路機構による送水、送気または吸引動作を開始するための信号を出力するスイッチと、
前記撮像手段からの画像信号を処理するビデオプロセッサからの出力画像信号を基に前記フォーカス駆動手段を制御すると共に、前記スイッチの動作に応じて出力されるフォーカス動作制御信号を入力した際には、当該フォーカス動作制御信号に応じて前記フォーカス駆動手段の動作を禁止するように制御するオートフォーカス制御手段と、
を有することを特徴とする内視鏡装置。An insertion section that can be inserted into a subject;
The insertion portion is provided et Re said imaging means for observing the subject,
A focus adjustment lens that adjusts the focus of an image captured by the imaging means;
Focus drive means for moving the focus adjustment lens;
A conduit mechanism having an opening on the distal end side of the insertion portion and capable of at least water supply, air supply or suction ;
A switch that can be operated by an operator and outputs a signal for starting water supply, air supply or suction operation by the pipe line mechanism;
When controlling the focus driving means based on an output image signal from a video processor that processes an image signal from the imaging means, and when inputting a focus operation control signal output according to the operation of the switch , Autofocus control means for controlling the focus drive means to be prohibited in accordance with the focus operation control signal ;
An endoscope apparatus characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27833896A JP3811230B2 (en) | 1996-10-21 | 1996-10-21 | Endoscope device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27833896A JP3811230B2 (en) | 1996-10-21 | 1996-10-21 | Endoscope device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10118008A JPH10118008A (en) | 1998-05-12 |
JP3811230B2 true JP3811230B2 (en) | 2006-08-16 |
Family
ID=17595948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27833896A Expired - Fee Related JP3811230B2 (en) | 1996-10-21 | 1996-10-21 | Endoscope device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3811230B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5290080B2 (en) * | 2009-07-24 | 2013-09-18 | オリンパス株式会社 | Endoscope device |
JP5953049B2 (en) * | 2012-01-24 | 2016-07-13 | オリンパス株式会社 | Endoscope system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0336514A (en) * | 1989-07-03 | 1991-02-18 | Olympus Optical Co Ltd | Electronic endoscope device equipped with automatic dimming means |
JP3594254B2 (en) * | 1994-10-06 | 2004-11-24 | オリンパス株式会社 | Endoscope device |
-
1996
- 1996-10-21 JP JP27833896A patent/JP3811230B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10118008A (en) | 1998-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8602979B2 (en) | Electronic endoscope having front-view and side-view image capturing | |
JP4856286B2 (en) | Endoscope system | |
US6749561B2 (en) | Autofocusing endoscopic system | |
JP5385163B2 (en) | Endoscope system | |
JP6140362B2 (en) | Endoscope device | |
JP3594254B2 (en) | Endoscope device | |
JPH10511298A (en) | Endoscope without fog damage | |
JP5547118B2 (en) | Image acquisition device and method of operating image acquisition device | |
US20070223898A1 (en) | Endoscopic apparatus | |
JP3980284B2 (en) | Endoscope device | |
JP4339823B2 (en) | Endoscope device | |
JP3083353B2 (en) | Endoscope device | |
JP3811230B2 (en) | Endoscope device | |
JP3955458B2 (en) | Endoscope autofocus device | |
JP2009207806A (en) | Light source device of endoscope | |
JPH10118007A (en) | Endoscope | |
JP4127731B2 (en) | Endoscope device | |
JP3756598B2 (en) | Endoscope device | |
JP2761246B2 (en) | Endoscope device | |
JP3811289B2 (en) | Endoscope device | |
JP4073726B2 (en) | Autofocus electronic endoscope | |
JP4142363B2 (en) | Autofocus electronic endoscope | |
JP3017769B2 (en) | Endoscope device | |
JP3756634B2 (en) | Endoscope device | |
JPH0815614A (en) | Endoscope device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060526 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090602 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130602 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |