JP4024365B2 - 電子内視鏡システム - Google Patents

電子内視鏡システム Download PDF

Info

Publication number
JP4024365B2
JP4024365B2 JP32959297A JP32959297A JP4024365B2 JP 4024365 B2 JP4024365 B2 JP 4024365B2 JP 32959297 A JP32959297 A JP 32959297A JP 32959297 A JP32959297 A JP 32959297A JP 4024365 B2 JP4024365 B2 JP 4024365B2
Authority
JP
Japan
Prior art keywords
image
scan
mode
scan mode
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32959297A
Other languages
English (en)
Other versions
JPH11137515A (ja
Inventor
春彦 日比
亮 小池
Original Assignee
ペンタックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペンタックス株式会社 filed Critical ペンタックス株式会社
Priority to JP32959297A priority Critical patent/JP4024365B2/ja
Publication of JPH11137515A publication Critical patent/JPH11137515A/ja
Application granted granted Critical
Publication of JP4024365B2 publication Critical patent/JP4024365B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、撮像装置を備えたスコープ、画像処理装置を備えた光源装置、およびモニタからなる電子内視鏡システムに関し、さらに詳しくは、上記構成においてモニタのスキャンモードが変更可能な電子内視鏡システムに関する。
【0002】
【従来の技術】
従来より、スコープ先端に設けられた撮像装置により患部を撮像し、撮像装置から出力される画像信号を画像処理装置により処理して、モニタに表示する電子内視鏡システムが知られている。
【0003】
通常モニタには撮像装置により撮像された患部の映像に加えて、種々の情報、例えば患者に関する情報や、日付、時刻などの情報がスーパーインポーズされて(合成されて)表示される。あるいは、画像処理装置が親画面と子画面の2画面のビデオ信号を生成することが可能な装置の場合には、モニタ上では親画面と子画面が合成されて表示される。
【0004】
従来より、複数のスキャンモードを有するモニタ装置が知られている。このモニタ装置を電子内視鏡システムのモニタとして採用することにより、モニタのスキャンモードを変更することによって、モニタのスクリーンに表示される画像の領域を変更することができる。
【0005】
【発明が解決しようとする課題】
しかし、上述のように、撮像画像とその他の情報を重畳させて表示させたり、親画面と子画面とを合成して表示させるような画像処理装置から出力されるビデオ信号を用いて表示するモニタにおいてスキャンモードを変更した場合、次のような問題がある。
【0006】
例えばモニタが、ノーマルスキャンモードとアンダースキャンモードの2つの表示モードを有する場合を考える。なお、ここではノーマルスキャンモードは、モニタのスクリーンよりも広い範囲で走査するモード、これに対しアンダースキャンモードは、画像表示のための走査領域をノーマルスキャンモードの時よりも縮小する(モニタのスクリーンと走査領域が略一致する)スキャンモードとして説明する。
【0007】
ノーマルスキャンモードで表示される画像に対してアンダースキャンモードで表示された画像は、例えば全データを5%圧縮した状態で表示される。一般には、撮像画像と合成されたその他の情報とのモニタスクリーン上での位置関係はノーマルスキャンモードで表示された場合を基準にして設定されている。ところが、画像処理装置から出力されたビデオ信号をそのまま用いつつモニタをアンダースキャンモードで動作させると、付加された情報(例えば文字情報)がモニタスクリーンの中央寄りに表示されてしまい、観察の障害となる場合がある。これは親画面と子画面を合成する場合も同様で、ノーマルスキャンモードでスクリーン周辺部に表示されていた子画面が、同一のビデオ信号を用いてアンダースキャンモードで表示を行うと、中央寄りに表示されることになる。図11にその例を示す。図11において、実線はモニタのスクリーンを示している。ノーマルスキャン時に文字情報がスクリーンの周縁部に表示されるように設定されていると、アンダースキャンでモニタを動作させた場合、図11に示すように、文字情報が中央寄りに表示されてしまうという問題があった。
【0008】
これに対し、アンダースキャンモードでの表示にあわせて他の情報の表示位置を設定すると(すなわち、アンダースキャンモードでモニタを動作させたときに文字情報がスクリーンの周縁部に表示されるように設定すると)、同一のビデオ信号を用いてノーマルスキャンモードで表示を行った場合に、図12に示すように、今度は逆に情報の一部がスクリーン領域の外にはみ出し、スクリーンに必要な情報が完全に表示されない場合がある。
【0009】
本発明は、上記の事情に鑑み、複数のスキャンモードを有するモニタを備えた電子内視鏡システムにおいて、モニタのスキャンモードに対応して、適切な位置に撮像画像と、撮像画像とは別の第2の画像が表示されるような電子内視鏡システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
上記の目的を達成するため、本発明の電子内視鏡システムは、撮像装置を備えたスコープと、前記スコープにより撮像された第1の画像を、走査範囲または走査線数のいずれかが異なる少なくとも2種類のスキャンモードで動作可能な表示装置と、前記表示装置に、前記第1の画像とは異なる第2の画像を、前記スコープにより撮像された画像に重ね合わせて表示する画像処理装置と、を有し、前記画像処理装置は前記少なくとも2種類の走査線数のスキャンモードのいずれのモードで表示が行われるかに対応して前記第1の画像に重ね合わされる前記第2の画像の前記スクリーン上の位置を切り換えることを特徴としている(請求項1)。すなわち、画像処理装置から表示装置に送られるビデオ信号が同一のビデオ信号であれば、走査線数が多いほどスクリーン上の像の大きさは小さくなる。従って、ビデオ信号を生成する際に第1の画像と第2の画像との位置関係を変えることにより、走査線数が変わってもスクリーン上で適正な位置関係となるよう両画像を表示させることができる。
【0011】
ここで、前記第2の画像は文字画像とすることができる(請求項2)。この時、前記画像処理装置は、前記少なくとも2種類の異なるスキャンモードのいずれにおいても、前記第2の画像が、略同じ大きさで前記スクリーンに表示されるよう、前記第1の画像に重ね合わされる前記第2の画像の大きさを調整することができる構成であってもよい(請求項3)。
【0012】
あるいは、前記第2の画像は文字画像ではなく、第1の画像と同様前記スコープにより撮像された画像であり、前記第1の画像と前記第2の画像のいずれか一方は静止画像であり、他方は動画であってもよい(請求項4)。
【0013】
なお、前記少なくとも2種類のスキャンモードは、第1のスキャンモードと第2のスキャンモードを有し、前記表示装置は前記第1のスキャンモードと前記第2のスキャンモードとを切り換える切換手段を有するものであってよい(請求項5)。すなわち、表示装置側の操作でスキャンモードを切り換えることができるものであってよい。
【0014】
この時、前記表示装置は前記画像処理装置に前記第1のスキャンモードと前記第2のスキャンモードのいずれが選択されているかを示すスキャンモード情報を送信するための通信手段を有し、前記画像処理装置は前記通信手段を介して前記表示装置より受信したスキャンモード情報に応じて前記第1の画像に重ね合わされる前記第2の画像の前記スクリーン上の位置を切り換えるよう構成されていることが望ましい(請求項6)。この構成によれば、単に表示装置側でスキャンモードを切り換えるだけで、自動的に第2の画像のスクリーン上の位置がスキャンモードに対応した位置に切り換えられるため、操作の煩わしさがなくなる。
【0015】
なお、前記少なくとも2種類のスキャンモードは、走査範囲が異なるノーマルスキャンモードとアンダースキャンモードを含む(請求項7)ものであってもよく、また、少なくとも走査線数が異なる2種類のスキャンモードを含んでいてもよい(請求項8)。
【0016】
前記少なくとも2種類のスキャンモードは、第1のスキャンモードと第2のスキャンモードを有し、前記画像処理装置は、前記第1のスキャンモードに対応して前記第1の画像に重ね合わされる前記第2の画像の前記スクリーン上の位置を設定する第1の動作モード、または前記第2のスキャンモードに対応して前記第1の画像に重ね合わされる前記第2の画像の前記スクリーン上の位置を設定する第2の動作モードで動作し、前記第1の動作モードと前記第2の動作モードとを利用者が選択するための選択手段を有するものであっても良い(請求項9)。すなわち、画像処理装置側でスキャンモードに応じた動作モードを設定することが可能であることが好ましい。
【0017】
さらに、前記表示装置は前記画像処理装置において前記第1の動作モードと前記第2の動作モードのいずれが選択されているかを示す動作モード情報を受信するための受信手段を有し、前記表示装置は前記通信手段を介して前記画像処理装置より受信した前記動作モード情報に応じて前記第1のスキャンモードまたは前記第2のスキャンモードを設定する設定手段を有する構成とすることができる(請求項10)。この場合には、画像処理装置側の動作モードの設定に呼応して自動的に表示装置のスキャンモードが変更されるため、操作が極めて容易になる。
【0018】
また、前記スコープは、前記撮像素子の画素数を格納した記憶手段を有し、前記画像処理装置は前記記憶手段に格納された前記画素数を読み取る読み取り手段と、前記画素数に応じて前記少なくとも2種類のスキャンモードのそれぞれが選択可能か否かを判定する判定手段と、を有する構成とすることができる(請求項11)。この構成によれば、使用されているスコープがどのスキャンモードに対応しているかが自動的に判定されるため、利用者はスコープの撮像素子の性能について注意を払う必要がなくなる。
【0019】
また、本発明の電子内視鏡システムは、画像処理装置に脱着可能な、撮像装置を備えたスコープと、前記スコープにより撮像された第1の画像を、少なくとも、第1のスキャンモードと第2のスキャンモードでスクリーンに表示することが可能な表示装置と、前記表示装置に、前記第1の画像とは異なる第2の画像を、前記第1の画像に重ね合わせて表示する画像処理装置と、を有し、前記表示装置は前記第1のスキャンモードと第2のスキャンモードのいずれのモードで表示を行うかを設定する第1の設定手段を有し、前記画像処理装置は前記第1のスキャンモードに対応した第1の動作モードと前記第2のスキャンモードに対応した第2の動作モードのいずれのモードで動作するかを設定する第2の設定手段を有し、前記表示装置は前記第1の設定手段による設定内容を前記画像処理装置に送信すると共に、前記第2の設定手段による設定内容を前記画像処理装置より受信する通信手段を有し、前記第2の設定手段により設定された前記第1の動作モードまたは前記第2の動作モードに対応して前記第1のスキャンモードまたは前記第2のスキャンモードが設定され、前記画像処理装置は前記第1の動作モードと前記第2の動作モードのいずれの動作モードで動作するかにより前記第1の画像に重ね合わされる前記第2の画像の前記スクリーン上の位置が異なる位置となることを特徴としている(請求項12)。
【0020】
なお、前記画像処理装置は、前記スクリーンに内包される円形の領域にのみ前記第1の画像が表示されるようマスキング処理を施すことができる構成とすることが可能である(請求項13)。
【0021】
また、別の観点からは、本発明の電子内視鏡システムは、撮像装置を備えたスコープと、前記スコープにより撮像された第1の画像を、少なくとも2種類の異なるスキャンモードでスクリーンに表示することが可能な表示装置と、前記表示装置に、前記第1の画像とは異なる第2の画像を、前記スコープにより撮像された画像に重ね合わせて表示する画像処理装置とを有し、前記画像処理装置は前記少なくとも2種類の異なるスキャンモードのいずれのモードで表示が行われる場合にも、前記第2の画像が前記スクリーン上の略同一位置に表示されるよう、前記第1の画像に前記第2の画像を重ね合わせることを特徴としている(請求項14)。このような構成により、使用者は、スキャンモードが変わっても違和感無く観察を続けることができる。
【0022】
加えて、前記画像処理装置は、前記少なくとも2種類の異なるスキャンモードのいずれのモードで表示が行われる場合にも、前記第2の画像がほぼ同じ大きさで前記スクリーン上に表示されるよう、前記第1の画像に重ね合わせる前記第2の画像の大きさを調整するよう構成しても良い(請求項15)。
【0023】
この場合にも、前記少なくとも2種類のスキャンモードは、走査範囲が異なるノーマルスキャンモードとアンダースキャンモードを含む(請求項16)ものであってもよく、また、少なくとも走査線数が異なる2種類のスキャンモードを含んでいてもよい(請求項17)。
【0024】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の実施の形態としての電子内視鏡システム100の構成を示すブロック図である。
【0025】
電子内視鏡システム100は、スコープ部7、画像処理装置21、モニタ装置29を備えている。スコープ部7は、可撓性の導管からなる挿入部4を有し、挿入部4の先端には固体撮像素子としてのCCDイメージセンサ5(以下、CCDと略す)とCCD5の前方(図中左側)に対物レンズ6が配設されている。なお、CCD5はいわゆる単板式カラーCCDで、受光面にカラーフィルタが設けられている。対物レンズ6により観察対象(撮像体)の光学像がカラーCCD5の受光面上に形成される。スコープ部7には、また、光ファイバ束からなるライトガイド1が挿通されている。ライトガイド1の一端(光射出端)は挿入部4の前端部(図中左側端部)に配置され、配光レンズ2を介して観察対象に対して光を照射する。
【0026】
スコープ部7には、トリガスイッチ101が設けられている。観察画面がモニタ装置29に表示されている時にトリガスイッチ101を操作すると、観察画面が親画面と子画面とに別れ、親画面にはトリガスイッチ101が操作された時点の観察画像の静止画が表示され、子画面に現在撮像されている部分の画像が動画として表示される。
【0027】
スコープ部7には、さらに、EEPROM102が内蔵されている。EEPROM102にはCCD5の画素数情報が格納されている。
【0028】
スコープ部7は結合部8を介して画像処理装置21と着脱自在に結合される。スコープ部7内の結合部8近傍には、CCD5からの映像信号に所定の信号処理を施す信号処理装置10が内蔵されている。ライトガイド1の他端は結合部8を介して画像処理装置21内に達し、ライトガイド1の端面がコンデンサレンズ11に臨んだ位置で固定される。
【0029】
ランプ用電源16によりランプ13が駆動される。ランプ13から照射された照明光は、光量調整手段である絞り機構12により光量を調整された状態でコンデンサレンズ11により集光され、ライトガイド1の端面に入射する。ライトガイド1に入射した光はライトガイド1内を通り、挿入部4の先端側の端面から射出され、照射レンズ2を介して観察対象に向けて射出される。
【0030】
観察対象により反射された照明光は、対物レンズ6によりカラーCCD5の受光面上に結像される。CCD5は、受光面に形成された光学像に対応したカラー映像信号を信号処理装置10へ伝送する。詳しくは後述するが、信号処理装置10は、CCD5の駆動および、各種の信号処理を行い、画像処理装置21に対して、輝度信号(Y)、色差信号(R−Y、B−Y)を出力する。
【0031】
画像処理装置21に送られた上記の信号はプリプロセッサ22に入力される。プリプロセッサ22に入力された2つの色差信号(R−Y、B−Y)、および輝度信号(Y)はA/D変換器18A、18B、18Cにそれぞれ入力され、デジタル信号に変換された後に、タイミングジェネレータ17が出力する同期信号に同期してメモリ19に格納される。メモリ19に格納されたデータは、フリーズ処理、補間処理など所定の画像処理が施された後、タイミングジェネレータ17より出力されるTV同期信号に同期して読み出され、D/A変換器23A、23B、23Cでアナログ信号に変換され、信号処理回路28により、RGBビデオ信号としてモニタ装置29に出力される。モニタ装置29は、信号処理回路28から送られてきたRGBビデオ信号に基づきカラー画像を表示する。輝度信号(Y)は、調光回路20にも入力される。
【0032】
調光回路20は、輝度信号Yが所定の値になるよう絞り機構12を制御することにより、観察対象に投光される光量を調節する。即ち、輝度信号Yの値が所定値より小さい場合(輝度が低い場合)には光量が増加するように、また輝度信号Yの値が所定値より大きい場合(輝度が高い場合)には、光量が減少するように絞り機構12を制御駆動することにより、常にほぼ一定の輝度が得られるようにしている。
【0033】
さらに、輝度信号Yのレベルが低く、輝度信号Yの示す値が所定の閾値より小さくなる場合には、システムコントローラ27に輝度情報信号Yのレベルが低いことを示す信号を送出する。輝度情報信号Yのレベルが低い場合に、システムコントローラ27は、信号処理装置10に所定のコマンドを送出し、CCD5の電荷蓄積時間を変更することができる。すなわち、観察対象の輝度が比較的高いときには、通常のフレーム蓄積駆動でCCD5が駆動され、観察対象の輝度が比較的低い場合には低シャッターモードであるフィールド蓄積駆動でCCD5が駆動される。なお、信号処理装置10はCCD5の駆動信号に同期したサンプル/ホールド制御信号をシステムコントローラ27に出力する。
【0034】
システムコントローラ27には、キーボード26も接続されている。キーボード26は、患者に関するデータなど各種データおよびコマンドの入力に用いられる。システムコントローラ27は、さらに後述する微調整データを格納したEEPROM271、キーボード26から入力された表示用の文字コードを表示用のビットマップに展開するためのキャラクタジェネレータ272、キャラクタジェネレータ272で生成された表示用ビットマップデータを格納するメモリ273を有している。メモリ273に格納されたデータは信号処理回路28に送られ、上述のRGBビデオ信号生成の際にD/A変換器23A、23B、23Cから出力された信号と合成されてモニタ装置29へ送られる。すなわち信号処理回路28において画像の合成が行われることになる。
【0035】
モニタ装置29には、スキャンモードをノーマルスキャンモードとアンダースキャンモードとの間で切り換えるスイッチが設けられた操作パネル291が設けられている。なお、ノーマルスキャンモードは、モニタのスクリーンよりも広い範囲で走査するモード、アンダースキャンモードは、画像表示のための走査領域をノーマルスキャンモードの時よりも縮小する(モニタのスクリーンと走査領域が略一致する)スキャンモードである。本実施の形態においては、CCD5のサイズ(画素数)はモニタ装置29のスクリーン29Sに対応したサイズとなっている。すなわち、CCD5の画素数は、モニタ装置29がノーマルスキャンモードで動作しているときにCCD5で撮像した全データの91〜96パーセントがスクリーン29Sに表示されるような画素数となっている(図3に示すように、CCD5の有効撮像範囲がスクリーン29Sのサイズよりやや大きくなる)。なお、レンズ6はCCD5の全有効エリアで観察対象の像が結像するように設計されている。
【0036】
図2は、モニタ装置29の構成を示すブロック図である。モニタ装置29は、前述の操作パネル291、画像表示のためのCRT294、信号処理回路28からRGBビデオ信号を受信しCRT294に画像を表示させるための走査回路292、システムコントローラ27と接続されて、通信を行う通信回路295、各回路の制御を行うCPU293を有している。
【0037】
前述のように、操作パネル291の操作により、モニタ装置29のスキャンモードをノーマルスキャンモードとアンダースキャンモードとの間で切り換えることができる。すなわち、操作パネル291の操作がCPU293に入力され、CPU293が走査回路292を制御して走査線の本数、走査周期などの設定を変更してスキャンモードを切り換える。
【0038】
モニタ装置29の操作パネル291によりスキャンモードが切り換えられると、CPU293は通信回路295によりいずれのスキャンモードが設定されたかを画像処理装置20のシステムコントローラ27に送信する。システムコントローラ27は、通信回路295から出力された、設定されたスキャンモードの情報を受信すると、信号処理回路28を制御して、撮像画像に合成される画像、すなわちメモリ273に格納されている画像が表示される位置が、現在モニタ装置29において設定されているスキャンモードに対応した位置となるよう、信号の合成のタイミングを調整する。すなわち、ノーマルスキャンモードの時には、図3に示すように、モニタ装置29の走査範囲がスクリーン29Sより広い範囲に設定されるため、CCD5により撮像された全データ(破線で示す)の周辺部はスクリーン29Sには表示されない。このため、スクリーン29Sに表示される画像の周辺部にメモリ273に格納されているデータが合成されるよう、即ち、スクリーン29Sの周辺部に文字情報が表示されるように、信号の合成(画像の合成)が行われる。
【0039】
一方、アンダースキャンモードが設定された場合には、モニタ装置29の走査範囲はスクリーン29Sの領域とほぼ一致する。この時、CCD5の全有効撮像範囲の画素に対応する画像は、スクリーン29Sとほぼ一致する(図4の実線でしめす領域)。図4の破線で示す領域が、ノーマルスキャンモードで表示した場合の表示領域に相当する。この場合には、システムコントローラ27は、スクリーン29Sの周辺部に、メモリ273に格納されているデータが合成されるよう信号処理回路28を制御する(図4参照)。
【0040】
なお、メモリ273に格納されたデータを撮像画像のどの位置に合成するかに関する情報は、EEPROM271に格納されている。そして、この情報は、キーボード26を用いて利用者が変更することができるようになっている。位置情報が変更されると、変更内容がEEPROM271に書き込まれ、次に電子内視鏡システム100を利用するときには、変更された位置情報に基づいて画像の合成が行われる。
【0041】
EEPROM271に書き込まれるデータについて以下に説明する。
EEPROM271においては、画面のどの位置にキャラクタジェネレータによる表示情報を位置させるかの情報は、ノーマルスキャンモード用情報と、アンダースキャンモード用情報とで独立して設定できるが、そのキャラクタ表示の上限左側位置、上限右側位置、下限左側位置、下限右側位置の4点、およびこれら4点に対応する画像データが格納される表示用RAMのアドレスが、各モード毎に予め格納されいる。
【0042】
そして、ノーマルスキャンモードとアンダースキャンモードのどちらが選択されているかに応じて上限左側位置、上限右側位置、下限左側位置、下限右側位置の4点の位置が切り替わるようになっている。
【0043】
さらに、文字情報をモニタ29のスクリーン29S上に表示した際に、この4点で囲まれる領域内に収まるように、文字情報に対応した画像データを格納する表示用RAMの各アドレスが自動的に調整されるように構成されている。
【0044】
モニター表示用のデータを格納するRAMにおけるアドレスを模式的にモニタ上のXY方向の2次元座標値(x,y)として(キャラクタ表示領域の左下を原点、X軸方向の最大値を378、Y軸方向の最大値を490として)表すと、図5に示すように、アンダースキャンモードの場合は、上限左側位置、上限右側位置、下限左側位置、下限右側位置の4点は、それぞれ、(0,0)、(378,0)、(0,490)、(378,490)に設定され、各限界点に対応する表示用RAMのアドレスの範囲内において、表示する文字情報の画像データを格納する。
【0045】
一方、ノーマルスキャンモードの場合、図6に示すように、上限左側位置、上限右側位置、下限左側位置、下限右側位置の4点は、それぞれ、(15,15)、(363,15)、(15,475)、(363,475)に設定されており、水平方向、垂直方向にそれぞれ15画素分ずつシフトしている。
【0046】
従って、例えば、アンダースキャンモードにて所定位置に表示されていた文字情報は、スキャンモードがノーマルスキャンモードに変更されると、表示位置が水平方向、垂直方向にそれぞれ15画素分ずつシフトし、キャラクタジェネレータによる表示情報の位置がモニタ画面の中心に向けて移動する。
【0047】
このように、キャラクタジェネレータによる表示情報のスクリーン29Sにおける上下左右の限界位置をスキャンモードに応じて切り替えるので、図10のように、キャラクタージェネレータによる表示情報がモニター画面から切れてしまうという問題が防止される。なお、スキャンモードをノーマルスキャンモードに切り替えた場合の上記シフト量は任意の値を設定して良いが、本実施形態の場合、シフト量は、アンダースキャンモード表示による縮小率を考慮して、スキャンモードを切り替えてもキャラクタジェネレータにより形成される文字情報のスクリーン29S上の表示位置が、ほぼ等しくなるような値に設定している。スキャンモードを切り替えても、つねに文字情報が同位置に表示されるため、文字情報が見やすいという利点があり、この様に設定しておくことが望ましい。
【0048】
本実施の形態の電子内視鏡システムにおいては、モニタ装置29が通信回路295を有するため、画像処理装置21側での設定に応じてモニタ装置29のスキャンモードを変更することも可能である。
【0049】
上述のように、モニタ装置29側でノーマルスキャンまたはアンダースキャンモードが設定されると、画像処理装置21側では、設定されたスキャンモードに応じて画像処理の方法を変更している。ノーマルスキャンに対応した処理を第1の動作モード、アンダースキャンに対応した処理を第2のモードとすると、画像処理装置26のキーボード26を用いて、画像処理装置26の動作モードを第1の動作モードと第2の動作モードとの間で切り換えることができる。
【0050】
この場合(すなわち画像処理装置側で動作モードが切り換えられた場合)、システムコントローラ27から通信回路295へ、設定された動作モードの情報が送信される。
【0051】
モニタ装置29側では、通信回路295が動作モード情報を受信すると、CPU293が、受信した動作モードに応じて走査回路292を制御して、スキャンモードを切り換える。すなわち、画像処理装置21において第1の動作モードが設定されると、CPU293は走査回路292を制御してノーマルスキャンモードで画像表示を行う。一方、画像処理装置21において、第2の動作モードが設定された場合には、CPU293は走査回路292を制御してアンダースキャンモードで画像の表示を行う。
【0052】
図7および図8は、画像処理装置21のシステムコントローラ27により実行される処理を説明するフローチャートである。この処理は、例えば、スコープ部7が画像処理装置21に接続されるとスタートする処理である。
【0053】
スコープ部7が画像処理装置21に接続されると、システムコントローラ27は、スコープ部7に内蔵されているEEPROM102にアクセスする。使用されるスコープ部7によってはEEPROM102が内蔵されていない場合がある。S2において、EEPROM102がスコープ部7に内蔵されているか否かを判断し、スコープ部7にEEPROM107が存在しない場合には(S3:NO)、画像処理装置21の動作モードをノーマルスキャンに対応したモード(上記第1の動作モード)に設定する。EEPROM107がスコープ部7に内蔵されている場合には(S3:YES)、S5においてEEPROM107に格納されている画素情報に基づき、アンダースキャンモードで表示可能かどうかを判定する。すなわち、CCD5の画素数が、ノーマルスキャンで表示した場合のスクリーン29Sの領域よりも大きい撮像範囲を有する場合にはアンダースキャン表示することにより、ノーマルスキャンの場合よりも広い領域の撮像画像を観察することができる。
【0054】
S5において、画素数がアンダースキャンモードに適さないと判定された場合には(S5:NO)、S9において画像処理装置21の動作モードを第1の動作モード、すなわちノーマルスキャンモードに対応した動作モードに設定する。
【0055】
画素数がアンダースキャンモードに適していると判定された場合には(S5:YES)、システムコントローラ27は、モニタ装置29と通信が可能か否かを判定する(S7)。モニタ装置29が通信回路295を備えている場合には(S7:YES)、S11において、モニタ装置29のスキャンモードをアンダースキャンモードに設定するためのコマンドを通信回路295に送信する。次いでS13において、画像処理装置21の動作モードを第2の動作モード、すなわちアンダースキャンモードに対応した動作モードに設定する(S13)。
【0056】
画素数がアンダースキャンモードに適していると判定され(S5:YES)、モニタ装置29との通信ができない場合には(S7:NO)、モニタ装置29のスクリーン29Sに、アンダースキャンモードでの表示に適していることを示すメッセージ、記号などを表示し(S15)、画像処理装置21の動作モードをノーマルスキャンモードに対応した第1の動作モードに設定する。ここで画像処理装置21の動作モードを第1のモードに設定するのは、もしもモニタ装置29がアンダースキャンモードを有しない装置の場合でも、適正に画像が表示されるようにするためである。もしも、モニタ装置29がアンダースキャンモードで表示可能であれば、モニタ装置29に設けられた操作部材などによりモニタ装置29のスキャンモードをアンダースキャンモードにし、同時に、キーボード26などの操作により、画像表示装置21の動作モードを第2の動作モードに変更すればよい。
【0057】
S9、S13またはS17において画像処理装置21の動作モードの設定が行われると、処理は図8のS21へ進む。S21では画像処理装置21のキーボード26の操作が行われたか否かを判断する。キーボード26の操作が行われていなければ(S21:NO)、次にモニタ装置29において操作パネル291によりスキャンモードの操作が行われたか否かを判定する。なお、モニタ装置29に通信回路295が設けられていない場合にはS23でNOと判定される。操作パネル291によるモニタ装置29のスキャンモードの変更が行われていなければ(S23:NO)、あるいは、モニタ装置29が通信回路295を備えていない場合には、処理はS45に進み、設定された動作モードに応じた画像処理を行う。
【0058】
S23において、モニタ装置29のスキャンモードの変更が行われたと判定された場合には(S23:YES)、モニタ装置29のスキャンモードの変更がアンダースキャンモードへの変更でないなら、すなわち、ノーマルスキャンモードへの変更であれば(S25:NO)、画像処理装置21の動作モードを第1の動作モード、すなわちノーマルスキャンモードに対応した動作モードに設定し(S27)、S45の処理へと進む。
【0059】
S25において、モード変更がアンダースキャンモードへの変更であると判定された場合には(S25:YES)、画像処理装置21の動作モードを第2の動作モード、すなわちアンダースキャンモードに対応した動作モードに設定し(S29)、S45の処理へと進む。
【0060】
すなわち、S23〜S29の処理において、システムコントローラ27は、画像処理装置21の動作モードをモニタ装置29において設定されたスキャンモードに対応した動作モードに設定する。
【0061】
S21において、キーボード26の操作が行われたと判定された場合には(S21:YES)、それが動作モードの変更か否かを判定する(S31)。キーボード26の操作が動作モードを変更する操作ではない場合には(S31:NO)、処理はS43へ進み、操作に応じた処理が行われる。
【0062】
キーボード26の操作が、動作モードを変更する操作であった場合には(S31:YES)、次に、モニタ装置29が通信回路295を有するか否かを判定する(S32)。通信回路295がモニタ装置29に設けられていないならば、処理はS43へ進められる。この場合には、S43においてキーボード26の操作に応じて画像処理装置21の動作モードが設定される。
【0063】
モニタ装置29が通信回路295を有する場合には(S32:YES)、S33において、モード変更がアンダースキャンモードに対応する第2の動作モードへの変更か否かを判定する。画像処理装置21の動作モードが第2の動作モードに設定された場合には(S33:YES)、システムコントローラ27は、画像処理装置21の動作モードを第2の動作モードに設定すると共に(S39)、モニタ装置29のスキャンモードをアンダースキャンモードに設定するためのコマンドを、通信回路295に送信する(S41)。そして、設定されたモードに応じた画像処理が行われる(S45)。
【0064】
モニタ装置29が通信回路295を有し(S32:YES)、モード変更がアンダースキャンモードに対応する第2の動作モードへの変更ではない場合、すなわち画像処理装置21の動作モードが第1の動作モードに設定された場合には(S33:NO)、システムコントローラ27は、画像処理装置21の動作モードを第1の動作モードに設定すると共に(S35)、モニタ装置29のスキャンモードをノーマルスキャンモードに設定するためのコマンドを、通信回路295に送信する(S37)。そして、設定されたモードに応じた画像処理が行われる(S45)。
【0065】
上記S33〜S41に示されるように、画像処理装置21の動作モードが設定されると、システムコントローラ27からモニタ装置29の通信回路295に、設定された動作モードに対応するスキャンモードを設定するためのコマンドが送信される。すなわち、画像処理装置21の動作モードの設定に応じて、表示装置29のスキャンモードが自動設定される。
【0066】
図9は、対物レンズ6の有効像高範囲とCCD5の撮像領域との関係を示す図である。前述のように、本実施の形態の電子内視鏡システムのスコープ部7は、スクリーン29S全域に撮像画像を表示できるだけの画素を有している。このため、対物レンズ6は、被写体(患部)の像を図9に有効像高範囲として示す領域に結像する。しかし、この様な構成のために、たとえば、図9の点Pの位置に形成される像は、スコープ部7の挿入部4を回転させた時にCCDの有効範囲からはずれてしまい、たとえアンダースキャンモードで撮像画像を表示していても、スクリーン29Sから消えてしまうことになる。
【0067】
上記の問題を回避するため、画像処理装置21は、CCD5による撮像画像を、スクリーン29Sに内包される円形領域(図10に破線で示す領域)29Cにのみ表示するようマスキングを施すことができるようになっている。マスキングは、メモリ19に格納された画像データを読み出す際に、上記円形領域29Cに対応するアドレスのデータのみを読み出すことにより、行われる。なお、マスキングは、スキャンモードがノーマルスキャンモードであるかアンダースキャンモードであるかにかかわらず行うことができる。ただし、メモリ19からデータを読み出す領域は、スキャンモードにより異なる。
【0068】
前述のように、トリガスイッチ101を操作することにより静止画をスクリーン29Sに表示させることができる。この場合、表示領域を親画面と子画面とに分割して、一方に静止画、他方に動画を表示させる。静止画を表示させるには、A/D変換器18A〜18Cの出力がメモリ19に書き込まれないようにすればよい。また、画面分割する場合には、メモリ19の一部の領域のみA/D変換器18A〜18Cの出力の書き込みを許容すればよい。この時、A/D変換器18A〜18Cの出力の書き込みを許容する領域を、モニタ装置29のスキャンモードに応じて変更すれば、スキャンモードにかかわらず適正な位置関係で親画面、子画面を表示させることが可能である。
【0069】
上記第1の実施の形態では、モニタ装置29がノーマルスキャンモードとアンダースキャンモードの2つのスキャンモードで表示可能な装置である場合について説明した。本発明は、また、近年パーソナルコンピュータの表示装置として用いられている、マルチスキャンモニタを表示装置として利用した場合にも適用可能である。
【0070】
第2の実施の形態として、パーソナルコンピュータ(以下パソコンと略す)用のマルチスキャンモニタにおけるVGAモードとSVGAモードの切り替えを利用した例について、図13、図14を参照して説明する。
パソコン用マルチスキャンモニタは、例えば、図13に示すVGAモード(640×480ドット)と図14に示すSVGAモード(800×600ドット)のいずれかを選択することができる。この場合のスキャンモードは、走査線数および走査周波数がモード毎に異なり、モニタの画面上の表示情報量も各モード毎で異なっている。
【0071】
このようなマルチスキャンモニタで上記第1の実施の形態のようなモードの切換を行う場合、ノーマルモードがVGAモードに対応し、アンダースキャンモードがSVGAモードに対応することになる。なお、第2の実施の形態において、モニタ装置29のスキャンモードがVGAモードとSVGAモードである点を除けば、基本的なシステム構成、動作は上記第1の実施形態と同一である。このため、主として第1の実施形態の相違点について記載する。
【0072】
スキャンモードがSVGAモードからVGAモードに切り替わった時に、それまでスクリーン29Sに表示されていた文字情報がそのまま画面に表示されるようにするためには、第1の実施の形態と同様に、キャラクタジェネレータによる表示情報の表示上下限位置をスキャンモードに応じて切り替えるようにする。
【0073】
ここで、SVGAの1画面表示をVGA1画面で表示すると、VGAモードでは、水平方向に1.25倍(800/600)、垂直方向に1.25倍(600/480)拡大表示されるので、全体としては1.56倍(1.25×1.25)の倍率でSVGAモードの表示画面が拡大されることになる。従って、SVGAモードからVGAモードに切り替える際に、文字情報の表示位置の調整を行わない場合、VGAモードのモニタ上に文字が表示されなくなる可能性がある。
【0074】
このため、第2の実施形態においては、SVGAモードからVGAモードに切り替える際に、表示情報量の変化に対応して、キャラクタジェネレータで付加する文字情報の最縁部(限界位置)が格納される表示用RAMのアドレスを、SVGAモード下における4つの各限界位置の座標値に水平方向で0.8倍(640/800)、垂直方向で0.8倍(480/600)した値の位置に対応したアドレスに切り替えるようにする。
【0075】
すなわち、EEPROMには、上記関係を満足したSVGA用の文字情報が挿入される最縁部(限界位置)に対応したアドレス情報と、VGA用の文字情報が挿入される最縁部(限界位置)に対応したアドレス情報とがそれぞれ独立して格納されており、スキャンモードに対応したアドレス情報を用いて、文字情報の表示位置を規定するように構成されている。
【0076】
なお、スキャンモードの切換により表示される文字の大きさも変化する。このため、第2の実施形態においては、画面上の表示文字のフォントサイズを、SVGAモードの時の約1.25倍のフォントサイズとなるように設定している。
【0077】
以上のように構成することで、SVGAモードからVGAモードに切り替えても、表示していた文字情報が切れることなく、かつ画面上の略同じ位置に表示され、しかも表示される文字サイズはモードの変化にかかわらず略一定となるため、スキャンモードの切り替えによっても観察画像に不自然な変化が生ずることがなく、良好な観察が可能になる。
なお、VGAモードからSVGAモードに切り替える場合には、上記の逆の処理を行えばよい。
【図面の簡単な説明】
【図1】本発明の実施の形態の電子内視鏡システムの構成を示すブロック図である。
【図2】モニタ装置の構成を示すブロック図である。
【図3】ノーマルスキャンモードでの表示例である。
【図4】アンダースキャンモードでの表示例である。
【図5】アンダースキャンモードの時の表示領域を示す図である。
【図6】ノーマルスキャンモードの時の表示領域を示す図である。
【図7】画像処理装置の動作を示すフローチャートである。
【図8】図5と共に画像処理装置の動作を示すフローチャートである。
【図9】対物レンズの有効像高範囲とCCDの有効画素領域との関係を示す図である。
【図10】マスキングが施された場合の表示例である。
【図11】アンダースキャンモードでの従来の問題点を示す表示例である。
【図12】ノーマルスキャンモードでの従来の問題点を示す表示例である。
【図13】 VGAモード時の表示領域を示す図である。
【図14】 SVGAモードの時の表示領域を示す図である。
【符号の説明】
100 電子内視鏡システム
1 ライトガイド
2 配光レンズ
4 挿入部
5 カラーCCD
6 対物レンズ
7 スコープ部
8 結合部
10 信号処理装置
101 トリガスイッチ
102 EEPROM
11 コンデンサレンズ
12 絞り機構
13 ランプ
16 ランプ用光源
17 タイミングジェネレータ
19 メモリ
18A、18B、18C A/D変換器
20 調光回路
23A、23B、23C D/A変換器
26 キーボード
27 システムコントローラ
271 EEPROM
272 CG(キャラクタジェネレータ)
273 メモリ
29 モニタ装置
29S スクリーン
291 操作パネル
292 走査回路
293 CPU
294 CRT
295 通信回路

Claims (17)

  1. 撮像装置を備えたスコープと、
    前記スコープにより撮像された第1の画像を、走査範囲または走査線数のいずれかが異なる少なくとも2種類のスキャンモードでスクリーンに表示することが可能な表示装置と、
    前記表示装置に、前記第1の画像とは異なる第2の画像を、前記スコープにより撮像された画像に重ね合わせて表示する画像処理装置とを有し、
    前記画像処理装置は前記少なくとも2種類のスキャンモードのいずれのモードで表示が行われるかに対応して前記第1の画像に重ね合わされる前記第2の画像の前記第1の画像に対する位置を切り換えることを特徴とする電子内視鏡システム。
  2. 前記第2の画像は文字であることを特徴とする請求項1に記載の電子内視鏡システム。
  3. 前記画像処理装置は、前記少なくとも2種類のスキャンモードのいずれにおいても、前記第2の画像が、略同じ大きさで前記スクリーンに表示されるよう、前記第1の画像に重ね合わされる前記第2の画像の大きさを調整すること、を特徴とする請求項1または2に記載の電子内視鏡システム。
  4. 前記第2の画像も前記スコープにより撮像された画像であり、
    前記第1の画像と前記第2の画像のいずれか一方は静止画像であり、他方は動画であることを特徴とする請求項1に記載の電子内視鏡システム。
  5. 前記少なくとも2種類のスキャンモードは、第1のスキャンモードと第2のスキャンモードを有し、
    前記表示装置は前記第1のスキャンモードと前記第2のスキャンモードとを切り換える切換手段を有することを特徴とする請求項1から4のいずれかに記載の電子内視鏡システム。
  6. 前記表示装置は前記画像処理装置に前記第1のスキャンモードと前記第2のスキャンモードのいずれが選択されているかを示すスキャンモード情報を送信するための通信手段を有し、
    前記画像処理装置は前記通信手段を介して前記表示装置より受信したスキャンモード情報に応じて前記第1の画像に重ね合わされる前記第2の画像の前記スクリーン上の位置を切り換えることを特徴とする請求項5に記載の電子内視鏡システム。
  7. 前記少なくとも2種類のスキャンモードは、走査範囲が異なるノーマルスキャンモードとアンダースキャンモードを含むことを特徴とする請求項1〜6のいずれかに記載の電子内視鏡システム。
  8. 前記少なくとも2種類のスキャンモードは、少なくとも走査線数が異なる2種類のスキャンモードを含むことを特徴とする請求項1〜6のいずれかに記載の電子内視鏡システム。
  9. 前記少なくとも2種類のスキャンモードは、第1のスキャンモードと第2のスキャンモードを有し、
    前記画像処理装置は、前記第1のスキャンモードに対応して前記第1の画像に重ね合わされる前記第2の画像の前記第1の画像に対する位置を設定する第1の動作モード、または前記第2のスキャンモードに対応して前記第1の画像に重ね合わされる前記第2の画像の前記第1の画像に対する位置を設定する第2の動作モードで動作し、
    前記第1の動作モードと前記第2の動作モードとを利用者が選択するための選択手段を有することを特徴とする請求項1から5のいずれかに記載の電子内視鏡システム。
  10. 前記表示装置は前記画像処理装置において前記第1の動作モードと前記第2の動作モードのいずれが選択されているかを示す動作モード情報を受信するための受信手段
    前記受信手段を介して前記画像処理装置より受信した前記動作モード情報に応じて前記第1のスキャンモードまたは前記第2のスキャンモードを設定する設定手段と、を有することを特徴とする請求項9に記載の電子内視鏡システム。
  11. 前記スコープは、前記撮像素子の画素数を格納した記憶手段を有し、
    前記画像処理装置は前記記憶手段に格納された前記画素数を読み取る読み取り手段と、前記画素数に応じて前記少なくとも2種類の走査線数の異なるスキャンモードのそれぞれが選択可能か否かを判定する判定手段と、を有することを特徴とする請求項のいずれかに記載の電子内視鏡システム。
  12. 画像処理装置に脱着可能な、撮像装置を備えたスコープと、
    前記スコープにより撮像された第1の画像を、走査範囲または走査線数のいずれかが異なる少なくとも第1のスキャンモードと第2のスキャンモードでスクリーンに表示することが可能な表示装置と、
    前記表示装置に、前記第1の画像とは異なる第2の画像を、前記第1の画像に重ね合わせて表示する画像処理装置とを有し、
    前記表示装置は前記第1のスキャンモードと第2のスキャンモードのいずれのモードで表示を行うかを設定する第1の設定手段を有し、
    前記画像処理装置は前記第1のスキャンモードに対応して前記第1の画像に重ね合わされる前記第2の画像の前記第1の画像に対する位置を設定する第1の動作モードと前記第2のスキャンモードに対応して前記第1の画像に重ね合わされる前記第2の画像の前記第1の画像に対する位置を設定する第2の動作モードのいずれのモードで動作するかを設定する第2の設定手段を有し、
    前記表示装置は前記第1の設定手段による設定内容を前記画像処理装置に送信すると共に、前記第2の設定手段による設定内容を前記画像処理装置より受信する通信手段を有し、
    前記第2の設定手段により設定された前記第1の動作モードまたは前記第2の動作モードに対応して前記第1のスキャンモードまたは前記第2のスキャンモードが設定され、
    前記画像処理装置は前記第1の動作モードと前記第2の動作モードのいずれの動作モードで動作するかにより前記第1の画像に重ね合わされる前記第2の画像の前記第1の画像に対する位置が異なる位置となることを特徴とする電子内視鏡システム。
  13. 前記画像処理装置は、前記スクリーンに内包される円形の領域にのみ前記第1の画像が表示されるようマスキング処理を施すことを特徴とする請求項12に記載の電子内視鏡システム。
  14. 撮像装置を備えたスコープと、
    前記スコープにより撮像された第1の画像を、走査範囲または走査線数のいずれかが異なる少なくとも2種類のスキャンモードでスクリーンに表示することが可能な表示装置と、
    前記表示装置に、前記第1の画像とは異なる第2の画像を、前記スコープにより撮像された画像に重ね合わせて表示する画像処理装置とを有し、
    前記画像処理装置は前記少なくとも2種類のスキャンモードのいずれのモードで表示が行われる場合にも、前記第2の画像が前記スクリーン上の略同一位置に表示されるよう、前記第1の画像に前記第2の画像を重ね合わせることを特徴とする電子内視鏡システム。
  15. 前記画像処理装置は、前記少なくとも2種類のスキャンモードのいずれのモードで表示が行われる場合にも、前記第2の画像がほぼ同じ大きさで前記スクリーン上に表示されるよう、前記第1の画像に重ね合わせる前記第2の画像の大きさを調整することを特徴とする請求項14に記載の電子内視鏡システム。
  16. 前記少なくとも2種類のスキャンモードは、走査範囲が異なるノーマルスキャンモードとアンダースキャンモードを含むことを特徴とする請求項15に記載の電子内視鏡システム。
  17. 前記少なくとも2種類のスキャンモードは、少なくとも走査線数が異なる2種類のスキャンモードを含むことを特徴とする請求項15に記載の電子内視鏡システム。
JP32959297A 1997-11-13 1997-11-13 電子内視鏡システム Expired - Fee Related JP4024365B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32959297A JP4024365B2 (ja) 1997-11-13 1997-11-13 電子内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32959297A JP4024365B2 (ja) 1997-11-13 1997-11-13 電子内視鏡システム

Publications (2)

Publication Number Publication Date
JPH11137515A JPH11137515A (ja) 1999-05-25
JP4024365B2 true JP4024365B2 (ja) 2007-12-19

Family

ID=18223079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32959297A Expired - Fee Related JP4024365B2 (ja) 1997-11-13 1997-11-13 電子内視鏡システム

Country Status (1)

Country Link
JP (1) JP4024365B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006856A (ja) 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置

Also Published As

Publication number Publication date
JPH11137515A (ja) 1999-05-25

Similar Documents

Publication Publication Date Title
US8189041B2 (en) Endoscope signal processing apparatus
EP1492350B1 (en) Pickup system
EP1970887B1 (en) Image display system and image display method
JP2012108479A (ja) 投射型表示装置及びその制御方法
JP4223596B2 (ja) 電子内視鏡システム
JP2004000335A (ja) 電子内視鏡装置
JP2002291695A (ja) 電子内視鏡装置
JP2001340292A (ja) 電子内視鏡装置
JP2008068021A (ja) 電子内視鏡装置
US20050243073A1 (en) Presentation device and display method
US7477267B2 (en) Display apparatus and displaying method for the same
JP2003265411A (ja) 電子内視鏡装置および電子内視鏡および映像信号処理装置
JP4024365B2 (ja) 電子内視鏡システム
JP2001070241A (ja) 画像処理装置
JPH10155737A (ja) 電子内視鏡装置
JP2011110281A (ja) 電子内視鏡装置
JP3483923B2 (ja) 画像処理装置
JPH11341485A (ja) 電子内視鏡装置
JPH07154687A (ja) 画像合成装置
JP2001078174A (ja) 画像処理装置
JP3967060B2 (ja) 電子内視鏡装置
JPH06261859A (ja) 内視鏡画像表示装置
JP3448168B2 (ja) 電子内視鏡システム
JP3551003B2 (ja) オンスクリーン表示位置補正装置
JP4493426B2 (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071003

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees