JP4408153B2 - 電子内視鏡 - Google Patents

電子内視鏡 Download PDF

Info

Publication number
JP4408153B2
JP4408153B2 JP26181699A JP26181699A JP4408153B2 JP 4408153 B2 JP4408153 B2 JP 4408153B2 JP 26181699 A JP26181699 A JP 26181699A JP 26181699 A JP26181699 A JP 26181699A JP 4408153 B2 JP4408153 B2 JP 4408153B2
Authority
JP
Japan
Prior art keywords
luminance
scope
treatment instrument
value
electronic endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP26181699A
Other languages
English (en)
Other versions
JP2000152913A5 (ja
JP2000152913A (ja
Inventor
正 高橋
了 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP26181699A priority Critical patent/JP4408153B2/ja
Publication of JP2000152913A publication Critical patent/JP2000152913A/ja
Publication of JP2000152913A5 publication Critical patent/JP2000152913A5/ja
Application granted granted Critical
Publication of JP4408153B2 publication Critical patent/JP4408153B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は可撓性導管からなるスコープと、このスコープを着脱自在に接続する画像信号処理ユニットとから成る電子内視鏡に関する。
【0002】
【従来の技術】
上述したようなタイプの電子内視鏡にあっては、スコープの先端部には固体撮像素子例えばCCD(charge coupled device)撮像素子から成る撮像センサが設けられ、この撮像センサは対物レンズ系と組み合わされる。また、かかるスコープ内には光ファイバー束からなる照明用光ガイドが挿通させられ、その遠位端の端面は照明用レンズと組み合わされる。更に、スコープ内には鉗子等の処置具を挿通させるための挿通路が設けられ、鉗子等の処置具は該挿通路を通してスコープの遠位端の端面から突出させて所望の処置を行い得るようになっている。
【0003】
画像信号処理ユニット内には照明用白色光源例えばハロゲンランプやキセノンランプが設けられ、スコープと画像信号処理ユニットとの接続時に照明用光ガイドの近位端は照明用白色光源に光学的に接続される。かくして、患者の体腔内へのスコープの挿入時、その遠位端の対物レンズ系の前方が該スコープの照明用光ガイドの先端部端面から射出させられる照明光で照明され、これにより光学的被写体は撮像センサの受光面に結像させられてそこで画素信号として光電変換される。撮像センサで得られた画素信号は画像信号処理ユニットに送られ、そこでビデオ信号がかかる画素信号に基づいて作成される。次いで、ビデオ信号は画像信号処理ユニットからTVモニタ装置に対して出力され、そこで光学的被写体像がTVモニタ装置上で再現される。
【0004】
ところで、一般的に、電子内視鏡のスコープの対物レンズ系の焦点深度は比較的深くされる。というのは、スコープの遠位端を病巣等の患部に接近させて観察するだけでなく、病巣等の患部を見つけ出す際には該患部を含む広い領域全体を観察することが必要であるからである。この場合、光学的被写体像を適当な輝度で常に再現するためには、全体的な光学的被写体の遠近に応じて照明用光ガイドの遠位端から射出される光の光量を適宜調整することが必要となる。即ち、スコープの遠位端を病巣等の患部に最接近させて観察する際には光量を最低レベルまで低下させ、該患部からスコープの遠位端が次第に遠ざかるにつれて光量を次第に増大させることが必要である。
【0005】
上述したような光量調節は自動調光と呼ばれ、この自動調光については、一フレーム分または一フィールド分の輝度画素信号の輝度レベルを評価し、その評価に基づいて光源に組み込まれた絞りの開度を適宜調整することにより行われる。従来では、かかる自動調光には2つのモードが知られており、一方のモードは平均輝度値モードと呼ばれ、他方のモードは有効最大輝度値モード(ピークモード)と呼ばれる。
【0006】
詳述すると、平均輝度値モードでは、撮像センサから順次得られる一フレーム分または一フィールド分の輝度画素信号についてヒストグラム抽出回路でヒストグラムが展開され、このヒストグラムから一フレーム分または一フィールド分の輝度画素信号の平均輝度レベルが算出され、その平均輝度レベルが所定の輝度参照値に一致するように絞り開度が制御され、これにより再現画像の輝度レベルが輝度参照値に見合った適正な状態に維持される。例えば、光学的被写体の全体がスコープの対物レンズから比較的遠くに離れている場合には、上述の平均輝度レベルは一時的に輝度参照値に比べて低くなるので、このときは絞り開度が広げられて照明光量が増大させられ、これとは反対に光学的被写体の全体がスコープの対物レンズに接近した場合には、上述の平均輝度レベルは輝度参照値に比べて高くなるので、このときは絞り開度が狭められて照明光量が減少させられ、かくして光学的被写体の遠近に拘らず再現画像の輝度レベルは輝度参照値に見合った適正な状態に維持されることになる。
【0007】
同様に、有効最大輝度値モードでも、撮像センサから順次得られる一フレーム分または一フィールド分の輝度画素信号についてヒストグラム抽出回路でヒストグラムが展開されるが、この有効最大輝度値モードでは、該ヒストグラムから平均輝度レベルではなく有効最大輝度レベル(ピークレベル)が算出され、この有効最大輝度レベルが所定の輝度参照値に一致するように絞り開度が平均輝度値モードの場合と同様に制御され、これにより再現画像の輝度レベルが輝度参照値に見合った適正な状態に維持される。なお、有効最大輝度レベルとは上述のヒストグラムの最大輝度レベルを含む高輝度レベル帯域の総計度数が一フレーム分または一フィールド分の全画素数の例えば1%となる境界での輝度レベルとして定義されるものである。
【0008】
従来の電子内視鏡では、自動調光を平均輝度値モード或いは有効最大輝度値モードのいずれのモードで行うかは任意に選択し得るようになっている。因みに、平均輝度値モードでは、再現画像の明るさは有効最大輝度値モードの場合よりも明るくなる傾向があるが、しかし局部的なハレーションの発生を回避することができないという欠点がある。即ち、有効最大輝度値モードでは、再現画像は平均輝度値モードと比べて全体的に暗めとなるが、局部的なハレーションの発生は確実に回避され得る。
【0009】
ここで言うハレーションとはTVモニタ装置の映像再現画面の輝度が異常に高くなって白色化することであり、電子内視鏡では、平均輝度値モードでの自動調光時に局部的なハレーションが屡々発生することになる。というのは、例えば、光学的被写体の比較的小さな領域がスコープの対物レンズに接近し、その他の領域が該対物レンズから離れているような場合には、平均輝度値モードでの自動調光では、絞り開度が大きく広げられる傾向にあり、このため光学被写体のその比較的小さな領域の箇所からの反射光量が大きくなって、再現画像ではその箇所にハレーションが生じ得るからである。一方、有効最大輝度値モードでは、高輝度レベル帯域で定義される有効最大輝度レベルを所定の輝度参照値に一致させるように自動調光が行われるので、かかる状況下でも局部的なハレーションは阻止され得るが、しかし再現画像の全体は上述した光学被写体の比較的小さな領域を除き極端に暗めになるという傾向がある。
【0010】
いずれにしても、従来の電子内視鏡にあっては、電子内視鏡の使用者の好みに応じて平均輝度値モード或いは有効最大輝度値モードのいずれかのモードが選択される。即ち、局部的なハレーションの発生があったとしても比較的明るい鮮明な再現画像を望む場合には、平均輝度値モードが選択され、再現画像が多少暗めでも局部的なハレーションの発生を望まない場合には、有効最大輝度値モードが選択される。
【0011】
【発明が解決しようとする課題】
ところで、以上で述べたような自動調光において、スコープの遠位端の端面から鉗子等の処置具が突出させられて撮像センサの視野内に捉えられた場合、鉗子等の処置具は高反射性の金属製とされ、しかも撮像センサに極めて接近した位置に置かれるので、鉗子等の処置具からの反射光量が大巾に増大する。従って、自動調光が平均輝度値モードで行われている場合には、一フレーム分または一フィールド分の輝度画素信号の平均輝度レベルは上昇し、このため絞り開度が狭められて照明光量が減少させられ、かくして再現画像の全体の輝度レベルが低下して病巣等の患部の肝心な画像部観察し難くなるという問題が生じる。また、自動調光が有効最大輝度値モードで行われている場合でも、絞り開度が狭められて照明光量が減少させられるが、この場合には有効最大輝度値自体が鉗子等の処置具の高反射領域から由来するものとなるので、絞り開度は平均輝度値モードの場合よりも更に狭められ、このため再現画像の全体の輝度レベルが大巾に低下して病巣等の患部の肝心な画像部の観察は一層難しくなる。
【0012】
従って、本発明の目的は、上述したようなタイプの電子内視鏡であって、鉗子等の処置具の使用時、病巣等の患部の画像部の輝度を適正に維持すべく、自動調光による照明光量の低下を抑え得るように構成された電子内視鏡を提供することである。
【0013】
【課題を解決するための手段】
本発明による電子内視鏡は処置具を挿通させる処置具挿通路を持つスコープと、このスコープを着脱自在に接続させるようになった画像信号処理ユニットとから成る。画像信号処理ユニット内には光源が設けられ、この光源からの射出光がスコープに導かれてその前方を照明するようになっている。
【0014】
本発明の第1の局面によれば、電子内視鏡はスコープの先端側に設けられた固体撮像手段と、光源からスコープに導かれる光の光量を調節する光量調節手段と、固体撮像手段から得られる輝度画素信号に基づいて輝度値を算出する輝度値算出手段と、この輝度値算出手段によって得られた輝度値を所定の輝度参照値に実質的に一致させるように光量制御手段を制御する光量制御手段と、スコープで処置具が使用されているか否かを判別する処置具使用判別手段と、この処置具使用判別手段によって処置具が使用されていると判別された際に所定の輝度参照値を予め決められた数値分だけ強制的に増大させるように設定する強制設定手段とを具備する。
【0015】
本発明の第2の局面によれば、電子内視鏡はスコープの先端側に設けられた固体撮像手段と、光源から前記スコープに導かれる光の光量を調節する光量調節手段と、この固体撮像手段から得られる輝度画素信号に基づいてヒストグラムを展開するヒストグラム抽出手段と、このヒストグラム抽出手段によって展開されたヒストグラムから輝度画素信号の平均輝度値を算出する輝度値算出手段と、この輝度値算出手段によって得られた平均輝度値を所定の輝度参照値に実質的に一致させるように光量調節手段を制御する第1の光量制御手段と、ヒストグラム抽出手段によって展開されたヒストグラムから有効最大輝度値を算出する有効最大輝度値算出手段と、この有効最大輝度値算出手段によって得られた有効最大輝度値を所定の輝度参照値に実質的に一致させるように光量調節手段を制御する第2の光量制御手段と、第1の光量制御手段によって光量調節手段を制御する第1の調光モードと第2の光量制御手段によって光量調節手段を制御する第2の調光モードとのいずれかを選択する調光モード切換手段と、スコープで処置具が使用されているか否かを判別する処置具使用判別手段と、この処置具使用判別手段によって処置具が使用されていると判別された際に調光モード切換手段によるモード選択に拘らずに第1の調光モードを強制的に設定するモード強制設定手段とを具備する。
【0016】
本発明の第2の局面にあっては、好ましくは、電子内視鏡は、更に、処置具使用判別手段によって処置具が使用されていると判別された際に所定の輝度参照値を予め決められた数値分だけ強制的に増大させるように設定する輝度参照値強制設定手段を具備する。
【0017】
本発明の第2の局面にあっては、処置具使用判別手段については、スコープの処置具挿通路に処置具を挿通させて該スコープの先端から突出させた際に固体撮像手段の撮像領域によって常に最初に捉えられる局部的な撮像領域から由来する輝度画素信号のうちの所定の輝度値以上の高輝度画素信号の度数総和を算出する第1の算出手段と、局部的な撮像領域以外の撮像領域から由来する輝度画素信号の中の所定の輝度値以上の高輝度画素信号の度数総和を算出する第2の算出手段と、第1及び第2の算出手段の双方の算出結果に基づいてスコープでの処置具の使用の有無を判別する判別手段とを包含するものとして構成され得る。
【0018】
また、本発明の第2の局面においては、処置具使用判別手段については、スコープの処置具挿通路に処置具を挿通させて該スコープの先端から突出させた際に固体撮像手段の撮像領域によって常に最初に捉えられる局部的な撮像領域から由来する輝度画素信号の平均輝度値を算出する第1の輝度値算出手段と、局部的な撮像領域以外の撮像領域から由来する輝度画素信号の平均輝度値を算出する第2の輝度値算出手段と、第1及び第2の算出手段の双方の算出結果に基づいてスコープでの処置具の使用の有無を判別する判別手段とを包含するものとして構成されてもよい。
【0019】
更に、本発明の第2の局面においては、調光モード切換手段によって第1の調光モード及び第2の調光モードのいずれかの調光モードが選択された際にその選択された調光モードを選択的にロックする調光モードロック手段が設けられてもよく、この場合には、調光モードロック手段によって第1の調光モード及び第2の調光モードのいずれかがロックされたとき、処置具使用判別手段によって処置具が使用されていると判別されてもモード強制設定手段が無効化される。
【0020】
本発明の第1及び第2の局面のいずれにおいても、処置具使用判別手段はスコープの処置具挿通路に設けた処置具検出器を包含するものであってもよく、この場合には該処置具検出器から得られる検出信号に基づいてスコープでの処置具の使用の有無を判別する。
【0021】
また、本発明の第1及び第2の局面のいずれにおいても、処置具使用判別手段はスコープに設けられた手動操作スイッチを包含するものであってもよく、この場合には該手動操作スイッチから得られるオン/オフ信号に基づいてスコープでの処置具の使用の有無を判別する。
【0022】
【発明の実施の形態】
次に、本発明による電子内視鏡の一実施形態について添付図面を参照して説明する。
【0023】
図1を参照すると、本発明による電子内視鏡の一実施形態がブロック図として図示される。電子内視鏡は可撓性導管からなるスコープ10を具備し、このスコープ10はプロセッサと呼ばれる画像信号処理ユニット12に着脱自在に連結されるようになっている。スコープ10の先端即ち遠位端には固体撮像素子例えばCCD(charge-coupled device) 撮像素子から成る撮像センサ14が設けられ、この撮像センサ14はそのCCD撮像素子と組み合わされた対物レンズ系を包含する。また、スコープ10には鉗子等の処置具を挿通させるための挿通路15が形成され、鉗子等の処置具は該挿通路15を通してスコープ10の遠位端の端面から突出させられる。
【0024】
スコープ10内には光ファイバー束からなる照明用光ガイド16が挿通させられ、この照明用光ガイド16の遠位端はスコープ10の遠位端まで延び、該照明用光ガイド16の遠位端の端面には照明用配光レンズ(図示されない)が組み込まれる。照明用光ガイド16の近位端は画像信号処理ユニット12へのスコープ10の連結時に該画像信号処理ユニット12内に設けられたキセノンランプ或いはハロゲンランプ等の白色光源18に光学的に接続される。白色光源18の光射出側には絞り20及び集光レンズ22が順次設けられ、絞り20は白色光源18からの光量を適宜調節するための光量調節手段として用いられ、また集光レンズ22は絞り20を経た光を光ガイド16の近位端の端面に集光させるために用いられる。
【0025】
本実施形態では、カラー映像を再現するために面順次方式が採用されるので、照明用光ガイド16の近位端の端面と集光レンズ22との間に回転式三原色カラーフィルタとして回転式RGBカラーフィルタ24が介在させられる。図2に示すように、回転式RGBカラーフィルタ24は円板要素から成り、この円板要素には赤色フィルタ24R、緑色フィルタ24G及び青色フィルタ24Bが設けられ、これら色フィルタはそれぞれセクタ状の形態とされる。カラーフィルタ24R、24G及び24Bはそれぞの半径方向の中心が120 °の角度間隔となるように円板要素の円周方向に沿って配置され、互いに隣接する色フィルタ間の領域は遮光領域とされる。
【0026】
図3に最もよく図示するように、回転式三原色カラーフィルタ24はサーボモータ或いはステップモータのような駆動モータ26によって回転させられる。回転式RGBカラーフィルタ24の回転周波数は電子内視鏡で採用されるTV映像再現方式に応じて決められる。例えば、PAL方式が採用されている場合には、回転式RGBカラーフィルタ24の回転周波数は25Hzであり、NTSC方式が採用されれいる場合には、その回転周波数は30Hzとなる。
【0027】
例えば、回転式RGBカラーフィルタ24が回転周波数30Hzで回転させられるとすると(NTSC方式)、その1回転に要する時間は約33.3ms(1/30sec) となり、各色フィルタによる照明時間はほぼ33/6msとなる。光ガイド16の遠位端の端面からは赤色光、緑色光及び青色光が毎33.3ms(1/30sec) 間にほぼ33/6msだけ順次射出させられて、光学的被写体は赤色光、緑色光及び青色光でもって順次照明され、その各色の光学的被写体が撮像センサ14の対物レンズ系によってそのCCD撮像素子の受光面に順次結像させられる。撮像センサ14はそのCCD撮像素子の受光面に結像された各色の光学的被写体像を一フレーム分のアナログ画素信号に光電変換し、その各色の一フレーム分のアナログ画素信号は各色の照明時間(33/6ms)に続く次の遮光時間(33/6ms)に亘って撮像センサ14から順次読み出され、このような撮像センサ14からのアナログ画素信号の読出しについてはスコープ10内に設けられたCCDドライバ28によって行われる。
【0028】
なお、厳密に言うと、カラーフィルタ24R、24G及び24Bからのそれぞれの色の出力パワー及びCCDイメージセンサ14の分光感度特性が異なるために、赤色光、緑色光及び青色光による照明時間はそれぞれ多少異なったものとされるが、しかしCCDイメージセンサ14からのそれぞれの色の一フレーム分のアナログ画素信号の読出しは同じ態様で遮光時間内で行われる。
【0029】
図1から明らかなように、画像信号処理ユニット12にはシステムコントローラ30が設けられ、このシステムコントローラ30はマイクロコンピュータから構成される。即ち、システムコントローラ30は中央処理ユニット(CPU)、種々のルーチンを実行するためのプログラム、常数等を格納する読出し専用メモリ(ROM)、データ等を一時的に格納する書込み/読出し自在なメモリ(RAM)、入出力インターフェース(I/O)から成り、電子内視鏡の作動全般を制御する。
【0030】
スコープ10が画像信号処理ユニット12に接続されると、撮像センサ14は画像信号処理ユニット12内のCCDプロセス回路32に接続される。CCDドライバ28によって撮像センサ14から読み出された各色の一フレーム分のアナログ画素信号はCCDプロセス回路32に送られ、そこで所定の画像処理例えばホワイトバランス補正処理、ガンマ補正処理、輪郭強調処理等を受ける。
【0031】
CCDプロセス回路32で処理された各色の一フレーム分のアナログ画素信号は順次アナログ/デジタル(A/D)変換器34に送られ、そこでデジタル画素信号に変換され、次いで各色の一フレーム分のデジタル画素信号はフレームメモリ36に一旦書き込まれて格納される。フレームメモリ36には各色の一フレーム分のデジタル画素信号を格納するための3つの格納領域が設けられる。フレームメモリ36からは一フレーム分の三原色のデジタル画像信号が同時に順次読み出され、各色の読出しデジタル画像信号には水平同期信号及び垂直同期信号等が付加される。即ち、一フレーム分の三原色のデジタル画像信号はフレームメモリ36からカラーデジタルビデオ信号(R、G、B)として順次出力されてビデオプロセス回路38に送られる。
【0032】
ビデオプロセス回路38には、各色のカラーデジタルビデオ信号に対応したデジタル/アナログ(D/A)変換器及びローパスフィルタ等が設けられ、各色の一フレーム分のカラーデジタルビデオ信号は一フレーム分のカラーアナログビデオ信号に変換され、次いでローパスフィルタを経た後に適宜増幅されてカラーTVモニタ装置40に送られ、そこで光学的被写体像がカラー画像として再現される。また、ビデオプロセス回路38では、カラーデジタルビデオ信号(R、G、B)に基づいて、コンポジットビデオ信号が作成され、そのコンポジットビデオ信号は別のTVモニタ装置、ビデオテープレコーダ、画像処理用コンピュータ等の周辺機器に対してビデオプロセス回路38から外部に出力されるようになっている。
【0033】
なお、図1では、ビデオプロセス回路38に対するシステムコントローラ30の接続関係についてはその複雑化を避けるために特に図示されていないが、ビデオプロセス回路でのビデオ信号の処理についてはシステムコントローラ30の制御下で行われる。
【0034】
図4を参照すると、絞り20がその駆動機構と共に図示される。絞り20は一対のブレード要素42及び44から成り、各ブレード要素42、44からはアーム部42A、44Aが一体的に延びる。ブレード要素42及び44は互いに交差するような態様で枢着ピン46によって枢動自在に軸支され、ブレード要素42及び44の開度に応じて白色光源18から射出される白色光の光量が適宜調節される。絞り20の駆動機構はアーム部42A及び44Aの先端の間に作用させられた引張りコイルばね48を包含し、このコイルばね48によりブレード要素42及び44はその開度を狭めるような弾性的偏倚力を常に受ける。なお、枢動ピン46は画像信号処理ユニット12の筐体に対して適宜保持される。
【0035】
絞り20の駆動機構は更に一対のブレード要素42及び44の開度を調節するためにアーム部42A及び44A間に係合させられたカムピン50を包含し、このカムピン50は駆動板52の下端部に固着されて保持される。駆動板52の一方の側辺にはラック54が形成され、このラック54にはピニオン56が係合させられる。ピニオン56はサーボモータ或いはステップモータ等の適当な駆動モータ58の出力シャフト58A上に固着される。なお、駆動モータ58は画像信号処理ユニット12の筐体に対して適宜保持され、またラック54は適当なガイド手段(図示されない)によって摺動自在に適宜保持される。駆動モータ58が回転されると、駆動板52はカムピン50と共にその長手方向(即ち、図4において上下方向)に沿って移動させられ、その移動方向は駆動モータ58の回転方向に依存する。要するに、駆動モータ58の回転方向に従って、ブレード要素42及び44の開度、即ち絞り開度が調節される。
【0036】
図1に示すように、駆動モータ58は駆動回路60によって駆動され、駆動回路60はシステムコントローラ30によって制御される。即ち、駆動回路60からは駆動モータ58には駆動パルスが出力され、この出力駆動パルス数を適宜制御することにより、駆動モータ58の回転量が調節され、また出力駆動パルスの相を逆相にすることにより、駆動モータ58の回転方向が反転され、これにより絞り20の開度が調節される。勿論、駆動回路60から出力される駆動パルス数の制御及びその相の逆転制御についてはシステムコントローラ30によって行われる。
【0037】
図1に示すように、画像信号処理ユニット12にはランプ電源回路62が設けられ、このランプ電源回路62によって白色光源18への給電が行われる。なお、ランプ電源回路62は図示されないプラグを介して商用電源に接続され、かつシステムコントローラ30によって適宜制御される。
【0038】
また、図1に示すように、画像信号処理ユニット12にはヒストグラム抽出回路64が設けられ、このヒストグラム抽出回路64はビデオプロセス回路38に接続され、ビデオプロセス回路38からはコンポーネントビデオ信号のうち輝度画素信号がヒストグラム抽出回路64に対して出力される。
【0039】
スコープ10側には図1に示すように適当な不揮発性メモリ例えば再書込み可能な読出し専用メモリ(EEPROM)66が設けられ、このEEPROM66にはそのスコープ10自体の種々の情報が書き込まれる。例えば、EEPROM66には、該スコープの種別データ、例えば胃用スコープ、気管支用スコープ或いは大腸用スコープ等の種別データが格納され、またそこで用いられるCCDイメージセンサ14の画素数データ、CCDドライバ28によって読み出されたアナログ画像信号を処理する際のクロックパルスの周波数情報等が格納される。スコープ10が画像信号処理ユニット12に連結されると、EEPROM66はシステムコントローラ30に接続され、このときシステムコントローラ30はEEPROM66内の情報データを読み出し、その情報データはシステムコントローラ30内のRAM内に格納保持される。
【0040】
図1に示すように、システムコントローラ30には更にキーボード67が接続され、このキーボード67を通して種々の指令信号や種々のデータ等が入力される。なお、本発明に関連した指令信号及びデータの入力については後の記載で明らかにする。
【0041】
図5に示すように、画像信号処理ユニット12の筐体の外側壁面には操作パネル68が取り付けられ、この操作パネル68上には種々のスイッチ等が設けられる。また、図6を参照すると、操作パネル68上の種々のスイッチ等がシステムコントローラ30との関連でブロック図として示される。なお、図6では、システムコントローラ30のCUP、ROM、RAM及びI/Oがそれぞれ参照符号30A、30B、30C及び30Dで示され、これら構成要素は互いにバスで接続される。
【0042】
図5に示すように、操作パネル68には、4つのスイッチ70、71、72及び73が設けられる。先ず、スイッチ70について説明すると、このスイッチ70は主電源回路(図示されない)のON/OFFスイッチを示し、この主電源ON/OFFスイッチ70により、商用電源から画像信号処理ユニット12への給電がON/OFFされる。要するに、主電源ON/OFFスイッチ70がONされると、画像信号処理ユニット12は作動可能状態となる。スイッチ71はランプ電源回路62のON/OFFスイッチであり、図6から明らかなように、このランプ電源ON/OFFスイッチ71からはシステムコントローラ30に対してON/OFF信号が出力される。即ち、ランプ電源ON/OFFスイッチ71がONされると、システムコントローラ30はその情報をランプ電源回路62に伝え、これにより白色光源18はランプ電源回路62によって給電されて点灯される。
【0043】
スイッチ72はモード切換スイッチであり、このモード切換スイッチ72によって自動調光時のモードが選択される。即ち、モード切換スイッチ72によってモード1が選択されると、自動調光は上述したような平均輝度値モードで行われ、またモード2が選択されると、自動調光は上述したような有効最大輝度値モードで行われる。スイッチ73はロックスイッチであり、このロックスイッチ73がオンされている場合には、鉗子等の処置具がスコープ10の先端から突出させられて撮像センサ14によって撮られても、モード切換スイッチ72で選択されたモードに従って通常の自動調光が維持される。一方、ロックスイッチ73がオフされている場合には、鉗子等の処置具が撮像センサ14によって撮られると、絞り20の制御即ち調光が後述するような態様で本発明に従って行われる。
【0044】
また、操作パネル68上にはTVモニタ装置40の映像再現画面の全体の輝度を調節するためにUPボタンスイッチ74及びDOWNボタンスイッチ76が設けられる。UPボタンスイッチ74が押下される度毎に後述されるような輝度参照値(Yr )が所定量だけ段階的に増大させられる。また、DOWNボタンスイッチ76が押下される度毎にかかる輝度参照値(Yr )が所定量だけ段階的に減少させられる。
【0045】
このようにTVモニタ装置40の映像再現画面の全体の輝度はUPボタンスイッチ74及びDOWNボタンスイッチ76の押下操作により調節されるが、電子内視鏡の操作者にとっては、かかる光量のレベルがどの程度であるか認識されなければならない。この目的のために、操作パルス68上に輝度レベル表示器78が設けられ、この輝度レベル表示器78は図5に示すように操作パネル68上に上下方向に整列させられた11個の表示窓から成り、各表示窓は半透明の光拡散板から形成される。11個の表示窓にはそれぞれに隣接して“−5”から“+5”までの数字が付され、中央に位置する表示窓はその他のものよりも大きく、そこには数字“0”が付される。
【0046】
輝度表示器78は更に各表示窓の内側に配置された電気的発光体例えば発光ダイオード(LED)80-5、80-4、…800 …80+4及び80+5を包含し、これらLEDは図6では互いに整列された小ブロックとして図示され、個々の小ブロック内には上述の表示窓と対応した数字が付されている。個々のLED80-5、80-4、…800 …80+4及び80+5はLED電源回路82から給電されて点灯させられ、どのLEDを点灯させるかについては、LED電源回路82をシステムコントローラ30で制御することによって行われる。
【0047】
図7を参照すると、そこにはビデオプロセス回路38から得られる一フレーム分または一フィールド分のデジタル輝度画素信号に基づいてヒストグラム抽出回路64で展開されたヒストグラムの一例が示される。なお、デジタル輝度画素信号は三原色のデジタル画像信号から得られるものである。図7に示すように、本実施形態にあっては、ヒストグラム抽出回路64では、一フレーム分または一フィールド分のデジタル輝度画素信号が256 通りの輝度レベルに振り分けられる。要するに、図7に示すヒストグラムにおいては、その横軸Xに沿って256 通りの輝度レベルが示され、その縦軸Yには各輝度レベルに対応したデジタル輝度画素信号の個数即ち度数が示される。輝度レベル0はペデスタルレベルに対応するものであり、また輝度レベル255 は最大輝度レベルに対応する。
【0048】
本実施形態では、一フレームまたは一フィールド毎のデジタル輝度画素信号に基づくヒストグラム(図7)から平均輝度レベルYa が以下のような演算により求められる。
【0049】
【数1】
Figure 0004408153
ここで、Ln は各輝度レベル(0から255)に対応した輝度値を示し、例えばその輝度値として輝度レベルの数値を用いてもよい。即ち、輝度レベル0ないし255 に対応した輝度値のそれぞれを0ないし255 とすることができる。また、Sn は各輝度レベル(0から255)に振り分けられたデジタル輝度画素信号の度数(個数)を示し、F0 は一フレーム分または一フィールド分のデジタル輝度画素信号の総和を示す。
【0050】
また、本実施形態によれば、一フレームまたは一フィールド毎のデジタル輝度画素信号に基づくヒストグラム(図7)から有効最大輝度レベルYk が算出される。先にも述べたように、有効最大輝度レベルYk とは図7のヒストグラムの最大輝度レベルを含む高輝度レベル帯域(即ち、斜線領域)の総計度数が一フレーム分または一フィールド分の全画素数の例えば1%となる境界での輝度レベルとして定義されるものである。なお、有効最大輝度レベルYk の算出方法については後で詳しく説明する。
【0051】
システムコントローラ30では、以上のように算出された平均輝度値Ya 或いは有効最大輝度値Yk と輝度参照値Yr とが一致するように絞り20の開度が調節される。即ち、平均輝度値Ya 或いは有効最大輝度値Yk が輝度参照値Yr よりも大きければ、絞り20の開度が小さくなるように駆動モータ58が駆動され、これとは反対に平均輝度値Ya 或いは有効最大輝度値Yk が輝度参照値Yr よりも小さければ、絞り20の開度が大きくなるように駆動モータ58が駆動される。輝度参照値Yr については上述したようにUPボタンスイッチ74及びDOWNボタンスイッチ76の操作によって段階的に変えることが可能であり、これによりTVモニタ装置40の映像再現画面の全体の輝度を適宜調節することができる。なお、モード切換スイッチ72によってモード1(即ち、平均輝度値モード)が選択さているときは、平均輝度値Ya が用いられ、モード2(即ち、有効最大輝度値モード)が選択されているときには、有効最大輝度値Yk が用いられる。
【0052】
図8及び図9を参照すると、システムコントローラ30で実行される絞り制御ルーチンのフローチャートが示される。この絞り制御ルーチンは電子内視鏡のメイン作動ルーチンのサブルーチンとして機能するものであって、所定の時間毎に繰り返し実行される時間割込みルーチンであり、例えば映像再現方式としてNTSC方式が採用されている場合には1/30sec 毎に実行される。
【0053】
先ず、ステップ801では、ビデオプロセス回路38から得られた一フレーム分または一フィールド分のデジタル輝度画素信号に基づいてヒストグラム抽出回路64で展開されたヒストグラムの全データ(0≦X≦255)から度数の総和F0 (即ち、一フレーム分または一フィールド分のデジタル輝度画素信号の総画素数)が算出される。
【0054】
ステップ802では、ビデオプロセス回路38から得られた一フレーム分または一フィールド分のデジタル輝度画素信号に基づいてヒストグラム抽出回路64で展開されたヒストグラムの全データ(0≦X≦255)から平均輝度値Ya が上述の数1によって算出される。なお、ここでは各輝度レベル(0から255)に対応した輝度値Ln については輝度レベル自体の数値(0ないし255)とされる。続いて、ステップ803では、上述で定義されたような有効最大輝度値Yk が算出される。なお、有効最大輝度値Yk は図11を参照して後で詳しく説明される有効最大輝度値算出ルーチンを実行することにより求められる。
【0055】
ステップ804では、モード選択指示フラグF1が“0”であるか“1”であるかが判断される。モード選択指示フラグF1が“0”であるとき、ステップ805に進み、そこで変数Yに平均輝度値Ya が与えられる。一方、モード選択指示フラグF1が“1”であるとき、ステップ806に進み、そこで変数Yに有効最大輝度値Yk が与えられる。
【0056】
なお、モード選択指示フラグF1はモード切換スイッチ72の切換によって書き替えられる。即ち、モード切換スイッチ72によって平均輝度値モード(モード1)が選択されたとき、モード選択指示フラグF1は“0”とされ、モード切換スイッチ72によって有効最大輝度値モード(モード2)が選択されたとき、モード選択指示フラグF1は“1”とされる。
【0057】
ステップ807では、モードロック判別フラグF2が“0”であるか“1”であるかが判断される。モードロック判別フラグF2はロックスイッチ73がオンされているかオフされているかを判別するものであり、ロックスイッチ73がオフのとき、モードロック判別フラグF2は“0”とされ、ロックスイッチ73がオンのとき、モードロック判別フラグF2は“1”とされる。先に述べたように、ロックスイッチ73がオンされている場合には(F2=1)、たとえ鉗子等の処置具がスコープ10の先端から突出させられて撮像センサ14によって撮られているか否かに拘らず、モード切換スイッチ72によって選択されたモードに従って、通常の自動調光が維持される。
【0058】
詳述すると、F2=1のとき、ステップ807からステップ819に進み、そこで輝度参照値Yr として設定値Yr0が与えられる。設定値Yr0は例えば輝度レベル80と輝度レベル180 との間の値であって、上述したようにUPボタンスイッチ74及びDOWNボタンスイッチ76の操作によって段階的に変えられるものである。即ち、例えば、輝度レベル表示器78の11個の表示窓のうちの中央の表示窓(LED800 )が点灯されているとき、設定値Yr0は輝度レベル130 に対応したものとされ、UPボタンスイッチ74或いはDOWNボタンスイッチ76の操作により10輝度レベルずつ段階的に変化させられる。設定値Yr0は最大値で輝度レベル180 に対応したものとなり(LED80+5)、最小値で輝度レベル80に対応したものとなる(LED80-5)。
【0059】
ステップ819で輝度参照値Yr が設定値Yr0に設定されると、ステップ812に進み、そこで以下の演算が実行される。
【数2】
Figure 0004408153
即ち、平均輝度値Ya (Y)或いは有効最大輝度値Yk (Y)と輝度参照値Yr (Yr0)との差ΔYd が求められる。
【0060】
ステップ813では、平均輝度値Ya 或いは有効最大輝度値Yk と輝度参照値Yr との差ΔYd は許容値Yt と比較される。本実施形態では、許容値Yt は例えば2とされ、差ΔYd が2を越えた場合に、TVモニタ装置40の映像再現画面の全体の輝度が設定輝度参照値Yr に一致してないと判断され、絞り20の開度が調整される。
【0061】
詳しく述べると、もし差ΔYd が許容値Yt を越えている場合には、ステップ814に進み、そこで(Y−Yr )の正負が判断される。Ya 又はYk >Yr のとき(これはTVモニタ装置40の映像再現画面の全体の輝度が設定輝度参照値Yr に比べて大きいことを意味する)、ステップ815に進み、そこでフラグF4が“1”とされる。これとは反対に、Ya 又はYk <Yr のとき(これはTVモニタ装置40の映像再現画面の全体の輝度が設定輝度参照値Yr に比べて小さいことを意味する)、ステップ816に進み、そこでフラグF4が“0”とされる。フラグF4は駆動モータ58の回転方向を指示するためのものであり、F4=1のとき、駆動モータ58は絞り20を閉じるような方向に回転駆動させられ、一方F4=0のとき、駆動モータ58は絞り20を広げるような方向に回転駆動させられる。
【0062】
ステップ817では、差ΔYd の大きさに応じて、駆動回路60から駆動モータ58に出力されるべき駆動パルスの数PV が設定される。駆動パルス数PV の設定については、例えば以下の表1に従って行われる。
【0063】
【表1】
Figure 0004408153
即ち、差ΔYd が大きければ大きい程、駆動パルス数PV には大きな設定値が与えられる。例えば、差ΔYd が9ないし17であれば、駆動パルス数PV には2が与えられ、差ΔYd が36ないし62であれば、駆動パルス数PV には10が与えられる。なお、表1に対応する一次元マップがシステムコントローラ30のROM30Bに展開されており、差ΔYd の大きさに応じて駆動パルス数PV の設定値が該一次元マップから出力される。
【0064】
次いで、ステップ818では、駆動モータ58がフラグF4で指示された回転方向でかつ上述の設定駆動パルス数PV に基づいて回転駆動され、これにより絞り20の開度が調整される。その後、本ルーチンは一旦終了し、1/30secm後に再び実行される。
【0065】
一方、ステップ807でロックスイッチ73がオフであるとき(F2=0)、鉗子等の処置具が使用されて撮像センサ14によって撮られた場合に限り、自動調光は本発明に従って行われることになる。
【0066】
詳述すると、ステップ807でF2=0のときには、ステップ808に進み、そこで処置具検出ルーチンが実行される。なお、図13を参照して後述されるように、処置具検出ルーチンでは、鉗子等の処置具が使用されているか否か、即ち鉗子等の処置具が撮像センサ14によって撮られているか否かが検出され、鉗子等の処置具の使用が検出されていないときには、処置具判別フラグF3は“0”とされ、鉗子等の処置具の使用が検出されると、処置具判別フラグF3は“1”とされる。
【0067】
ステップ809では、かかる処置具判別フラグF3が“0”であるか“1”であるかが判断される。上記したように、フラグF3=0であれば、鉗子等の処置具は使用されてなく、即ち鉗子等の処置具は撮像センサ14によって撮られていないので、ステップ809からステップ819に進み、上述したような通常の自動調光が行われる。
【0068】
一方、フラグF3=1のとき、即ち鉗子等の処置具が使用されて撮像センサ14によって撮られているとき、ステップ809からステップ810に進み、そこで以下の演算が行われる。
【数3】
Figure 0004408153
即ち、輝度参照値Yr として、設定値Yr0に適当な数値Va (>0)を加えたものが与えられる。数値Va は例えばキーボード67を通して入力設定されるものであって、システムコントローラ30のRAM30Cに格納されているものである。数値Va の大きさはスコープ10の種別に応じて決められるものであってもよく、例えば4、8、16、32の中から適宜選ばれる。
【0069】
続いて、ステップ811では、変数Yとして平均輝度値Ya が強制的に与えられる。即ち、これは、モード切換スイッチ72によって有効最大輝度値モード(モード2)が選択されていても、鉗子等の処置具が使用されている場合、ロックスイッチ73がオンされていない限り、即ちF2=0とされている限り、強制的に有効最大輝度値モード(モード2)から平均輝度値モード(モード1)に切り換えられることを意味する。なお、平均輝度値モード(モード1)が選択されている場合には、その平均輝度値モードが持続されることは勿論である。
【0070】
次いで、ステップ812に進み、その後、先に述べたような絞り20の開度調整が行われるが、しかしこのとき輝度参照値Yr は数値Va だけ通常の自動調光よりも大きくされているために、その分だけ絞り20の開度が広げられ、これに伴ってTVモニタ装置40の映像再現画面の全体の輝度が高められる。
【0071】
通常の平均輝度値モードでの自動調光下では、鉗子等の処置具が撮像センサ14によって撮られると、その処置具からの反射光量が増大して、平均輝度値Ya が上昇し、このため絞り20の開度が狭められて照明光量が減少させられるので、再現画像の全体の輝度レベルが低下して病巣等の患部の肝心な画像部を観察し難くなるということになる。しかしながら、本発明によれば、上述したように、撮像センサ14によって鉗子等の処置具が撮られたとき、輝度参照値Yr が数値Va だけ増大されるので、その分だけTVモニタ装置40の映像再現画面の全体の輝度が高められ、かくして病巣等の患部の肝心な画像部の観察が難しくなるというようなことはなくなる。
【0072】
一方、如何なる局部的なハレーションを好まない操作者にとっては、モード切換スイッチ72によって最大有効輝度値モード(モード2)を選択すると共にロックスイッチ73をオンとすれば、たとえ鉗子等の処置具がスコープ10の先端から突出させられて撮像センサ14によって撮られても、通常の有効最大輝度値モード(モード2)での自動調光が維持されるので、該処置具の高反射性に起因する局部的なハレーションは阻止され得る。
【0073】
ヒストグラム抽出回路64にはメモリが内蔵され、そのメモリには図7に示すようなヒストグラムがヒストグラムデータとして展開される。図10を参照すると、ヒストグラム抽出回路64の内蔵メモリに展開されたヒストグラムデータがアドレスとの関係で模式的に示されている。同図から明らかなように、アドレス[000] には最低輝度レベルの度数データY[000] が格納され、アドレス番号が1ずつ増える毎にそのアドレスには最低輝度レベルから1レベルずつ増大した輝度レベルの度数データY [V] が格納され、アドレス「255]には最大輝度レベルの度数データY[255] が格納される。
【0074】
図11を参照すると、図8及び図9に示した絞り制御ルーチンのステップ803で実行される有効最大輝度値算出ルーチンのフローチャートが示される。
【0075】
ステップ1101では、先ず、変数Vに数値255 が与えられ、次いでステップ1102では、度数カウンタSNがリセットされる。続いて、ステップ1103では、閾値THが以下の演算により求められる。
TH←0.01*F0
即ち、一フレーム分の全画素数F0 の1%に相当する画素数が閾値THとして設定される。例えば、一フレーム分の総画素数が65,000のとき、650 が閾値THとして設定される。
【0076】
ステップ1104では、度数カウンタSNに最高輝度レベルY[255] の度数が与えられる。次いで、ステップ1105では、度数カウンタSNのカウント値が閾値THと比較される。もし度数カウンタSNのカウント値が閾値THよりも小さければ(SN<TH)、ステップ1106に進み、そこで変数Vは1だけ減算され、その数値は最高輝度レベル255 よりも1だけ小さい254 とされる。
【0077】
続いて、ステップ1106からステップ1104に戻され、そこで度数カウンタSNのカウント値(最高輝度レベルY[255] の度数)に輝度レベルY[254] の度数が更に加えられる。ステップ1105では、度数カウントSNのカウント値が再び閾値THと比較される。即ち、度数カウンタSNのカウント値が閾値THに到達するまで、最高輝度レベルY[255] から1輝度レベルずつ小さい輝度レベルの度数が順次カウンタSNに加えられる。
【0078】
ステップ1105でSN≧THとなったとき、ステップ1105からステップ1107に進み、そこで変数Vの値が有効最大輝度値Yk とされる。有効最大輝度値Yk が求められた後、図8及び図9に示す絞り制御ルーチンのステップ804に戻る。
【0079】
図12を参照すると、TVモニタ装置40の映像再現画面が例示的に示され、そこには鉗子等の処置具84の先端部が映し出されている。本実施形態では、鉗子等の処置具を挿通させるための挿通路15の遠位端側の開口はスコープ10の端面に向かって撮像センサ14の左隅上に位置しているために、該開口から突出させられた鉗子等の処置具の先端部はTVモニタ装置40の映像再現画面の右隅領域に写し出されることになる。
【0080】
従って、図12に示すように、TVモニタ装置40の映像再現画面を上下左右に4分割し、それら4分割画面をそれぞれ1、2、3及び4で番号付けすると、各分割画面に占める鉗子等の処置具の映像の割合は第1番目ないし第3番目の分割画面に比べて第4番目の分割画面で最大となる。換言すれば、第4番目の分割画面には高輝度の画素が多数含まれることになるが、第1番目ないし第3番目の分割画面のそれぞれに含まれる高輝度の画素は少なくなる。従って、各分割画面での画素の総度数に対するその該当分割画面での所定の高輝度値例えば200 以上の画素の度数の比を求めることにより、TVモニタ装置40の映像再現画面に鉗子等の処置具が写し出されているか否かを検出することが可能である。
【0081】
図13を参照すると、図8及び図9に示した絞り制御ルーチンのステップ808で実行される処置具検出ルーチンのフローチャートが示される。
【0082】
先ず、ステップ1301では、図12に示した4分割画面のそれぞれについてヒストグラムが作成される。勿論、各4分割画面のヒストグラムについては既に得られた一フレーム分の輝度画素信号に基づいてヒストグラム抽出回路64で展開されたヒストグラムから適宜得られる。ステップ1302では、第1番目、第2番目、第3番目及び第4番目の分割画面のそれぞれのヒストグラムについて、度数総和f1 、f2 、f3 及びf4 が算出され、次いでステップ1303では、第1番目、第2番目、第3番目及び第4番目のそれぞれの分割画面での所定の高輝度値例えば200 以上を持つ画素の度数の総和y1 、y2 、y3 及びy4 が算出される。
【0083】
次いで、ステップ1304では、以下の演算が行われる。
1 ←y1/f1
2 ←y2/f2
3 ←y3/f3
4 ←y4/f4
即ち、第1番目、第2番目、第3番目及び第4番目のそれぞれの分割画面での画素の総度数に対するその該当分割画面での輝度値200 以上の高輝度画素の度数の比c1 、c2 、c3 及びc4 が求められる。
【0084】
ステップ1305では、比c4 が所定の比較値C1とC2との間にあるか否かが判断され、次いでステップ1306ないし1308では比c1 、c2 及びc3 がそれぞれ所定の比較値C3より小さいか否かが判断される。なお、本実施形態では、例えば、定数C1、C2及びC3についてはそれぞれ0.3 、0.7 及び0.1 とされる。
【0085】
比c が比較値C1とC2との間の値を取り、しかも比c 、c 及びc がそれぞれ比較値C3より小さい場合だけ、鉗子等の処置具84が使用されて撮像センサ14によって撮られていると判断され、その場合にはステップ1309に進み、そこで処置具判別フラグF3が“1”とされる。一方、上記条件のうち1つでも外れた場合には、鉗子等の処置具84が使用されていないと判断され、その場合にはステップ1310に進み、そこで処置具判別フラグF3“0”とされる。要するに、鉗子等の処置具84が使用されている場合には、第1番目、第2番目及び第3番目のそれぞれの分割画面では高輝度値を持つ画素信号の割合は小さく(c 、c 、c <C3)、一方第4番目の分割画面では鉗子等の処置具84からの反射光のために高輝度値を持つ画素信号の割合は第1番目、第2番目及び第3番目の分割画面に比べて大きくなり(C1<c C2)、かくしてステップ1305ないし130の判別条件がすべて満たされた場合だけ、鉗子等の処置具の使用が確認されることになる。鉗子等の処置具が使用されているか否かが判別された後、即ち処置具判別フラグF3の値が決定された後、図8及び図9に示す絞り制御ルーチンのステップ809に戻る。
【0086】
以上で述べた処置具検出ルーチンでは、第1番目、第2番目、第3番目及び第4番目のそれぞれの分割画面での画素の総度数に対するその該当分割画面での高輝度画素の度数(輝度値200 以上)の比c1 、c2 、c3 及びc4 を求めて、処置具の使用の有無が判別されているが、第1番目、第2番目、第3番目及び第4番目のそれぞれの分割画面での輝度平均値を求め、これら平均輝度値に基づいて処理具の使用の有無を判別してもよい。勿論、処置具の使用時には、第4番目の分割画面の平均輝度値だけが異常に大きくなるので、その他の分割画面の平均輝度値を適宜比較評価することにより、処置具の使用の有無が判別され得る。
【0087】
以上で述べた実施形態では、鉗子等の処置具84が使用されて撮像センサ14によって撮られているか否かを判別するために、図13に示すような処置具検出ルーチンが実行されるが、しかしそのような処置具検出ルーチンの代わりに、図14に示すような処置具検出回路86をスコープ10に組み込んでもよい。
【0088】
詳述すると、処置具検出回路86には処置具84を検出するための光学的検出器例えばフォトインタラプタ88が設けられ、このフォトインタラプタ88はスコープ10の挿通路15の先端側に配置される。フォトインタラプタ88は発光ダイオード等から成る発光部88Aと、フォトトランジスタ等から成る受光部88Bとを具備する。発光部88Aには抵抗R1 を介して所定の電圧が印加され、これにより発光部88Aからは検出光が受光部88Bに向けて射出させられる。一方、受光部88Bにも抵抗R2 を介して所定の電圧が印加され、抵抗R2 と受光部88Bとの間の配線から延びた検出端子がシステムコントローラ30のI/O30Dに接続される。なお、I/O30Dへの検出端子の接続は画像信号処理ユニット12へのスコープ10の連結時に行われる。
【0089】
受光部88Bが発光部88Aから検出光を受光している間、受光部88Bは通電状態にあり、このとき検出端子の電位は低レベルとされる。一方、発光部88Aと受光部88Bとの間に鉗子等の処置具84が介在すると、受光部88Bへの検出光の受光が遮られ、このとき受光部88Bは非通電状態となって、検出端子の電位は高レベルとなる。従って、検出端子の電位レベルを検出することにより、鉗子等の処置具84が使用されて撮像センサ14によって撮られているか否かを判別することが可能であり、検出端子の電位レベルが低レベルから高レベルに変化したとき、処置具判別フラグF3は“0”から“1”に書き換えられ、検出端子の電位レベルが高レベルから低レベルに変化したとき、処置具判別フラグF3は“1”から“0”に戻される。
【0090】
処置具検出回路86への給電は例えばスコープ10側に設けたバッテリによって行うことも可能であるが、しかし画像信号処理ユニット12へのスコープ10の連結後に画像信号処理ユニット12側の電源回路(図示されない)により、処置具検出回路86への給電を行うこともできる。
【0091】
図15を参照すると、スコープ10に組み込んだ別の処置具検出回路90が示される。処置具検出回路90にはマイクロスイッチ92が設けられ、このマイクロスイッチ92もスコープ10の挿通路15の先端側に配置される。マイクロスイッチ92の一方の端子には抵抗R1 を介して所定の電圧が印加され、またその他方の端子は抵抗R2 (R2 ≫R1 )を介して接地される。マイクロスイッチ92の他方の端子と抵抗R2 と間の配線から延びた検出端子がシステムコントローラ30のI/O30Dに接続される。図14の処置具検出回路86の場合と同様、I/O30Dへの検出端子の接続は画像信号処理ユニット12へのスコープ10の連結時に行われる。
【0092】
マイクロスイッチ92がオフ状態のとき、検出端子の電位は低レベルとされ、鉗子等の処置具84が挿通路15に挿通されて、マイクロスイッチ92がオンされると、検出端子の電位は抵抗R2 の存在のために高レベルとなる。従って、検出端子の電位レベルを検出することにより、鉗子等の処置具84が使用されて撮像センサ14によって撮られているか否かを判別することが可能となる。即ち、検出端子の電位レベルが低レベルから高レベルに変化したとき、処置具判別フラグF3は“0”から“1”に書き換えられ、検出端子の電位レベルが高レベルから低レベルに変化したとき、処置具判別フラグF3は“1”から“0”に戻される。
【0093】
図14に示した処置具検出回路86の場合と同様、処置具検出回路90への給電は例えばスコープ10側に設けたバッテリによって行うことも可能であるが、しかし画像信号処理ユニット12へのスコープ10の連結後に画像信号処理ユニット12側の電源回路(図示されない)により、処置具検出回路90への給電を行うこともできる。
【0094】
更に、処置具判別フラグF3の書換については図16に示すような手動操作スイッチ94によって行うこともできる。詳述すると、手動操作スイッチ94はスコープ10側の適当な箇所に設けられ、手動操作スイッチ94の一方の端子には抵抗R1 を介して所定の電圧が印加され、またその他方の端子は抵抗R2 (R2 ≫R1 )を介して接地される。手動操作スイッチ94の他方の端子と抵抗R2 との間の配線から延びた検出端子がシステムコントローラ30のI/O30Dに接続される。上述の場合と同様、I/O30Dへの検出端子の接続は画像信号処理ユニット12へのスコープ10の連結時に行われる。
【0095】
手動操作スイッチ94がオフ状態のとき、検出端子の電位は低レベルとされ、手動操作スイッチ94がオンされると、検出端子の電位は抵抗R2 の存在のために高レベルとなる。スコープ10の操作者が鉗子等の処置具を使用するとき、手動操作スイッチ94がオンされ、このとき検出端子の電位レベルが低レベルから高レベルに変化させられて、処置具判別フラグF3は“0”から“1”に書き換えられる。一方、鉗子等の処置具の使用を止めるとき、手動操作スイッチ94がオフされ、このとき検出端子の電位レベルが高レベルから低レベルに変化させられ、処置具判別フラグF3は“1”から“0”に戻される。
【0096】
上述の場合と同様、手動操作スイッチ94に対する給電は例えばスコープ10側に設けたバッテリによって行うことも可能であるが、しかし画像信号処理ユニット12へのスコープ10の連結後に画像信号処理ユニット12側の電源回路(図示されない)により、手動操作スイッチ94への給電を行うこともできる。
【0097】
図17を参照すると、本発明による電子内視鏡の別の実施形態がブロック図として図示され、このブロック図は図1に示したブロック図からヒストグラム抽出回路64を排除したものに相当する。図17に示す電子内視鏡では、ビデオプロセス回路38から出力される輝度信号はシステムコントローラ30内のアナログ/デジタル変換器でデジタル量に変換されてRAM30Cに格納される。
【0098】
また、図17の実施形態にあっても、処置具判別フラグF3の書換のために、スコープ10には図14及び図15のいずれかに示す処置具検出回路(86、90)が組み込まれてもよいし、或いは図16に示す手動操作スイッチ94が設けられてもよい。
【0099】
図18を参照すると、図17に示した電子内視鏡のシステムコントローラ30で実行される絞り制御ルーチンのフローチャートが示される。この絞り制御ルーチンは図1に示した電子内視鏡の場合と同様に電子内視鏡のメイン作動ルーチンのサブルーチンとして機能するものであって、例えば映像再現方式としてNTSC方式が採用されている場合には1/30sec 毎に実行される時間割込みルーチンとされる。
【0100】
ステップ1801では、ビデオプロセス回路38から輝度値Yが入力される。次いで、ステップ1802では、処置具判別フラグF3が“0”であるか“1”であるかが判断される。上述したように、フラグF3=0であれば、鉗子等の処置具は使用されてなく、即ち鉗子等の処置具は撮像センサ14によって撮られていないので、ステップ1802からステップ1811に進み、そこで輝度参照値Yr として設定値Yr0が与えられる。上述の実施形態の場合と同様に、設定値Yr0は例えば輝度レベル80と輝度レベル180 との間の値であって、UPボタンスイッチ74及びDOWNボタンスイッチ76の操作によって段階的に変えられるものである。次いで、ステップ1804に進み、通常の自動調光が行われる。
【0101】
詳述すると、ステップ1804では、以下の演算が実行される。
【数4】
Figure 0004408153
即ち、輝度値Yと輝度参照値Yr (Yr0)との差ΔYd が求められる。
【0102】
上述の実施形態の場合と同様に、輝度参照値Yr は例えば輝度レベル80と輝度レベル180 との間で適宜設定される値であって、UPボタンスイッチ74及びDOWNボタンスイッチ76の操作によって段階的に変え得るものである。
【0103】
ステップ1805では、輝度値Yと輝度参照値Yr との差ΔYd が許容値Yt と比較される。上述した実施形態の場合と同様に、許容値Yt は2とされ、差ΔYd が2を越えた場合に、TVモニタ装置40の映像再現画面の全体の輝度が設定輝度参照値Yr に一致してないと判断され、絞り20の開度が調整される。
【0104】
詳しく述べると、もし差ΔYd が許容値Yt を越えている場合には、ステップ1806に進み、そこで(Y−Yr )の正負が判断される。Y>Yr のとき(これはTVモニタ装置40の映像再現画面の全体の輝度が設定輝度参照値Yr に比べて大きいことを意味する)、ステップ1807に進み、そこでフラグF4が“1”とされる。これとは反対に、Y<Yr のとき(これはTVモニタ装置40の映像再現画面の全体の輝度が設定輝度参照値Yr に比べて小さいことを意味する)、ステップ1808に進み、そこでフラグF4が“0”とされる。フラグF4は駆動モータ58の回転方向を指示するためのものであり、F4=1のとき、駆動モータ58は絞り20を閉じる方向に回転駆動させられ、一方F4=0のとき、駆動モータ58は絞り20を広げるように回転駆動させられる。
【0105】
ステップ1809では、差ΔYd の大きさに応じて、駆動回路60から駆動モータ58に出力されるべき駆動パルスの数PV が設定される。駆動パルス数PV の設定については、上述の実施形態の場合と同様に表1に従って行われる。
【0106】
次いで、ステップ1810では、駆動モータ58がフラグF4で指示された回転方向でかつ上述の設定駆動パルス数PV に基づいて回転駆動され、これにより絞り20の開度が調整される。その後、本ルーチンは一旦終了し、1/30sec に再び実行される。
【0107】
一方、フラグF3=1のとき、即ち鉗子等の処置具が使用されるとき、ステップ1802からステップ1803に進み、そこで以下の演算が行われる。
【数5】
Figure 0004408153
即ち、輝度参照値Yr として、設定値Yr0に適当な数値Va (>0)を加えたものが与えられる。上述の実施形態の場合と同様に、数値Va は例えばキーボード67を通して入力設定されるものであって、システムコントローラ30のRAM30Cに格納されているものであり、或いは数値Va はスコープ10の種別に応じて決められるものであってもよく、例えばその値は4、8、16、32の中から適宜選ばれる。
【0108】
次いで、ステップ1804に進み、その後、図8及び図9の絞り制御ルーチンで述べたような絞り20の開度調整が行われるが、このとき輝度参照値Yr は数値Va だけ通常の自動調光よりも大きくされているために、その分だけ絞り20の開度が広げられ、これに伴ってTVモニタ装置40の映像再現画面の全体の輝度が高められる。
【0109】
先に説明したように、通常の自動調光下では、鉗子等の処置具が撮像センサ14によって撮られると、その処置具からの反射光量が増大して、輝度値Yが上昇し、このため絞り20の開度が狭められて照明光量が減少させられ、このため再現画像の全体の輝度レベルが低下して病巣等の患部の肝心な画像部観察し難くなるということになる。しかしながら、本実施形態においても、撮像センサ14によって鉗子等の処置具が撮られたとき、輝度参照値Yr が数値Va だけ増大されるので、その分だけTVモニタ装置40の映像再現画面の全体の輝度が高められ、かくして病巣等の患部の肝心な画像部の観察が難しくなるというようなことはなくなる。
【0110】
【発明の効果】
以上の記載から明らかなように、本発明による電子内視鏡にあっては、鉗子等の処置具の使用時でも病巣等の患部の肝心な画像部の輝度の低下を阻止し得るので、適正な診断、治療を行うことができる。
【図面の簡単な説明】
【図1】本発明による電子内視鏡の一実施形態を示す概略ブロック図である。
【図2】図1に示す回転式RGBカラーフィルタの正面図である。
【図3】図1に示す回転式RGBカラーフィルタをその駆動モータと共に示す側面図である。
【図4】図1に示す絞りをその駆動機構と共に示す概略正面図である。
【図5】本発明による電子内視鏡の画像信号処理ユニットに設けられた操作パネルの正面図である。
【図6】図5の操作パネル上に設けられた種々のスイッチ等とシステムコントローラの関係を示すブロック図である。
【図7】図1に示すヒストグラム抽出回路で展開されるヒストグラムの一例を例示的に示したグラフである。
【図8】図1のシステムコントローラで実行される絞り制御ルーチンを説明するためのフローチャートの一部分である。
【図9】図1のシステムコントローラで実行される絞り制御ルーチンを説明するためのフローチャートの残りの部分である。
【図10】図1に示すヒストグラム抽出回路の内蔵メモリに展開されたヒストグラムデータをアドレスとの関係で示す模式図である。
【図11】図8及び図9の絞り制御ルーチンの一部を成すサブルーチンとしての有効最大輝度値算出ルーチンのフローチャートである。
【図12】図1に示すTVモニタ装置の映像再現画面を例示的に示す概略図である。
【図13】図8及び図9の絞り制御ルーチンの一部を成すサブルーチンとしての処置具検出ルーチンのフローチャートである。
【図14】図8及び図9の絞り制御ルーチンで用いられる処置具判定フラグの書換のためにスコープに組み込まれた処置具検出回路の一例を示す概略図である。
【図15】図8及び図9の絞り制御ルーチンで用いられる処置具判定フラグの書換のためにスコープに組み込まれた処置具検出回路の別の例を示す概略図である。
【図16】図8及び図9の絞り制御ルーチンで用いられる処置具判定フラグの書換のためにスコープに組み込まれた手動操作スイッチの一例を示す概略図である。
【図17】本発明による電子内視鏡の別の実施形態を示す概略ブロック図である。
【図18】図17のシステムコントローラで実行される絞り制御ルーチンを説明するためのフローチャートである。
【符号の説明】
10 スコープ
12 画像信号処理ユニット
14 撮像センサ
15 挿通路
16 光ガイド
18 白色光源
20 絞り
22 集光レンズ
24 回転式RGBカラーフィルタ
28 CCDドライバ
30 システムコントローラ
32 CCDプロセス回路
34 アナログ/デジタル(A/D)変換器
36 フレームメモリ
38 ビデオプロセス回路
40 TVモニタ装置
64 ヒストグラム抽出回路
66 EEPROM
67 キーボード
68 操作パネル
70 電源スイッチ
71 ランプ電源ON/OFFスイッチ
72 モード切換スイッチ
73 ロックスイッチ
74 UPボタンスイッチ
76 DOWNボタンスイッチ
82 LED電源回路
84 処置具
86 処置具検出回路
88 フォトインタラプタ
90 処置具検出回路
92 マイクロスイッチ
94 手動操作スイッチ

Claims (6)

  1. 処置具を挿通させる処置具挿通路を持つスコープと、このスコープを着脱自在に接続させるようになった画像信号処理ユニットとから成る電子内視鏡であって、
    前記画像信号処理ユニット内に設けられた光源を具備し、この光源からの射出光が前記スコープに導かれてその前方を照明するようになっており、
    更に、前記スコープの先端側に設けられた固体撮像手段と、
    前記光源から前記スコープに導かれる光の光量を調節する光量調節手段と、
    前記固体撮像手段から得られる輝度画素信号に基づいてヒストグラムを展開するヒストグラム抽出手段と、
    前記ヒストグラム抽出手段によって展開されたヒストグラムから前記輝度画素信号の平均輝度値を算出する輝度値算出手段と、
    前記輝度値算出手段によって得られた平均輝度値を所定の輝度参照値に実質的に一致させるように前記光量調節手段を制御する第1の光量制御手段と、
    前記ヒストグラム抽出手段によって展開されたヒストグラムから有効最大輝度値を算出する有効最大輝度値算出手段と、
    前記有効最大輝度値算出手段によって得られた有効最大輝度値を所定の輝度参照値に実質的に一致させるように前記光量調節手段を制御する第2の光量制御手段と、
    前記第1の光量制御手段によって前記光量調節手段を制御する第1の調光モードと前記第2の光量制御手段によって前記光量調節手段を制御する第2の調光モードとのいずれかを選択する調光モード切換手段と、
    前記スコープで処置具が使用されているか否かを判別する処置具使用判別手段と、
    前記処置具使用判別手段によって処置具が使用されていると判別された際に前記調光モード切換手段によるモード選択に拘らずに前記第1の調光モードを強制的に設定するモード強制設定手段とを具備し
    前記処置具使用判別手段が前記スコープの処置具挿通路に処置具を挿通させて該スコープの先端から突出させた際に前記固体撮像手段の撮像領域によって常に最初に捉えられる局部的な撮像領域から由来する輝度画素信号のうちの所定の輝度値以上の高輝度画素信号の度数総和を算出する第1の算出手段と、前記局部的な撮像領域以外の撮像領域から由来する輝度画素信号の中の所定の輝度値以上の高輝度画素信号の度数総和を算出する第2の算出手段と、前記第1及び第2の算出手段の双方の算出結果に基づいて前記スコープでの処置具の使用の有無を判別する判別手段とを包含することを特徴とする電子内視鏡。
  2. 請求項に記載の電子内視鏡において、更に、前記処置具使用判別手段によって処置具が使用されていると判別された際に前記所定の輝度参照値を予め決められた数値分だけ強制的に増大させるように設定する輝度参照値強制設定手段が設けられることを特徴とする電子内視鏡。
  3. 請求項またはに記載の電子内視鏡において、前記処置具使用判別手段が前記スコープの処置具挿通路に処置具を挿通させて該スコープの先端から突出させた際に前記固体撮像手段の撮像領域によって常に最初に捉えられる局部的な撮像領域から由来する輝度画素信号の平均輝度値を算出する第1の輝度値算出手段と、前記局部的な撮像領域以外の撮像領域から由来する輝度画素信号の平均輝度値を算出する第2の輝度値算出手段と、前記第1及び第2の算出手段の双方の算出結果に基づいて前記スコープでの処置具の使用の有無を判別する判別手段とを包含することを特徴とする電子内視鏡。
  4. 請求項またはに記載の電子内視鏡において、前記処置具使用判別手段が前記スコープの処置具挿通路に設けた処置具検出器を包含し、この処置具検出器から得られる検出信号に基づいて前記スコープでの処置具の使用の有無を判別することを特徴とする電子内視鏡。
  5. 請求項またはに記載の電子内視鏡において、前記処置具使用判別手段が前記スコープに設けられた手動操作スイッチを包含し、この手動操作スイッチから得られるオン/オフ信号に基づいて前記スコープでの処置具の使用の有無を判別することを特徴とする電子内視鏡。
  6. 請求項からまでのいずれか1項に記載の電子内視鏡において、前記調光モード切換手段によって前記第1の調光モード及び前記第2の調光モードのいずれかの調光モードが選択された際にその選択された調光モードを選択的にロックする調光モードロック手段が設けられ、この調光モードロック手段によって前記第1の調光モード及び前記第2の調光モードのいずれかがロックされたとき、前記処置具使用判別手段によって処置具が使用されていると判別されても前記強制的設定手段が無効化されることを特徴とする電子内視鏡。
JP26181699A 1998-09-16 1999-09-16 電子内視鏡 Expired - Lifetime JP4408153B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26181699A JP4408153B2 (ja) 1998-09-16 1999-09-16 電子内視鏡

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-261981 1998-09-16
JP26198198 1998-09-16
JP26181699A JP4408153B2 (ja) 1998-09-16 1999-09-16 電子内視鏡

Publications (3)

Publication Number Publication Date
JP2000152913A JP2000152913A (ja) 2000-06-06
JP2000152913A5 JP2000152913A5 (ja) 2006-10-05
JP4408153B2 true JP4408153B2 (ja) 2010-02-03

Family

ID=26545262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26181699A Expired - Lifetime JP4408153B2 (ja) 1998-09-16 1999-09-16 電子内視鏡

Country Status (1)

Country Link
JP (1) JP4408153B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4694051B2 (ja) * 2000-07-11 2011-06-01 Hoya株式会社 電子内視鏡
JP2002085345A (ja) * 2000-07-11 2002-03-26 Asahi Optical Co Ltd 電子内視鏡
JP4459506B2 (ja) * 2002-03-28 2010-04-28 Hoya株式会社 内視鏡用自動調光装置および電子内視鏡装置
CA2567737A1 (en) * 2004-05-14 2005-11-24 Olympus Medical Systems Corp. Electronic endoscope
JP4694336B2 (ja) * 2005-09-30 2011-06-08 富士フイルム株式会社 電子内視鏡装置
JP2008142180A (ja) * 2006-12-07 2008-06-26 Pentax Corp 電子内視鏡装置
JP4914736B2 (ja) 2007-02-14 2012-04-11 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP5032174B2 (ja) * 2007-03-30 2012-09-26 富士フイルム株式会社 内視鏡装置
WO2013043344A1 (en) 2011-09-21 2013-03-28 Boston Scientific Scimed, Inc. Systems and methods for preventing laser fiber misfiring within endoscopic access devices
JP5927077B2 (ja) * 2012-08-07 2016-05-25 オリンパス株式会社 内視鏡システム
WO2017010156A1 (ja) * 2015-07-13 2017-01-19 ソニー株式会社 医療用観察装置及び医療用観察方法
WO2019123710A1 (ja) * 2017-12-22 2019-06-27 オリンパス株式会社 内視鏡用検査装置および内視鏡用検査システム
JP7073145B2 (ja) 2018-03-12 2022-05-23 ソニー・オリンパスメディカルソリューションズ株式会社 医療用調光制御装置、および医療用調光制御装置の作動方法
CN111728581A (zh) * 2020-06-30 2020-10-02 深圳市医百生物科技有限公司 电子阴道检测仪

Also Published As

Publication number Publication date
JP2000152913A (ja) 2000-06-06

Similar Documents

Publication Publication Date Title
JP4408153B2 (ja) 電子内視鏡
US6602186B1 (en) Electronic endoscope system
US8553075B2 (en) Endoscope apparatus and control method therefor
JP2006271871A (ja) 内視鏡用画像処理装置
JP4895750B2 (ja) 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
WO2005112737A1 (ja) 内視鏡用光源装置
JPH10323326A (ja) 内視鏡装置
JP4349689B2 (ja) 電子内視鏡
JP2006271870A (ja) 内視鏡用画像処理装置
JP5581122B2 (ja) 電子内視鏡装置
JP4315748B2 (ja) 内視鏡装置
JP4864325B2 (ja) 画像処理装置
JP3762512B2 (ja) 内視鏡装置
JPH09262206A (ja) 電子内視鏡の照明制御装置
JP4694051B2 (ja) 電子内視鏡
JP3875820B2 (ja) 通常光照明と特殊波長光照明との切換可能な電子内視鏡及びそこで使用される回転式三原色カラーフィルタ兼シャッタ
JP2006192058A (ja) 画像処理装置
JP4459506B2 (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP4246320B2 (ja) 電子内視鏡
JP2002085345A (ja) 電子内視鏡
JP2006116153A (ja) 内視鏡用画像処理装置及び内視鏡装置
JP3762623B2 (ja) 通常光照明と特殊波長光照明との切換可能な電子内視鏡
JP2005124755A (ja) 内視鏡用画像処理装置
JP4738768B2 (ja) 眼科撮影装置
JP4795533B2 (ja) 眼科撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060810

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091106

R150 Certificate of patent or registration of utility model

Ref document number: 4408153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term