JP4223778B2 - 内視鏡用自動調光装置および電子内視鏡装置 - Google Patents

内視鏡用自動調光装置および電子内視鏡装置 Download PDF

Info

Publication number
JP4223778B2
JP4223778B2 JP2002285880A JP2002285880A JP4223778B2 JP 4223778 B2 JP4223778 B2 JP 4223778B2 JP 2002285880 A JP2002285880 A JP 2002285880A JP 2002285880 A JP2002285880 A JP 2002285880A JP 4223778 B2 JP4223778 B2 JP 4223778B2
Authority
JP
Japan
Prior art keywords
tip
luminance value
area
areas
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002285880A
Other languages
English (en)
Other versions
JP2003180631A (ja
Inventor
充 飯田
春彦 日比
兼一 入山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2002285880A priority Critical patent/JP4223778B2/ja
Publication of JP2003180631A publication Critical patent/JP2003180631A/ja
Application granted granted Critical
Publication of JP4223778B2 publication Critical patent/JP4223778B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、CCDなどの撮像素子を有するビデオスコープとビデオスコープが接続されるプロセッサとを備えた電子内視鏡装置に関し、特に、観察部位へ向けて照射する光の光量を調整して観察される被写体像の明るさを一定に維持する自動調光に関する。
【0002】
【従来の技術】
従来の自動調光では、照明光が照射された被写体(観察部位)を撮像する撮像素子から読み出される被写体像に応じた画像信号に基いて被写体像の明るさを表す代表的な輝度(例えば、輝度平均値)が算出され、この輝度値と適正な被写体像の明るさを表す参照輝度値との差に基いて照明光量が調節される。輝度値を算出する測光方式としては、画面全体の明るさの平均を求める平均測光や、画面全体の中で輝度値の比較的高い値を被写体像の明るさとするピーク測光等があり、オペレータは必要に応じて測光方式を選択する。
【0003】
【発明が解決しようとする課題】
撮像素子に被写体像を形成させる対物レンズやライトガイドから射出する光を被写体に向けて照射する照明用レンズ(拡散レンズ等の配光レンズ)が設けられたビデオスコープの先端部における径の大きさ等の先端部仕様は、観察対象の部位(胃、気管支、大腸など)によって様々であり、対物レンズ、配光レンズの配置場所等はスコープ先端部仕様によって異なる。その結果、撮像素子が受ける光量もそれらレンズの配置関係の違い、すなわち接続されるビデオスコープの先端部仕様の違いによって変化する。しかしながら、従来では、接続されるビデオスコープに関わらず同じ測光方式で光量調整が行われるため、先端部のレンズ配置によっては適切に被写体像の明るさを検出することができず、その結果、被写体像の明るさを適正に維持することができない場合があった。
【0004】
そこで本発明では、接続されるビデオスコープの先端部仕様の違いに関わらず、被写体像の明るさを適正な明るさに維持することができる自動調光装置およびそのような自動調光装置を備えた電子内視鏡装置を得ることを目的とする。
【0005】
【課題を解決するための手段】
本発明の電子内視鏡装置は、ビデオスコープおよびプロセッサとを備えた電子内視鏡装置であり、ビデオスコープの先端部には、少なくとも対物レンズ、照明用レンズおよび撮像素子が設けられ、ビデオスコープは着脱自在にプロセッサに接続される。また、プロセッサには観察映像を映し出すモニタが接続可能である。電子内視鏡装置には、照明用の光源および画像信号処理手段が設けられており、光源から放射される光は、例えば、ビデオスコープ内に通常設けられるライトガイドを介して被写体に向けて光が照射される。ただし、光源として発光ダイオード(LED)をスコープ先端部に設けてもよい。スコープ先端に設けられた照明用レンズにより、スコープ先端部から射出する光は観察部位全体に渡って照射する。被写体に光が照射されると、反射した光が先端部に設けられた対物レンズを介して撮像素子に到達し、これにより被写体像が撮像素子に形成される。画像信号処理手段は、撮像素子に発生する画像信号を所定の時間間隔ごとに読み出し、1フレーム分(あるいは1フィールド分)の輝度信号を生成する。
【0006】
本発明の電子内視鏡装置は、自動調光処理を実行するため、スコープ先端データメモリと、測光方式設定手段と、測光手段と、光量調整手段とを有する。スコープ先端データメモリには、ビデオスコープの先端部における仕様であって、少なくとも対物レンズと照明用レンズとの配置関係を含む先端部仕様がデータとして記憶される。ただし、レンズの配置関係は、対物レンズに対する照明用レンズの位置(照明用レンズに対する対物レンズの位置)あるいは対物レンズから照明用レンズまでの距離といった関係を示す。先端部においては、照明用レンズが2つ配置されているものあり、この場合、先端部仕様は、2つの照明用レンズそれぞれに対する対物レンズの位置および距離の相対的な違いとして表される。CCDなどの撮像素子に形成される被写体像の明るさはレンズの配置関係に影響され、例えば、照明用レンズの位置によっては、撮像素子の受ける光量が特定の領域部分で相対的に多くなる場合がある。その結果、被写体像の特定部分が他の部分より相対的に明るくなって映し出される。本発明では、先端部の照明特性あるいは受光特性が含まれる先端部仕様のデータがあらかじめ記憶されており、先端部仕様検出手段によって検出される。撮像素子に形成される被写体像は複数のエリアに分割されており、測光方式設定手段は、検出された先端部仕様に従って複数のエリアそれぞれに対する重み付け係数を定める。エリアの分割(分割数、あるいは分割領域)に関しては、例えば、中央部と4つの周辺部の領域に分けた5分割や、6分割、さらには蜂の巣状に分割した多重分割など様々な分割形式が適用可能である。
【0007】
被写体像が複数のエリアに分割されていることにより、様々な測光方式によって被写体像の明るさを検出することが可能であり、例えば、平均測光、中央重点平均測光、中央重点測光、スポット測光などが実行可能である。この場合、複数のエリアそれぞれに対する重み付け係数を変えることで測光方式が変更される。本発明では、複数のエリアのうち、被写体像の明るさ検出において重要なエリアに基いて被写体像全体の代表的な輝度値が算出されるように、重み付け係数、すなわち測光方式が定められる。重要なエリアはビデオスコープの先端部特性によって異なり、分割されたエリアの半分の領域を重要である場合や、周辺部の領域のみ重要である場合もあり、あるいは、すべてのエリアが輝度情報として重要な場合もある。この重要なエリアとそれ以外のエリアの違いは、重要でないエリアの部分輝度値を考慮して被写体像の全体的な輝度値を算出すると、必要以上に低い輝度値あるいは高い輝度値として算出され、誤った光量調整が実行されてしまうという点にある。そして、測光手段は、複数のエリアそれぞれにおける像の明るさを表す複数の部分輝度値を輝度信号から検出し、複数の部分輝度値に対して対応する重み付け係数を乗ずることにより、複数の部分輝度値から1フレーム(1フィールド)分の被写体像全体の明るさを表す全体輝度値を算出する。全体輝度値の算出に関しては、例えば、測光手段は、重み付け係数が乗じられた部分輝度値の総和を複数のエリアの数で割ることによって全体輝度値を算出する。
【0008】
先端部特性に応じて重み付け係数を定めることにより、複数のエリアの中で特定のエリアの部分輝度値を重点にして全体輝度値を算出することが可能であり、また、重み付けを均等にして全体輝度値を算出することも可能である。すなわち、対物レンズと照明用レンズの配置関係から輝度情報として重要な部分輝度値を基にして全体輝度値が算出可能となる。そして、光量調整手段は、全体輝度値に基いて、被写体に照射される光の光量を調整する。例えば,明るさとして適正な輝度値を表す参照値と全体輝度値の差を算出し、その差に基き絞りなどを駆動させて光量を調整すればよい。
【0009】
例えば、被写体像の特定部分が先端部仕様の影響によって他の部分に比べて相対的に明るくなる場合、その部分のエリアの輝度情報は重要な輝度情報である。暗い部分のエリアの輝度情報に基いて全体輝度値を算出すると、必要以上に絞りが開いて撮像素子の受ける光量が多くなり、観察される被写体像が過度に明るくなる。そのため、測光方式設定手段は、先端部特性によって部分輝度値が高輝度値となる高輝度エリアの重み付け係数を他のエリアの重み付け係数に比べて大きな値に定めることが好ましい。各エリアの重み付け係数は、高輝度エリアに重点領域にした重点平均測光が実行できるように定められる。測光手段は、定められた重み付け係数に従って全体輝度値を算出する。
【0010】
一方、先端部仕様によっては、被写体像全体において輝度値の差が生じない場合がある。(例えば、先端部において照明用レンズが2つ配置され、その間に対物レンズが配置されている場合など)。このときの測光方式としては平均測光が望ましいことから、測光方式設定手段は複数のエリアそれぞれの重み付け係数を等しくし定め、測光手段は平均測光により全体輝度値を算出する。
【0011】
多くのビデオスコープ内には、観察部位を処置等するための処置器具が挿入される鉗子チャンネルが形成されており、スコープ先端部には鉗子口が形成されている。したがって、処置器具が鉗子口から出ている状態では、観察部位の画像とともに処置器具の画像がモニタに映し出される。金属部材である処置器具が鉗子口から出ていると、処置器具に光が反射することによってその処置器具の像に相当する部分が非常に高輝度になり、いわゆるハレーションを発生させる。この高輝度の情報に基いて自動調光すると、他の部分が必要以上に暗くなる。そのため、対物レンズおよび照明用レンズに対する先端部に形成された鉗子口の配置関係がデータとしてスコープ先端データメモリにあらかじめ記憶させ、測光方式設定手段が、先端部仕様に従って、複数のエリアの中で鉗子口から突出する処置器具の像が現れる鉗子口エリアを選定し、測光手段が、鉗子口エリアの部分輝度値がハレーション発生に応じた境界輝度値より大きいか否かを判別することが望ましい。鉗子口エリアの部分輝度値が境界輝度値より大きい場合、処置器具が使用されているとみなされ、測光手段は、鉗子口エリア以外のエリアで検出される部分輝度値から全体輝度値を算出する。
【0012】
処置器具先端部の像は、モニタの画面の隅付近に現れることが多い。そのため、撮像素子に形成される被写体像の中心を基準として放射状に分割されることが望ましい。すなわち、被写体像全体は、中心部からの放射線を境界線とした複数の分割エリアに分割される。
【0013】
重み付け係数に関しては、プロセッサ内のメモリなどに接続可能なビデオスコープそれぞれの先端部仕様に適した重み付け係数をあらかじめメモリなどに記憶させ、測光方式設定手段が、接続されたビデオスコープの先端部特性に応じた重み付け係数のデータを読み出すようにするのが好ましい。
【0014】
本発明の他の局面における内視鏡用自動調光装置は、撮像素子を有し、体内に挿入されるビデオスコープと、ビデオスコープが接続されるプロセッサとを備え、体内へ送る光を放射する照明用光源と、撮像素子から読み出される被写体像に応じた画像信号を処理して輝度信号を生成する信号処理手段を有する電子内視鏡装置に組み込まれる。そして、調光装置は、ビデオスコープの先端部における、少なくとも対物レンズと照明用レンズとの配置関係を含む先端部仕様がデータとして記憶されるスコープ先端データメモリと、ビデオスコープの先端部仕様を検出する先端部仕様検出手段と、撮像素子に形成される被写体像が分割されることによって規定される複数のエリアそれぞれに対する重み付け係数を、先端部仕様検出手段により検出された先端部仕様に従って定める測光方式設定手段と、複数のエリアそれぞれにおける像の明るさを表す複数の部分輝度値を輝度信号から検出し、複数の部分輝度値に対して対応する重み付け係数を乗ずることにより、複数の部分輝度値から被写体像全体の明るさを表す全体輝度値を算出する測光手段と、全体輝度値に基いて、体内へ送る光の光量を調整する光量調整手段とを備えたことを特徴とする。あるいは、本発明の他の局面における電子内視鏡装置は、先端部に少なくとも対物レンズ、照明用レンズおよび撮像素子が設けられるビデオスコープと、ビデオスコープが着脱自在に接続されるプロセッサとを備えた電子内視鏡装置であって、被写体像を構成するエリアを複数のエリアに分割し、先端部仕様に従って複数のエリアの中から重点領域を定め、他の領域に比べて重点領域に重点を置くことにより被写体像の全体輝度値を算出する輝度算出手段と、全体輝度値に基いて被写体に向けて照射する光の光量を調整する光量調整手段とを備えたことを特徴とする。
【0015】
【発明の実施の形態】
以下では、図面を用いて本発明の実施形態である電子内視鏡装置について説明する。
【0016】
図1は、本実施形態である電子内視鏡装置のブロック図である。ビデオスコープとプロセッサとを備えた電子内視鏡装置は、胃などの体内にある臓器を検査、手術などを行う際に使用され、検査等が開始されると、ビデオスコープが体内へ挿入される。
【0017】
電子内視鏡装置では、撮像素子の1つであるCCD(Charge-Coupled Device)54を有するビデオスコープ50と、CCD54から読み出される画像信号を処理するプロセッサ10とが備えられ、被写体像を表示するモニタ32がプロセッサ10に接続される。ビデオスコープ50はプロセッサ10に着脱自在に接続され、また、プロセッサ10には、モニタ32に加えてキーボード34が接続される。
【0018】
ランプ電源スイッチ(図示せず)がONになると、ランプ制御回路11Aを含むランプ電源部11からランプ(照明用光源)12へ電源が供給され、これによりランプ12から光が放射する。ランプ12から放射された光は、集光レンズ14を介してビデオスコープ50内に設けられた光ファイバー束51の入射端51aに入射する。光ファイバー束51は、ランプ12から放射される光を観察部位のあるビデオスコープ50の先端部60へ光を伝達する極細の光ファイバーの束であり、光ファイバー束51を通った光は出射端51bから出射する。これにより、照明用レンズである配光レンズ52を介して観察部位Sに光が照射される。また、ビデオスコープ50には、鉗子チャンネル58が形成されており、観察部位を処置等する場合には処置器具(ここでは図示せず)が鉗子チャンネル58に挿入される。さらには、鉗子チャンネル58のほかに、送気送水用の管(図示せず)もビデオスコープ50内に形成されている。
【0019】
観察部位Sにおいて反射した光は、対物レンズ53を通ってCCD54の受光領域に到達し、これにより観察部位Sの被写体像がCCD54の受光領域に形成される。本実施形態では、カラー撮像方式として同時単板式が適用されており、CCDの受光面上にはイエロー(Ye)、シアン(Cy)、マゼンタ(Mg)、グリーン(G)の色要素が市松状に並べられた補色カラーフィルタ(図示せず)が受光領域の各画素位置に対応するよう配置されている。そして、CCD54では、補色カラーフィルタを通る色に応じた被写体像の画像信号が光電変換により発生し、所定時間間隔ごとに1フレームもしくは1フィールド分の画像信号が、色差線順次方式に従って順次読み出される。本実施形態では、カラーテレビジョン方式としてNTSC方式が適用されており、1/30(1/60)秒間隔ごとに1フレーム(1フィールド)分の画像信号が順次読み出され、初期信号処理回路55へ送られる。
【0020】
初期信号処理回路55では、カラー画像信号に対してホワイトバランス、ガンマ補正などを含む様々な処理が施され、輝度信号および色差信号が映像信号として生成される。また、初期信号処理回路55には、CCD54を駆動するためのCCDドライバ(図示せず)が含まれており、CCDドライバからCCD54へ駆動信号が出力される。生成された映像信号はプロセッサ信号処理回路28へ送られるとともに、映像信号に含まれる輝度信号は調光回路23にも送られる。調光回路23へ順次送られる1フレーム分(1フィールド分)の輝度信号に合わせて、同期信号等が所定のタイミングで調光回路23へ送られる。
【0021】
プロセッサ信号処理回路28では、初期信号処理回路55送られてくる映像信号に対して所定の処理が施される。処理された映像信号は、NTSCコンポジット信号、Y/C分離信号(いわゆるSビデオ信号)、RGB分離信号などのビデオ信号としてモニタ32へ出力され、これにより被写体像がモニタ32に映し出される。
【0022】
システムコントロール回路22には、CPU24、ROM25、RAM26が含まれており、CPU24は、プロセッサ10全体を制御し、調光回路23、ランプ制御回路11A、プロセッサ信号処理回路28などの各回路に制御信号を出力する。タイミングコントロール回路30では、信号の処理タイミングを調整するクロックパルスがプロセッサ10内の各回路に出力され、また、ビデオ信号に付随される同期信号がプロセッサ信号処理回路28に送られる。システムコントロール回路22内のROM25には、電子内視鏡装置全体を制御するためのプログラムや後述する調光テーブルのデータがあらかじめ記憶されている。
【0023】
ライトガイド51の入射端51aと集光レンズ16との間には被写体Sに照射される光の光量を調整のため絞り16が設けられており、モータ18の駆動によって開閉する。本実施形態では、DSP(Digital Signal Processor)で構成された調光回路23により、絞り16を通過する光、すなわち被写体Sへ照射される光の光量調整が行われる。初期信号処理回路55から出力される輝度信号は、A/D変換器(図示せず)によってデジタルの輝度信号に変換された後、調光回路23へ入力される。後述するように、CCD54に形成される被写体像は、複数のエリアに分割されており、調光回路23では、送られてくる輝度信号に基き、各エリア毎に輝度値が算出され、さらにその算出された輝度値に基いて、被写体像全体の明るさに対応した代表的な輝度値が算出される。この全体的な輝度値に従って、調光回路23からモータドライバ20へ制御信号が送られ、モータ18がモータドライバ20によって駆動される。これにより、絞り16が所定の開度まで開く。
【0024】
ビデオスコープ50内には、ビデオスコープ50全体を制御するスコープ制御部56と、スコープ先端部の特性を含むビデオスコープ50に関連したデータがあらかじめ記憶されたEEPROM57とが設けられている。スコープ先端部の仕様に関するデータには、CCD54の画素数、サイズや配光レンズ52および対物レンズ53の配置関係、さらには鉗子チャンネル58の先端部に形成された鉗子口59Aの配置に関するデータが含まれる。スコープ制御部56は、初期信号処理回路55を制御するとともに、EEPROM57からスコープ関連データを読みだす。ビデオスコープ50がプロセッサ10に接続されると、スコープ制御部56とシステムコントロール回路22との間でデータが送受信され、スコープ関連データがシステムコントロール回路22へ送られる。調光回路23では、後述するように、送られてきたスコープ先端部の仕様データに基いて自動調光を行う。
【0025】
フロントパネル46には、自動調光において基準となる参照輝度値の設定をするための設定スイッチ46Aが設けらており、オペレータがスイッチを操作すると、操作に応じた信号がシステムコントロール回路22へ送られる。参照輝度値のデータは、RAM26へ一時的に格納されるとともに、必要に応じてシステムコントロール回路22から調光回路23へ送られる。キーボード34において文字情報をモニタ32に表示するためキー操作がなされると、キーボード34操作に応じた信号がシステムコントロール回路22へ入力され、その信号に基き、プロセッサ信号処理回路28においてキャラクタ信号が映像信号にスーパーインポーズされる。
【0026】
図2は、ビデオスコープの先端部60と、鉗子チャンネル58を通して処置器具を使用した場合にモニタ32に表示される被写体像を示した図である。図2を用いて、先端部60の特性について説明する。
【0027】
通常、ビデオスコープは、観察対称の違いによってスコープ先端部における対物レンズ、配光レンズの配置が異なる。例えば、大腸などの下部消化管を観察するビデオスコープでは、スコープの径が大きいため、鉗子チャンネル以外にもレンズの外表面を洗浄するための送気、送水ノズルや観察部位を染色、洗浄するためのウォータジェットノズルなどがスコープ内に形成されており、これらノズルによって先端部における対物レンズ、配光レンズの位置が影響される。一方、気管支や食道などを観察する上部消化管用のビデオスコープの場合、スコープの径が小さく、対物レンズ、配光レンズの位置が制限される。このようにスコープの先端部の仕様は、ビデオスコープの種類毎に異なる。本実施形態では、上部消化管用と下部消化管用の2つのビデオスコープ50を用意し、上部消化管用のビデオスコープ50をタイプAのビデオスコープとして表し、下部消化管用のビデオスコープ50をタイプBのビデオスコープとして表す。
【0028】
タイプAのビデオスコープ50の場合、ライトガイド51はビデオスコープ50の先端部60の付近において2方向に分岐しており、図2に示すように、配光レンズ52は2つの配光レンズ52A、52Bからなる。また、先端部60には、鉗子口59Aのほかに送気、送水口61が形成されている。対物レンズ53は、配光レンズ52A、52Bの間に配置されており、配光レンズ52A,52Bは対物レンズ53を挟んで対照的な位置に配置されている。したがって、対物レンズ53の後方に配置されたCCD54が受ける光量は、受光領域全体に渡ってほぼ均一といえる。一方、タイプBのビデオスコープ50の場合、タイプAのビデオスコープ50と同様に2つの配光レンズ52A、52Bが先端部60に設けられているが、配光レンズ52A、52Bは対物レンズ53を基準として非対称的な位置にあり、配光レンズ52Aから対物レンズ53までの距離は配光レンズ52Bから対物レンズ53までの距離に比べて短い。その反面、配光レンズ52Bからの照明光量は、開口径の大きさの違いにより、配光レンズ52Aからの照明光量より大きい。そのため、CCD54の受光領域において、ある特定領域の受光量が相対的に多くなる。また、2つの送気、送水口61が先端部60において形成されており、一方が送水用、他方が送気用に使用される。
【0029】
このように、被写体像を形成する対物レンズ53と、被写体である観察部位に照射する光が通過する配光レンズ52A、52Bとの先端部における配置関係により、CCD54が受ける光量は変化する。したがって、調光回路23において検出される被写体像の明るさ(輝度値)も先端部の特性によって変わってくる。そこで、本実施形態では、後述するように、スコープ先端部60の特性に応じて、被写体像の明るさが検出される。
【0030】
また、先端部60における鉗子口59Aの位置もスコープ毎に異なり、したがって、処置器具が使用されているときに現れる処置器具先端部59の像の位置もスコープ毎に異なる。図2に示すように、タイプAの場合、処置器具の先端部59はモニタ32の左隅に映し出され、タイプBの場合、モニタ32の上部に映し出される。この処置器具先端部59の表示位置は、対物レンズ53と鉗子口59Aの配置関係によって左右される。本実施形態では、後述するように、処置器具を使用している場合、処置器具先端部59の映像部分を考慮して被写体像の明るさを検出する。
【0031】
図3は、プロセッサ10のCPU24が実行するプロセッサ全体動作を制御する処理を示したメインルーチンである。また、図4は、被写体像の分割エリアを示した図である。メイン電源スイッチ(図示せず)がONになると処理が開始される。
【0032】
ステップ101では、絞り位置などが初期設定される。ステップ102では、ビデオスコープ50がプロセッサ10に接続されているか否かが判定される。ビデオスコープ50が接続されていると判断されると、ステップ103に進む。一方、ビデオスコープ50が接続されていないと判断された場合、繰り返しステップ102が実行される。
【0033】
ステップ103では、ビデオスコープ50内のEEPROM57からスコープ先端部の特性データを含むスコープ関連のデータが読み出される。そして,ステップ104では、読み出された先端部の特性データに基いて、重み付け係数の値が定められる。
【0034】
図4に示すように、被写体像が形成されるCCD54の受光領域54Aは、12のエリアに分割されており、それぞれ、エリア1、エリア2、・・・・エリア12と表される。本実施形態では、中心点CPから放射状に境界線を引くことによって受光領域54Aが12のエリアに分割されており、ビデオスコープ50が接続されると、そのスコープタイプに応じた各エリアの重み付け係数W(x)(x=1、2、・・・12)の値が定められる。なお、重み付け係数W(x)の値はビデオスコープ50のタイプによって異なり、本実施形態では、重み付け係数W(x)はあらかじめ調光テーブルデータとしてROM25に記憶されている。
【0035】
タイプAのビデオスコープ50が接続された場合、対物レンズ53を挟んで配光レンズ52A、52Bは対称的な位置にあり、CCD54の受ける光量は受光領域全体に渡ってほぼ均一となる。したがって、エリア1〜12それぞれの輝度値(以下、部分輝度値という)を考慮して被写体像全体の輝度値を算出するため、各エリアの重み付け係数W(x)はすべて等しい値に設定される。これは、タイプAのビデオスコープ50の場合、いわゆる平均測光によって全体の輝度値が算出されることを示す。ここでは、重み付け係数W(x)の値はすべて1に設定される。
【0036】
一方、タイプBのビデオスコープ50が接続された場合、配光レンズ52A、52Bは、対物レンズ53を基準として非対称であり、その結果、受光領域54Aの特定部分の受光量が他の領域に比べて多く、逆にその他の領域における受光量が少なくなる。ここでは、エリア5、エリア6、エリア7(図2、4参照)における受光量が、他のエリアに比べて少なくなる。そのため、エリア1、エリア11、エリア12の重み付け係数W(x)の値は、以下に示すように、他のエリアの重み付け係数W(x)の値よりも小さく設定される。
W(x)=1.2 (x=1〜4、8〜12) (1)
W(x)=0.8 (x=5、6、7) (2)
これは、タイプBのビデオスコープ50の場合、エリア5、エリア6、エリア7以外の領域を重点領域として、いわゆる重点平均測光によって全体輝度値が算出されることを示す。接続されたビデオスコープ50の先端部60に応じた重み付け係数W(x)のデータはROM25から読み出されると、調光回路23へ送られる。また、ステップ104では、後述するように、スコープ関連データに含まれる鉗子口59Aの配置に関するデータに基いて、鉗子口59Aの位置に対応するエリアデータが調光回路23へ送られる。ステップ104が実行されると、ステップ105へ進む。
【0037】
ステップ105では、他のタイプのビデオスコープへ取り替えるため、ビデオスコープ50が取り外されたか否かが判定される。ビデオスコープ50が取り外されていると判断されると、ステップ102に戻る。一方、ビデオスコープ50が取り外されていないと判断されると、ステップ106に進み、キーボード操作に関連した処理や時刻表示処理など、その他の処理が実行される。ステップ106が実行されると、ステップ105に戻る。メインルーチンのステップ102〜106は、電源がOFFになるまで繰り返し実行される。
【0038】
図5は、調光回路23において実行される自動調光処理を示した割り込みルーチンであり、1フレーム分の画像信号読み出しの時間間隔(1/30秒)に応じて図3のメインルーチンに割り込んで処理される。なお、本実施形態で表される輝度値は、0〜255の範囲で表される輝度レベルを示す。
【0039】
ステップ201では、ハレーション発生状態変数KMが0であるか否かが判定される。ハレーション発生状態変数KMは、処置器具の先端部59がスコープ先端部60の鉗子口59Aから突出することによって、画処置器具先端部59の像が映し出されるエリアの輝度値が高輝度になった状態、すなわち実質的にハレーションが発生している、あるいは発生しているとみなせる状態を示す変数であり、処置器具の使用によってハレーションが発生している場合、KM=1に設定され、一方、処置器具が使用されずハレーションが発生していない場合、KM=0に設定される。ステップ201においてハレーション発生状態変数KMが0であると判断された場合、ステップ202に進む。
【0040】
図6は、ステップ202のサブルーチンである。
【0041】
ステップ301では、受光領域54Aにおいて分割によって定められたエリアの場所および分割数Dが設定される。本実施形態では、受光領域54Aは図4に示すようにエリア1〜エリア12まで分割されており、分割数Dは12である。ステップ302では、オペレータによって設定された、あるいはデフォルトの参照輝度値Vrefが読み出される。ここでは、参照輝度値Vrefは128に設定される。ステップ303では、各エリアの重み付け係数W(x)(x=1、2、・・・12)の値が、システムコントロール回路22から送られてくる重み付け係数データに従って設定される。タイプAのビデオスコープ50の場合、重み付け係数W(x)はすべて1に設定され、タイプBのビデオスコープ50の場合、(1)(2)式によって重み付け係数W(x)の値が定められる。ステップ303が実行されると、ステップ304に移る。
【0042】
ステップ304では、各エリアの輝度平均値を表す部分輝度値A(x)(x=1、2、・・・12)が算出される。部分輝度値A(x)は、対応するエリアA(x)内における各画素の輝度値の総和をエリア(x)の画素数で割ることにより算出される。ステップ305では、各エリアにおける重み付け係数W(x)と部分輝度値A(x)との積W(x)・A(x)を全エリア1〜12について総和した輝度総和SUM(=ΣW(x)×A(x))が算出される。
【0043】
そして、ステップ306では、輝度総和SUMがエリア数D(=12)によって割られ、これにより被写体像全体の明るさを示す代表的な輝度値として全体輝度値Vrが算出される。ステップ306が実行されると、ステップ307へ移る。
【0044】
ステップ307では、全体輝度値Vrと参照輝度値Vrefとの差ΔVが求められる。そして、ステップ308では、求められた輝度差ΔVに基づいて制御信号がモータドライバ20へ送られる。これにより、絞り16は輝度差ΔVが解消するように所定量だけ駆動される。ステップ308が実行されると、このサブルーチンは終了し、図5のステップ202に戻る。
【0045】
一方、図5のステップ201においてハレーション発生状態変数KMが1であると判断されると、ステップ203に移る。
【0046】
図7は、ステップ203のサブルーチンである。
【0047】
ステップ401〜403の実行は、図6のステップ301〜303の実行に対応する。すなわち、エリアおよびエリア数、参照輝度値Vref、各エリアの重み係数W(x)が定められる。ステップ404では、エリア1〜12の中で画面上において処置器具先端部59の映し出される鉗子口エリアAKの重み付け係数W(e)が、0に定められる。ステップ405が実行されると、ステップ406に進む。
【0048】
ステップ406〜ステップ410の実行は、それぞれ図6のステップ304〜308の実行と同じである。すなわち、全体輝度値Vrが算出され、輝度平均値Vrと参照輝度値Vrefとの輝度差ΔVに基いて絞り16が駆動される。ただし、全体輝度値Vrの算出において、鉗子口エリアAKの部分輝度値A(x)と対応する重み付け係数W(e)との積は0になる。したがって、全体輝度値Vrは鉗子口エリアAKにおける部分輝度値に影響を受けない。ステップ410が実行されると、このサブルーチンは終了し、図5のステップ203に戻る。
【0049】
ステップ202もしくはステップ203が実行されるとステップ204に移る。ステップ204では、鉗子口エリアAKの部分輝度値A(x)が境界輝度値Vbより大きいか否かが判定される。上述したように、鉗子口エリアAKは、エリア1〜エリア12の中で処置器具先端部59の像が現れるエリアを表し、例えば、タイプAのビデオスコープ50の場合にはエリア4に処置器具先端部59が映し出され、タイプBのビデオスコープ50の場合にはエリア2に処置器具先端部59が映し出される(図2、図4参照)。なお、これら処置器具先端部59の現れる鉗子口59Aの位置は、あらかじめEEPROM57にデータとして記憶されており、ビデオスコープ50がプロセッサ10に接続されると図3のステップ103において読み出され、そして、図4のステップ104において、重み付け係数W(x)のデータとともに鉗子口59Aの位置に対応した鉗子口エリアAKのデータも調光回路23へ送られる。境界輝度値Vbは、ハレーション発生状態となる閾値であり、金属製の処置器具先端部59に光が反射した時の鉗子口エリアAKの部分輝度値A(x)が境界輝度値Vb以上である場合、処置器具が使用され、ハレーションが発生せしているとみなす。ここでは、境界輝度値Vbは220である。
【0050】
ステップ204において鉗子口エリアの部分輝度値A(x)が境界輝度値Vbより大きい、すなわち処置器具先端部59が先端部60から突出することによって鉗子口エリアAKが他のエリアに比べて高輝度状態であると判断された場合、ステップ205に移り、ハレーション発生状態変数KMが1に設定される。これにより、次回の光量調整処理において、ステップ203が実行される。一方、ステップ204において鉗子口エリアの部分輝度値A(x)が境界輝度値Vbより大きくない、すなわち処置器具は使用されていないと判断されると、ステップ206に移り、ハレーション発生状態変数KMが0に設定される。これにより、次回の光量調整においてステップ202が実行される。ステップ205もしくはステップ206が実行されると、この割り込みルーチンは終了する。
【0051】
このように本実施形態によれば、ステップ103においてビデオスコープ50の先端部60に関する仕様データが読み出され、ステップ104において重み付け係数W(x)が定められる。そして、各重み付け係数W(x)に基いて部分輝度値A(x)、さらには全体輝度値Vrが算出される。そして、全体輝度値Vrと参照輝度値Vrefとの輝度差ΔVに基づいて、絞り16が駆動される。
【0052】
本実施形態では、2つのタイプA、Bのビデオスコープ50が接続される構成であるが、それ以外のタイプ、すなわち図2に示した先端部の仕様以外の仕様のビデオスコープを接続させるようにしてもよい。この場合、その先端部特性に適した重み付け係数W(x)、すなわち測光方式(スポット測光など)が設定される。また、撮像素子の画素数と画面に表示される被写体像を構成する画素数が異なる場合、表示される被写体像を対象にして分割エリア、分割数を設定すればよい。
【0053】
重み付け係数W(x)のデータをプロセッサ10内のROM25の代わりにEEPROM57にあらかじめ記憶させるようにしてもよい。この場合、重み付け係数W(x)のデータが直接読み出され、それに基いて全体輝度値が算出される。
【0054】
配光レンズ52は、2つに限定されず、単一で構成してもよい。また、被写体像全体の明るさを表す代表的な全体輝度値Vrは、上記に示した計算方法(ステップ306、406)以外で算出してもよい。部分輝度値A(x)も同様である。
【0055】
なお、本実施形態では、光源としてのランプ12と信号処理回路がプロセッサ10内において一体となっているが、光源装置と信号処理装置を別々に用意された電子内視鏡装置を構成してもよい。
【0056】
【発明の効果】
以上のように本発明によれば、接続されるビデオスコープに関わらず、被写体像の明るさを適正な明るさに維持することができる。
【図面の簡単な説明】
【図1】本実施形態である電子内視鏡装置のブロック図である。
【図2】スコープ先端部および処置器具とともに映し出される観察部位の画像を示した図である。
【図3】電子内視鏡装置全体の動作のメインルーチンを示した図である。
【図4】複数の分割エリアを示した図である。
【図5】自動調光処理の割り込みルーチンを示した図である。
【図6】図5の光量調整処理のサブルーチンである。
【図7】図5の鉗子口を考慮した光量制御処理のサブルーチンである。
【符号の説明】
10 プロセッサ
12 ランプ(照明用光源)
16 絞り
18 モータ
20 モータドライバ
22 システムコントロール回路
23 調光回路
24 CPU
25 ROM
26 RAM
50 ビデオスコープ
52 配光レンズ(照明用レンズ)
53 対物レンズ
54 CCD(撮像素子)
55 初期信号処理回路
57 EEPROM(スコープ先端データメモリ)
58 鉗子チャンネル
59 処置器具先端部
59A 鉗子口
60 スコープの先端部
A(x) 部分輝度値
W(x) 重み付け係数
Vr 全体輝度値
Vref 参照輝度値

Claims (9)

  1. 先端部に少なくとも対物レンズ、照明用レンズおよび撮像素子が設けられるビデオスコープと、前記ビデオスコープが着脱自在に接続されるプロセッサとを備えた電子内視鏡装置であって、
    被写体に向けて照射する光を放射する照明用光源と、
    前記撮像素子から被写体像に応じた画像信号を読み出し、輝度信号を生成する画像信号処理手段と、
    前記ビデオスコープの先端部における、少なくとも前記対物レンズと前記照明用レンズとの配置関係を含む先端部仕様がデータとして記憶されるスコープ先端データメモリと、
    前記ビデオスコープの前記先端部仕様を検出する先端部仕様検出手段と、
    前記撮像素子に形成される被写体像が分割されることによって規定される複数のエリアそれぞれに対する重み付け係数を、前記先端部仕様に従って定める測光方式設定手段と、
    前記複数のエリアそれぞれにおける像の明るさを表す複数の部分輝度値を前記輝度信号から検出し、複数の前記部分輝度値に対して対応する前記重み付け係数を乗ずることにより、複数の前記部分輝度値から被写体像全体の明るさを表す全体輝度値を算出する測光手段と、
    前記全体輝度値に基いて、前記被写体に向けて照射する光の光量を調整する光量調整手段と
    を備えたことを特徴とする電子内視鏡装置。
  2. 前記測光方式設定手段が、前記先端部仕様検出手段によって検出された先端部仕様によって、前記部分輝度値が相対的に高輝度値となる高輝度エリアの重み付け係数を他のエリアの重み付け係数に比べて大きな値に定め、
    前記測光手段が、前記複数のエリアの中で前記高輝度エリアを重点領域として重点平均測光を実行することにより、前記全体輝度値を算出することを特徴とする請求項1に記載の電子内視鏡装置。
  3. 前記測光方式設定手段が、前記複数のエリアそれぞれの重み付け係数を等しく定め、
    前記測光手段が、平均測光により前記全体輝度値を算出することを特徴とする請求項1に記載の電子内視鏡装置。
  4. 前記先端部において前記照明用レンズが2つ配置され、前記対物レンズと前記照明用レンズとの配置関係が、前記2つの照明用レンズそれぞれに対する前記対物レンズの位置および距離の相対的な違いであることを特徴とする請求項1に記載の電子内視鏡装置。
  5. 前記先端部仕様が、前記対物レンズおよび照明用レンズに対する前記先端部に形成された鉗子口の配置関係を含み、
    前記測光方式設定手段が、前記先端部仕様に従って、前記複数のエリアの中で前記鉗子口から突出する処置器具の先端部の像が現れる鉗子口エリアを選定し、
    前記測光手段が、
    前記鉗子口エリアの部分輝度値がハレーション発生に応じた境界輝度値より大きいか否かを判別し、
    前記鉗子口エリアの部分輝度値が前記境界輝度値より大きい場合、前記鉗子口エリア以外のエリアで検出される部分輝度値から前記全体輝度値を算出することを特徴とする請求項1に記載の電子内視鏡装置。
  6. 前記複数のエリアが、前記撮像素子に形成される被写体像の中心部を基準として放射状に分割されることによって規定されることを特徴とする請求項5に記載の電子内視鏡装置。
  7. 接続可能なビデオスコープそれぞれの先端部仕様に適した重み付け係数がデータとしてあらかじめ記憶された重み付け係数メモリをさらに有し、
    前記測光方式設定手段が、前記先端部特性に応じた重み付け係数のデータを読み出すことを特徴とする請求項1に記載の電子内視鏡装置。
  8. 撮像素子を有し、体内に挿入されるビデオスコープと、前記ビデオスコープが接続されるプロセッサとを備え、体内へ送る光を放射する照明用光源と、前記撮像素子から読み出される被写体像に応じた画像信号を処理して輝度信号を生成する信号処理手段を有する電子内視鏡装置に組み込まれた内視鏡用自動調光装置であって、
    前記ビデオスコープの先端部における、少なくとも対物レンズと照明用レンズとの配置関係を含む先端部仕様がデータとして記憶されるスコープ先端データメモリと、
    前記ビデオスコープの前記先端部仕様を検出する先端部仕様検出手段と、
    前記撮像素子に形成される被写体像が分割されることによって規定される複数のエリアそれぞれに対する重み付け係数を、前記先端部仕様に従って定める測光方式設定手段と、
    前記複数のエリアそれぞれにおける像の明るさを表す複数の部分輝度値を前記輝度信号から検出し、複数の前記部分輝度値に対して対応する前記重み付け係数を乗ずることにより、複数の前記部分輝度値から被写体像全体の明るさを表す全体輝度値を算出する測光手段と、
    前記全体輝度値に基いて、体内へ送る光の光量を調整する光量調整手段と
    を備えたことを特徴とする内視鏡用自動調光装置。
  9. 先端部に少なくとも対物レンズ、照明用レンズおよび撮像素子が設けられるビデオスコープと、前記ビデオスコープが着脱自在に接続されるプロセッサとを備えた電子内視鏡装置であって、
    被写体像を構成するエリアを複数のエリアに分割し、前記先端部における前記対物レンズ、照明用レンズの配置位置に従って前記複数のエリアの中で相対的に高輝度になるエリアを重点領域として定め、各エリアの像の明るさを表す部分輝度値を該重点領域およびそれ以外の相対的に輝度の低いエリアに対して算出し、そして、該重点領域の部分輝度値に重点を置きながら、該重点領域の部分輝度値およびそれ以外のエリアの部分輝度値に基づいて被写体像の全体輝度値を算出する輝度算出手段と、
    前記全体輝度値に基いて、前記被写体に向けて照射する光の光量を調整する光量調整手段とを備えたことを特徴とする電子内視鏡装置。
JP2002285880A 2001-10-01 2002-09-30 内視鏡用自動調光装置および電子内視鏡装置 Expired - Lifetime JP4223778B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002285880A JP4223778B2 (ja) 2001-10-01 2002-09-30 内視鏡用自動調光装置および電子内視鏡装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001304873 2001-10-01
JP2001-304873 2001-10-01
JP2002285880A JP4223778B2 (ja) 2001-10-01 2002-09-30 内視鏡用自動調光装置および電子内視鏡装置

Publications (2)

Publication Number Publication Date
JP2003180631A JP2003180631A (ja) 2003-07-02
JP4223778B2 true JP4223778B2 (ja) 2009-02-12

Family

ID=27615220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002285880A Expired - Lifetime JP4223778B2 (ja) 2001-10-01 2002-09-30 内視鏡用自動調光装置および電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP4223778B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005082226A1 (ja) * 2004-02-27 2005-09-09 Olympus Corporation 内視鏡
JP4231805B2 (ja) * 2004-02-27 2009-03-04 オリンパス株式会社 カプセル型内視鏡
JP3967731B2 (ja) * 2004-04-06 2007-08-29 オリンパス株式会社 カプセル型内視鏡
JP2005312718A (ja) * 2004-04-30 2005-11-10 Pentax Corp 電子内視鏡用光源装置および電子内視鏡システム
JP2005312713A (ja) * 2004-04-30 2005-11-10 Pentax Corp 電子内視鏡および電子内視鏡システム
JP2006034782A (ja) * 2004-07-29 2006-02-09 Pentax Corp 電子内視鏡装置と電子スコープ
JP2006034796A (ja) * 2004-07-29 2006-02-09 Pentax Corp 電子内視鏡装置
JP2007117168A (ja) * 2005-10-25 2007-05-17 Aloka Co Ltd 超音波診断装置
JP4796557B2 (ja) * 2007-08-30 2011-10-19 富士フイルム株式会社 撮影装置
JP5274100B2 (ja) * 2008-05-13 2013-08-28 オリンパスメディカルシステムズ株式会社 医療用観察装置
JP2009276560A (ja) * 2008-05-14 2009-11-26 Ricoh Co Ltd 撮像装置および撮像方法
JP5855358B2 (ja) 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2016129162A1 (ja) * 2015-02-12 2016-08-18 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
US10028647B2 (en) * 2015-07-13 2018-07-24 Sony Corporations Medical observation device and medical observation method
JP6636208B2 (ja) * 2017-06-21 2020-01-29 オリンパス株式会社 内視鏡システム
CN113406076A (zh) * 2018-07-05 2021-09-17 深圳辉煌耀强科技有限公司 一种涂片图像获取与分析系统

Also Published As

Publication number Publication date
JP2003180631A (ja) 2003-07-02

Similar Documents

Publication Publication Date Title
US6980227B2 (en) Electronic endoscope with light-amount adjustment apparatus
JP4223778B2 (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP4390440B2 (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP4338337B2 (ja) 色調整処理を行う電子内視鏡装置および電子内視鏡装置のビデオスコープ
JP5424570B2 (ja) 電子内視鏡用プロセッサ、ビデオスコープ及び電子内視鏡装置
US10918270B2 (en) Endoscope system and evaluation value calculation device
EP1079255B1 (en) Endoscope having light source device
JP2003000536A (ja) 電子内視鏡装置
JP2009131324A (ja) フィールドシーケンシャル撮像表示システム
EP3446619B1 (en) Endoscope system and processor device
JP4801381B2 (ja) 電子内視鏡装置
JP2003250760A (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP4459506B2 (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP4475874B2 (ja) 電子内視鏡装置のプロセッサ
JPH03109515A (ja) 自動調光装置
JP2002263064A (ja) 内視鏡用自動調光装置およびそれを含む電子内視鏡装置のプロセッサ
US10702127B2 (en) Endoscope system and evaluation value calculation device
JP4131007B2 (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP2000350231A (ja) 映像信号処理装置
JP4786875B2 (ja) 明るさ調整処理可能な電子内視鏡装置のビデオスコープ
JP4681740B2 (ja) ストロボ画像同時取り込み電子内視鏡装置
JP4554891B2 (ja) ホワイトバランス調整可能な電子内視鏡装置
JP4390479B2 (ja) ホワイトバランス調整可能な電子内視鏡装置
JP2004283421A (ja) 電子内視鏡装置
JP4360852B2 (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050720

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081120

R150 Certificate of patent or registration of utility model

Ref document number: 4223778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term