JP4360777B2 - 電子内視鏡装置の増幅度自動調整装置 - Google Patents
電子内視鏡装置の増幅度自動調整装置 Download PDFInfo
- Publication number
- JP4360777B2 JP4360777B2 JP2002158462A JP2002158462A JP4360777B2 JP 4360777 B2 JP4360777 B2 JP 4360777B2 JP 2002158462 A JP2002158462 A JP 2002158462A JP 2002158462 A JP2002158462 A JP 2002158462A JP 4360777 B2 JP4360777 B2 JP 4360777B2
- Authority
- JP
- Japan
- Prior art keywords
- amplification degree
- amplification
- pixel
- histogram
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003321 amplification Effects 0.000 title claims description 155
- 238000003199 nucleic acid amplification method Methods 0.000 title claims description 155
- 238000012545 processing Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 229920006395 saturated elastomer Polymers 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000001444 catalytic combustion detection Methods 0.000 description 47
- 238000000034 method Methods 0.000 description 41
- 230000015654 memory Effects 0.000 description 18
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/202—Gamma control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
【発明の属する技術分野】
本発明は体内や管内等を観察する電子内視鏡装置に関する。
【0002】
【従来の技術】
電子内視鏡装置は、体内や管内に挿入される管状の挿入部を備える電子内視鏡(電子スコープ)と挿入部先端に設けられたCCDからの映像信号を処理する映像信号処理装置(プロセッサ)と、撮影された映像をモニタするための画像表示装置(モニタTV)とから主になる。電子スコープはプロセッサに対し着脱自在であり、用途に応じた電子スコープが適宜プロセッサに装着される。電子スコープがプロセッサに装着されると、電子スコープから出力された映像信号に対してプロセッサ内で増幅した後A/D変換等の信号処理が行われる。ところで、CCDにおける入射光量と出力電圧との関係には、リニアな状態を示す線形領域と飽和状態を示す飽和領域とが存在する。この線形領域と飽和領域との境界に関わる電圧値をCCDの出力飽和電圧という。プロセッサ内の増幅器で増幅された映像信号の飽和領域が、後続するA/D変換回路等に入力しないように、電子スコープからの映像信号に対する増幅度が設定されるのが望ましい。しかし、同一種類、同一ロットで製造されたCCDであっても、個々に出力飽和電圧にばらつきがあるため、装着される電子スコープ毎に、プロセッサにおける映像信号の適正な増幅度は異なる。従来、このような問題に対しては、何れの電子スコープにおいても出力不足とならないように、最も出力飽和電圧が低いCCDに合わせてプロセッサの増幅度が設定されている。
【0003】
【発明が解決しようとする課題】
しかし、最も出力飽和電圧が低いCCDに合わせてプロセッサの増幅度が設定されていると、出力電圧が高いCCDが搭載された電子スコープを用いた場合、不必要に高い増幅度で映像信号が増幅されることとなり、S/N比が悪化する。すなわち、高い出力で得られた映像信号であるのにもかかわらずノイズの多い画像となってしまい、その能力を十分に発揮することができない。
【0004】
本発明は、撮像素子毎の飽和電圧特性に係わらず適正な増幅度で映像信号を増幅可能な電子内視鏡の増幅度自動調整装置を得ることを目的としている。
【0005】
【課題を解決するための手段】
本発明の電子内視鏡用増幅度自動調整装置は、電子スコープに設けられた撮像素子から送出される映像信号を所定の増幅度で増幅して出力するとともに、増幅度の設定を変更可能な可変増幅手段と、可変増幅手段の出力信号に対してデジタル化処理を施すA/D変換回路と、所定の調整冶具を撮像素子で撮像した時に、可変増幅手段において増幅された映像信号に基づくヒストグラムを生成するヒストグラム生成手段と、ヒストグラムに基づいて飽和電圧に達した画素があるか否かを判定する飽和画素検知手段と、飽和画素検知手段の判定に基づいて、可変増幅手段の出力における撮像素子の線形領域に対応する領域が、A/D変換回路の入力レンジと略一致するように可変増幅手段の増幅度を調整する増幅度調整手段とを備えたことを特徴としている。
【0006】
ヒストグラムは、映像信号の出力範囲を複数の区間に分割し、各区間に出力値が属する画素の数を度数としたものである。
【0007】
飽和画素検知手段は、ヒストグラムの所定区間以外の区間に属する画素が存在するか否かにより飽和電圧に達した画素があるか否かの判定を行なうことにより、簡略、迅速かつ確実に飽和電圧に達した画素の有無を判定することができる。ヒストグラム生成手段に入力される映像信号は例えば輝度信号であり、ヒストグラムはこの輝度信号に対するものである。このとき飽和画素検知手段は、飽和電圧に達した画素があるか否かの判定を、映像信号の中にA/D変換回路の入力レンジの上限に相当する度値以外の輝度値を持つ画素が存在するか否かを判定することにより簡単に行なうことができる。
【0008】
また、例えばヒストグラム生成手段に入力される映像信号は色差信号であり、ヒストグラムはこの色差信号に対するものである。この場合には、飽和画素検知手段は、飽和電圧に達した画素があるか否かの判定を、映像信号の中に無彩色に相当する色差信号の値以外の値を持つ画素が存在するか否かを判定することにより簡単に行なうことができる。また色差信号を用いると、増幅度の調整中にホワイトバランス冶具の汚れや、冶具に設けられた黒い挿入部保持部材が画面の一部において撮影されたとしても、適正に増幅度を調整することができる。
【0009】
例えば増幅度調整手段は、増幅度を最大増幅度から所定のステップで順次低減させるとともに、各増幅度において飽和画素検知手段の飽和電圧に達した画素があるか否かの判定を参照し、この判定により飽和電圧に達した画素があると判定されたステップの直前のステップの増幅度に可変増幅手段における増幅度を調整する。このように、増幅度を最大増幅度から低減させるほうが、一般に適正増幅度に到達するまでのステップ数を少なくすることが可能である。
【0010】
また例えば増幅度調整手段は、増幅度を所定の増幅度から所定のステップで順次増大させるとともに、各増幅度において飽和画素検知手段の飽和電圧に達した画素があるか否かの判定を参照し、この判定により飽和電圧に達した画素がないと判定されたときのステップの増幅度に可変増幅手段における増幅度を調整する。このように、増幅度の下限がある程度知られているならば、所定の増幅度から漸次増幅度を増大させることも可能である。
【0011】
増幅度自動調整装置は、増幅度調整手段により調整された増幅度を記憶する記憶手段を備えることにより、何度も増幅度調整を行なわずに済む。更に増幅度は、電子スコープを特定するための情報とともにこの記憶手段に記憶される。これにより、2度目からは、電子スコープの装着と連動して自動的に適正な増幅度を設定することが可能となる。
【0012】
また、増幅度自動調整装置は、記憶手段に増幅度が記憶されているか否かを判定する記憶確認手段と、この記憶確認手段において増幅度が記憶されていないと判定された場合に、増幅度の調整処理を行なうことを促すメッセージを表示するメッセージ表示手段とを備えることが好ましい。これにより増幅度の調整処理のやり忘れを防止することができる。更に簡便には、増幅度調整手段は、ホワイトバランス調整を行なう際に駆動される。
【0013】
また、本発明の電子内視鏡装置は、上記増幅度自動調整装置を備えたことを特徴としている。
【0014】
この電子内視鏡装置の電子スコープには、電子スコープを特定するための情報を格納する記憶手段が設けられていることが好ましく、増幅度調整手段において調整された増幅度は、この記憶手段に記憶される。これにより、適正増幅度は各々電子スコープが保持することとなり、映像信号処理装置のメモリの負担や無駄を軽減することができる。
【0015】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
図1は、本発明の第1の実施形態である電子内視鏡装置の構成を概略示すブロック図である。
【0016】
本実施形態の電子内視鏡装置は、電子内視鏡(電子スコープ)10、映像信号処理装置(プロセッサ)20、モニタTV50から概略なる。電子スコープ10は、プロセッサ20に着脱自在に接続され、モニタTV50はビデオ信号用のケーブルを介してプロセッサ20のビデオ出力端子に接続される。なお本実施形態では、周辺装置としてTVモニタ50のみが示されているが、例えばビデオプリンタやVCR、コンピュータ等の周辺装置が同時に接続されていてもよい。
【0017】
電子スコープ10は、細長で可撓性を有する挿入部を備え、その先端には撮像素子(例えばCCD)11が設けられており、CCD11は対物レンズ12を介して体内や管内等の映像を撮影する。CCD11による撮影には、電子スコープ10内に配設された、超極細の光ファイバーの束からなるライトガイド(LCB)13が用いられる。また、電子スコープ10内にはメモリ14が設けられている。なお、メモリ14は不揮発性のメモリであり、例えば電子スコープを特定するためのモデル名やシリアル番号等が記憶されている。
【0018】
電子スコープ10は、不図示のコネクタを介してプロセッサ20に接続され、これによりライトガイド13はプロセッサ20内に設けられた光源部40と光学的に接続される。なお、光源部40はランプ41、絞り42、集光レンズ43、絞り駆動モータ44等から構成され、ランプ41から照射された光は絞り42及び集光レンズ43を介してライトガイド13に供給される。絞り42は、ランプ41からライトガイド13に供給される光の量を調整するためのものであり、絞り駆動モータ44によって駆動される。絞り駆動モータ44及びランプは、CPU28によって制御される。また、面順次方式の電子内視鏡装置では、絞り装置とともにRGB等の回転カラーフィルタなども光路上に設けられる。
【0019】
CCD11はプロセッサ20内のCCD駆動回路21及びCCDプロセス回路22に電気的に接続される。すなわち、CCD11はCCD駆動回路21からの駆動信号に基づいて制御され、光源部40からライトガイド13を介して伝送された光を照明光として挿入部先端の画像を撮像する。撮像素子11において撮像された画像はアナログの映像信号としてCCDプロセス回路22に送られ、所定の増幅度で増幅された後、例えば従来周知のブランキング、クランプ、色分離処理等の信号処理(例えばマトリクス回路等による輝度色差信号への変換)が施され、A/D変換回路23に出力される。A/D変換回路23においてデジタル信号に変換された映像信号は、ガンマ補正回路24及びヒストグラム回路25に出力される。ガンマ補正回路24では映像信号に対しガンマ補正が施され、映像信号処理回路26に出力される。映像信号処理装置26では、ホワイトバランス等の従来周知の信号処理やデコーディング処理が映像信号に施され、D/A変換回路27に出力される。D/A変換回路27では映像信号がアナログ信号に変換され例えばNTSC等の規格に準じたビデオ信号としてモニタTV50に出力される。なお、映像信号処理回路26におけるホワイトバランスはCPU28によって制御される。
【0020】
ヒストグラム回路25においては、輝度信号(Y)に対してヒストグラムが求められCPU28に出力される。すなわち、デジタル化された輝度信号(Y)の各出力値に対する度数(画素数)が例えば画面毎に求められる。CPU28は、輝度信号(Y)のヒストグラムに基づいてCCDプロセス回路22の増幅度を調整することができる。
【0021】
CPU28には、更にCCD駆動回路21、不揮発性のメモリ29、及び電子スコープ内のメモリ14が接続されており、CPU28からの信号指令に基づいて制御される。また、CPU28には各種スイッチ類・表示装置が設けられたフロントパネル30が接続されており、フロントパネル30上に設けられたスイッチ類の操作に連動して接続された各回路を制御する。
【0022】
次に図2〜図5を参照してCCD11の出力とCCDプロセス回路22での増幅度との関係を説明する。
【0023】
図2、図3は、CCD11への入射光量(横軸)とCCD出力を増幅した後A/D変換回路へ入力される映像信号の電圧値(縦軸)との関係を表すグラフであり、図2はCCD11の出力に対してCCDプロセス回路22での増幅度が不足している場合、図3は、増幅度が適正に設定されている場合の関係を示す。一方、図4、図5は、それぞれ図2、図3の状態に対応するモニタ画面の出力結果を模式的に表している。
【0024】
CCD11の出力は、始め入射光量の増大に略比例して増大する(線形領域)。しかし、入射光量が一定の値を超えるとCCD11のフォトダイオードが飽和状態に達し、入射光量が増大してもCCD11からの出力は殆ど増大しなくなる(飽和領域)。したがって、図2、図3に示すように増幅後の映像信号の電圧値も飽和領域に達すると略横ばいとなる。フォトダイオードが飽和状態に達する光量はフォトダイオード毎にばらつきがあるため、増幅度が不足していることにより図2のようにA/D変換回路の入力範囲(入力レンジ)内に増幅後の映像信号の飽和領域の一部が含まれると、CCD11からの出力が高いとき飽和状態に達した画素が図4に示されるように暗い点となって表れる。一方、図3のように、A/D変換回路の入力範囲が増幅後の映像信号の線形領域と略一致するように増幅度が設定されているときには、図5のようにCCD11からの出力が高いときにも、モニタ画面に黒い点が現れることはない。
【0025】
次に図1及び図6を参照して、第1の実施形態のCPU28において実行される増幅度自動調整処理について説明する。図6は、第1の実施形態における増幅度自動調整処理のフローチャートであり、増幅度自動調整処理は、予めスコープ10の先端を例えばホワイトバランス調整用の内側が白色で塗られたカップ状の冶具60に挿入して行なわれる。
【0026】
ステップ101では、増幅度自動設定スイッチの状態(SW)を示す電圧値等がデータとしてCPU28に読み込まれる。増幅度自動設定スイッチは例えばフロントパネル30に設けられている。ステップ102では、ステップ101で読み込まれた増幅度自動設定スイッチの状態がON状態であるか否かが判定される。ON状態にない場合には、処理はステップ101に戻り上記処理を繰り返す。なお、ステップ101、102は、例えばシステム全体の割り込み処理の一部として行なわれる。
【0027】
ステップ102において状態(SW)がON状態であると判定されるとステップ103においてランプ41がON状態に設定されるとともにステップ104において絞り42が全開とされる。その後ステップ105において、CCDプロセス回路22内に設けられた可変増幅器の増幅度が最大に設定される。すなわち、CCD11では絞り全開、増幅度最大の状態で、カップ状の冶具60の底面の画像が撮影される。なお、CCDプロセス回路22内の可変増幅器はCPU28の制御によりステップ的に増幅度が増減可能となっている。
【0028】
ステップ106では、CCD11から出力され、CCDプロセス回路22の可変増幅器で増幅された輝度信号(Y)のヒストグラムの読み取りが行なわれる。ステップ107では、CCD11から得られた全画素において輝度信号(Y)の出力が最大値であるか否かが判定される。例えばA/D変換回路23が輝度信号を8ビットデータに変換し、その輝度の最大値が255の場合には、全画素の値が255であるか否かが判定される。全画素における輝度信号(Y)の値が最大値(255)の場合にはステップ108において可変増幅器の増幅度が1ステップ下げられ、処理はステップ106に戻る。すなわち、ステップ106〜ステップ108の処理は、輝度信号(Y)の値が最大(255)でない画素が少なくとも1つ現れるまで繰り返される。
【0029】
ステップ107において、全画素のうち1つでも輝度信号(Y)が最大値でないと判定されると、ステップ109において可変増幅器の増幅度が1ステップ上げられる。これにより、増幅後の映像信号の線形領域とA/D変換回路23の入力範囲とが略一致させられる。ステップ110では、ステップ109で設定された増幅度が、メモリ29に電子スコープのモデル名やシリアル番号とともに記憶され、同時に電子スコープ10のメモリ14に記憶される。以上で第1の実施形態の増幅度自動調整処理のプログラムは終了する。
【0030】
上記増幅度自動調整処理は、ホワイトバランス調整と一緒に行なうことも可能である。図6、図7のフローチャートを参照して増幅度自動調整処理をホワイトバランス調整と一緒に行なった場合の変形例について説明する。
【0031】
ホワイトバランス・増幅度自動調整処理は、図6の増幅度自動調整処理と同様にスコープ10の先端をホワイトバランス調整用の冶具60に挿入した状態で行なわれる。ステップ201では、例えばフロントパネル30に設けられたホワイトバランス設定スイッチの状態(SW)がCPU28に読み込まれる。ステップ202では、ホワイトバランス設定スイッチの状態がON状態であるか否かが判定される。ON状態にない場合には、処理はステップ201に戻り上記処理を繰り返す。ステップ202でホワイトバランス設定スイッチの状態がON状態であると判定された場合には、ステップ203に進む。なお、ステップ201、202は、例えばシステム全体の割り込み処理の一部として行なわれる。
【0032】
ステップ203では、ホワイトバランス調整処理が行なわれる。すなわち、図1の映像信号処理回路26において、例えばR、B信号のG信号に対する相対的なゲインがフロントパネルに設けられた操作スイッチの操作に応じて調整される。ホワイトバランス調整処理が終了すると、ステップ204において増幅度自動調整処理が行なわれる。すなわち、図6のフローチャートに示される処理がステップ204において実行される。
【0033】
なお、上記ホワイトバランス・増幅度自動調整処理に先立ち、メモリ14やメモリ29に増幅度が未記録であるか否かを判定し、未記録の場合には、図8のようにホワイトバランス・増幅度自動調整処理を行なうことを促すメッセージ(例えば「ホワイトバランススイッチを押してください」等)をモニタTV50に表示してもよい。また、一度、電子スコープに対し増幅度自動調整処理が行なわれ、メモリ14、29等に適正な増幅度が記憶されている場合には、CCDプロセス回路22の可変増幅器の増幅度は、メモリ14、29等から読み出された増幅度に設定される。
【0034】
以上のように、本発明の第1の実施形態によれば、電子スコープ毎に搭載された撮像素子の飽和電圧に合わせて、プロセッサでの映像信号の増幅度を自動的に調整することができる。すなわち、撮像素子毎にばらつきがある飽和電圧の各々に合わせて映像信号の増幅度を必要最低限の値に自動設定することができる。これにより、使用される電子スコープに係らず、映像信号のS/N比を最高にすることができるので、ノイズの少ない高画質の画像を得ることができ、内視鏡検査で重要な病変部の発見、確認が容易になる。また、本実施形態によれば、増幅度は飽和電圧に合わせてホワイトバランス調整等と一緒に自動で行なうことができるので、ユーザの負担となることなく簡便に行なうことができる。
【0035】
次に図9を参照して本発明の第2の実施形態について説明する。第1の実施形態では、輝度信号(Y)のヒストグラムを求めて、増幅度の調整を行なったが、第2の実施形態では、色差信号(R−Y,B−Y)を用いて増幅度の調整を行なう。なお、その他の構成に関しては第1の実施形態と同様であるのでその説明を省略する。
【0036】
ステップ301では、増幅度自動設定スイッチの状態(SW)を示す電圧値等がデータとしてCPU28に読み込まれる。ステップ302では、増幅度自動設定スイッチの状態がON状態であるか否かが判定される。ON状態にない場合には、処理はステップ301に戻り上記処理を繰り返す。
【0037】
ステップ302において状態(SW)がON状態であると判定されるとステップ303においてランプ41がON状態に設定されるとともにステップ304において絞り42が全開にされる。その後ステップ305において、CCDプロセス回路22内に設けられた可変増幅器の増幅度が最大に設定される。すなわち、CCD11では絞り全開、増幅度最大の状態で、ホワイトバランス調整用の冶具60の底面の画像が撮影される。
【0038】
ステップ306では、CCD11から出力され、CCDプロセス回路22の可変増幅器で増幅された色差信号(R−Y)のヒストグラムの読み取りが行なわれ、ステップ307では色差信号(B−Y)のヒストグラムの読み取が行なわれる。ステップ308では、全画素において色差信号(R−Y)及び色差信号(B−Y)の出力が例えば中央値にあるか否かが判定される。例えばA/D変換回路23が色差信号を8ビットデータに変換し、その最大値が255の場合には、全画素の値が128であるか否かが判定される。
【0039】
色差信号(R−Y,B−Y)の出力は、白色(無彩色)のとき中央値にあり、中央値よりも高出力あるいは低出力のときには彩色されている。また、色差信号(R−Y,B−Y)の出力の増大、あるいは減少に伴い色は濃くなる。例えば、電子スコープ10の挿入部先端が冶具60に適切に挿入されておらず、挿入部先端を保持する黒い保持部材の一部が画面内に入った場合や、冶具内部が汚れており、黒あるいは灰色の部分がある場合、輝度信号(Y)を用いた第1の実施形態では、飽和状態に達していない画素においても輝度信号(Y)が最大でないことがあるので、増幅度が誤った値に設定されてしまう可能性がある。一方、色差信号(R−Y,B−Y)は、被写体が無彩色であれば、その階調に係らず出力は中央値(128)である。CCD11の飽和電圧はフォトダイオード毎にばらつきを持つので、あるフォトダイオードが飽和していると、そのフォトダイオードを含む画素の色は、何れかの色に偏ることとなり、色差信号(R−Y)、(B−Y)の値の何れかが128から偏倚する。したがって、これを検知することにより、CCD11の飽和電圧をモニタすることができる。
【0040】
ステップ308において、全画素に対して色差信号(R−Y)、及び色差信号(B−Y)が中央値(128)にあると判定された場合には、ステップ309において可変増幅器の増幅度が1ステップ下げられ、処理はステップ306に戻る。すなわち、ステップ306〜ステップ309の処理は、色差信号(R−Y)、あるいは色差信号(B−Y)の中に中央値(128)でない画素が少なくとも1つ現れるまで繰り返される。
【0041】
ステップ308において、全画素の中に色差信号(R−Y)又は色差信号(B−Y)が中央値ではない画素があると判定されると、ステップ310において可変増幅器の増幅度が1ステップ上げられる。これにより、増幅後の映像信号の線形領域とA/D変換回路23の入力範囲とが略一致させられる。ステップ311では、ステップ310で設定された増幅度が、メモリ29に電子スコープのモデル名やシリアル番号とともに記憶され、同時に電子スコープ10のメモリ14に記憶される。以上で第2の実施形態の増幅度自動調整処理のプログラムは終了する。
【0042】
以上のように第2の実施形態においても、第1の実施形態と略同様の効果を得ることができる。また、第2の実施形態では輝度信号に替えて色差信号を用いて撮像素子の飽和電圧をモニタして増幅度の調整を行なっているので電子スコープがホワイトバランス調整用の冶具に適切に挿入されていない場合や、冶具内部に汚れがある場合にも、適切な増幅度の設定を行なうことができる。
【0043】
なお、本実施形態では、電子スコープからの映像信号を可変増幅器で増幅した後にA/D変換していたが、これに限らず可変増幅器の後段に他の信号処理回路を設けた場合にも適用可能である。この場合は、その信号処理回路の入力レンジに増幅された映像信号の飽和領域が入らないように可変増幅器の増幅度が調整されることになる。また本実施形態では、ホワイトバランスをCCDプロセス回路よりも後段に設けられた映像信号処理回路において行なっているが、ホワイトバランスはCCDプロセス回路内において行なわれてもよいし、更に可変増幅器による増幅の前に行なわれてもよい。
【0044】
本実施形態は、カラー単板式の撮像素子を用いた同時方式の電子内視鏡装置を前提に説明がなされたが、RGB面順次方式の電子内視鏡の場合には、例えば、CCDからの映像信号をプロセッサの可変増幅器において増幅し、A/D変換した後、RGBの画像毎に一時的にメモリに記憶する。メモリに1組のRGB画像が揃うと、これらRGB画像の映像信号は同時にマトリックス回路に送出され、輝度色差信号に変換される。この輝度色差信号をヒストグラム回路に送出し、輝度又は色差信号のヒストグラムを作成し、本実施形態と同様に増幅度が調整される。
【0045】
また、本実施形態では、可変増幅器の増幅度を初め最大値に設定し、これを飽和領域にある画素が現れるまで1ステップずつ下げることにより適正な増幅度が探索されたが、逆に可変増幅器の増幅度を例えば所定の値から飽和領域にある画素が無くなるまで1ステップずつ上げることにより適正な増幅度を探索してもよい。この場合、飽和領域にある画素が無くなったことを検知するので第1及び第2の実施形態のステップ109やステップ310ように、1ステップ戻す必要がなく、検知されたときの増幅度が適正な増幅度となる。
【0046】
第1の実施形態では、全画素の映像信号が最大値であるか否かにより飽和状態に達した画素があるか否かが判断され、第2の実施形態では、全画素の映像信号が中央値にあるか否かにより飽和状態に達した画素があるか否かが判断された。しかし、最大値や中央値の周りに許容される幅を多少持たせることも可能である。例えば、最大値や中央値に隣接する区間の出力の画素が存在しても飽和状態であると判断せず、この隣接区間よりも更に最大値、中央値から離れた区間の出力を持つ画素が存在する場合に初めて飽和状態に達した画素があると判断してもよい。また、この隣接区間の度数(画素数)に制限を加えることも可能である。
【0047】
【発明の効果】
以上のように、本発明によれば、撮像素子毎の飽和電圧特性に係わらず適正な増幅度で映像信号を増幅可能な電子内視鏡の増幅度自動調整装置を得ることことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態である電子内視鏡装置の回路構成を概略示すブロック図である。
【図2】増幅度が不足しているときの入射光量(横軸)と増幅後の映像信号の出力電圧(縦軸)との関係を表すグラフでる。
【図3】増幅度が適正に設定されているときの入射光量(横軸)と増幅後の映像信号の出力電圧(縦軸)との関係を表すグラフでる。
【図4】増幅度が不足しているときにモニタTVに表示される画像の状態を示す図である。
【図5】増幅度が適正に設定されているときにモニタTVに表示される画像の状態を示す図である。
【図6】第1の実施形態における増幅度自動調整処理のプログラムのフローチャートである。
【図7】増幅度自動調整処理をホワイトバランス調整処理とともに行なう場合のプログラムのフローチャートである。
【図8】メモリに、増幅度の値が設定されていない場合に、増幅度自動調整処理を促すためにモニタTVに表示されるメッセージの一例を示す図である。
【図9】第2の実施形態における増幅度自動調整処理のプログラムのフローチャートである。
【符号の説明】
10 電子スコープ
11 撮像素子(CCD)
14、29 メモリ
22 CCDプロセス回路
23 A/D変換回路
25 ヒストグラム回路
28 CPU
Claims (11)
- 電子スコープに設けられた撮像素子から送出される映像信号を所定の増幅度で増幅して出力するとともに、前記増幅度の設定を変更可能な可変増幅手段と、
前記可変増幅手段の出力信号に対してデジタル化処理を施すA/D変換回路と、
ホワイトバランス調整冶具を前記撮像素子で撮像した時に、前記可変増幅手段において増幅された映像信号に基づくヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラムに基づいて、飽和電圧に達した画素があるか否かを判定する飽和画素検知手段と、
前記飽和画素検知手段の判定に基づいて、前記可変増幅手段の出力における前記撮像素子の線形領域に対応する領域が、前記A/D変換回路の入力レンジと略一致するように前記可変増幅手段の増幅度を調整する増幅度調整手段とを備え、
前記増幅度調整手段が、前記増幅度を最大増幅度から所定のステップで順次低減させるとともに、各増幅度において前記飽和画素検知手段の飽和電圧に達した画素があるか否かの判定を参照し、更に
前記ヒストグラム生成手段に入力される映像信号が色差信号であり、前記ヒストグラムが前記色差信号に対するものである
ことを特徴とする電子内視鏡用増幅度自動調整装置。 - 前記ヒストグラムが、映像信号の出力範囲を複数の区間に分割し、各区間に出力値が属する画素の数を度数としたものであることを特徴とする請求項1に記載の電子内視鏡用増幅度自動調整装置。
- 前記飽和画素検知手段が、前記ヒストグラムの所定区間以外の区間に属する画素が存在するか否かにより飽和電圧に達した画素があるか否かの判定を行なうことを特徴とする請求項2に記載の電子内視鏡用増幅度自動調整装置。
- 前記飽和画素検知手段が、飽和電圧に達した画素があるか否かの判定を、前記映像信号の中に無彩色に相当する色差信号の値以外の値を持つ画素が存在するか否かを判定することにより行なうことを特徴とする請求項1に記載の電子内視鏡用増幅度自動調整装置。
- 前記判定により飽和電圧に達した画素があると判定されたステップの直前のステップの増幅度に前記可変増幅手段における増幅度を調整することを特徴とする請求項1に記載の電子内視鏡用増幅度自動調整装置。
- 前記増幅度調整手段により調整された増幅度を記憶する記憶手段を備えることを特徴とする請求項1に記載の電子内視鏡用増幅度自動調整装置。
- 前記増幅度が電子スコープを特定するための情報とともに前記記憶手段に記憶されることを特徴とする請求項6に記載の電子内視鏡用増幅度自動調整装置。
- 前記記憶手段に増幅度が記憶されているか否かを判定する記憶確認手段と、この記憶確認手段において増幅度が記憶されていないと判定された場合には、増幅度の調整処理を行なうことを促すメッセージを表示するメッセージ表示手段とを備えることを特徴とする請求項6に記載の電子内視鏡用増幅度自動調整装置。
- 請求項1に記載の電子内視鏡用増幅度自動調整装置を備えたことを特徴とする電子内視鏡装置。
- 前記電子内視鏡装置の電子スコープに前記電子スコープを特定するための情報を格納する記憶手段が設けられており、前記増幅度調整手段において調整された増幅度が前記記憶手段に記憶されることを特徴とする請求項9に記載の電子内視鏡装置。
- 電子スコープに設けられた撮像素子から送出される映像信号を所定の増幅度で増幅して出力するとともに、前記増幅度の設定を変更可能な可変増幅手段と、
前記可変増幅手段の出力信号に対して所定の処理を施す信号処理回路と、
ホワイトバランス調整冶具を前記撮像素子で撮像した時に、前記可変増幅手段において増幅された映像信号に基づくヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラムに基づいて、飽和電圧に達した画素があるか否かを判定する飽和画素検知手段と、
前記飽和画素検知手段の判定に基づいて、前記可変増幅手段の前記撮像素子の飽和領域に対応する領域の出力が、前記信号処理回路の入力レンジに入らないように前記可変増幅手段の増幅度を調整する増幅度調整手段とを備え、
前記増幅度調整手段が、前記増幅度を最大増幅度から所定のステップで順次低減させるとともに、各増幅度において前記飽和画素検知手段の飽和電圧に達した画素があるか否かの判定を参照し、更に
前記ヒストグラム生成手段に入力される映像信号が色差信号であり、前記ヒストグラムが前記色差信号に対するものである
ことを特徴とする電子内視鏡用増幅度自動調整装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002158462A JP4360777B2 (ja) | 2002-05-31 | 2002-05-31 | 電子内視鏡装置の増幅度自動調整装置 |
US10/446,849 US7248296B2 (en) | 2002-05-31 | 2003-05-29 | Automatic gain control device for electronic endoscope |
DE10324693A DE10324693B4 (de) | 2002-05-31 | 2003-05-30 | Vorrichtung zur automatischen Bildsignalverstärkung für ein elektronisches Endoskop |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002158462A JP4360777B2 (ja) | 2002-05-31 | 2002-05-31 | 電子内視鏡装置の増幅度自動調整装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003339636A JP2003339636A (ja) | 2003-12-02 |
JP4360777B2 true JP4360777B2 (ja) | 2009-11-11 |
Family
ID=29561545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002158462A Expired - Fee Related JP4360777B2 (ja) | 2002-05-31 | 2002-05-31 | 電子内視鏡装置の増幅度自動調整装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7248296B2 (ja) |
JP (1) | JP4360777B2 (ja) |
DE (1) | DE10324693B4 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0130652D0 (en) * | 2001-12-21 | 2002-02-06 | Bae Systems Plc | Improvements in or relating to low light level imaging devices |
KR100594173B1 (ko) * | 2004-04-27 | 2006-06-28 | 매그나칩 반도체 유한회사 | 채도에 의한 이미지 향상 방법 |
KR100612494B1 (ko) * | 2004-06-07 | 2006-08-14 | 삼성전자주식회사 | 칼러 영상의 채도 조절 장치 및 방법 |
US20060050983A1 (en) * | 2004-09-08 | 2006-03-09 | Everest Vit, Inc. | Method and apparatus for enhancing the contrast and clarity of an image captured by a remote viewing device |
JP2006148350A (ja) * | 2004-11-17 | 2006-06-08 | Olympus Corp | 撮像装置 |
US11864734B2 (en) | 2009-06-18 | 2024-01-09 | Endochoice, Inc. | Multi-camera endoscope |
US9101268B2 (en) | 2009-06-18 | 2015-08-11 | Endochoice Innovation Center Ltd. | Multi-camera endoscope |
EP2865322B1 (en) | 2009-06-18 | 2020-07-22 | EndoChoice, Inc. | Multi-camera endoscope |
US8926502B2 (en) | 2011-03-07 | 2015-01-06 | Endochoice, Inc. | Multi camera endoscope having a side service channel |
US9713417B2 (en) | 2009-06-18 | 2017-07-25 | Endochoice, Inc. | Image capture assembly for use in a multi-viewing elements endoscope |
US11278190B2 (en) | 2009-06-18 | 2022-03-22 | Endochoice, Inc. | Multi-viewing element endoscope |
US9101287B2 (en) | 2011-03-07 | 2015-08-11 | Endochoice Innovation Center Ltd. | Multi camera endoscope assembly having multiple working channels |
US9872609B2 (en) | 2009-06-18 | 2018-01-23 | Endochoice Innovation Center Ltd. | Multi-camera endoscope |
US9402533B2 (en) | 2011-03-07 | 2016-08-02 | Endochoice Innovation Center Ltd. | Endoscope circuit board assembly |
US9706903B2 (en) | 2009-06-18 | 2017-07-18 | Endochoice, Inc. | Multiple viewing elements endoscope system with modular imaging units |
US11547275B2 (en) | 2009-06-18 | 2023-01-10 | Endochoice, Inc. | Compact multi-viewing element endoscope system |
US9901244B2 (en) | 2009-06-18 | 2018-02-27 | Endochoice, Inc. | Circuit board assembly of a multiple viewing elements endoscope |
US9492063B2 (en) | 2009-06-18 | 2016-11-15 | Endochoice Innovation Center Ltd. | Multi-viewing element endoscope |
US9642513B2 (en) | 2009-06-18 | 2017-05-09 | Endochoice Inc. | Compact multi-viewing element endoscope system |
US10165929B2 (en) | 2009-06-18 | 2019-01-01 | Endochoice, Inc. | Compact multi-viewing element endoscope system |
US10080486B2 (en) | 2010-09-20 | 2018-09-25 | Endochoice Innovation Center Ltd. | Multi-camera endoscope having fluid channels |
US9560953B2 (en) | 2010-09-20 | 2017-02-07 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
JP5570373B2 (ja) * | 2010-09-29 | 2014-08-13 | 富士フイルム株式会社 | 内視鏡システム |
JP5244164B2 (ja) * | 2010-10-18 | 2013-07-24 | 富士フイルム株式会社 | 内視鏡装置 |
EP3540495A1 (en) | 2010-10-28 | 2019-09-18 | EndoChoice Innovation Center Ltd. | Optical systems for multi-sensor endoscopes |
EP2649648A4 (en) | 2010-12-09 | 2014-05-21 | Endochoice Innovation Ct Ltd | FLEXIBLE ELECTRONIC CIRCUIT BOARD FOR MULTI-CAMERA ENDOSCOPE |
US11889986B2 (en) | 2010-12-09 | 2024-02-06 | Endochoice, Inc. | Flexible electronic circuit board for a multi-camera endoscope |
EP2648602B1 (en) | 2010-12-09 | 2018-07-18 | EndoChoice Innovation Center Ltd. | Flexible electronic circuit board multi-camera endoscope |
EP3228236A1 (en) | 2011-02-07 | 2017-10-11 | Endochoice Innovation Center Ltd. | Multi-element cover for a multi-camera endoscope |
EP2604175B1 (en) | 2011-12-13 | 2019-11-20 | EndoChoice Innovation Center Ltd. | Removable tip endoscope |
EP2604172B1 (en) | 2011-12-13 | 2015-08-12 | EndoChoice Innovation Center Ltd. | Rotatable connector for an endoscope |
TW201326799A (zh) * | 2011-12-21 | 2013-07-01 | Hon Hai Prec Ind Co Ltd | 相機模組污點測試系統及其測試方法 |
US9014504B2 (en) * | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
US9560954B2 (en) | 2012-07-24 | 2017-02-07 | Endochoice, Inc. | Connector for use with endoscope |
BR112015022944A2 (pt) * | 2013-03-15 | 2017-07-18 | Olive Medical Corp | calibração com o uso de tampa distal |
US9993142B2 (en) | 2013-03-28 | 2018-06-12 | Endochoice, Inc. | Fluid distribution device for a multiple viewing elements endoscope |
US9986899B2 (en) | 2013-03-28 | 2018-06-05 | Endochoice, Inc. | Manifold for a multiple viewing elements endoscope |
US10499794B2 (en) | 2013-05-09 | 2019-12-10 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
CN103815859A (zh) * | 2014-02-26 | 2014-05-28 | 上海齐正微电子有限公司 | 数字传输的一次性内窥镜 |
WO2018042717A1 (ja) * | 2016-09-01 | 2018-03-08 | オリンパス株式会社 | 電子内視鏡、及び内視鏡システム |
JP6230763B1 (ja) * | 2016-09-01 | 2017-11-15 | オリンパス株式会社 | 電子内視鏡、及び内視鏡システム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5016093A (en) * | 1988-03-31 | 1991-05-14 | Sony Corporation | Video camera system with white balance adjustment |
US5485203A (en) * | 1991-08-12 | 1996-01-16 | Olympus Optical Co., Ltd. | Color misregistration easing system which corrects on a pixel or block basis only when necessary |
JPH0823473A (ja) * | 1994-07-05 | 1996-01-23 | Canon Inc | 撮像装置 |
JPH08131401A (ja) * | 1994-11-10 | 1996-05-28 | Asahi Optical Co Ltd | 電子内視鏡装置 |
US6080104A (en) * | 1995-05-16 | 2000-06-27 | Asahi Kogaku Kogyo Kabushiki Kaisha | Electronic endoscope system |
JPH10271491A (ja) * | 1997-03-25 | 1998-10-09 | Olympus Optical Co Ltd | 電子内視鏡装置 |
US5982424A (en) * | 1997-04-23 | 1999-11-09 | Scientific-Atlanta, Inc. | CCD camera with adaptive compression control mechanism |
KR100243301B1 (ko) * | 1997-11-24 | 2000-02-01 | 윤종용 | 다이나믹 레인지 확대장치 및 방법 |
US6750906B1 (en) * | 1998-05-08 | 2004-06-15 | Cirrus Logic, Inc. | Histogram-based automatic gain control method and system for video applications |
US20020176009A1 (en) * | 1998-05-08 | 2002-11-28 | Johnson Sandra Marie | Image processor circuits, systems, and methods |
JP4245699B2 (ja) * | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
KR100363826B1 (ko) * | 1999-06-07 | 2002-12-06 | 히다치덴시 가부시키가이샤 | 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법 |
US6638212B1 (en) * | 1999-07-27 | 2003-10-28 | Olympus Optical | Endoscope system having storage part of endoscope-related-data provided in endoscope |
JP4454750B2 (ja) * | 1999-12-28 | 2010-04-21 | 日本バーブラウン株式会社 | イメージセンサ用のフロントエンド信号処理の方法および装置 |
JP2002102147A (ja) * | 2000-09-29 | 2002-04-09 | Fuji Photo Film Co Ltd | 蛍光画像取得装置 |
JP3962550B2 (ja) * | 2001-02-23 | 2007-08-22 | フジノン株式会社 | 電子内視鏡装置 |
US6993183B2 (en) * | 2001-03-13 | 2006-01-31 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, image processing method, and computer-readable storage medium |
US7102669B2 (en) * | 2002-04-02 | 2006-09-05 | Freescale Semiconductor, Inc. | Digital color image pre-processing |
-
2002
- 2002-05-31 JP JP2002158462A patent/JP4360777B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-29 US US10/446,849 patent/US7248296B2/en not_active Expired - Fee Related
- 2003-05-30 DE DE10324693A patent/DE10324693B4/de not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003339636A (ja) | 2003-12-02 |
DE10324693B4 (de) | 2011-12-29 |
DE10324693A1 (de) | 2004-01-08 |
US20030222997A1 (en) | 2003-12-04 |
US7248296B2 (en) | 2007-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4360777B2 (ja) | 電子内視鏡装置の増幅度自動調整装置 | |
EP1712177B1 (en) | Signal processing device for endoscope | |
JP5570373B2 (ja) | 内視鏡システム | |
JP4175711B2 (ja) | 撮像装置 | |
JP2006238410A (ja) | 撮像装置 | |
CN102970914A (zh) | 内窥镜系统 | |
US20130050455A1 (en) | Endoscope apparatus | |
JP5847017B2 (ja) | 電子内視鏡装置及びその作動方法 | |
US6518998B1 (en) | Image quality by automatically changing the black level of a video signal | |
US12082773B2 (en) | Control device, endoscope, and control method | |
JP2001070240A (ja) | 内視鏡装置 | |
JP4578608B2 (ja) | 内視鏡システム | |
JP4033746B2 (ja) | 顕微鏡撮影装置 | |
JPH06335449A (ja) | 電子内視鏡装置 | |
US20090225219A1 (en) | Image pickup system | |
US20100091145A1 (en) | Fixed-pattern noise reduction system, imaging system, and electronic endoscope unit | |
JP2002291690A (ja) | 電子内視鏡装置および電子内視鏡システム | |
JPH10165363A (ja) | 内視鏡用撮像信号処理装置 | |
JP3288414B2 (ja) | 電子内視鏡装置 | |
JPH11164195A (ja) | 撮像装置 | |
JP5156560B2 (ja) | 電子内視鏡システム | |
JP6351794B2 (ja) | 内視鏡装置 | |
JP2007202951A (ja) | 内視鏡画像信号処理装置および電子内視鏡システム | |
JP3655679B2 (ja) | 内視鏡装置 | |
JP3917982B2 (ja) | 内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090804 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090811 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |