JP3607816B2 - 電子内視鏡装置 - Google Patents
電子内視鏡装置 Download PDFInfo
- Publication number
- JP3607816B2 JP3607816B2 JP18309398A JP18309398A JP3607816B2 JP 3607816 B2 JP3607816 B2 JP 3607816B2 JP 18309398 A JP18309398 A JP 18309398A JP 18309398 A JP18309398 A JP 18309398A JP 3607816 B2 JP3607816 B2 JP 3607816B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- circuit
- color
- electronic endoscope
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 35
- 238000001444 catalytic combustion detection Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 20
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 13
- 230000015654 memory Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 8
- 210000003127 knee Anatomy 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は2つ以上の露光時間にて撮像した画像を合成することによりダイナミックレンジの拡大処理を行う電子内視鏡装置に関する。
【0002】
【従来の技術】
近年、内視鏡は医療用分野及び工業用分野で広く用いられるようになった。また、撮像手段を内蔵或いは外付けした電子内視鏡装置も用いられるようになった。
【0003】
電子式内視鏡や内視鏡外付けカメラ装着方式の内視鏡では、CCD等の固体撮像素子のダイナミックレンジが十分広くないため、照明が明るすぎてはハレーションを起こし、また、暗すぎては観察が困難になる。
【0004】
このため、例えば特開平5−30424号公報では、2種類の異なる撮像時間で撮像した撮像信号を合成し、固体撮像素子の撮像信号のダイナミックレンジを拡大する撮像装置が開示されている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記従来例のように異なる撮像時間で撮像した画像を合成してダイナミックレンジの拡大を行うと、得られる画像は色が薄くなり、のっぺりとした画像になってしまう欠点があった。
【0006】
このため、医療用分野での内視鏡検査のように患部等を観察画像の色調で診断しようとするような場合には、正確な診断を行い難くなってしまう。
【0007】
本発明は、上述した点に鑑みてなされたもので、ダイナミックレンジの拡大を行った場合でも、患部等の被写体の色調をより診断し易い色調で表示ができる電子内視鏡装置を提供することを目的としている。
【0008】
【課題を解決するための手段】
本発明の電子内視鏡装置は、内視鏡に内蔵された1つの撮像素子から異なる2つ以上の露光時間にて得られた各画像信号を加算して合成することによりダイナミックレンジの拡大処理を行う電子内視鏡装置において、
前記ダイナミックレンジの拡大処理後の画像信号に対して色を濃くする色強調処理を行う色強調処理手段を備えたことを特徴とする。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1ないし図6は本発明の第1の実施の形態に係り、図1は第1の実施の形態の電子内視鏡装置の構成を示す構成図、図2は図1のR用Dレンジ拡大回路の構成を示す構成図、図3は図2のによるダイナミックレンジ拡大の説明図、図4は色補正回路の構成図、図5は図4の第1の変形例の色補正回路の構成図、図6は図4の第2の変形例の色補正回路の構成図である。
【0010】
図1に示すように、本発明の第1の実施の形態の電子内視鏡装置1Aは、体腔内に挿入し被写体を観察する内視鏡2と、内視鏡2の接眼部に着脱自在に接続され内視鏡2により得られた被写体像を撮像する単板カラー撮像素子であるCCD3を備えた外付けTVカメラ4と、外付けTVカメラ4のCCD3を駆動制御すると共にCCD3からの撮像信号に対する信号処理を行うカメラコントロールユニット(以下、CCUと記す)5と、このCCU5から出力される映像信号が入力され、映像信号に対応する被写体像を表示するモニタ6と、内視鏡2に着脱自在に接続されるライトガイドケーブル10が接続される光源装置7とから構成される。この光源装置7はランプ8を内蔵し、このランプ8の照明光をコンデンサランプ9で集光してライトガイドケーブル10を介して内視鏡2に供給する。
【0011】
CCU5は、基準信号を発生する同期信号発生回路(以下、SSGと記す)13と、SSG13からの基準信号を入力しCCD3の駆動信号等を生成するタイミングジェネレータ14と、タイミングジェネレータ14からの駆動信号によりCCD3を駆動するCCDドライバ15と有している。
【0012】
また、CCU5は、CCD3からの撮像信号を増幅するプリアンプ16と、タイミングジェネレータ14からのサンプリングパルスに基づき相関二重サンプリング(以下CDSと略記)するCDS回路17と、CDS回路17の出力をA/D変換するA/D変換器18とを備え、CCD3からの出力の画像信号がプリアンプ16で増幅された後にCDS回路17によってベースバンド帯域に落とされ、A/D変換器18によりデジタル信号に変換されるようになっている。
【0013】
さらに、CCU5は、A/D変換器18でA/D変換されたデジタル信号をRGBの3つの色信号に分離する色分離回路19と、色分離回路19により色分離されたデジタル信号に対してホワイトバランスの調整を行うホワイトバランス回路20と、ホワイトバランス回路20によりホワイトバランスの調整がなされたデジタル信号のゲイン調整を行う自動利得制御回路(以下、AGC回路と記す)21と、AGC回路21によりゲイン調整されたデジタル信号に対してknee処理及びγ補正を行うknee&γ回路22と、スイッチ23を介してknee&γ回路22によりknee処理及びγ補正されたRGBのデジタル信号に対してエンハンス処理を行うエンハンス回路26と、エンハンス処理されたデジタル信号をD/A変換し75Ωドライバ27を介してモニタ6に出力するD/A変換器28とを備えて構成される。
【0014】
また、CCU5は、装置前面に設けられたダイナミックレンジの拡大を指示するダイナミックレンジ拡大ON/OFFスイッチ29からの入力を受けスイッチ23の切換とタイミングジェネレータ14が生成する駆動信号等のタイミングを制御するCPU30とを備えている。
【0015】
ここで、ダイナミックレンジ拡大ON/OFFスイッチ29がONされると、スイッチ23の各スイッチがb側からa側に切り換えられ、knee&γ回路22によりknee処理及びγ補正されたRGBのデジタル信号は、スイッチ23を介してダイナミックレンジを拡大処理するDレンジ拡大回路24に入力されるようになっている。
【0016】
また、Dレンジ拡大回路24でダイナミックレンジが拡大されたRGBのデジタル信号に対して色補正回路(或いは色強調回路)25で色を濃くする色補正処理(或いは色強調処理)が行われることになり、その色補正処理が行われれたRGBのデジタル信号がエンハンス回路(輪郭強調回路)26に入力される。
【0017】
Dレンジ拡大回路24はRGBのデジタル信号それぞれに対してダイナミックレンジ拡大処理するR,G,B用Dレンジ拡大回路からなり、例えばR用Dレンジ拡大回路24Rの構成を図2に示す。
【0018】
R用Dレンジ拡大回路24Rは、knee&γ回路22によりknee処理及びγ補正されたR信号の1フィールド分のデジタル信号を記憶するフィールドメモリ31と、フィールドメモリ31に記憶されたR信号と現在のフィールドのR信号とをタイミングジェネレータ14からのフィールド判別信号により切り換えて出力する第1セレクタ32A及び第2セレクタ32Bとを備えており、第2セレクタ32Bはインバータ回路33を介することで第1セレクタ32Aが出力する現在のフィールドのR信号と異なるフィールドのR信号を出力するようになっている。
【0019】
また、第1及び第2セレクタ32A及び32Bの出力信号は所定の関数値を出力する第1ルックアップテーブル(以下、第1LUT)34A及び第2LUT34Bにそれぞれ入力され、第1LUT34A及び第2LUT34Bの出力信号は加算器35でそれぞれ加算されて色補正回路25に出力されるようになっている。なお、G用及びB用Dレンジ拡大回路も、R用Dレンジ拡大回路24Rと同じ回路構成であるので、その説明を省略する。
【0020】
図3はDレンジ拡大回路24の作用説明図を示す。Dレンジ拡大時には、CCD3は2つの異なる露光時間(撮像時間)で露光(撮像)を行う。長い撮像時間と、短い撮像時間とで撮像を行い、長い撮像時間の場合における入射光量に対するCCD出力信号(Dレンジ拡大回路24への入力信号)は図3の特性aのようになり、短い撮像時間の場合における入射光量に対するCCD出力信号(Dレンジ拡大回路24への入力信号)は図3の特性bのようになる。
【0021】
そして、これら2つの特性の信号に対し、Dレンジ拡大回路24を通すことにより、特性cのDレンジが拡大処理された信号を得る。
【0022】
図4ないし図6は色補正回路25の具体例を示す。図2では、色補正回路25はマトリクス回路41で構成されている。つまり、RGBのデジタル信号はマトリクス回路41に入力され、色が濃くなるように色補正されて出力される。
【0023】
また、図5ではRGBのデジタル信号はマトリクス回路42に入力され、輝度信号Yと色差信号R−Y、B−Yとに変換された後、色差信号R−Y、B−Yはそれぞれ係数器43、44で1以上の所定の係数で増倍された後、輝度信号Yと増倍された色差信号R−Y、B−Yとは逆マトリクス回路45に入力され、RGBのデジタル信号に変換されて出力される。図4では色補正により、色を濃くする補正を行うと、輝度レベルも変化するが、図5の色補正では輝度信号Yは変化させないで、色成分を濃くする色補正を行うことができる特徴がある。
【0024】
図6では、図5において、輝度信号Y、色差信号R−Y、B−Yとをそれぞれ検波する検波器46、47、48と、これらの検波信号が入力されることによって、輝度判別を行う輝度判別回路49とを設け、この輝度判別回路49の出力で係数器43、44の係数を制御して、色を濃くする色補正を行うようにしている。
この他に、使用者が例えば図5の係数器43、44の係数値の大きさを調整して、使用者が望むように色強調を行えるようにしても良い。
【0025】
このような構成による本実施の形態の電子内視鏡装置1Aの動作を説明する。ダイナミックレンジ拡大ON/OFFスイッチ29を操作しない場合、つまりダイナミックレンジ拡大をOFFにした状態ではCPU30はスイッチ23の各スイッチを接点bがONするように切り換える制御する。
【0026】
この状態ではTG14はCCDドライバ15に対し、通常の撮像モードで撮像するようにタイミング信号を印加する。具体的には、CCDドライバ15は1/60秒毎にCCDドライブ信号をCCD3に印加して各フィールド分の撮像信号を出力させる。
【0027】
そして、撮像信号はプリアンプ16で増幅、CDS回路17でベースバンドの信号に変換、A/Dコンバータ18でデジタル信号への変換、分離回路19でRGB信号への変換等が行われ、スイッチ23の接点bを経てエンハンス回路26に入力され、輪郭強調が行われ、さらにD/Aコンバータ27でアナログ信号に変換されてモニタ6に出力され、モニタ画面にCCD3で撮像された患部等の被写体画像を表示する。
この場合には、図1のDレンジ拡大回路24と色補正回路25Aはスルーされることになる。
【0028】
一方、ダイナミックレンジ拡大ON/OFFスイッチ29を操作してダイナミックレンジ拡大をする指示信号をCPU30に出すと、CPU30はスイッチ23の各スイッチを接点aがONするように切り換える制御を行うと共に、TG14にも制御信号を送り、異なる撮像時間で撮像を行うように制御する。
【0029】
TG14はこの制御信号を受けて、通常の撮像時間で撮像するようにタイミング信号をCCDドライバ15に出すと共に、さらに短い撮像時間で撮像するようにタイミング信号をCCDドライバ15に出す。
【0030】
CCDドライバ15は2種類の撮像時間の撮像信号が得られるようにCCD3にCCDドライブ信号を印加する。この場合、CCD3からは通常のフィールド周期で交互に2種類の撮像信号が出力されるようにCCDドライバ15は短い撮像信号を得る場合には、不要な電荷の掃き出しを行う電荷掃き出しのドライブ信号もCCD3に印加することになる。
【0031】
そして、2種類で撮像された撮像信号は通常の撮像信号と同様に信号処理され、スイッチ23の接点aを経てDレンジ拡大回路24に入力され、このDレンジ拡大回路24によってダイナミックレンジ拡大処理がされたRGB信号が得られ、このRGB信号は色補正回路25Aで色を濃くする例えば彩度を大きくしたり、明度と彩度とを大きくする等の色補正がされた後、エンハンス回路26に入力され、輪郭強調が行われ、さらにD/Aコンバータ27でアナログ信号に変換されてモニタ6に出力され、モニタ画面にCCD3で撮像された患部等の被写体画像を表示する。
【0032】
この場合には、ダイナミックレンジ拡大処理の際に色調が薄くなってしまうが、色補正回路25Aにより、色を濃くする補正を行っているので、色補正を行わない場合よりも、被写体の色調をより忠実に反映した色調にでき、診断する場合に重要な要因となる色調を持った画像が得られるようにできる。
【0033】
従って、本実施の形態によれば、ダイナミックレンジ拡大処理の際に、色調の低下を改善でき、診断に適した十分な色調を持った画像を提供できる効果がある。
【0034】
(第2の実施の形態)
次に本発明の第2の実施の形態を図7を参照して説明する。図1の電子内視鏡装置1Aにおいては、色補正回路25AがRGB信号に対して色補正を行ってRGB信号で出力していたのに対し、図7に示す本実施の形態の電子内視鏡装置1Bでは色補正回路25AがRGB信号に対して色補正を行って輝度信号Y、色差信号R−Y、B−Yで出力するようにしたものである。
【0035】
つまり、Dレンジ拡大回路24でDレンジ拡大されたRGB信号は色補正回路25Bに入力され、色補正されて輝度信号Y、色差信号R−Y、B−Yで出力され、エンハンス回路26でエンハンスされた後、エンコーダ50に入力され、輝度信号Y、クロマ信号C及びコンポジットビデオ信号VBSが生成され、75Ωドライバ27を介してモニタ6側に出力される。
【0036】
また、スイッチ23の各スイッチの接点bを経て出力されるRGB信号はマトリクス回路51に入力され、輝度信号Yと色差信号R−Y,B−Yに変換されてエンハンス回路26に入力される。
【0037】
図8は色補正回路25Bの構成例を示す。図8では色補正回路25Bはマトリクス回路52で構成され、RGB信号はマトリクス回路52で色補正されて輝度信号Yと色差信号R−Y,B−Yに変換されて出力される。
【0038】
図9では色補正回路25Bはマトリクス回路53に入力され、輝度信号Yと色差信号R−Y,B−Yに変換される。輝度信号Yはこのまま色補正回路25Bから出力され、一方、色差信号R−Y,B−Yはそれぞれ係数器54、55に入力され、1より大きな係数が乗算されて色補正されて色補正回路25Bから出力される。
【0039】
また、図10では図9においてさらに輝度判別を行い、係数器54、55による係数を制御するようにしたものである。このため、輝度信号Yと、係数器54、55を通した色差信号R−Y,B−Yはそれぞれ検波器56、57、58に入力され、検波された後、輝度判別回路59に入力され、輝度レベルの判別を行う。そして、この輝度レベルの判別により係数器54、55の係数制御を行う。
【0040】
その他の構成は第1の実施の形態と同様である。
【0041】
第1の実施の形態では色補正後にもRGB信号であったのが本実施の形態では輝度信号Yと色差信号R−Y,B−Yに変更されていることを除いて基本的に同じ動作となるので、その説明を省略する。
また、本実施の形態の効果も第1の実施の形態と同様のものとなる。
【0042】
(第3の実施の形態)
次に本発明の第3の実施の形態を図11を参照して説明する。第1及び第2の実施の形態ではDレンジ拡大回路24の直後で色補正を行うようにしていたが、本実施の形態ではより後段側で色補正を行うようにした電子内視鏡装置1Cである。
【0043】
例えば、図1において、Dレンジ拡大回路24の直後の色補正回路25Aを取り去り、D/Aコンバータ27の出力信号をエンコーダ61に入力して、輝度信号Yとクロマ信号Cに変換し、輝度信号Yを75Ωドライバ27を介してモニタ6側に出力し、クロマ信号Cをスイッチ62の共通接点に印加する。
【0044】
そして、このスイッチ62の接点aが選択された場合にはクロマ信号Cは色補正回路25Cを通して75Ωドライバ27に出力され、接点bが選択された場合にはクロマ信号Cは色補正回路25Cを通さないでスルーして75Ωドライバ27に出力されるようにしている。
【0045】
図12は色補正回路25Cの構成例を示す。図12では色補正回路25Cは増幅器65で構成され、クロマ信号Cを増幅して出力する。
【0046】
また、図13では図12における増幅器65の増幅を輝度判別で制御するようにしたものであり、輝度信号Yとクロマ信号Cはそれぞれ検波器66、67により検波されて、その検波出力が輝度判別回路68に入力され、輝度レベルが判別される。そして、この輝度判別回路68による輝度レベルの判別により、増幅器65の増幅を制御するようにしている。
その他の構成は第1の実施の形態と同様の構成である。
【0047】
本実施の形態の動作は第1の実施の形態と基本的に色補正する場所が異なるのみで同様となる。
また、本実施の形態の効果は第1の実施の形態と同様である。
【0048】
(第4の実施の形態)
次に本発明の第4の実施の形態を図14を参照して説明する。図14に示す第4の実施の形態の電子内視鏡装置71は電子内視鏡72と、この電子内視鏡72のライトガイド73に照明光を供給する光源装置74と、電子内視鏡72に内蔵されたCCD75に対する信号処理を行うビデオプロセッサ76と、図示しないモニタとからなる。
【0049】
光源装置74はランプ77の光を絞り制御回路78で開口量が制御される絞り79を経てライトガイド73に照明光を供給し、このライトガイド73で伝送された照明光はその先端面から出射され、体腔内の患部等の被写体を照明する。
【0050】
照明された被写体は対物レンズ81によりCCD75に結像する。このCCD75にはビデオプロセッサ76内のCCDドライバ82からのCCD駆動信号が印加され、光電変換された撮像信号がプリアンプ83に入力され、増幅された後、CDS回路84によりリセットノイズ等が除去されてベースバンドの信号に変換された後、A/Dコンバータ85に入力され、デジタルの信号に変換された後、Dレンジ拡大回路86に入力される。
【0051】
このDレンジ拡大回路86でDレンジ拡大された後、色補正回路87に入力され、色を濃くする色補正(色強調)がされた後、プロセス回路88でエンハンス等の処理がされた後、D/Aコンバータ89を経てモニタ側に出力される。
【0052】
また、Dレンジ拡大回路86でDレンジ拡大された輝度信号Y(G信号でも良い。図17及び図18でも同様)は検波回路91Aに入力され、検波されて調光信号が生成され、この調光信号は光源装置74の絞り制御回路78に入力され、この調光信号により絞り79を観察に適した照明光量に自動制御する。
【0053】
図15は検波回路91Aの構成を示す。入力信号は切換スイッチ93を経て平均値を算出するように積分する積分回路(平均値算出回路)94に入力され、積分された後、D/Aコンバータ95に入力され、アナログの調光信号に変換されて光源装置74の絞り制御回路78に出力される。
【0054】
切換スイッチ93はマスク信号により、映像信号期間のみ、接点aがONするように切換られ、映像信号期間以外ではグランドに接続された接点bがONするように切換られノイズが除去される。
【0055】
図16はこの検波回路91Aの作用の説明図を示す。切換スイッチ93の接点aには図16(A)に示すA点の入力信号が入力され、この入力信号は図16(B)に示すマスク信号で映像信号期間のみ接点aがONするように切換られ、ノイズ等が除去されて図16(C)に示すB点の信号が積分回路94に入力される。
【0056】
この信号は積分回路94で積分されて図16(D)に示すC点の信号となり、各フィールドA,Bの平均値の信号となり、D/Aコンバータ95でアナログ信号に変換されて調光信号となり、光源装置74に入力される。
【0057】
本実施の形態によれば、ダイナミックレンジを拡大した信号から照明光量を制御する調光信号を生成しているので、ダイナミックレンジを拡大した場合にも、そのダイナミックレンジ拡大処理された信号の場合に適した照明光量に自動的に設定できる。
【0058】
従って、診断に適した適正な明るさの画像が得られる。また、ダイナミックレンジを拡大した場合における色調の低下を色補正回路87により、色を濃くする処理を行うので、診断し易い色調を持った画像が得られる。
【0059】
(第5の実施の形態)
次に本発明の第5の実施の形態を図17を参照して説明する。図17は第5の実施の形態の電子内視鏡装置の主要部を示す。本実施の形態は、図14のビデオプロセッサ76において、CDS回路84の出力信号をAGC回路97に入力し、このAGC回路97の出力信号をA/Dコンバータ85に入力するようにすると共に、検波回路91Aの出力信号をAGC回路97のゲイン制御端に印加してゲイン制御を行うようにしたビデオプロセッサ76Bにしている。
【0060】
つまり、本実施の形態では検波回路91の出力信号はゲイン制御信号として、AGC回路97のゲイン制御端に印加してゲイン制御を行う。
【0061】
なお、本実施の形態では光源装置は例えばマニュアルで絞りの制御を行うようにしている。その他は図14と同様の構成であり、その説明を省略する。
【0062】
本実施の形態では検波回路91Aの出力信号はゲイン制御信号として、AGC回路97のゲイン制御端に印加してゲイン制御を行い、ダイナミックレンジを拡大した場合にも、AGC回路97のゲイン制御により診断或いは観察に適した明るさの画像が得られるようにする。
【0063】
従って、本実施の形態によれば、ダイナミックレンジを拡大した場合にも、そのダイナミックレンジ拡大処理された信号の場合に診断或いは観察に適した明るさの画像に自動的に設定できる。
【0064】
(第6の実施の形態)
次に本発明の第6の実施の形態を図18を参照して説明する。本実施の形態は図17において、検波回路91から出力されるゲイン制御信号をAGC回路97に印加すると共に、調光信号を光源装置に印加する検波回路91Cを設けたビデオプロセッサ76Cにしている。
【0065】
図19は検波回路91Cの構成を示す。入力信号は切換スイッチ93を経て平均値算出回路(積分回路)94に入力され、積分された後、制御回路98に入力され、目標値と比較された後、D/Aコンバータ95a,95bに入力され、アナログのゲイン制御信号と調光信号に変換されてAGC回路97と、光源装置74の絞り制御回路78にそれぞれ出力される。
【0066】
切換スイッチ93はマスク信号により、映像信号期間のみ、接点aがONするように切換られ、映像信号期間以外ではグランドに接続された接点bがONするように切換られノイズが除去される。
【0067】
図20は調光制御のフローチャートを示す。調光制御がスタートすると、制御回路98はステップS1の目標値と平均値算出回路94から出力される平均値との大小関係を判断する。
【0068】
そして、目標値と平均値とが等しい場合にはステップS1に戻り、目標値>平均値の場合には、ステップS2の絞りが開ききっているかの判断を行う。絞りが開ききっている場合には、ステップS3のD/Aコンバータ95aへの出力を1デクリメントしてステップS1に戻る。また、ステップS2の判断で、絞りが開ききっていない場合には、ステップS4のD/Aコンバータ95bへの出力を1デクリメントしてステップS1に戻る。
【0069】
一方、ステップS1の判断で、目標値<平均値の場合には、ステップS5に示すAGCゲインは最小かの判断を行う。そして、AGCゲインが最小の場合には、ステップS6のD/Aコンバータ95bへの出力を1インクリメントしてステップS1に戻る。また、AGCゲインが最小でない場合には、ステップS7のD/Aコンバータ95aへの出力を1インクリメントしてステップS1に戻る。
【0070】
このように調光制御を行うことにより、S/Nの良い画像を得ることができる。その他は第5或いは第6の実施の形態と同様の効果を有する。
【0071】
(第7の実施の形態)
次に本発明の第7の実施の形態を図21を参照して説明する。図21に示す電子内視鏡装置101では電子内視鏡のCCD102にはビデオプロセッサ内のCCDドライバ103からCCD駆動信号が印加される。
【0072】
このCCDドライバ103には第1同期信号発生回路(第1SSGと略記)104から同期信号が印加され、この同期信号に同期してCCD駆動信号を発生する。
【0073】
CCD102から読み出された信号はプリアンプ105に入力され、増幅された後、アイソレーション回路106を経てCDS回路107に入力され、リセットノイズ等を除去してベースバンドの信号に変換され、A/Dコンバータ108でデジタル信号に変換された後、プロセス回路109でγ補正等が行われた後、Dレンジ拡大回路110に入力され、Dレンジ拡大の処理が行われる。
【0074】
このDレンジ拡大回路110の出力信号は色補正回路111に入力され、色を濃くする補正が行われた後、D/Aコンバータ112でアナログ信号に変換された後、図示しないモニタに出力される。なお、CDS回路107、A/Dコンバータ108、プロセス回路109、Dレンジ拡大回路110には第2SSG113から同期信号が印加され、各回路はこの同期信号に同期した処理を行う。
【0075】
また、CCD102の出力信号は調光回路114に入力され、この調光回路114により調光信号が生成され、この調光信号により光源装置の図示しない絞りを制御する等して照明光量を適正な値に自動制御する。なお、この調光回路114には第1SSG104からフィールド判別信号が印加され、調光回路114は一方のフィールドに対して調光を行う。
【0076】
図22はDレンジ拡大回路110の構成を示す。
入力信号は1フィールド分の信号を記憶するフィールドメモリ121に入力されると共に、フィールド判別信号により切り換えられる第1セレクタ122A及び第2セレクタ122Bに入力される。第1セレクタ122A及び第2セレクタ122Bにはフィールドメモリ121の出力信号も入力される。
【0077】
第1及び第2セレクタ122A及び122Bの出力信号は所定の関数値を出力する第1LUT123A及び第2LUT123Bにそれぞれ入力され、第1LUT123A及び第2LUT123Bの出力信号は加算器124でそれぞれ加算されて色補正回路111に出力されるようになっている。
【0078】
図23はDレンジ拡大回路110による動作説明図を示す。入力信号は図23(A)に示すようにAフィールド、Bフィールドの信号が交互に入力される。例えば、Aフィールドの信号(例えばA1)が入力される場合、この信号A1は第1セレクタ122A及び第2セレクタ122Bに入力されると共に、フィールドメモリ121から、1フールド期間前の信号B0も第1セレクタ122A及び第2セレクタ122Bに入力される。
【0079】
第1セレクタ122A及び第2セレクタ122Bは図23(E)に示すフィールド判別信号で連動して切り換えられるため、第1セレクタ122Aは信号A1を選択し、この信号A1が第1LUT123Aに入力され(図23(B)参照)、この時第2セレクタ122Bは信号B0を選択し、この信号B0が第2LUT123Bに入力される(図23(C)参照)。
【0080】
そして、第1LUT123A及び第2LUT123Bで読み出された信号A1′、B0′は加算器124で加算されて図22(D)に示すように合成出力A1′+B0′の信号が出力される。他のフィールドでも同様の動作となる。
【0081】
なお、図23(F)は調光回路114への入力信号を示し、例えばAフィールドでは通常の1/60秒の露光時間(撮像期間)で撮像した場合の信号レベルであるのに対し、Bフィールドでは例えば1/240秒等のより短い露光時間(撮像期間)で撮像した場合の信号レベルとなり、Aフィールドの場合よりもはるかに低い信号レベルとなる。
【0082】
図24は調光回路114の回路構成を示す。入力信号は検波回路131で検波されると共に、露光時間情報により乗算係数が制御される乗算器132に入力されて乗算された後、加算器133で検波出力と乗算出力とが加算される。
【0083】
加算出力はエリア指定回路134により、内視鏡画像エリア等の指定されたエリアの映像信号に対してサンプルホールド回路135でサンプルホールドされる。
【0084】
サンプルホールドされた信号はレベル調整回路136により、調光を行う機器側のレベルと整合するようにレベル調整が行われた後、フィルタ回路137を通して位相調整され、さらに0Vクリップ回路138により、0V以下にならないようにクリップされて調光信号として光源装置に出力される。
【0085】
なお、検波回路131、エリア指定回路134、サンプルホールド回路135には第1SSG104からフィールド判別信号が入力され、一方のフィールドで検波等の処理を行う。本実施の形態では、一方のフィールドで調光信号を生成して光源装置の照明光量を制御するものである。
【0086】
本実施の形態によれば、図23(F)に示すようにA,Bフィールド間で大きな輝度差が生じるダイナミックレンジ拡大処理される場合にも、正確な調光制御ができる。また、色強調を行うので色調の低下を防止できる。
【0087】
(第8の実施の形態)
次に本発明の第8の実施の形態を図25を参照して説明する。図25に示す電子内視鏡装置141は図21の電子内視鏡装置101において、調光回路114を設けないで、代わりにCDS回路107とA/Dコンバータ108との間にAGC回路142を設け、このAGC回路142のゲインをAGCコントロール回路143で制御することにより、観察に適した明るさに自動制御するようにしている。
【0088】
つまり、CDS回路107の出力信号はAGC回路142に入力され、AGCコントロール回路143からのゲイン制御信号に応じたゲインで増幅して、A/Dコンバータ108に入力される。このAGC回路142には第2SSG113から同期信号が入力され、その同期信号に同期した動作を行う。
【0089】
また、この第2SSG113はAGCコントロール回路143にフィールド判別信号を送り、一方のフィールドにおいてAGC回路142のゲイン制御を行う。
【0090】
図26はAGCコントロール回路143の構成を示す。プロセス回路109を通したデジタルの輝度信号はAGCコントロール電圧作成回路151に入力される。このAGCコントロール電圧作成回路151には第2SSG113からフィールド判別信号も入力され、このフィールド判別信号によりどちらのフィールドでゲイン制御を行うかをAGCコントロール電圧作成回路151に指示する。
【0091】
そして、AGCコントロール電圧作成回路151は指示されたフィールドでAGCコントロール電圧を作成する。この場合、図示しないCPU等により、基準値が入力され、この基準値をAGCの目標値としてAGCコントロール電圧を作成する。この基準値は、使用する光源装置、目標の明るさ(光源インデックス値)毎に固有の値を持っている。
【0092】
そして、AGCコントロール電圧作成回路151は入力されるデジタルの輝度信号の指示されたフィールドでの積算値或いは平均値を基準値と比較して、不足する場合には、増加させる値のAGCコントロール電圧(プラスゲイン)を、多き過ぎる場合には減少させる値のAGCコントロール電圧(ナイナスゲイン)を出力する。
【0093】
このデジタルのAGCコントロール電圧はD/Aコンバータ152でアナログのAGCコントロール電圧に変換される。なお、このD/Aコンバータ152にはリファレンス電圧が印加される。
【0094】
このアナログのAGCコントロール電圧はAGC ON/OFFスイッチ153の接点aを経てAGC回路142のゲイン制御端に印加される。また、このAGC ON/OFFスイッチ153の接点bには固定値154が印加され、AGC機能をOFFした場合には、この固定値154がAGC回路142のゲイン制御端に印加され、一定のゲインに固定される。
【0095】
本実施の形態によれば、フィールド間で大きな輝度差が生じるダイナミックレンジ拡大処理される場合にも、AGCゲイン制御により観察に適した正確な調光制御ができる。また、色強調を行うので色調の低下を防止できる。
【0096】
ところで、フリーズを行った場合、フレームフリーズでは図27(B)に示すようにAフィールドとBフィールドの画像が表示されるが、A、Bフィールド間の時間的なずれにより、画像がブレ易く、フィールドフリーズでは図27(C)に示すように両フィールドとも一方のフィールド成分で表示を行うため、ブレは少なくなるが、垂直解像度は半分に低下するので、図28に示す補間回路161を設けることにより、図27(A)に示すようにフィールドフリーズでも解像度の低下を防止するようにしても良い。
【0097】
図28に示す補間回路161は2つのA、Bフィールドをそれぞれ記憶するAフィールドメモリ162Aと、Bフィールドメモリ162Bと、Aフィールドメモリ162Aの出力端に設けた補間用画像作成回路163と、フィールド/フレーム選択用の切換スイッチ164とを有する。
【0098】
この切換スイッチ164により、フレームフリーズを選択した場合には接点bがONするように切換えられてA、Bフィールドメモリ162A,162BのA、Bフィールドのフィールド画像が交互に読み出されて図27(B)のように表示される。
【0099】
一方、フィールドフリーズを選択した場合には接点aがONするように切換えられてAフィールドメモリ162Aと、補間用画像作成回路163のフィールド画像が交互に読み出されて図27(A)のように補間により垂直解像度の高い画像が表示される。
【0100】
また、図28の代わりに図29に示す補間回路171のようにさらにA,Bフィールドメモリ162A,162Bからの両フィールド画像のブレ量をブレ検出回路172で検出し、このブレ検出回路172の出力で切換スイッチ164の切換を制御しても良い。
【0101】
つまり、ブレ量が少ないと判断した場合には接点bを選択し、ブレ量が多いと判断した場合には接点aを選択して、図27(A)のように表示するようにしても良い。
なお、上述した各実施の形態を部分的等で組み合わせて構成される実施の形態等も本発明に属する。
【0102】
[付記]
1.異なる2つ以上の露光時間にて撮像した画像を合成することによりダイナミックレンジの拡大処理を行う電子内視鏡装置において、
ダイナミックレンジの拡大処理時には色を濃くする色強調処理手段を設けたことを特徴とする電子内視鏡装置。
2.付記1において、色強調処理手段はダイナミックレンジの拡大処理されたRGB信号に対して色強調の処理を行うマトリクス回路を有する。
【0103】
3.付記1において、色強調処理手段はダイナミックレンジの拡大処理されたRGB信号から輝度信号と色差信号とに変換するマトリクス回路と、前記色差信号に対して色強調の処理を行う係数器とを有する。
4.付記3において、さらに前記輝度信号及び係数器の出力信号からRGB信号に変換する逆マトリクス回路を有する。
5.付記3において、前記係数器の係数値を輝度信号のレベルで可変制御する輝度判別回路を有する。
【0104】
6.異なる2つ以上の露光時間にて撮像した画像を合成することによりダイナミックレンジの拡大処理を行う電子内視鏡装置において、
異なった2つ以上の露光時間により得られた映像信号のうち、少なくとも1つ以上の映像信号を使用して光量調整を行うことを特徴とする電子内視鏡装置。
【0105】
(付記6の背景)
(従来技術)異なった2つ以上の露光時間にて撮像した画像をある合成関数にて合成することによるダイナミックレンジ拡大を行う電子内視鏡装置では、光源からの明るさを調整するときはフレーム単位の映像信号を使用して明るさを調整する信号を作っていた。ダイナミックレンジ拡大を行う場合、フィールド毎に露光時間が異なるため、フレームとして明るさ制御信号を作成した場合、輝度差が大きすぎて正しい明るさ制御が行えなかった。
(目的)ダイナミックレンジ拡大を行う際に効果的な光量調整を行う。このために付記6の構成にした。
【0106】
7.体腔内を照射する光量を調節するための絞り値制御可能な光源装置と
体腔内を撮像するための撮像手段と、前記撮像手段が先端に埋め込まれた電子内視鏡と
2つの異なる露光時間で前記撮像手段に蓄積された電荷を読み出すための駆動回路と、前記駆動回路によって読み出された露光時間の異なる2つの画像データから1つの画像に合成する合成手段によってDレンジを拡大するビデオプロセッサからなる電子内視鏡装置において、
前記合成手段の出力信号から前記光源装置の絞りを可変する調光信号を生成するための検波手段を持つことを特徴とする電子内視鏡装置。
【0107】
8.体腔内を撮像するための撮像手段と、前記撮像手段が先端に埋め込まれた電子内視鏡と
2つの異なる露光時間で前記撮像手段に蓄積された電荷を読み出すための駆動回路と、前記撮像手段の出力信号を増幅するための利得可変アンプと、前記駆動回路によって読み出された露光時間の異なる2つの画像データから1つの画像に合成する合成手段によってDレンジを拡大するビデオプロセッサからなる電子内視鏡装置において、
前記合成手段の出力信号から前記利得可変アンプのゲイン制御信号を生成するための検波手段を持つことを特徴とする電子内視鏡装置。
【0108】
9.体腔内を照射する光量を調節するための絞り値制御可能な光源装置と
体腔内を撮像するための撮像手段と、前記撮像手段が先端に埋め込まれた電子内視鏡と
2つの異なる露光時間で前記撮像手段に蓄積された電荷を読み出すための駆動回路と、前記撮像手段の出力信号を増幅するための利得可変アンプと、前記駆動回路によって読み出された露光時間の異なる2つの画像データから1つの画像に合成する合成手段によってDレンジを拡大するビデオプロセッサからなる電子内視鏡装置において、
前記合成手段の出力信号から前記光源装置の絞りを可変する調光信号を生成し、且つ、前記利得可変アンプのゲイン制御信号を生成するための検波手段を持つことを特徴とする電子内視鏡装置。
【0109】
(付記7〜9の背景)
(従来技術)検査時間を短縮する為には、近点から遠点まで適切な明るさで観察する必要がある。このため、Dレンジ拡大回路を付加することは内視鏡分野において非常に有用である。しかし、電子内視鏡装置は光源を用いて体内を撮像する為に、調光を働かせなくてはならない。その為、露光時間の異なる信号から調光信号やAGCの制御電圧を生成すると適切な明るさのモニタ出力が選べられなかった。
(付記7〜9の目的)Dレンジ拡大回路を付加しても適切な調光及びAGCをかける。これを目的として、付記7〜9の構成にした。
【0110】
【発明の効果】
以上説明したように本発明によれば、色強調を行わない場合よりも患部等の被写体の色調をより診断し易い色調を持つ画像が得られる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の電子内視鏡装置の構成を示す構成図。
【図2】図1のR用Dレンジ拡大回路の構成を示す構成図。
【図3】図2のによるダイナミックレンジ拡大の説明図。
【図4】色補正回路の構成図。
【図5】図4の第1の変形例の色補正回路の構成図。
【図6】図4の第2の変形例の色補正回路の構成図。
【図7】本発明の第2の実施の形態の電子内視鏡装置の構成を示す構成図。
【図8】色補正回路の構成図。
【図9】図8の第1の変形例の色補正回路の構成図。
【図10】図8の第2の変形例の色補正回路の構成図。
【図11】本発明の第3の実施の形態の電子内視鏡装置の構成を示す構成図。
【図12】色補正回路の構成図。
【図13】変形例の色補正回路の構成図。
【図14】本発明の第4の実施の形態の電子内視鏡装置の構成を示す構成図。
【図15】検波回路の構成図。
【図16】検波回路の動作説明図。
【図17】本発明の第5の実施の形態の電子内視鏡装置の主要部の構成図。
【図18】本発明の第6の実施の形態の電子内視鏡装置の主要部の構成図。
【図19】検波回路の構成図。
【図20】調光制御のフローチャート図。
【図21】本発明の第7の実施の形態の電子内視鏡装置の構成を示す構成図。
【図22】Dレンジ拡大回路の構成図。
【図23】Dレンジ拡大回路の作用説明図。
【図24】調光回路の構成図。
【図25】本発明の第8の実施の形態の電子内視鏡装置の構成を示す構成図。
【図26】AGCコントロール回路の構成図。
【図27】フィールド及びフレームフリーズによるフリーズ画像を示す図。
【図28】フィールドフリーズの際に補間を行ってフリーズ画像を出力する補間回路の構成図。
【図29】図28の変形例の構成図。
【符号の説明】
1A…電子内視鏡装置
2…内視鏡
3…CCD
4…外付けTVカメラ
5…CCU
6…モニタ
7…光源装置
8…ランプ
14…TG
15…CCDドライバ
23…スイッチ
24…Dレンジ拡大回路
25A…色補正回路(色強調回路)
26…エンハンス回路
29…ダイナミックレンジ拡大ON/OFFスイッチ
31…フィールドメモリ
32A,32B…セレクタ
34A,34B…LUT
35…加算器
41…マトリクス回路
Claims (5)
- 内視鏡に内蔵された1つの撮像素子から異なる2つ以上の露光時間にて得られた各画像信号を加算して合成することによりダイナミックレンジの拡大処理を行う電子内視鏡装置において、
前記ダイナミックレンジの拡大処理後の画像信号に対して色を濃くする色強調処理を行う色強調処理手段を備えたことを特徴とする電子内視鏡装置。 - 前記画像信号は、RGB信号からなり、
前記色強調処理手段は、ダイナミックレンジの拡大処理された前記RGB信号に対して色強調処理を行うマトリクス手段を有することを特徴とする請求項1に記載の電子内視鏡装置。 - 前記画像信号は、RGB信号からなり、
前記色強調処理手段は、ダイナミックレンジの拡大処理された前記RGB信号を輝度信号および色信号に変換するマトリクス手段と、前記色信号に対して色強調処理を行う色信号強調処理手段とを有することを特徴とする請求項1に記載の電子内視鏡装置。 - 前記色強調処理手段は、前記輝度信号および前記色信号強調処理手段の出力信号をRGB信号に変換する逆マトリクス手段を有することを特徴とする請求項3に記載の電子内視鏡装置。
- 前記色強調処理手段は、前記輝度信号のレベルに応じて色強調量を可変制御する制御手段を有することを特徴とする請求項3または4に記載の電子内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18309398A JP3607816B2 (ja) | 1998-06-29 | 1998-06-29 | 電子内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18309398A JP3607816B2 (ja) | 1998-06-29 | 1998-06-29 | 電子内視鏡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000023183A JP2000023183A (ja) | 2000-01-21 |
JP3607816B2 true JP3607816B2 (ja) | 2005-01-05 |
Family
ID=16129650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18309398A Expired - Fee Related JP3607816B2 (ja) | 1998-06-29 | 1998-06-29 | 電子内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3607816B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003334163A (ja) | 2002-03-14 | 2003-11-25 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
JP4004943B2 (ja) | 2002-12-25 | 2007-11-07 | 富士フイルム株式会社 | 画像合成方法および撮像装置 |
JP4335091B2 (ja) * | 2004-08-09 | 2009-09-30 | 海洋総合開発株式会社 | 監視カメラ装置 |
JP2011199351A (ja) * | 2010-03-17 | 2011-10-06 | Mitsubishi Electric Corp | 撮像装置 |
JP5877693B2 (ja) | 2011-11-18 | 2016-03-08 | 株式会社キーエンス | 画像処理センサ、画像処理方法及びコンピュータプログラム |
US9160936B1 (en) * | 2014-11-07 | 2015-10-13 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
JP5771729B2 (ja) * | 2014-06-24 | 2015-09-02 | オリンパス株式会社 | 内視鏡装置 |
JP6109456B1 (ja) | 2015-06-30 | 2017-04-05 | オリンパス株式会社 | 画像処理装置および撮像システム |
JP7088185B2 (ja) * | 2017-06-12 | 2022-06-21 | ソニーグループ株式会社 | 医療用システム、医療用装置および制御方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2643958B2 (ja) * | 1987-10-27 | 1997-08-25 | オリンパス光学工業株式会社 | 内視鏡画像強調回路 |
JP2615099B2 (ja) * | 1987-12-08 | 1997-05-28 | オリンパス光学工業株式会社 | カラーエンハンス装置 |
JP2988666B2 (ja) * | 1988-11-14 | 1999-12-13 | オリンパス光学工業株式会社 | 色強調処理回路 |
JPH0337038A (ja) * | 1989-07-05 | 1991-02-18 | Fukuda Denshi Co Ltd | 血管内腔像撮影表示方式 |
JPH05506971A (ja) * | 1990-02-16 | 1993-10-07 | スキャネラ ソシエテ シビル | カメラのダイナミックレンジを増加するための装置 |
JPH0530424A (ja) * | 1991-07-22 | 1993-02-05 | Nippon Telegr & Teleph Corp <Ntt> | 画像入力装置 |
JPH06105224A (ja) * | 1992-09-17 | 1994-04-15 | Fujitsu Ltd | ダイナミックレンジ拡大装置 |
-
1998
- 1998-06-29 JP JP18309398A patent/JP3607816B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000023183A (ja) | 2000-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4175711B2 (ja) | 撮像装置 | |
US6677992B1 (en) | Imaging apparatus offering dynamic range that is expandable by weighting two image signals produced during different exposure times with two coefficients whose sum is 1 and adding them up | |
EP1712177B1 (en) | Signal processing device for endoscope | |
JP5677864B2 (ja) | 顕微鏡用撮像装置および顕微鏡観察方法 | |
JP2000231062A (ja) | 内視鏡装置 | |
JP2015195845A (ja) | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 | |
JP3752272B2 (ja) | 電子内視鏡装置 | |
JP3607816B2 (ja) | 電子内視鏡装置 | |
JPH0690900A (ja) | 電子内視鏡装置 | |
JP2007215907A (ja) | 内視鏡プロセッサ、内視鏡システム、及びブラックバランス調整プログラム | |
JP2000197604A (ja) | 内視鏡装置 | |
JPH10255028A (ja) | 眼映像装置 | |
JP4033565B2 (ja) | 内視鏡装置 | |
JP3696005B2 (ja) | 電子内視鏡装置 | |
JP2004040480A (ja) | 撮像装置 | |
EP0923236B1 (en) | Endoscopic apparatus | |
JPS62155689A (ja) | 内視鏡用画像信号処理回路 | |
JPH11164195A (ja) | 撮像装置 | |
JP4648576B2 (ja) | 電子内視鏡装置 | |
JP3655679B2 (ja) | 内視鏡装置 | |
JP4503931B2 (ja) | 電子内視鏡装置 | |
JPH10165363A (ja) | 内視鏡用撮像信号処理装置 | |
JP3917982B2 (ja) | 内視鏡装置 | |
JP3255755B2 (ja) | 電子内視鏡装置 | |
JPH088904B2 (ja) | ビデオ内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041008 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071015 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081015 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121015 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |