JP3917733B2 - 電子内視鏡装置 - Google Patents
電子内視鏡装置 Download PDFInfo
- Publication number
- JP3917733B2 JP3917733B2 JP30101997A JP30101997A JP3917733B2 JP 3917733 B2 JP3917733 B2 JP 3917733B2 JP 30101997 A JP30101997 A JP 30101997A JP 30101997 A JP30101997 A JP 30101997A JP 3917733 B2 JP3917733 B2 JP 3917733B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- correction
- band
- hue
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は電子内視鏡装置、更に詳しくは補色フィルタを有する固体撮像素子からの撮像信号による輝度信号の生成部分に特徴のある電子内視鏡装置に関する。
【０００２】
【従来の技術】
従来より電子内視鏡装置の映像信号処理回路では、挿入部先端に設けられた固体撮像素子（以下、ＣＣＤと略す）により被写体を撮像し、映像信号処理部において映像信号を生成して観察画像をモニタに表示している。
【０００３】
ＣＣＤの前面に補色フィルタを有する単板形式の電子内視鏡からの撮像信号を信号処理する映像信号処理回路においては、図９に示すように、ＣＣＤ１０１から読み出された撮像信号はローパスフィルタ（以下、ＬＰＦと略記する）１０２によって色キャリア成分が除去され、高帯域輝度信号ＹHが得られる。また、ＬＰＦ１０３は前記ＬＰＦ１０２よりも低いカットオフ周波数のものが用いられ、これにより低帯域輝度信号ＹLが得られる。バンドパスフィルタ（ＢＰＦ）１０４では、前記撮像信号から色キャリア成分を抽出が用いられ、これにより線順次色差信号ＣR／ＣBが得られる。
【０００４】
前記線順次色差信号ＣR／ＣBは１Ｈ遅延線１０５とセレクタ１０６によって同時化され、色差信号ＣR（＝２Ｒ−Ｇ）、ＣB（＝２Ｂ−Ｇ）が得られる。前記ＹL及びＣR、ＣB信号は、第１のマトリクス回路１０７に入力され、以下の行列式によって原色ＲＧＢ信号に変換される。
【０００５】
【数１】
上式において、Ｋ11〜Ｋ33は、接続されるＣＣＤ１０１の分光感度特性を考慮し、例えば赤を撮像した場合にはＲ信号が大きくなるように設定する。
【０００６】
前記原色ＲＧＢ信号は、ホワイトバランス補正回路１０８において、光源の色温度変化に対する補色フィルタの分光感度特定のばらつきを補正している。
【０００７】
ホワイトバランス補正回路１０８でのホワイトバランス後のＲＧＢ信号は、γ補正回路１０９においてＲ、Ｇ、Ｂ独立にγ補正が施され、第２のマトリクス回路１１０によって、以下に示すようなＮＴＳＣ方式の規格にあった変換によって再度輝度信号ＹL’、色差信号Ｒ−Ｙ、Ｂ−Ｙ信号に変換される。
【０００８】
【数２】
上記第２のマトリクス回路１１０によって得られた輝度信号ＹL’は次のような特徴を持っている。
【０００９】
（１）ホワイトバランス補正後のＲＧＢ信号より生成されるため、輝度再現性が良い。
【００１０】
（２）色差信号との演算により混色が生じており、Ｓ／Ｎが悪い。
【００１１】
一方、前記高帯域輝度信号ＹHは、エンハンス回路１１１により輪郭補償された後、γ補正回路１１２において輝度成分についてのγ補正が施される。
【００１２】
ここで、前記高帯域輝度信号ＹH信号はＣＣＤ１０１の撮像信号から色キャリア成分を除去して得られるものであるため、画素の混色はなく、Ｓ／Ｎの劣化は生じていない。
【００１３】
しかし、その分光感度特性は、補色フィルタの分光感度に依存し、実際の目の視感度とは異なるため輝度再現性の悪いものである。
【００１４】
そのため、従来は、Ｓ／Ｎは悪いが輝度再現性の良い前記ＹL’信号を、加算器１１３によって、輝度再現性は悪いがＳ／Ｎの良い前記ＹH信号に加算することでこの問題を改善し、エンコーダ１１４によって前記Ｒ−Ｙ、Ｂ−Ｙ信号と、補正後の高帯域輝度信号ＹH’を用いてビデオ信号に変換していた。
【００１５】
ところが、前述したように、前記ＹL’信号はＳ／Ｎが悪く、補正によって輝度再現性とＳ／Ｎがトレードオフになるという問題があった。
【００１６】
そこで、例えば特開平２−２８８５７４号公報においては、色の評価手段を設け、Ｓ／Ｎは良いが輝度再現性の悪いＹH信号と、Ｓ／Ｎは悪いが輝度再現性の良いＹL’信号の混合比を色相により制御して補正信号を生成し、Ｓ／Ｎの劣化を防ぐ提案がなされている。
【００１７】
すなわち、図９に示した構成と同様の構成には同一の符号を付し詳細な説明は省略するが、特開平２−２８８５７４号公報では、図１０に示すように、第２のマトリクス回路１１０によって得られた色差信号Ｒ−Ｙ、Ｂ−Ｙは、評価回路１２１に入力されて色の飽和度、色温度等の評価を行い、その評価結果を加算器１２２に出力する。加算器１２２では、高帯域輝度信号ＹHと、前記ＹL’を、前記評価結果に応じて異なる混合比にて加算する。これにより、被写体の色情報に応じてＳ／Ｎの良いＹH信号と輝度再現性の高いＹL’信号の利点を生かしながら、Ｓ／Ｎ劣化が少なく輝度再現性の高い輝度信号を得ることを可能としている。
【００１８】
【発明が解決しようとする課題】
上記特開平２−２８８５７４号公報においては、原色ＲＧＢ信号によってホワイトバランス補正を行った後に、再度低帯域輝度信号ＹL’を生成し、これを低帯域輝度信号ＹLとある比率で混合し補正量を生成することで、Ｓ／Ｎの劣化を防止する試みがなされている。
【００１９】
しかしながら、評価回路１２１や混合比の選択を行うための加算器１２２等の手段が、非常に複雑になるという問題がある。
【００２０】
また、補正の自由度も低いため、特定の色相について着目した場合、十分な補正が得られないといった問題もある。特に、医用電子内視鏡装置においては、被写体は赤系の色相がほとんどであり、輝度再現性は、赤系の色相で非常に重要となる。また、出血部位など彩度の高い赤色を近接から撮像する場合が多く、このような場合には、色再現性を重視するために輝度再現性が特に損なわれがちとなっていた。このような場合に輝度再現性が損なわれると、観察部位の起伏が観察しづらくなるため、検査に支障をきたす虞がある。
【００２１】
本発明は、上記事情に鑑みてなされたものであり、所望の色相についての輝度再現性に自由度を与え、色相に応じて最適な補正を施し、簡単な構成にてＳ／Ｎの劣化を防止すると共に高い輝度再現性を得ることができ、内視鏡検査における診断性と安全性を向上させることのできる電子内視鏡装置を提供することを目的としている。
【００２２】
【課題を解決するための手段】
本発明の電子内視鏡装置は、挿入部の先端部に補色フィルタを有する固体撮像素子を有した電子内視鏡と、前記固体撮像素子から出力される撮像信号から映像信号を生成する映像信号処理部とを備えた電子内視鏡装置において、前記固体撮像素子から出力される撮像信号から高帯域輝度信号を生成する輝度信号生成手段と、前記固体撮像素子から出力される撮像信号から複数の低帯域色信号を生成する色信号生成手段と、前記低帯域色信号のうち複数の低帯域色信号を用いて、色相を検出する色相検出手段と、前記低帯域色信号の複数の低帯域色信号を用いて色相に応じた補正量を生成する補正量生成手段と、前記色相検出手段及び前記補正量生成手段の出力を受けて、前記高帯域輝度信号に前記補正量を加算もしくは乗算することにより前記高帯域輝度信号を補正する輝度補正手段とを備えて構成される。
【００２３】
本発明の電子内視鏡装置では、前記色相検出手段が前記低帯域色信号のうち複数の低帯域色信号を用いて色相を検出し、前記補正量生成手段が前記低帯域色信号の複数の低帯域色信号を用いて色相に応じた補正量を生成し、前記輝度補正手段が前記色相検出手段及び前記補正量生成手段の出力を受けて前記高帯域輝度信号に前記補正量を加算もしくは乗算することにより前記高帯域輝度信号を補正することで、所望の色相についての輝度再現性に自由度を与え、色相に応じて最適な補正を施し、簡単な構成にてＳ／Ｎの劣化を防止すると共に高い輝度再現性を得ることができ、内視鏡検査における診断性と安全性を向上させることを可能とする。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００２５】
図１ないし図８は本発明の一実施の形態に係わり、図１は電子内視鏡装置の構成を示す構成図、図２は図１の補色フィルタの構成を示す構成図、図３は図１の映像信号処理装置の構成を示す構成図、図４は図３の色相検出回路の構成を示す構成図、図５は図３の補正量生成回路の構成を示す構成図、図６は図４の色相検出回路の変形例の構成を示す構成図、図７は図５の補正量生成回路の第１の変形例の構成を示す構成図、図８は図５の補正量生成回路の第２の変形例の構成を示す構成図である。
【００２６】
図１に示すように、本実施の形態の電子内視鏡装置１は、体腔内に挿入する可撓性を有する挿入部２及び挿入部２の基端側に設けられた操作部３よりなり体腔内の観察部位を撮像する電子内視鏡４と、この電子内視鏡４に照明光を供給する光源装置５と、電子内視鏡４からの撮像信号を信号処理しモニタ６に前記観察部位の画像を表示させる映像信号処理装置７とを備えて構成される。
【００２７】
電子内視鏡４は、操作部３から延出するユニバーサルケーブル８により映像信号処理装置７に接続され、さらにライトガイドケーブル９を介して光源装置５に接続されている。
【００２８】
光源装置５から供給される照明光は、前記のライトガイドケーブル９、ユニバーサルケーブル８及び電子内視鏡４の挿入部２内を挿通するライトガイド１０により挿入部２の先端に伝送され、ライトガイド１０の出射端面より図示しない観察部位に照射されるようになっている。
【００２９】
観察部位の光学像は、電子内視鏡４の挿入部２の先端面に設けられた、図２に示すマゼンダ（Ｍｇ）、グリーン（Ｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）の各色フィルタを配列した色コーディング用の補色フィルタ１１により光学的に色分離された後、結像レンズ１２により固体撮像素子、例えばＣＣＤ１３の受光面に結像するようになっている。
【００３０】
そして、ＣＣＤ１３により光電変換され得られた撮像信号は、挿入部２及びユニバーサルケーブル８内を挿通する図示しない信号線により前記映像信号処理装置７に伝送されるようになっている。
【００３１】
図３に示すように、映像信号処理装置７では、ＣＣＤ１３から出力された撮像信号は、輝度生成部２０及び色生成部３０に入力される。
【００３２】
輝度生成部２０では、ＬＰＦ２１によって撮像信号から高帯域輝度信号ＹHを生成し、ＬＰＦ２１によって生成された高帯域輝度信号ＹHに対してエンハンス回路２２により輪郭補償が施され、さらにγ補正回路２３によって輝度成分についてのγ補正が施される。
【００３３】
色生成部３０では、バンドパスフィルタ（以下、ＢＰＦと略記する）３１によって撮像信号から、カラーキャリア成分を抽出し、線順次色差信号ＣR／ＣBを生成する。
【００３４】
さらに色生成部３０では、１Ｈ遅延回路３２によって線順次色差信号ＣR／ＣBに対して１Ｈの遅延を行い、セレクタ３３によって遅延された線順次色差信号ＣR／ＣBと遅延されない線順次色差信号ＣR／ＣBを１Ｈ毎に切り換える。これにより、前記線順次色差信号ＣR／ＣBは同時化され出力される（ＣR、ＣB）。
【００３５】
そして、前記ＣR、ＣB信号及び輝度生成部２０のＬＰＦ２１によって色キャリア成分が除去された高帯域輝度信号ＹHは、第１のマトリクス回路３４に入力され、以下の行列式によって原色ＲＧＢ信号に変換される。
【００３６】
【数３】
このとき、ｋ11〜ｋ33は、接続されるＣＣＤ１３の分光感度特性を考慮し、例えば赤を撮像したときはＲ信号が大きくなるように設定する。
【００３７】
以上のようにして得られたＲＧＢ信号は、ＬＰＦ３５ａ、３５ｂ、３５ｃによって低帯域に制限される。
【００３８】
ＬＰＦ３５ａ、３５ｂ、３５ｃを介したＲＧＢ信号は、ホワイトバランス回路３７に入力され、ホワイトバランス回路３７において、白を撮像したときにＲ：Ｇ：Ｂ＝１：１：１となるように、Ｒ，Ｂ信号に対してゲイン調整を行い、光源の色温度変化に対して白のバランスがとられる。
【００３９】
ホワイトバランス回路３７によりホワイトバランス補償がなされたＲＧＢ信号は、次段のγ補正回路３８、色相検出回路３９及び補正量生成回路４０に出力される。
【００４０】
γ補正回路３８は色成分のγ補正を行い第２のマトリクス回路４１に出力し、第２のマトリクス回路４１によって再度色差信号Ｒ−Ｙ、Ｂ−Ｙに変換される。
【００４１】
色相検出回路３９は、図４に示すように、ホワイトバランス回路３７より入力されたＧ信号を係数器３９ａによりｋ倍しＧ’信号を得、またＢ信号を係数器３９ｂによりｍ倍しＢ’信号を得る。このＧ’及びＢ’信号は加算器３９ｃによって加算され、判別回路３９ｄに入力される。判別回路３９ｄは、加算器３９ｃによって加算されたＧ’＋Ｂ’とＲ信号の大きさについて比較を行い、次に示す判別式によって、色相の判別を行う。
【００４２】
補正量生成回路４０は、図５に示すように、ホワイトバランス回路３７より入力されたＧ信号を係数器４０ａによりｋ倍しＧ’信号を得、またＢ信号を係数器４０ｂによってｍ倍しＢ’信号を得る。係数倍されたＧ’及びＢ’信号は加算器４０ｃによって加算され、加算器４０ｄに入力される。加算器４０ｄは、加算器４０ｃの出力とＲ信号の演算を行い、以下の信号Ｃを発生する。
【００４３】
Ｃ＝Ｒ−（ｋ×Ｇ＋ｍ×Ｂ）
ここで、ｋ＝ｍ＝１の場合を考える。被写体色が赤原色の場合、Ｇ＝Ｂ＝０であり、Ｃ＝Ｒとなる。次に被写体色が黄色の場合はＲ＝Ｇ、Ｂ＝０となり、Ｃ＝Ｒ−Ｇ＝０となる。同様に、被写体がマゼンダの場合もＣ＝０となる。
【００４４】
つまり、被写体色が赤の場合補正信号Ｃは最大値Ｒとなり、黄色、マゼンダに近付くにつれて小さくなる。さらに、Ｇ、Ｃｙ、Ｂの方面の色となると、Ｒ＜Ｇ＋ＢとなるためにＣ＝０となる。つまり、被写体の色相がＲに近いほど補正信号Ｃの値が大きくなる。この補正信号Ｃは、係数器４０ｅによってｎ倍されて最適化が行われた後にＣ’として出力される。
【００４５】
なお、色相検出回路３９及び補正量生成回路４０の上記構成例においては、係数器３９ａと係数器４０ａ、係数器３９ｂと係数器４０ｂ及び加算器３９ｃと加算器４０ｃは、動作が同様であり、共通とすることができるため、回路の簡易化が可能である。
【００４６】
図３に戻り、前記色相検出回路３９によって得られた補正指示信号及び前記補正信号作成回路４０より出力された補正信号Ｃ’は、セレクタ４２に入力される。セレクタ４２は、色相検出回路３９からの補正指示信号に基づき所望の色相が検出された場合についてのみ前記補正信号Ｃ’を輝度補正部４３に出力する。
【００４７】
輝度補正部４３は、例えばＹH’＝ＹH＋Ｃ’のようにして高帯域輝度信号ＹHと補正量Ｃ’を加算し、これにより輝度レベルの補正を行う。なお、輝度補正部４３を乗算器等より構成し、ＹH’＝ＹH×Ｃ’とすることでレベル補正してもよい。
【００４８】
そして、第２のマトリクス回路４１によって得られた再度色差信号Ｒ−Ｙ、Ｂ−Ｙと共に、補正後の高帯域輝度信号ＹH’が同時にエンコーダ４４に入力され、エンコーダ４４により標準テレビジョン信号へ変換されてモニタ６に出力される。
【００４９】
このように本実施の形態では、色相検出回路３９が検出した所望の色相が検出された場合についてのみに、補正信号作成回路４０が作成した補正信号Ｃ’を輝度補正部４３に出力することで、輝度補正部４３で高帯域輝度信号ＹHと補正量Ｃ’を加算し輝度レベルの補正を行うので、所望の色相についての輝度再現性に自由度を与え、色相に応じて最適な補正を施し、簡単な構成にてＳ／Ｎの劣化を防止すると共に高い輝度再現性を得ることができ、内視鏡検査における診断性と安全性を向上させることができる。
【００５０】
なお、本実施の形態では、ホワイトバランス補正後のＲＧＢ信号により色相の検出及び補正信号の作成を行っているが、ホワイトバランス補正前のＲＧＢ信号により行ってもよいし、第２のマトリクス回路４１より得られた色差信号Ｒ−Ｙ、Ｂ−Ｙを用いて行ってもよい。いずれの場合においても、所望の色相を検出して、その色相によって最適な補正量を生成することで、同様の効果を得ることができる。
【００５１】
また、図６に示すように、外部の図示しない指示手段からの制御信号ａ、ｂにより乗算係数ｕ、ｖを可変できる係数器５１、５２を係数器３９ａ、３９ｂの代わりに構成した色相検出回路３９でもよく、この場合、乗算係数ｕ、ｖを可変することで、補正する色相をマゼンダ方向、Ｙｅ方向に変化させることが可能となる。
【００５２】
さらに、図７に示すように、外部の図示しない指示手段からの制御信号Ｌによりゲインｗを可変できる係数器５３を係数器４０ｅの代わりに構成した補正信号作成回路４０でもよく、この場合、係数器５３のゲインを外部からの制御信号Ｌにより変化させることで、被写体の輝度成分の補正量を観察者の好みに応じて選択することが可能となる。
【００５３】
また、図８に示すように、加算器４０ｄと係数器４０ｅとの間に、ＬＰＦやコアリングにより構成されるノイズ低減回路５４を設けて補正信号作成回路４０を構成しても良く、これにより補正信号Ｃについて、さらに低ノイズ化を図ることが可能となる。
【００５４】
［付記］
（付記項１） 挿入部の先端部に補色フィルタを有する固体撮像素子を有した電子内視鏡と、前記固体撮像素子から出力される撮像信号から映像信号を生成する映像信号処理部とを備えた電子内視鏡装置において、
前記固体撮像素子から出力される撮像信号から高帯域輝度信号を生成する輝度信号生成手段と、
前記固体撮像手段から出力される撮像信号から複数の低帯域色信号を生成する色信号生成手段と、
前記低帯域色信号のうち少なくとも１つ以上の低帯域色信号を用いて、色相を検出する色相検出手段と、
前記低帯域色信号の少なくとも１つ以上の低帯域色信号を用いて色相に応じた補正量を生成する補正量生成手段と、
前記色相検出手段及び前記補正量生成手段の出力を受けて、前記高帯域輝度信号を補正する輝度補正手段と
を備えたことを特徴とする電子内視鏡装置。
【００５５】
（付記項２） 前記色信号生成手段は、ホワイトバランス補正手段を有し、ホワイトバランス補正前またはホワイトバランス補正後の前記低帯域色信号を、原色ＲＧＢ信号もしくは色差信号Ｒ−Ｙ、Ｂ−Ｙ信号として出力可能である
ことを特徴とする付記項１に記載の電子内視鏡装置。
【００５６】
【発明の効果】
以上説明したように本発明の電子内視鏡装置によれば、色相検出手段が低帯域色信号のうち複数の低帯域色信号を用いて色相を検出し、補正量生成手段が低帯域色信号の複数の低帯域色信号を用いて色相に応じた補正量を生成し、輝度補正手段が色相検出手段及び補正量生成手段の出力を受けて前記高帯域輝度信号に前記補正量を加算もしくは乗算することにより高帯域輝度信号を補正するので、所望の色相についての輝度再現性に自由度を与え、色相に応じて最適な補正を施し、簡単な構成にてＳ／Ｎの劣化を防止すると共に高い輝度再現性を得ることができ、内視鏡検査における診断性と安全性を向上させることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る電子内視鏡装置の構成を示す構成図
【図２】図１の補色フィルタの構成を示す構成図
【図３】図１の映像信号処理装置の構成を示す構成図
【図４】図３の色相検出回路の構成を示す構成図
【図５】図３の補正量生成回路の構成を示す構成図
【図６】図４の色相検出回路の変形例の構成を示す構成図
【図７】図５の補正量生成回路の第１の変形例の構成を示す構成図
【図８】図５の補正量生成回路の第２の変形例の構成を示す構成図
【図９】第１の従来例の映像信号処理装置の構成を示す構成図
【図１０】第２の従来例の映像信号処理装置の構成を示す構成図
【符号の説明】
１…電子内視鏡装置
４…電子内視鏡
５…光源装置
６…モニタ
７…映像信号処理装置
１１…補色フィルタ
１３…ＣＣＤ
２０…輝度生成部
２１、３５ａ、３５ｂ、３５ｃ…ＬＰＦ
２２…エンハンス回路
２３、３８…γ補正回路
３０…色生成部
３１…ＢＰＦ
３２…１Ｈ遅延回路
３３、４２…セレクタ
３４…第１のマトリクス回路
３７…ホワイトバランス回路
３９…色相検出回路
３９ａ、３９ｂ、４０ａ、４０ｂ、４０ｅ…係数器
３９ｃ、４０ｃ、４０ｄ…加算器
３９ｄ…判別回路
４０…補正量生成回路
４１…第２のマトリクス回路
４３…輝度補正部
４４…エンコーダ
【発明の属する技術分野】
本発明は電子内視鏡装置、更に詳しくは補色フィルタを有する固体撮像素子からの撮像信号による輝度信号の生成部分に特徴のある電子内視鏡装置に関する。
【０００２】
【従来の技術】
従来より電子内視鏡装置の映像信号処理回路では、挿入部先端に設けられた固体撮像素子（以下、ＣＣＤと略す）により被写体を撮像し、映像信号処理部において映像信号を生成して観察画像をモニタに表示している。
【０００３】
ＣＣＤの前面に補色フィルタを有する単板形式の電子内視鏡からの撮像信号を信号処理する映像信号処理回路においては、図９に示すように、ＣＣＤ１０１から読み出された撮像信号はローパスフィルタ（以下、ＬＰＦと略記する）１０２によって色キャリア成分が除去され、高帯域輝度信号ＹHが得られる。また、ＬＰＦ１０３は前記ＬＰＦ１０２よりも低いカットオフ周波数のものが用いられ、これにより低帯域輝度信号ＹLが得られる。バンドパスフィルタ（ＢＰＦ）１０４では、前記撮像信号から色キャリア成分を抽出が用いられ、これにより線順次色差信号ＣR／ＣBが得られる。
【０００４】
前記線順次色差信号ＣR／ＣBは１Ｈ遅延線１０５とセレクタ１０６によって同時化され、色差信号ＣR（＝２Ｒ−Ｇ）、ＣB（＝２Ｂ−Ｇ）が得られる。前記ＹL及びＣR、ＣB信号は、第１のマトリクス回路１０７に入力され、以下の行列式によって原色ＲＧＢ信号に変換される。
【０００５】
【数１】
【０００６】
前記原色ＲＧＢ信号は、ホワイトバランス補正回路１０８において、光源の色温度変化に対する補色フィルタの分光感度特定のばらつきを補正している。
【０００７】
ホワイトバランス補正回路１０８でのホワイトバランス後のＲＧＢ信号は、γ補正回路１０９においてＲ、Ｇ、Ｂ独立にγ補正が施され、第２のマトリクス回路１１０によって、以下に示すようなＮＴＳＣ方式の規格にあった変換によって再度輝度信号ＹL’、色差信号Ｒ−Ｙ、Ｂ−Ｙ信号に変換される。
【０００８】
【数２】
【０００９】
（１）ホワイトバランス補正後のＲＧＢ信号より生成されるため、輝度再現性が良い。
【００１０】
（２）色差信号との演算により混色が生じており、Ｓ／Ｎが悪い。
【００１１】
一方、前記高帯域輝度信号ＹHは、エンハンス回路１１１により輪郭補償された後、γ補正回路１１２において輝度成分についてのγ補正が施される。
【００１２】
ここで、前記高帯域輝度信号ＹH信号はＣＣＤ１０１の撮像信号から色キャリア成分を除去して得られるものであるため、画素の混色はなく、Ｓ／Ｎの劣化は生じていない。
【００１３】
しかし、その分光感度特性は、補色フィルタの分光感度に依存し、実際の目の視感度とは異なるため輝度再現性の悪いものである。
【００１４】
そのため、従来は、Ｓ／Ｎは悪いが輝度再現性の良い前記ＹL’信号を、加算器１１３によって、輝度再現性は悪いがＳ／Ｎの良い前記ＹH信号に加算することでこの問題を改善し、エンコーダ１１４によって前記Ｒ−Ｙ、Ｂ−Ｙ信号と、補正後の高帯域輝度信号ＹH’を用いてビデオ信号に変換していた。
【００１５】
ところが、前述したように、前記ＹL’信号はＳ／Ｎが悪く、補正によって輝度再現性とＳ／Ｎがトレードオフになるという問題があった。
【００１６】
そこで、例えば特開平２−２８８５７４号公報においては、色の評価手段を設け、Ｓ／Ｎは良いが輝度再現性の悪いＹH信号と、Ｓ／Ｎは悪いが輝度再現性の良いＹL’信号の混合比を色相により制御して補正信号を生成し、Ｓ／Ｎの劣化を防ぐ提案がなされている。
【００１７】
すなわち、図９に示した構成と同様の構成には同一の符号を付し詳細な説明は省略するが、特開平２−２８８５７４号公報では、図１０に示すように、第２のマトリクス回路１１０によって得られた色差信号Ｒ−Ｙ、Ｂ−Ｙは、評価回路１２１に入力されて色の飽和度、色温度等の評価を行い、その評価結果を加算器１２２に出力する。加算器１２２では、高帯域輝度信号ＹHと、前記ＹL’を、前記評価結果に応じて異なる混合比にて加算する。これにより、被写体の色情報に応じてＳ／Ｎの良いＹH信号と輝度再現性の高いＹL’信号の利点を生かしながら、Ｓ／Ｎ劣化が少なく輝度再現性の高い輝度信号を得ることを可能としている。
【００１８】
【発明が解決しようとする課題】
上記特開平２−２８８５７４号公報においては、原色ＲＧＢ信号によってホワイトバランス補正を行った後に、再度低帯域輝度信号ＹL’を生成し、これを低帯域輝度信号ＹLとある比率で混合し補正量を生成することで、Ｓ／Ｎの劣化を防止する試みがなされている。
【００１９】
しかしながら、評価回路１２１や混合比の選択を行うための加算器１２２等の手段が、非常に複雑になるという問題がある。
【００２０】
また、補正の自由度も低いため、特定の色相について着目した場合、十分な補正が得られないといった問題もある。特に、医用電子内視鏡装置においては、被写体は赤系の色相がほとんどであり、輝度再現性は、赤系の色相で非常に重要となる。また、出血部位など彩度の高い赤色を近接から撮像する場合が多く、このような場合には、色再現性を重視するために輝度再現性が特に損なわれがちとなっていた。このような場合に輝度再現性が損なわれると、観察部位の起伏が観察しづらくなるため、検査に支障をきたす虞がある。
【００２１】
本発明は、上記事情に鑑みてなされたものであり、所望の色相についての輝度再現性に自由度を与え、色相に応じて最適な補正を施し、簡単な構成にてＳ／Ｎの劣化を防止すると共に高い輝度再現性を得ることができ、内視鏡検査における診断性と安全性を向上させることのできる電子内視鏡装置を提供することを目的としている。
【００２２】
【課題を解決するための手段】
本発明の電子内視鏡装置は、挿入部の先端部に補色フィルタを有する固体撮像素子を有した電子内視鏡と、前記固体撮像素子から出力される撮像信号から映像信号を生成する映像信号処理部とを備えた電子内視鏡装置において、前記固体撮像素子から出力される撮像信号から高帯域輝度信号を生成する輝度信号生成手段と、前記固体撮像素子から出力される撮像信号から複数の低帯域色信号を生成する色信号生成手段と、前記低帯域色信号のうち複数の低帯域色信号を用いて、色相を検出する色相検出手段と、前記低帯域色信号の複数の低帯域色信号を用いて色相に応じた補正量を生成する補正量生成手段と、前記色相検出手段及び前記補正量生成手段の出力を受けて、前記高帯域輝度信号に前記補正量を加算もしくは乗算することにより前記高帯域輝度信号を補正する輝度補正手段とを備えて構成される。
【００２３】
本発明の電子内視鏡装置では、前記色相検出手段が前記低帯域色信号のうち複数の低帯域色信号を用いて色相を検出し、前記補正量生成手段が前記低帯域色信号の複数の低帯域色信号を用いて色相に応じた補正量を生成し、前記輝度補正手段が前記色相検出手段及び前記補正量生成手段の出力を受けて前記高帯域輝度信号に前記補正量を加算もしくは乗算することにより前記高帯域輝度信号を補正することで、所望の色相についての輝度再現性に自由度を与え、色相に応じて最適な補正を施し、簡単な構成にてＳ／Ｎの劣化を防止すると共に高い輝度再現性を得ることができ、内視鏡検査における診断性と安全性を向上させることを可能とする。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００２５】
図１ないし図８は本発明の一実施の形態に係わり、図１は電子内視鏡装置の構成を示す構成図、図２は図１の補色フィルタの構成を示す構成図、図３は図１の映像信号処理装置の構成を示す構成図、図４は図３の色相検出回路の構成を示す構成図、図５は図３の補正量生成回路の構成を示す構成図、図６は図４の色相検出回路の変形例の構成を示す構成図、図７は図５の補正量生成回路の第１の変形例の構成を示す構成図、図８は図５の補正量生成回路の第２の変形例の構成を示す構成図である。
【００２６】
図１に示すように、本実施の形態の電子内視鏡装置１は、体腔内に挿入する可撓性を有する挿入部２及び挿入部２の基端側に設けられた操作部３よりなり体腔内の観察部位を撮像する電子内視鏡４と、この電子内視鏡４に照明光を供給する光源装置５と、電子内視鏡４からの撮像信号を信号処理しモニタ６に前記観察部位の画像を表示させる映像信号処理装置７とを備えて構成される。
【００２７】
電子内視鏡４は、操作部３から延出するユニバーサルケーブル８により映像信号処理装置７に接続され、さらにライトガイドケーブル９を介して光源装置５に接続されている。
【００２８】
光源装置５から供給される照明光は、前記のライトガイドケーブル９、ユニバーサルケーブル８及び電子内視鏡４の挿入部２内を挿通するライトガイド１０により挿入部２の先端に伝送され、ライトガイド１０の出射端面より図示しない観察部位に照射されるようになっている。
【００２９】
観察部位の光学像は、電子内視鏡４の挿入部２の先端面に設けられた、図２に示すマゼンダ（Ｍｇ）、グリーン（Ｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）の各色フィルタを配列した色コーディング用の補色フィルタ１１により光学的に色分離された後、結像レンズ１２により固体撮像素子、例えばＣＣＤ１３の受光面に結像するようになっている。
【００３０】
そして、ＣＣＤ１３により光電変換され得られた撮像信号は、挿入部２及びユニバーサルケーブル８内を挿通する図示しない信号線により前記映像信号処理装置７に伝送されるようになっている。
【００３１】
図３に示すように、映像信号処理装置７では、ＣＣＤ１３から出力された撮像信号は、輝度生成部２０及び色生成部３０に入力される。
【００３２】
輝度生成部２０では、ＬＰＦ２１によって撮像信号から高帯域輝度信号ＹHを生成し、ＬＰＦ２１によって生成された高帯域輝度信号ＹHに対してエンハンス回路２２により輪郭補償が施され、さらにγ補正回路２３によって輝度成分についてのγ補正が施される。
【００３３】
色生成部３０では、バンドパスフィルタ（以下、ＢＰＦと略記する）３１によって撮像信号から、カラーキャリア成分を抽出し、線順次色差信号ＣR／ＣBを生成する。
【００３４】
さらに色生成部３０では、１Ｈ遅延回路３２によって線順次色差信号ＣR／ＣBに対して１Ｈの遅延を行い、セレクタ３３によって遅延された線順次色差信号ＣR／ＣBと遅延されない線順次色差信号ＣR／ＣBを１Ｈ毎に切り換える。これにより、前記線順次色差信号ＣR／ＣBは同時化され出力される（ＣR、ＣB）。
【００３５】
そして、前記ＣR、ＣB信号及び輝度生成部２０のＬＰＦ２１によって色キャリア成分が除去された高帯域輝度信号ＹHは、第１のマトリクス回路３４に入力され、以下の行列式によって原色ＲＧＢ信号に変換される。
【００３６】
【数３】
【００３７】
以上のようにして得られたＲＧＢ信号は、ＬＰＦ３５ａ、３５ｂ、３５ｃによって低帯域に制限される。
【００３８】
ＬＰＦ３５ａ、３５ｂ、３５ｃを介したＲＧＢ信号は、ホワイトバランス回路３７に入力され、ホワイトバランス回路３７において、白を撮像したときにＲ：Ｇ：Ｂ＝１：１：１となるように、Ｒ，Ｂ信号に対してゲイン調整を行い、光源の色温度変化に対して白のバランスがとられる。
【００３９】
ホワイトバランス回路３７によりホワイトバランス補償がなされたＲＧＢ信号は、次段のγ補正回路３８、色相検出回路３９及び補正量生成回路４０に出力される。
【００４０】
γ補正回路３８は色成分のγ補正を行い第２のマトリクス回路４１に出力し、第２のマトリクス回路４１によって再度色差信号Ｒ−Ｙ、Ｂ−Ｙに変換される。
【００４１】
色相検出回路３９は、図４に示すように、ホワイトバランス回路３７より入力されたＧ信号を係数器３９ａによりｋ倍しＧ’信号を得、またＢ信号を係数器３９ｂによりｍ倍しＢ’信号を得る。このＧ’及びＢ’信号は加算器３９ｃによって加算され、判別回路３９ｄに入力される。判別回路３９ｄは、加算器３９ｃによって加算されたＧ’＋Ｂ’とＲ信号の大きさについて比較を行い、次に示す判別式によって、色相の判別を行う。
【００４２】
【００４３】
Ｃ＝Ｒ−（ｋ×Ｇ＋ｍ×Ｂ）
ここで、ｋ＝ｍ＝１の場合を考える。被写体色が赤原色の場合、Ｇ＝Ｂ＝０であり、Ｃ＝Ｒとなる。次に被写体色が黄色の場合はＲ＝Ｇ、Ｂ＝０となり、Ｃ＝Ｒ−Ｇ＝０となる。同様に、被写体がマゼンダの場合もＣ＝０となる。
【００４４】
つまり、被写体色が赤の場合補正信号Ｃは最大値Ｒとなり、黄色、マゼンダに近付くにつれて小さくなる。さらに、Ｇ、Ｃｙ、Ｂの方面の色となると、Ｒ＜Ｇ＋ＢとなるためにＣ＝０となる。つまり、被写体の色相がＲに近いほど補正信号Ｃの値が大きくなる。この補正信号Ｃは、係数器４０ｅによってｎ倍されて最適化が行われた後にＣ’として出力される。
【００４５】
なお、色相検出回路３９及び補正量生成回路４０の上記構成例においては、係数器３９ａと係数器４０ａ、係数器３９ｂと係数器４０ｂ及び加算器３９ｃと加算器４０ｃは、動作が同様であり、共通とすることができるため、回路の簡易化が可能である。
【００４６】
図３に戻り、前記色相検出回路３９によって得られた補正指示信号及び前記補正信号作成回路４０より出力された補正信号Ｃ’は、セレクタ４２に入力される。セレクタ４２は、色相検出回路３９からの補正指示信号に基づき所望の色相が検出された場合についてのみ前記補正信号Ｃ’を輝度補正部４３に出力する。
【００４７】
輝度補正部４３は、例えばＹH’＝ＹH＋Ｃ’のようにして高帯域輝度信号ＹHと補正量Ｃ’を加算し、これにより輝度レベルの補正を行う。なお、輝度補正部４３を乗算器等より構成し、ＹH’＝ＹH×Ｃ’とすることでレベル補正してもよい。
【００４８】
そして、第２のマトリクス回路４１によって得られた再度色差信号Ｒ−Ｙ、Ｂ−Ｙと共に、補正後の高帯域輝度信号ＹH’が同時にエンコーダ４４に入力され、エンコーダ４４により標準テレビジョン信号へ変換されてモニタ６に出力される。
【００４９】
このように本実施の形態では、色相検出回路３９が検出した所望の色相が検出された場合についてのみに、補正信号作成回路４０が作成した補正信号Ｃ’を輝度補正部４３に出力することで、輝度補正部４３で高帯域輝度信号ＹHと補正量Ｃ’を加算し輝度レベルの補正を行うので、所望の色相についての輝度再現性に自由度を与え、色相に応じて最適な補正を施し、簡単な構成にてＳ／Ｎの劣化を防止すると共に高い輝度再現性を得ることができ、内視鏡検査における診断性と安全性を向上させることができる。
【００５０】
なお、本実施の形態では、ホワイトバランス補正後のＲＧＢ信号により色相の検出及び補正信号の作成を行っているが、ホワイトバランス補正前のＲＧＢ信号により行ってもよいし、第２のマトリクス回路４１より得られた色差信号Ｒ−Ｙ、Ｂ−Ｙを用いて行ってもよい。いずれの場合においても、所望の色相を検出して、その色相によって最適な補正量を生成することで、同様の効果を得ることができる。
【００５１】
また、図６に示すように、外部の図示しない指示手段からの制御信号ａ、ｂにより乗算係数ｕ、ｖを可変できる係数器５１、５２を係数器３９ａ、３９ｂの代わりに構成した色相検出回路３９でもよく、この場合、乗算係数ｕ、ｖを可変することで、補正する色相をマゼンダ方向、Ｙｅ方向に変化させることが可能となる。
【００５２】
さらに、図７に示すように、外部の図示しない指示手段からの制御信号Ｌによりゲインｗを可変できる係数器５３を係数器４０ｅの代わりに構成した補正信号作成回路４０でもよく、この場合、係数器５３のゲインを外部からの制御信号Ｌにより変化させることで、被写体の輝度成分の補正量を観察者の好みに応じて選択することが可能となる。
【００５３】
また、図８に示すように、加算器４０ｄと係数器４０ｅとの間に、ＬＰＦやコアリングにより構成されるノイズ低減回路５４を設けて補正信号作成回路４０を構成しても良く、これにより補正信号Ｃについて、さらに低ノイズ化を図ることが可能となる。
【００５４】
［付記］
（付記項１） 挿入部の先端部に補色フィルタを有する固体撮像素子を有した電子内視鏡と、前記固体撮像素子から出力される撮像信号から映像信号を生成する映像信号処理部とを備えた電子内視鏡装置において、
前記固体撮像素子から出力される撮像信号から高帯域輝度信号を生成する輝度信号生成手段と、
前記固体撮像手段から出力される撮像信号から複数の低帯域色信号を生成する色信号生成手段と、
前記低帯域色信号のうち少なくとも１つ以上の低帯域色信号を用いて、色相を検出する色相検出手段と、
前記低帯域色信号の少なくとも１つ以上の低帯域色信号を用いて色相に応じた補正量を生成する補正量生成手段と、
前記色相検出手段及び前記補正量生成手段の出力を受けて、前記高帯域輝度信号を補正する輝度補正手段と
を備えたことを特徴とする電子内視鏡装置。
【００５５】
（付記項２） 前記色信号生成手段は、ホワイトバランス補正手段を有し、ホワイトバランス補正前またはホワイトバランス補正後の前記低帯域色信号を、原色ＲＧＢ信号もしくは色差信号Ｒ−Ｙ、Ｂ−Ｙ信号として出力可能である
ことを特徴とする付記項１に記載の電子内視鏡装置。
【００５６】
【発明の効果】
以上説明したように本発明の電子内視鏡装置によれば、色相検出手段が低帯域色信号のうち複数の低帯域色信号を用いて色相を検出し、補正量生成手段が低帯域色信号の複数の低帯域色信号を用いて色相に応じた補正量を生成し、輝度補正手段が色相検出手段及び補正量生成手段の出力を受けて前記高帯域輝度信号に前記補正量を加算もしくは乗算することにより高帯域輝度信号を補正するので、所望の色相についての輝度再現性に自由度を与え、色相に応じて最適な補正を施し、簡単な構成にてＳ／Ｎの劣化を防止すると共に高い輝度再現性を得ることができ、内視鏡検査における診断性と安全性を向上させることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る電子内視鏡装置の構成を示す構成図
【図２】図１の補色フィルタの構成を示す構成図
【図３】図１の映像信号処理装置の構成を示す構成図
【図４】図３の色相検出回路の構成を示す構成図
【図５】図３の補正量生成回路の構成を示す構成図
【図６】図４の色相検出回路の変形例の構成を示す構成図
【図７】図５の補正量生成回路の第１の変形例の構成を示す構成図
【図８】図５の補正量生成回路の第２の変形例の構成を示す構成図
【図９】第１の従来例の映像信号処理装置の構成を示す構成図
【図１０】第２の従来例の映像信号処理装置の構成を示す構成図
【符号の説明】
１…電子内視鏡装置
４…電子内視鏡
５…光源装置
６…モニタ
７…映像信号処理装置
１１…補色フィルタ
１３…ＣＣＤ
２０…輝度生成部
２１、３５ａ、３５ｂ、３５ｃ…ＬＰＦ
２２…エンハンス回路
２３、３８…γ補正回路
３０…色生成部
３１…ＢＰＦ
３２…１Ｈ遅延回路
３３、４２…セレクタ
３４…第１のマトリクス回路
３７…ホワイトバランス回路
３９…色相検出回路
３９ａ、３９ｂ、４０ａ、４０ｂ、４０ｅ…係数器
３９ｃ、４０ｃ、４０ｄ…加算器
３９ｄ…判別回路
４０…補正量生成回路
４１…第２のマトリクス回路
４３…輝度補正部
４４…エンコーダ
Claims (3)
- 挿入部の先端部に補色フィルタを有する固体撮像素子を有した電子内視鏡と、前記固体撮像素子から出力される撮像信号から映像信号を生成する映像信号処理部とを備えた電子内視鏡装置において、
前記固体撮像素子から出力される撮像信号から高帯域輝度信号を生成する輝度信号生成手段と、
前記固体撮像素子から出力される撮像信号から複数の低帯域色信号を生成する色信号生成手段と、
前記低帯域色信号のうち複数の低帯域色信号を用いて、色相を検出する色相検出手段と、
前記低帯域色信号の複数の低帯域色信号を用いて色相に応じた補正量を生成する補正量生成手段と、
前記色相検出手段及び前記補正量生成手段の出力を受けて、前記高帯域輝度信号に前記補正量を加算もしくは乗算することにより前記高帯域輝度信号を補正する輝度補正手段と
を備えたことを特徴とする電子内視鏡装置。 - 前記輝度補正手段は、前記色相検出手段による前記色相の検出結果が所定の範囲内であった場合のみに、前記高帯域輝度信号に前記補正量を加算もしくは乗算することにより前記高帯域輝度信号を補正することを特徴とする請求項１に記載の電子内視鏡装置。
- 前記補正量は、前記色相検出手段による前記色相の検出結果が赤原色に近いほど大きくなることを特徴とする請求項１又は２に記載の電子内視鏡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30101997A JP3917733B2 (ja) | 1997-10-31 | 1997-10-31 | 電子内視鏡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30101997A JP3917733B2 (ja) | 1997-10-31 | 1997-10-31 | 電子内視鏡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11136693A JPH11136693A (ja) | 1999-05-21 |
| JP3917733B2 true JP3917733B2 (ja) | 2007-05-23 |
Family
ID=17891872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30101997A Expired - Fee Related JP3917733B2 (ja) | 1997-10-31 | 1997-10-31 | 電子内視鏡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3917733B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3634730B2 (ja) | 2000-09-18 | 2005-03-30 | 三洋電機株式会社 | 色調補正回路および色相補正回路 |
| JP4415162B2 (ja) | 2004-10-20 | 2010-02-17 | 富士フイルム株式会社 | 電子内視鏡装置 |
| JP4661168B2 (ja) * | 2004-11-02 | 2011-03-30 | ソニー株式会社 | 固体撮像素子の信号処理装置及び方法並びに撮像装置 |
| JP4895834B2 (ja) | 2007-01-23 | 2012-03-14 | Ｈｏｙａ株式会社 | 画像処理装置 |
| WO2010016166A1 (ja) * | 2008-08-04 | 2010-02-11 | パナソニック株式会社 | 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路 |
| JP5591570B2 (ja) * | 2010-03-23 | 2014-09-17 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
1997
- 1997-10-31 JP JP30101997A patent/JP3917733B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11136693A (ja) | 1999-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8979741B2 (en) | Endoscopic apparatus | |
| US8854445B2 (en) | Endoscope apparatus | |
| JP4009626B2 (ja) | 内視鏡用映像信号処理装置 | |
| US7221388B2 (en) | Endoscope image sensing method and apparatus | |
| KR101050887B1 (ko) | 내시경용 화상 처리 장치 및 내시경 장치 | |
| EP2481342B1 (en) | Electronic endoscope system | |
| US8773522B2 (en) | Endoscope apparatus | |
| KR960016851B1 (ko) | 휘도 신호 형성 회로 | |
| US8233038B2 (en) | Image-signal processing unit | |
| EP2548498B1 (en) | Endoscopic device | |
| JP3565723B2 (ja) | カラー画像処理装置 | |
| US7898699B2 (en) | Electronic endoscope apparatus | |
| JP3917733B2 (ja) | 電子内視鏡装置 | |
| JP2000209605A (ja) | 映像信号処理装置 | |
| JP3958761B2 (ja) | 内視鏡用調光信号生成装置 | |
| JP2682626B2 (ja) | 経内視鏡分光診断装置 | |
| US20080100701A1 (en) | Electronic endoscope | |
| JP2000350231A (ja) | 映像信号処理装置 | |
| JPH10290779A (ja) | 電子内視鏡装置 | |
| WO2023112916A1 (ja) | 映像信号処理装置、映像信号処理方法および映像信号処理システム | |
| JP2009081694A (ja) | 画像処理装置および内視鏡システム | |
| JP2846317B2 (ja) | カラー撮像装置 | |
| KR101008488B1 (ko) | 영상신호 처리장치 및 방법 | |
| JPH09163395A (ja) | 内視鏡装置 | |
| JPH06105804A (ja) | 電子内視鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070209 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |