JP4394356B2 - 電子内視鏡装置 - Google Patents

電子内視鏡装置 Download PDF

Info

Publication number
JP4394356B2
JP4394356B2 JP2003030899A JP2003030899A JP4394356B2 JP 4394356 B2 JP4394356 B2 JP 4394356B2 JP 2003030899 A JP2003030899 A JP 2003030899A JP 2003030899 A JP2003030899 A JP 2003030899A JP 4394356 B2 JP4394356 B2 JP 4394356B2
Authority
JP
Japan
Prior art keywords
image data
color
signal
electronic endoscope
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003030899A
Other languages
English (en)
Other versions
JP2004236952A (ja
Inventor
弘幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2003030899A priority Critical patent/JP4394356B2/ja
Priority to US10/770,483 priority patent/US7289140B2/en
Priority to DE102004006260.9A priority patent/DE102004006260B4/de
Publication of JP2004236952A publication Critical patent/JP2004236952A/ja
Application granted granted Critical
Publication of JP4394356B2 publication Critical patent/JP4394356B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、胃腸や気管支などの体腔内を観察可能にする電子内視鏡装置に、関する。
【0002】
【従来の技術】
周知のように、生体組織は、特定の波長の光が照射されると、励起して蛍光を発する。また、腫瘍や癌などの病変が生じている異常な生体組織は、正常な生体組織よりも弱い蛍光を発する。この反応現象は、体腔壁下の生体組織においても起こる。近年、体腔壁下の生体組織に生じた異状をこの反応現象を利用して検出する電子内視鏡装置が、開発されつつある(例えば特許文献1参照)。
【0003】
この種の電子内視鏡装置は、体腔内のカラー画像を通常観察画像としてモニタに表示させることができるとともに、体腔内の白黒モノクロ画像上に患部と判断できそうな部分が例えば赤い点や塊にて示されている特殊観察画像をモニタに表示させることができる。
【0004】
この電子内視鏡装置は、通常観察画像をモニタに表示させる場合には、電子内視鏡を通じて白色光を体腔内に照射し、電子内視鏡を利用して体腔内をカラー撮影し、通常観察画像のカラー画像データを生成する。一方、電子内視鏡装置は、特殊観察画像をモニタに表示させる場合には、画像上において患部と判断できそうな部分を検出するために、或る狭い波長帯域の可視光(参照光)と、生体組織を励起させるための励起光とを交互に体腔内に照射する。そして、電子内視鏡装置は、参照光を射出する期間に取得した参照画像データと、励起光を射出する期間に取得した蛍光画像データとを比較することにより、患部として表示すべき画素の位置を全画素の中から特定する。その後、電子内視鏡装置は、参照画像データに基づいて、白黒モノクロ画像を表示させるためのカラー画像データを生成し、このカラー画像データ上の特定された位置にある画素のみを例えば赤色として表示される画素に変換することにより、特殊観察画像の画像データを生成する。
【0005】
【特許文献1】
特開2000−023903号公報
【0006】
【発明が解決しようとする課題】
ところで、最近、上述した特殊観察画像内の体腔壁の様子を、白黒モノクロではなく、カラーにて観察したいとの要望がある。この要望を満たすため、参照画像データと蛍光画像データとの比較により得られた患部として表示すべき部分を、通常観察画像上に示す方法が考えられる。
【0007】
ところが、患部として表示すべき部分を通常観察画像上に示そうとすると、一コマ分の特殊観察画像の画像データを生成するためには、一周期の間に白色光と参照光と励起光とを体腔内に照射しなければならない。すると、体腔壁から反射又は放出される白色光,参照光,及び蛍光のそれぞれについて、電子内視鏡先端部内の撮像素子において蓄積するのに十分な時間が得られなくなるので、通常観察画像データと参照画像データと蛍光画像データの各画素の輝度値が全体的に低くなるという問題があった。また、各画像データにおける輝度値の低下により参照画像データと蛍光画像データとの比較においてエラーが生じやすくなるため、患部として表示すべき部分が実際の患部を示さなくなるという問題があった。
【0008】
そこで、本発明の課題は、通常観察画像データと参照画像データと蛍光画像データの各画素の輝度値を低下させることなく、特殊観察画像内の体腔壁の様子をカラーにて観察可能にし得る電子内視鏡装置を、提供することにある。
【0009】
【課題を解決するための手段】
上記の課題を解決するために、本発明による電子内視鏡装置は、以下のような構成を採用した。
【0010】
すなわち、本発明による電子内視鏡装置は、可視帯域全域の白色光,及び、生体組織を励起させるための励起光を交互に出力する光源部と、前記光源部から出力される前記白色光及び前記励起光を、カラーエリアセンサを備える電子内視鏡の基端側から先端まで導く光ファイバと、前記光源部が前記白色光を発する期間に前記電子内視鏡により生成された画像データを通常観察画像データとして取得するとともに、前記光源部が前記励起光を発する期間に前記電子内視鏡により生成された画像データを励起観察画像データとして取得する画像データ取得部と、前記画像データ取得部によって取得された前記通常観察画像データに対してのみ画像処理を施す第1画像処理部と、前記画像データ取得部によって取得された前記通常観察画像データから一つの色成分画像データを参照画像データとして抽出するとともに、前記画像データ取得部によって取得された前記励起観察画像データから一つの色成分画像データを蛍光画像データとして抽出し、抽出された参照画像データ及び蛍光画像データにおける互いに同じ位置にある画素の輝度値の差分を算出し、その差分が所定値よりも大きい画素がある位置の位置情報を患部情報として生成する第2画像処理部と、前記第1画像処理部から出力される通常観察画像データにおける前記患部情報により示される位置にある画素を、所定の色に相当する階調値をもつ画素に変換することにより、特殊観察画像を表示するための画像データを生成する画像生成部と、前記画像生成部において生成された画像データを出力する出力部とを備えることを、特徴としている。
【0011】
このように構成されるので、通常観察画像データは、二つの画像処理部へ入力されるとともに、患部情報を生成するための第2画像処理部では、患部情報を生成するための参照画像データが、通常観察画像信号から抽出される。これにより、一コマ分の特殊観察画像を得るための期間である一周期の間に、参照光を照射する期間を設ける必要がなくなるため、被検体から反射又は放射される白色光及び蛍光のカラーエリアセンサにおける蓄積時間が十分得られる。その結果、第1画像処理部から出力される通常観察画像データや、第2画像処理部から出力される参照画像データ及び蛍光画像データの各画素の輝度値が全体的に低くなることがなくなる。また、このように、各画像データにおいて輝度値の低下が抑えられるため、患部情報を得る際の参照画像データと蛍光画像データとの比較においてエラーの発生が可及的に低減される。
【0012】
【発明の実施の形態】
以下、図面に基づいて本発明の一実施形態を説明する。
【0013】
図1は、本発明の実施形態である電子内視鏡装置の概略的な構成図である。この電子内視鏡装置は、電子内視鏡1,システムコントローラ2,光源ユニット3,ビデオプロセッサ4,及びモニタ5を、備えている。
【0014】
図1には、電子内視鏡1の詳細な形状が図示されていないが、電子内視鏡1は、生体内に挿入される可撓管状の挿入部を、有している。この電子内視鏡1の挿入部の先端には、湾曲部が組み込まれている。また、挿入部の基端には、湾曲部を湾曲操作するためのアングルノブや各種のスイッチが、備えられている。挿入部の先端面には、少なくとも2つの貫通孔が穿たれており、そのうちの一対の貫通孔には、配光レンズ11及び対物レンズ12がそれぞれ嵌め込まれている。
【0015】
さらに、電子内視鏡1の挿入部には、ライトガイド13が引き通されている。ライトガイド13は、可視光及び紫外光を透過可能な可撓な多数の光ファイバからなる。ライトガイド13の先端面は、配光レンズ11に対向しており、その基端は、光源ユニット3内に挿入されている。
【0016】
さらに、電子内視鏡1の挿入部には、信号線14が引き通されている。信号線14の基端は、ビデオプロセッサ4に接続されており、その先端は、対物レンズ12の像面に撮像面が配置された撮像素子15に、繋がれている。
【0017】
撮像素子15は、撮像面上に形成された像を画像データに変換する単板のカラーエリアセンサーである。この撮像素子15は、一般に非常に良く用いられているものであるので、撮像素子15の構造を詳細には説明しないが、この撮像素子15は、画素として二次元状に配置された多数のフォトダイオードと、各フォトダイオードに蓄積された電荷を転送する電荷結合素子(CCD)と、CCDから受け取った電荷を電圧に変換して信号として出力する電荷検出部と、相関二重サンプリング回路などを含む出力回路とを、有している。また、この撮像素子15は、補色系の多数の色フィルタを各画素の受光面の直前に備えている。この撮像素子15の色フィルタは、マゼンダ(Mg),シアン(Cy),イエロー(Ye),及びグリーン(G)の四色の色フィルタから構成されており、これら四色の色フィルタは、互いに隣接する四つの画素群毎に、配置されている。このような色フィルタの配置方法は、いわゆるフィールド色差順次方式と称されており、この方式が採用された撮像素子15のCCDは、所定方向に並ぶ二画素の電荷を加算しながら電荷を転送するように、組まれている。従って、撮像素子15からは、二画素の輝度値が加算された値の信号が、順次出力される。
【0018】
具体的には、この撮像素子15から信号線14を介してビデオプロセッサ4へ出力される出力信号は、マゼンダの画素の輝度値とイエローの画素の輝度値とを加算して得られる値,及び、グリーンの画素の輝度値とシアンの画素の輝度値とを加算して得られる値が、交互に並んだ信号(Mg+Ye,G+Cy,Mg+Ye,G+Cy,…)、並びに、マゼンダの画素の輝度値とシアンの画素の輝度値とを加算して得られる値,及び、グリーンの画素の輝度値とイエローの画素の輝度値とを加算して得られる値が、交互に並んだ信号(Mg+Cy,G+Ye,Mg+Cy,G+Ye,…)である。
【0019】
システムコントローラ2は、光源ユニット3及びビデオプロセッサ4を制御するコントローラである。このシステムコントローラ2は、各種基準信号を生成してその信号の出力を制御するコントローラであり、光源ユニット3及びビデオプロセッサ4における各処理は、この基準信号に従って進行する。
【0020】
なお、システムコントローラ2は、図示せぬ操作パネルに設けられている操作スイッチが操作者によって切り替えられると、切替後の操作スイッチの状態に応じて、観察モードを通常観察モード又は特殊観察モードに切り替える。このシステムコントローラ2は、通常観察モードでは、通常観察モードを示す信号を光源ユニット3及びビデオプロセッサ4へ送出し、特殊観察モードでは。特殊観察モードを示す信号を光源ユニット3及びビデオプロセッサ4へ送出する。
【0021】
光源ユニット3は、可視帯域全域の光(白色光)と生体組織を励起させるための励起光(紫外光)とを含む光を放出するランプと、このランプから発せられる光をライトガイド15の基端面に集光する集光レンズと、このランプから発せられる光から白色光と励起光とを交互に抽出するシャッター及びフィルタからなる切替機構とを、備えている。
【0022】
この光源ユニット3は、通常観察モードを示す信号をシステムコントローラ2から受信すると、観察モードを通常観察モードに切り替え、ライトガイド15の基端面に白色光のみを連続的に入射させる。入射した白色光は、ライトガイド15に導かれ、配光レンズ11により拡散され、電子内視鏡1の先端に対向した被検体へ照射される。すると、撮像素子15の撮像面には、白色光により照明された被検体の像が、対物レンズ12により形成され、この被検体像が、撮像素子15によって撮像されることにより、画像データに変換され、この画像データが、アナログの出力信号の形態で、ビデオプロセッサ4へ送られる。なお、以下の説明では、白色光が電子内視鏡1の先端から射出される期間に取得される画像データを、通常観察画像データと記述する。
【0023】
また、この光源ユニット3は、特殊観察モードを示す信号をシステムコントローラ2から受信すると、観察モードを特殊観察モードに切り替え、ライトガイド15の基端面に白色光と励起光とを交互に入射させる。入射した白色光と励起光は、ライトガイド13に導かれ、配光レンズ11により拡散され、電子内視鏡1の先端に対向した被検体へ交互に照射される。すると、撮像素子15の撮像面には、白色光により照明された被検体の像と、励起光を照射されることにより励起して蛍光を発する被検体の像とが、対物レンズ12により交互に形成され、これら像が、撮像素子15によって交互に撮像されることにより、画像データに変換され、これら画像データが、アナログの出力信号の形態で、ビデオプロセッサ4へ送られる。なお、以下の説明では、特殊観察モードにおいて白色光が電子内視鏡1の先端から射出される期間に取得される画像データも、通常観察画像データと記述する。また、励起光が電子内視鏡1の先端から射出される期間に取得される画像データを、励起観察画像データと記述する。
【0024】
ビデオプロセッサ4については、図2を参照して詳細に後述する。その概略は、通常観察モードを示す信号をシステムコントロール2から受信すると、観察モードを通常観察モードに切り替える。ビデオプロセッサ4は、通常観察モードでは、撮像素子15から、通常観察画像データを受信する。この通常観察画像データを受信したビデオプロセッサ4は、後述するように、通常観察画像データに対してカラーバランス等の処理を施し、処理後の通常観察画像データを、PAL信号やNTSC信号などのアナログの映像信号の形態で、モニタ5へ出力する。信号が入力されたモニタ5は、信号に基づいて、通常観察画像を映し出す。
【0025】
また、ビデオプロセッサ4は、特殊観察モードを示す信号をシステムコントロール2から受信すると、観察モードを特殊観察モードに切り替える。ビデオプロセッサ4は、特殊観察モードでは、撮像素子15から、通常観察画像データと励起観察画像データとを交互に受信する。これら画像データを交互に受信したビデオプロセッサ4は、後述するように、通常観察画像データと励起観察画像データとを利用して、特殊観察画像を表示させるための画像データを生成し、この画像データを、PAL信号やNTSC信号などのアナログの映像信号の形態で、モニタ5へ出力する。信号が入力されたモニタ5は、信号に基づいて、特殊観察画像を映し出す。
【0026】
図2は、ビデオプロセッサ4の回路構成図である。ビデオプロセッサ4は、アナログ/デジタル(A/D)変換器21,色分離回路22,第1カラーマトリクス回路31,カラーバランス回路32,R成分画像用メモリ33,G成分画像用メモリ34,B成分画像用メモリ35,第2カラーマトリクス回路41,参照画像用メモリ42,蛍光画像用メモリ43,患部情報生成回路44,合成回路51,デジタル/アナログ(D/A)変換器52,及びエンコード回路53を、備えている。
【0027】
何れの観察モードにおいても、撮像素子15から出力された画像データは、A/D変換器21において、アナログの信号形態からデジタルの信号形態に、変換される。画像データに係るこのデジタル信号は、色分離回路22において周知の加算処理及び減算処理が施されることにより、二つの色差成分信号と一つの輝度成分信号とに分離される。なお、これら三つの成分信号を生成する方法は、一般的であるので、生成方法について詳しく説明しないが、論理的には、上述した第1及び第2フィールド信号中において互いに隣接する一組の値の差分を取ることにより、二つの色差成分信号[(Mg+Ye−G−Cy),(Mg+Cy−G−Ye)]を生成し、また、上述した第1及び第2フィールド信号中において互いに隣接する一組の値の和を取ることにより、輝度成分信号(Mg+Ye+G+Cy)を生成する。このようにして、画像データに係るデジタル信号が、二つの色差成分信号と一つの輝度成分信号とに分離される。但し、色分離回路22を経た後は、画像データに係る二つの色差成分信号と一つの輝度成分信号とは、観察モードに従って、異なる経路を辿って合成回路51へ到達することとなる。
【0028】
通常観察モードでは、通常観察画像データに係る二つの色差成分信号及び一つの輝度成分信号は、色分離回路22から出力されると、第1カラーマトリクス回路31へ入力され、第2カラーマトリクス回路41へは入力しない。一方、特殊観察モードでは、色分離回路22から出力される信号のうち、通常観察画像データに係る二つの色差成分信号及び一つの輝度成分信号は、第1カラーマトリクス回路31及び第2カラーマトリクス回路41の両方へ入力し、励起観察画像データに係る二つの色差成分信号及び一つの輝度成分信号は、第2カラーマトリクス回路41へ入力し、第1カラーマトリクス回路31へは入力しない。
【0029】
以下では、通常観察モードにおいて画像データが処理される順に、ビデオプロセッサ4の各回路について説明し、その後に、特殊観察モードにおいて画像データが処理される順に、ビデオプロセッサ4の各回路について説明する。
【0030】
まず、通常観察モードにおいては、色分離回路22から出力された通常観察画像データに係る二つの色差成分信号及び一つの輝度成分信号は、第1カラーマトリクス回路31へ入力する。第1カラーマトリクス回路31は、二つの色差成分信号及び一つの輝度成分信号に基づいて、赤(R)色成分信号,緑(G)色成分信号,及び青(B)色成分信号を生成する。なお、RGBの三つの色成分信号を生成する方法は、一般的であるので、詳しく説明しないが、論理的には、下記の式3に示される変換行列式を用いることにより、二つの色差成分信号及び一つの輝度成分信号からRGBの三つの色成分信号を生成する。
【0031】
【式3】
Figure 0004394356
【0032】
但し、上記式3において、R’は、一方の色差成分信号(Mg+Ye−G−Cy)であり、G’は、他方の色差成分信号(Mg+Cy−G−Ye)であり、B’は、輝度成分信号(Mg+Ye+G+Cy)である。また、上記式1において、αは、カラーマトリクス係数であり、その一般式は、下記の式4のように、表現される。
【0033】
【式4】
Figure 0004394356
【0034】
本実施形態の第1カラーマトリクス回路31では、二つの色差成分信号及び一つの輝度成分信号に基づいてRGBの三つの色成分信号を適切に生成するために、カラーマトリクス係数αは、例えば下記の式5のように具体的に設定される。
【0035】
【式5】
Figure 0004394356
【0036】
カラーバランス回路32は、RGBの三つの色成分信号の形態で第1カラーマトリクス回路31から出力された通常観察画像データに対してカラーバランス処理を施すための回路である。なお、カラーバランス処理は、一般に行われているので詳しく説明しないが、その概要としては、通常観察画像データによって表示されるカラー画像の色合いを所定のものに変換する処理である。
【0037】
RGB成分画像用メモリ33〜35は、通常観察画像データがRGBの三つの色成分信号の形態でカラーバランス回路32から出力された際に、RGBの三つの色成分画像データをそれぞれ一旦記録する記録装置である。RGB成分用画像メモリ33〜35にそれぞれ記録されたRGBの三つの色成分画像データは、それぞれRGBの三つの色成分信号の形態で同時に出力され、合成回路51を通過して、D/A変換器52へ入力される。なお、合成回路51は、通常観察モードでは機能せず、特殊観察モードのときのみ機能する。
【0038】
通常観察画像データを構成する三つの色成分画像データは、D/A変換器52へ入力されると、デジタルの信号形態からアナログの信号形態に、変換され、エンコード回路53へ入力される。エンコード回路53は、通常観察画像データに係るRGBの三つの色成分信号を、PAL信号やNTSC信号などの映像信号に変換する。その映像信号は、エンコード回路53からモニタ5へ出力される。映像信号が入力されたモニタ5は、信号に基づいて、通常観察画像を映し出す。
【0039】
これに対し、特殊観察モードにおいては、第2カラーマトリクス回路41には、通常観察画像データと励起観察画像データとが交互に入力し、第1カラーマトリクス回路31には、通常観察画像データだけが入力する。なお、通常観察画像データに係る二つの色差成分信号及び一つの輝度成分信号は、第1カラーマトリクス回路31に入力されると、通常観察モードにおける通常観察画像データと同じように、第1カラーマトリクス回路31、カラーバランス回路32,RGB成分画像用メモリ33〜35を経て、合成回路51へ到達する。
【0040】
一方、通常観察画像データに係る二つの色差成分信号及び一つの輝度成分信号は、第2カラーマトリクス回路41に入力されると、第2カラーマトリクス回路41によって、RGBの三つの色成分信号に変換される。また、励起観察画像データに係る二つの色差成分信号及び一つの輝度成分信号も、第2カラーマトリクス回路41に入力されると、第2カラーマトリクス回路41によって、RGBの三つの色成分信号に変換される。但し、この第2カラーマトリクス回路41は、通常観察画像データと励起観察画像データとに対し、異なる演算処理を施す。
【0041】
第2カラーマトリクス回路41は、通常観察画像データに係る二つの色差成分信号及び一つの輝度成分信号に対しては、例えば下記の式6のような具体的な数値を持つカラーマトリクス係数αが設定された上記式3の変換行列式を用いて、演算処理を行う。
【0042】
【式6】
Figure 0004394356
【0043】
これにより、通常観察画像データについては、第2カラーマトリクス回路41から出力されるRGBの三つの色成分信号のうちのR色成分信号のみが、値を持つこととなる。よって、この第2カラーマトリクス回路41は、通常観察画像データを処理した場合には、そのR色成分信号のみを出力し、この信号を参照画像用メモリ42に入力させる。なお、以下の説明では、通常観察画像データに係るR色成分信号によって伝送される画像データを、参照画像データと記述する。
【0044】
また、第2カラーマトリクス回路41は、励起観察画像データに係る二つの色差成分信号及び一つの輝度成分信号に対しては、例えば下記の式7のような具体的な数値を持つカラーマトリクス係数αが設定された上記式3の変換行列式を用いて、演算処理を行う。
【0045】
【式7】
Figure 0004394356
【0046】
これにより、励起観察画像データについては、第2カラーマトリクス回路41から出力されるRGBの三つの色成分信号のうちのG色成分信号のみが、値を持つこととなる。よって、この第2カラーマトリクス回路41は、励起観察画像データを処理した場合には、G色成分信号のみを出力し、この信号を蛍光画像用メモリ43に入力させる。なお、以下の説明では、励起観察画像データに係るG色成分信号によって伝送される画像データを、蛍光画像データと記述する。
【0047】
参照画像用メモリ42に記録された参照画像データと蛍光画像用メモリ43に記録された蛍光画像データとは、色成分信号の形態で両メモリ42,43から同時に出力され、患部情報生成回路44に入力される。
【0048】
患部情報生成回路44は、画像内において患部として表示すべき画素を特定することにより、その画素の位置に関する情報(患部情報)を取得するための回路であり、以下に示すような処理を行う。すなわち、患部情報生成回路44は、一コマ分の参照画像データ及び蛍光画像データを取得すると、参照画像データと蛍光画像データの最大輝度値及び最小輝度値をそれぞれ抽出し、これらの値に基づいて参照画像データと蛍光画像データの階調幅及びレベルが互いに同じになるように規格化し、続いて、規格化後の参照画像データと蛍光画像データとにおける互いに同じ座標にある画素同士の輝度値の差分(参照画像の画素値から蛍光画像の画素値を差し引いて得られる差分)を各座標について算出し、差分が所定の閾値以上である座標を全座標の中から特定する。患部情報生成回路44は、このようにして取得した患部情報を合成回路51へ出力する。
【0049】
合成回路51は、RGBの三つの色成分信号の形態でRGB成分画像用メモリ33〜35から出力された通常観察画像データと、患部情報生成回路44から出力された患部情報とを合成する。具体的には、合成回路51は、通常観察画像データの各画素のうち、患部情報によって示される位置にある画素を、例えば緑色として表示される画素となるように(例えばその画素の階調値(R,G,B)が(0,255,0)となるように)、変換する。合成回路51は、通常観察画像データに患部情報を合成して得られた画像データを、特殊観察画像を表示させるための画像データとして、RGBの三つの色成分信号の形態で、D/A変換器52へ出力する。
【0050】
特殊観察画像データは、D/A変換器52へ入力されると、デジタルの信号形態からアナログの信号形態に、変換され、エンコード回路53へ入力される。エンコード回路53は、特殊観察画像データに係るRGBの三つの色成分信号を、PAL信号やNTSC信号などの映像信号に変換する。この映像信号は、エンコード回路53からモニタ5へ出力される。映像信号が入力されたモニタ5は、信号に基づいて、特殊観察画像を映し出す。
【0051】
本実施形態の電子内視鏡装置が、以上のように構成されるので、この電子内視鏡装置を使用して被験者に施術を行う術者は、以下に示されるような手順により、被験者の体腔内を観察することができる。
【0052】
まず、術者は、電子内視鏡1の先端を被験者の体腔内に挿入し、図示せぬ操作パネル上のスイッチを操作して観察モードを通常観察モードにする。すると、電子内視鏡1の先端部からは、白色光が連続的に射出され、撮像素子15により、白色光により照明された体腔壁の像が、撮像される。撮像により得られた通常観察画像データは、色分離回路22において二つの色差成分信号及び一つの輝度成分信号の形態に変換され、第1カラーマトリクス回路31においてRGBの三つの色成分信号の形態に変換され、カラーバランス回路32においてカラーバランス処理が施され、RGB成分画像用メモリ33〜35に一旦格納されることにより同時化され、エンコード回路53において映像信号の形態に変換されて、モニタ5へ出力される。このため、モニタ5には、電子内視鏡1の先端部が対向した領域が、カラーの通常観察画像として表示される。術者は、この通常観察画像を見ながら、体腔壁の状態を観察することができる。
【0053】
さらに、術者は、通常観察画像の観察を通じて選択した部位に対して、特殊観察画像を利用した観察を行う。具体的には、術者は、図示せぬ操作パネル上のスイッチを操作して観察モードを特殊観察モードにする。すると、電子内視鏡1の先端部からは、白色光と励起光とが交互に射出され、撮像素子15によって、白色光により照明された体腔壁の像と、蛍光を発している体腔壁の像とが、交互に撮像される。撮像により得られた通常観察画像データと励起観察画像データは、何れも、色分離回路22において二つの色差成分信号及び一つの輝度成分信号の形態に変換される。第1カラーマトリクス回路31に入力した通常観察画像データは、第1カラーマトリクス回路31においてRGBの三つの色成分信号の形態に変換され、カラーバランス回路32においてカラーバランス処理が施され、RGB成分画像用メモリ33〜35に一旦格納される。一方、第2カラーマトリクス回路41に交互に入力した通常観察画像データ及び励起観察画像データのうち、通常観察画像データからは、第2カラーマトリクス回路41において参照画像データが抽出されて参照画像用メモリ42へ格納され、励起観察画像データからは、第2カラーマトリクス回路41において蛍光画像データが抽出されて蛍光画像用メモリ43へ格納される。参照画像用メモリ42及び蛍光画像用メモリ43に格納された両画像データに基づいて患部情報が生成されると、RGB成分画像用メモリ33〜35に格納された各画像データに対して患部情報が、合成回路51において合成され、特殊観察画像を表示させるための画像データが生成される。この画像データは、エンコード回路53において映像信号の形態に変換されて、モニタ5へ出力される。このため、モニタ5には、電子内視鏡1の先端部が対向した領域が、カラーの特殊観察画像として表示される。術者は、この特殊観察画像を見ながら、体腔壁の輪郭や凹凸を特定できるとともに、その画像の中において斑点状や塊状として緑色にて示された部分により、相対的に弱い蛍光を発する生体組織の集合体、すなわち、腫瘍や癌などの病変が生じている可能性の高い部位を、認識することができる。
【0054】
上述したように、本実施形態の電子内視鏡装置には、通常観察画像データに対して処理を行う処理経路(第1カラーマトリクス回路31,カラーバランス回路32,及び、RGB成分画像用メモリ33〜35:第1画像処理部に相当)と、患部情報を生成するための処理経路(第2カラーマトリクス回路41,参照画像用メモリ42,蛍光画像用メモリ43,及び、患部情報生成回路44:第2画像処理部に相当)とが、一つずつ設けられている。さらに、特殊観察モードでは、通常観察画像データが両方の処理経路へ供給され、患部情報を生成するための処理経路では、患部情報を生成するための参照画像データが、通常観察画像データから抽出される。これにより、一コマ分の特殊観察画像を得るための期間である一周期の間に、参照光を照射する期間を設ける必要がなくなるため、体腔壁から反射又は放射される白色光及び蛍光の撮像素子15における蓄積時間が十分得られる。その結果、通常観察画像データと参照画像データと蛍光画像データの各画素の輝度値が全体的に低くなることがなくなり、然も、患部情報を得る際の参照画像データと蛍光画像データとの比較においてエラーの発生をできるだけ低減することができる。
【0055】
また、本実施形態によれば、以下の効果が得られる。すなわち、電子内視鏡内の撮像素子15は、カラーエリアセンサであるため、そのカラーエリアセンサの分光感度特性図である図3に示されるように、365nmを含む数nmの波長帯域を持つ励起光に対しても、感度を有する。このため、上記式4に示されるような通常のカラーマトリクス係数αを用いた演算により、励起観察画像データに係る二つの色差成分信号及び一つの輝度成分信号を、RGBの三つの色成分信号に変換すると、これらRGBの三つの色成分信号には、励起光による偽信号が混じり、G色成分信号によって伝送される蛍光画像データが、蛍光成分だけをもつものとして正常に再現されない。しかし、本実施形態のように、カラーマトリクス係数αの各要素の値を適宜選択して、蛍光成分だけを持つ色成分信号(G色成分信号)を生成すれば、蛍光画像データにおいて、励起光による偽信号の影響を排除することができる。この結果、撮像素子15の撮像面の直前に、励起光を除去するためのバンドパスフィルタを設けなくて済む。
【0056】
なお、本実施形態では、通常観察用及び特殊観察用の両方に利用できるように、システムコントローラ2と光源ユニット3とビデオプロセッサ4とが一体に構成された電子内視鏡装置の例を説明したが、本発明は、これに限定されるものではない。例えば、システムコントローラ2と光源ユニット3とビデオプロセッサ4とを備える装置が、別体型として、通常の内視鏡装置とは別に用意されていても構わない。この場合、システムコントローラ2は、観察モードの切り替えを行わず、常に特殊観察モードに相当する状態に設定される。また、光源ユニット3には、白色光及び励起光を導く光ファイバが取り付けられ、この光ファイバは、内視鏡の鉗子チャネルに挿入されてその先端が内視鏡の先端面から突き出された状態で、使用される。さらに、ビデオプロセッサ4には、通常の内視鏡装置から出力される画像データが入力され、ビデオプロセッサ4は、上述したA/D変換器41以降の処理と同様の処理を実行する。なお、この場合のビデオプロセッサ4から出力される信号は、内視鏡装置に繋がれたモニタに入力されても良いし、それとは別のモニタに出力されても良い。前者の場合には、通常の内視鏡装置からの映像信号とビデオプロセッサ4からの映像信号とを切り替える信号切替装置が必要となり、後者の場合には、術者は、観察時に、2台のモニタを利用することとなる。
【0057】
【発明の効果】
以上に説明したように、本発明によれば、通常観察画像データと参照画像データと蛍光画像データの各画素の輝度値を低下させることなく、特殊観察画像内の体腔壁の様子をカラーにて観察可能にすることができる。また、電子内視鏡の撮像素子の撮像面の直前に、励起光を除去するためのバンドパスフィルタを配置しなくても、蛍光画像データにおいて、励起光による偽信号の影響を排除できる。
【図面の簡単な説明】
【図1】 本発明の実施形態である電子内視鏡装置の概略的な構成図
【図2】 ビデオプロセッサの回路構成図
【図3】 カラーエリアセンサである撮像素子の分光感度特性図
【符号の説明】
1 電子内視鏡
11 配光レンズ
12 対物レンズ
13 ライトガイド
14 信号線
15 撮像素子
2 システムコントローラ
3 光源ユニット
4 ビデオプロセッサ
5 モニタ
21 アナログ/デジタル変換器
22 色分離回路
31 第1カラーマトリクス回路
32 カラーバランス回路
33 R成分画像用メモリ
34 G成分画像用メモリ
35 B成分画像用メモリ
41 第2カラーマトリクス回路
42 参照画像用メモリ
43 蛍光画像用メモリ
44 患部情報生成回路
51 合成回路
52 デジタル/アナログ変換器
53 エンコード回路

Claims (3)

  1. 可視帯域全域の白色光,及び、生体組織を励起させるための励起光を交互に出力する光源部と、
    前記光源部から出力される前記白色光及び前記励起光を、カラーエリアセンサを備える電子内視鏡の基端側から先端まで導く光ファイバと、
    前記光源部が前記白色光を発する期間に前記電子内視鏡により生成された画像データを通常観察画像データとして取得するとともに、前記光源部が前記励起光を発する期間に前記電子内視鏡により生成された画像データを励起観察画像データとして取得する画像データ取得部と、
    前記画像データ取得部によって取得された前記通常観察画像データに対してのみ画像処理を施す第1画像処理部と、
    前記画像データ取得部によって取得された前記通常観察画像データから一つの色成分画像データを参照画像データとして抽出するとともに、前記画像データ取得部によって取得された前記励起観察画像データから一つの色成分画像データを蛍光画像データとして抽出し、抽出された参照画像データ及び蛍光画像データにおける互いに同じ位置にある画素の輝度値の差分を算出し、その差分が所定値よりも大きい画素がある位置の位置情報を患部情報として生成する第2画像処理部と、
    前記第1画像処理部から出力される通常観察画像データにおける前記患部情報により示される位置にある画素を、所定の色に相当する階調値をもつ画素に変換することにより、特殊観察画像を表示するための画像データを生成する画像生成部と、
    前記画像生成部において生成された画像データを出力する出力部と
    を備えることを特徴とする電子内視鏡装置。
  2. 前記第2画像処理部は、前記通常観察画像信号を構成する二つの色差信号をR’及びG’とし、一つの輝度信号をB’としたときに、これら色差信号R’及びG’並びに輝度信号B’に対し、以下の変換行列式
    【式1】
    Figure 0004394356
    を用いた演算を行うことにより、RGBの三つの色成分信号を生成する
    ことを特徴とする請求項1記載の電子内視鏡装置。
  3. 前記第2画像処理部は、前記励起観察画像信号を構成する二つの色差信号をR’及びG’とし、一つの輝度信号をB’としたときに、これら色差信号R’及びG’並びに輝度信号B’に対し、以下の変換行列式
    【式2】
    Figure 0004394356
    を用いた演算を行うことにより、RGBの三つの色成分信号を生成する
    ことを特徴とする請求項1又は2記載の電子内視鏡装置。
JP2003030899A 2003-02-07 2003-02-07 電子内視鏡装置 Expired - Fee Related JP4394356B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003030899A JP4394356B2 (ja) 2003-02-07 2003-02-07 電子内視鏡装置
US10/770,483 US7289140B2 (en) 2003-02-07 2004-02-04 Video endoscope apparatus
DE102004006260.9A DE102004006260B4 (de) 2003-02-07 2004-02-09 Videoendoskopeinrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003030899A JP4394356B2 (ja) 2003-02-07 2003-02-07 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JP2004236952A JP2004236952A (ja) 2004-08-26
JP4394356B2 true JP4394356B2 (ja) 2010-01-06

Family

ID=32732898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003030899A Expired - Fee Related JP4394356B2 (ja) 2003-02-07 2003-02-07 電子内視鏡装置

Country Status (3)

Country Link
US (1) US7289140B2 (ja)
JP (1) JP4394356B2 (ja)
DE (1) DE102004006260B4 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008110004A (ja) * 2006-10-30 2008-05-15 Pentax Corp 電子内視鏡装置
JP5072404B2 (ja) * 2007-03-28 2012-11-14 Hoya株式会社 蛍光観察電子内視鏡装置
EP2074933B1 (de) * 2007-12-19 2012-05-02 Kantonsspital Aarau AG Verfahren zur Analyse und Bearbeitung von Fluoreszenzbildern
US8593513B2 (en) 2008-04-02 2013-11-26 Fujifilm Corporation Image capturing apparatus having first and second light reception sections, image capturing method, and computer-readable medium
JP5079576B2 (ja) * 2008-04-02 2012-11-21 富士フイルム株式会社 電子内視鏡システム
US20090316144A1 (en) * 2008-06-20 2009-12-24 Hoya Corporation Device for detecting the condition of an optical filter and illumination device
WO2010044432A1 (ja) * 2008-10-17 2010-04-22 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置
JP5283545B2 (ja) * 2009-03-18 2013-09-04 富士フイルム株式会社 内視鏡システムおよび内視鏡用プロセッサ装置
JP5289120B2 (ja) * 2009-03-18 2013-09-11 富士フイルム株式会社 内視鏡システムおよび内視鏡用プロセッサ装置
US9237839B2 (en) * 2009-12-17 2016-01-19 Given Imaging Ltd. Device, system and method for activation, calibration and testing of an in-vivo imaging device
JP5591570B2 (ja) * 2010-03-23 2014-09-17 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
EP2636359B1 (en) * 2011-08-15 2018-05-30 Olympus Corporation Imaging apparatus
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP6535435B2 (ja) * 2013-09-04 2019-06-26 Hoya株式会社 プロセッサ及び内視鏡システム
US10117563B2 (en) * 2014-01-09 2018-11-06 Gyrus Acmi, Inc. Polyp detection from an image
CN107427183B (zh) 2015-03-19 2019-04-19 奥林巴斯株式会社 内窥镜装置
CN106687023B (zh) 2015-08-13 2018-12-18 Hoya株式会社 评价值计算装置以及电子内窥镜系统
US20170280971A1 (en) 2015-08-13 2017-10-05 Hoya Corporation Evaluation value calculation device and electronic endoscope system
JP6270967B2 (ja) * 2016-11-17 2018-01-31 Hoya株式会社 画像処理装置及び内視鏡装置
CN110022751B (zh) 2016-12-02 2021-11-30 奥林巴斯株式会社 内窥镜用图像处理装置
CA2991349C (en) 2017-01-09 2020-07-14 Verathon Inc. Upgradable video laryngoscope system exhibiting reduced far end dimming
TWI653885B (zh) * 2017-03-03 2019-03-11 宏碁股份有限公司 影像輸出方法及影像擷取裝置
DE102017117428A1 (de) * 2017-08-01 2019-02-07 Schölly Fiberoptic GmbH Bildgebendes Verfahren unter Ausnutzung von Fluoreszenz sowie zugehörige Bildaufnahmevorrichtung
JP6681971B2 (ja) * 2018-12-27 2020-04-15 Hoya株式会社 プロセッサ及び内視鏡システム
DE102021124010A1 (de) * 2021-09-16 2023-03-16 Xion Gmbh Verfahren und Vorrichtung zur Videoendoskopie mit Fluoreszenzlicht

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4930516B1 (en) 1985-11-13 1998-08-04 Laser Diagnostic Instr Inc Method for detecting cancerous tissue using visible native luminescence
US5421337A (en) 1989-04-14 1995-06-06 Massachusetts Institute Of Technology Spectral diagnosis of diseased tissue
DE19535114B4 (de) 1994-09-21 2013-09-05 Hoya Corp. Endoskopsystem mit Fluoreszenzdiagnose
AU752829B2 (en) * 1998-01-26 2002-10-03 Brigham And Women's Hospital Fluorescence imaging endoscope
US6371908B1 (en) 1998-05-01 2002-04-16 Asahi Kogaku Kogyo Kabushiki Kaisha Video endoscopic apparatus for fluorescent diagnosis
AU3349200A (en) * 1999-01-26 2000-08-07 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
JP4317297B2 (ja) * 1999-09-30 2009-08-19 フジノン株式会社 電子内視鏡装置
JP4199510B2 (ja) 2002-09-30 2008-12-17 Hoya株式会社 診断補助用装置

Also Published As

Publication number Publication date
DE102004006260B4 (de) 2015-08-06
US20040155957A1 (en) 2004-08-12
JP2004236952A (ja) 2004-08-26
US7289140B2 (en) 2007-10-30
DE102004006260A1 (de) 2004-08-19

Similar Documents

Publication Publication Date Title
JP4394356B2 (ja) 電子内視鏡装置
CN109310301B (zh) 电子内窥镜用处理器以及电子内窥镜系统
EP1947998B1 (en) Device for short wavelength visible reflectance using broadband illumination
JP6067264B2 (ja) 画像処理装置及び内視鏡装置
US8303494B2 (en) Electronic endoscope system, processing apparatus for electronic endoscope, and image processing method
JP4009626B2 (ja) 内視鏡用映像信号処理装置
EP2979618B1 (en) Image processing device for operating endoscope system
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
US7236621B2 (en) Diagnosis supporting device
JP5143293B2 (ja) 内視鏡装置
EP2979617B1 (en) Image processing device, and method for operating endoscope system
EP2505121B1 (en) Endoscope apparatus
EP2692276B1 (en) Medical instrument
CN110461209B (zh) 内窥镜系统及处理器装置
JP2001157658A (ja) 蛍光画像表示装置
JP6047467B2 (ja) 内視鏡システム及びその作動方法
JP2001178672A (ja) 蛍光画像表示装置
US20170251915A1 (en) Endoscope apparatus
WO2017154292A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN112218570A (zh) 图像处理装置、内窥镜系统及图像处理方法
JP2016015995A (ja) 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2015066132A (ja) 内視鏡システム及びその作動方法
JP5930474B2 (ja) 内視鏡システム及びその作動方法
JP2011005002A (ja) 内視鏡装置
JP2003164414A (ja) 蛍光診断画像表示方法および表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060119

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091015

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees