JP4741264B2 - 内視鏡分光画像システム装置 - Google Patents

内視鏡分光画像システム装置 Download PDF

Info

Publication number
JP4741264B2
JP4741264B2 JP2005080426A JP2005080426A JP4741264B2 JP 4741264 B2 JP4741264 B2 JP 4741264B2 JP 2005080426 A JP2005080426 A JP 2005080426A JP 2005080426 A JP2005080426 A JP 2005080426A JP 4741264 B2 JP4741264 B2 JP 4741264B2
Authority
JP
Japan
Prior art keywords
image
spectral
color
data
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005080426A
Other languages
English (en)
Other versions
JP2006255324A (ja
Inventor
大輔 綾目
一則 阿部
信次 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005080426A priority Critical patent/JP4741264B2/ja
Priority to EP06005419.4A priority patent/EP1702556B1/en
Priority to US11/377,272 priority patent/US8040373B2/en
Publication of JP2006255324A publication Critical patent/JP2006255324A/ja
Application granted granted Critical
Publication of JP4741264B2 publication Critical patent/JP4741264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)

Description

本発明は内視鏡分光画像システム装置、特に医療分野で用いられ、任意に選択された波長域の画像情報からなる分光画像(映像)を形成し表示するための内視鏡システムの構成に関する。
近年、固体撮像素子を用いた電子内視鏡装置では、消化器官(胃粘膜等)における分光反射率に基づき、狭帯域バンドパスフィルタを組み合わせた分光イメージング、即ち狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging−NBI)が注目されている。この装置は、面順次式のR(赤),G(緑),B(青)の回転フィルタの代わりに、3つの狭(波長)帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた3つの信号に対しそれぞれの重み付けを変えながらR,G,B(RGB)信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。
一方、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、特開2003−93336号公報に示されるように、固体撮像素子に微小モザイクの色フィルタを配置する同時式において、白色光で得られた画像信号を基に、演算処理にて分光画像を形成することが提案されている。これは、RGBのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ(係数セット)として求め、このマトリクスデータとRGB信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像信号を疑似的に得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となるので、装置の大型化が避けられ、低コスト化を図ることができる。
特開2003−93336号公報 財団法人 東京大学出版会発行、著者 三宅洋一のディジタルカラー画像の解析・評価(P148〜P153)
ところで、このような被観察体の特定の微細構造等を抽出する分光画像は、好ましい波長域を選択したり、この選択波長域を調整したりすることを要し、限られた時間の内視鏡検査中に必要かつ十分な分光画像を得ることができない場合がある。また、この分光画像を通常のカラー画像と比較して詳細に観察・診断することも必要であり、内視鏡検査の後に、任意の波長域の分光画像を形成し、表示することができれば、使い勝手のよい装置が得られる。
更に、内視鏡装置での分光画像の演算処理では、基礎になる例えばRGBのカラー画像信号が撮像素子(固体撮像素子等)の色フィルタの種類を含む分光感度特性、光源の種類、ライトガイド等の内視鏡の光学系部材の分光感度特性によって異なっており、このような内視鏡及び光源の分光特性の相違が同一波長域での再現性に影響を与えるという問題がある。即ち、固体撮像素子であるCCDには、Mg,Ye,Cy,Gの色フィルタを有する補色型のものと、RGBの色フィルタを有する原色型のものがあるし、また同種のCCDの中でも個体差によって分光感度特性が相違する。図9には、原色型CCDの色フィルタの分光感度特性の一例が示されており、このR,G,B色フィルタのそれぞれの分光感度はCCDの個体差によって異なっており、単一のマトリクスデータを用いた演算処理では、分光特性の相違が演算結果に反映されてしまい、再現性のある分光画像が得られないことになる。
また、レンズの色収差が原因となって光源装置では絞り羽根の開口量によって照明光の分光特性が異なり、光量が絞られる程、赤色成分が長波長側から徐々にカットされる特性となり、この照明光の分光特性によっても分光画像の再現性が低下するという問題がある。
本発明は上記問題点に鑑みてなされたものであり、その目的は、内視鏡検査の後に任意の波長域の分光画像を形成・表示できると共に、撮像素子或いは内視鏡の分光特性や光源或いは照明光の分光特性が異なる場合でも同一波長域での再現性の良好な分光画像を形成することが可能となり、使い勝手のよい内視鏡分光画像システム装置を提供することにある。
上記目的を達成するために、請求項1の発明に係る内視鏡分光画像システム装置は、内視鏡に搭載された撮像素子からの出力に基づいて被観察体のカラー画像を形成する信号プロセッサと、この信号プロセッサとは別体に構成され、この信号プロセッサから出力されたカラー画像を記録する画像記録表示装置(ファイリング装置等)と、を有し、上記信号プロセッサには、上記カラー画像のデータに基づいて分光画像を形成するための各波長域のマトリクスデータを記憶する記憶部と、この記憶部の中の該当する波長域のマトリクスデータを用いて上記カラー画像データに基づくマトリクス演算を行い、任意に選択された複数の波長域からなる分光画像を形成する分光画像形成回路と、少なくとも上記撮像素子の分光(感度)特性が含まれる分光画像形成に関する各種の分光特性情報を上記カラー画像データと共に出力する情報出力回路とを設け、上記画像記録表示装置には、上記カラー画像データに基づいて分光画像を形成するためのマトリクスデータ(係数データ)であって、上記情報出力回路から出力される各種の分光特性情報に対応した複数のマトリクスデータテーブルを記憶する記憶部と、この記憶部のマトリクスデータテーブルの各波長域マトリスクデータを用いて上記カラー画像データに基づくマトリクス演算を行い、任意に選択された複数の波長域からなる分光画像を形成する分光画像形成(生成)回路と、を設けたことを特徴とする。
請求項2の発明は、内視鏡から照明光を照射するための光源装置を備え、この光源装置の光源の種類(キセノンランプ、ハロゲンランプ)による分光特性を分光特性情報として上記画像記録表示装置に供給し、光源の種類に応じたマトリクスデータを選択して分光画像を形成することを特徴とする。
請求項3の発明は、上記光源装置に、上記カラー画像が形成されているときの照明光量の絞りの位置を検出する絞り位置検出センサを設け、この絞り位置検出センサから出力された絞り位置を分光特性情報として上記画像記録表示装置へ供給し、この絞り位置に応じたマトリクスデータテーブルを選択して分光画像を形成することを特徴とする。
請求項4の発明は、上記画像記録表示装置には、表示器を着脱自在に接続し、この表示器にカラー画像と分光画像を表示できるようにしたことを特徴とする。
上記の構成によれば、信号プロセッサから通常のカラー画像データと共に分光特性情報が画像記録表示装置に供給されることになり、この画像記録表示装置では、記憶部に格納された複数のマトリクスデータの中から上記分光特性情報に対応したマトリクスデータ(係数セット)が読み出され、このデータに基づいたマトリクス演算によって分光画像が形成される。即ち、このマトリクスデータは、例えばRGB信号(他の信号でもよい)からマトリクス演算により波長狭帯域(成分)のλ1,λ2,λ3信号を求めるための係数で、400nmから700nmの波長域を5nm間隔で分けた61の波長域パラメータ(係数セットp1〜p61)からなり、この61の係数セットからなるテーブルデータが分光特性に応じて複数用意される。そして、操作者が3つの波長域λ1,λ2,λ3(1つの波長域でもよい)を選択すると、この3つの波長域に該当するマトリクスデータ(係数セット)とDVP,DSP等から出力されたRGB信号からλ1,λ2,λ3信号が形成され、これらのλ1,λ2,λ3信号によって再現性の良好な分光画像が形成され、モニタ等に表示される。即ち、画像記録表示装置では記録された通常の画像(静止画及び動画)を再生表示するだけでなく、この通常画像に基づいて、内視鏡(CCD)の分光特性を考慮した分光画像(静止画及び動画)を生成し表示することができる。
上記請求項2の構成によれば、キセノンランプ又はハロゲンランプの分光特性の相違に応じたマトリクスデータが読み出され、請求項3の構成によれば、絞り位置(状態)によって例えば6段階に分け、この6段階の分光特性に応じたマトリクスデータが読み出され、これらの分光特性に応じた分光画像が形成されるので、再現性が更に良好となる。
本発明の内視鏡分光画像システム装置によれば、通常のカラー画像と共に分光特性情報を保存しておくことにより、内視鏡検査の後に、画像記録表示装置でも任意の波長域の分光画像を形成し表示することができ、診断等に有益な被観察体画像情報を提供することが可能となる。また、通常のカラー画像を撮像した撮像素子或いは内視鏡の分光特性、光源或いは照明光の分光特性が異なる場合でも、これらの分光特性の相違に影響されない再現性の良好な分光画像が形成でき、使い勝手のよい装置が得られる。
図1乃至図4には、実施例に係る内視鏡(電子内視鏡)分光画像システム装置の構成が示されており、この装置は、図1に示されるように、スコープ(電子内視鏡)10をプロセッサ装置12及び光源装置14に対し着脱自在に接続する構成とされ、このプロセッサ装置12にモニタ15と画像記録表示装置(或いはファイリング装置)16が接続され、このモニタ15は画像記録表示(記録再生)装置16にも接続されている。この画像記録表示装置16は、キーボード、マウスを有するパーソナルコンピュータ等で構成することができる。なお、上記光源装置14はプロセッサ装置12と一体に構成される場合もあり、またプロセッサ装置12内の主要な信号処理回路がスコープ10に配置されている場合もある。
上記スコープ10には、その先端部に固体撮像素子であるCCD18が設けられ、このCCD18としては、例えば撮像面にMg(マジェンタ),Ye(イエロー),Cy(シアン),G(グリーン)の色フィルタを有する補色型或いはRGBの色フィルタを有する原色型が用いられる。このCCD18には、タイミングジェネレータ(TG)20から出力される同期信号に基づいて駆動パルスを形成するCCD駆動回路19が設けられると共に、このCCD18から入力された画像(映像)信号をサンプリングしかつ増幅するCDS/AGC(相関二重サンプリング/自動利得制御)回路21、A/D変換器22が設けられる。また、スコープ10内の各種回路を制御しかつプロセッサ装置12内の第2マイコン(42)との間で通信を行うマイコン24、CCD18の分光特性(原色型、補色型における分光特性)、対物光学系、ライトガイドを含む光学系部材の分光特性等を含むスコープ10の分光特性情報やその他の識別情報を記憶するメモリ(ROM等)25が配置される。更に、このスコープ10には、その先端に照明窓26が設けられ、この照明窓26はライトガイド27によって上記光源装置14へ接続される。
一方、プロセッサ装置12には、デジタル変換された画像信号に対し各種の画像処理を施すDVP(デジタルビデオプロセッサ)30が設けられており、このDVP30では、上記CCD18の出力信号から輝度(Y)信号と色差[C(R−Y,B−Y)]信号で構成されるY/C信号が形成・出力される。実施例では、通常の画像(動画及び静止画)と分光画像(動画及び静止画)を選択的に形成・表示することができ、上記DVP30には、通常の画像を形成するか、分光画像を形成するかの切換えを行う切換え器31を介して(一方の端子に)、通常の画像を形成する信号処理回路32が接続され、この信号処理回路32は撮影条件、患者情報等を画像信号データに付加するためのキャラクタミックス等の信号処理を施す。上記切換え器31の他方の端子には、このプロセッサ装置12内で分光画像を形成するための分光画像形成回路34A、この回路34Aと上記信号処理回路32の両出力を入力するD/A変換器35が配置され、このD/A変換器35の出力がモニタ15へ供給される。
また、上記信号処理回路32には、静止画を画像記録表示装置16へ出力するための構成として、静止画を一旦保存する画像メモリ38、静止画と分光特性情報とを関連付けるパケット生成回路39、ネットワークI/F(インターフェース)40が配置される。更に、プロセッサ装置12には、この内部回路を制御すると共に上記第1マイコン24との間で通信を行う第2マイコン42、同様の処理をする第3マイコン43、プロセッサ装置12内の動作情報や、RGB信号に基づいて分光画像を形成するためのマトリクスデータ(テーブル)を記憶するメモリ44(ROM等)、動画を出力するためのシリアルI/F(インターフェース)45が設けられ、このシリアルI/F45からは動画及び分光特性情報が、上記ネットワークI/F40からは静止画用パケットが出力される。即ち、スコープ10のメモリ25に記憶されているスコープ側分光特性情報(データ)は、第1マイコン24から第2マイコン42を介して第3マイコン43へ伝送され、静止画についてはパケット生成回路39にて画像データに付加され、動画についてはシリアルI/F45にて転送される。従って、上記第1マイコン24から第3マイコン43(及び第4マイコン54)、パケット生成回路39及びインターフェース40,45は、情報出力回路を構成する。また、メモリ44に格納されたマトリクスデータは、第2マイコン42によって読み出され、上記分光画像形成回路34Aへ与えられる。
更に、光源装置14には、上記ライトガイド27に照明光を出力するために、集光レンズ48、絞り(羽根)49、光源ランプ(キセノンランプ又はハロゲンランプ)50、ランプ駆動回路51及び上記絞り49の駆動絞り位置を検出する絞り位置センサ52が設けられると共に、第4マイコン54、光源ランプ50の種類等に関する情報を記憶するメモリ(ROM等)55が配置される。そして、上記第4マイコン54は、この絞り位置センサ52の出力に基づき、絞り位置情報(又は絞り位置に対応した分光特性情報)や光源ランプ50がキセノンランプ又はハロゲンランプの何れであるかの情報(又はランプの種類に対応した分光特性情報)を第2マイコン42へ供給しており、これらの情報は第3マイコン43に供給されることによって他の分光特性情報と共に画像記録表示装置16へ送られる。
図2には、上記画像記録表示(再生)装置16の内部構成が示されており、この装置16内には、プロセッサ装置12に接続され、静止画用パケットを入力するためのネットワークI/F57、動画記録時に分光特性情報を入力するためのシリアルI/F58、動画の通常カラー画像データをキャプチャするためのビデオグラバー59、キーボードI/F(インターフェース)60a、マウスI/F60b等のインターフェースが設けられ、これらのインターフェースはデータバスを介して後述の各回路に接続される。即ち、この画像記録表示装置16では、記録された通常の画像(静止画と動画の双方)を再生表示するだけでなく、この通常画像に基づいて分光画像(静止画と動画の双方)を形成して表示しており、このための操作をキーボード或いはマウスによって行うようになっている。
また、この画像記録表示装置16には、画像を記憶するためのハードディスク61、ハードディスクコントローラ62、各回路を統括制御するCPU(又はマイコン)63、RGB信号から分光画像を形成するためのマトリクスデータであって上記プロセッサ装置12から出力される分光特性情報に対応した複数のマトリクスデータ(テーブルデータ)を記憶するROM(読出し専用メモリ)64、データ入力処理等のためのRAM(読み書き自在メモリ)65、読み出されたマトリクスデータを用いて分光画像を形成する分光画像形成回路34B、モニタ表示処理のためのフレームメモリ67及びD/A変換器68が設けられ、このD/A変換器68の出力がモニタ15へ供給される。
図3には、上記プロセッサ12と上記画像記録表示装置16に配置された分光画像形成回路34A,34Bの内部構成が示されており、この分光画像形成回路34A,34Bには、輝度(Y)/色差(C)信号をRGB信号に変換する第1色変換回路70、RGB信号に対し分光画像のためのマトリクス演算を行う色空間変換処理回路71が設けられ、この色空間変換処理回路71は、選択された波長域λ1,λ2,λ3の分光画像信号を出力する。
この色空間変換処理回路71のマトリクス演算に用いられ、上記メモリ44、ROM64に格納されているマトリクスデータ(1つのテーブル)は次の表1のようなものとなる。
Figure 0004741264
上記表1のマトリクスデータは、例えば400nmから700nmの波長域を5nm間隔で分けた61の波長域パラメータ(係数セット)p1〜p61からなり、このパラメータp1〜p61は、マトリクス演算のための係数kpr,kpg,kpb(pはp1〜p61に該当する)から構成される。
そして、上記色空間変換処理回路71では、上記係数kpr,kpg,kpbと第1色変換回路70から出力されたRGB信号とにより次の数式1のマトリクス演算が行われる。
Figure 0004741264
即ち、λ1,λ2,λ3として、例えば表1のパラメータp21(中心波長500nm),p45(中心波長620nm),p51(中心波長650nm)を選択した場合は、係数(kpr,kpg,kpb)として、p21の(-0.00119,0.002346,0.0016)、p45の(0.004022,0.000068,‐0.00097)、p51の(0.005152,-0.00192,0.000088)を代入すればよいことになる。
そして、上記色空間変換処理回路71には、1つの波長域(狭帯域)の分光画像(単色モード)と3つの波長域からなる分光画像(3色モード)とのいずれかを選択するモードセレクタ72が設けられ、このモードセレクタ72の後段に、増幅回路73が接続される。この増幅回路73は、分光画像を形成するためのλ1,λ2,λ3信号をそれぞれのゲイン値e,e,eにて増幅し、e×λ1、e×λ2、e×λ3の増幅信号を出力する。この増幅回路73に、増幅後のλ1,λ2,λ3の信号を従来のRGB信号に対応させた処理をするためにRs,Gs,Bs信号として入力し、このRs,Gs,Bs信号をY/C信号へ変換する第2色変換回路74が設けられる。
実施例は以上の構成からなり、まず図1の光源装置14ではランプ駆動回路51の駆動により光源ランプ50から照明光がライトガイド27、照明窓26を介して出力されるが、この照明光は絞り49によって光量制御されることになり、このとき、絞り位置センサ52で検出した絞り位置は第4マイコン54へ供給される。この照明光で照明された被観察体は、スコープ10のCCD18で撮像されることになり、このスコープ10では、CCD駆動回路19の駆動により、CCD18から被観察体の撮像信号が出力され、この信号はCDS/AGC回路21で相関二重サンプリングと自動利得制御による増幅が行われた後、A/D変換器22を介し、デジタル信号としてプロセッサ装置12のDVP30へ供給される。
このDVP30では、各種の処理が施され、輝度(Y)信号と色差(R−Y,B−Y)信号からなるY/C信号が形成される。このDVP30の出力は、通常、切換え器31を介して信号処理回路32へ供給され、ここで所定の処理が行われた後、D/A変換器35を介してモニタ15へ供給され、このモニタには通常の被観察体のカラー画像が表示される。また、この実施例では、切換え器31によって分光画像形成回路34Aを動作させ、分光画像信号を形成することができ、この場合の分光画像信号もD/A変換器35を介してモニタ15へ表示される。
次に、スコープ10の記録操作によって静止画及び動画を画像記録表示装置16へ記録する場合の動作を図5乃至図7にて説明する。図5には、プロセッサ装置12側(マイコン)での処理が示されており、電源が投入されると、入出力(I/O)のイニシャライズを行った(ステップ101)後、スコープ10及び光源装置14とプロセッサ装置12との間のマイコン同士の通信によって分光特性情報のチェックが行われたか否かを判定し(ステップ102)、N(No)のときは所定時間のタイマーをスタートさせ(103)、所定時間が経過(タイムアップ)したときはエラー表示を行う(ステップ104,105)。上記ステップ102にて、Y(Yes)の時は、分光特性情報(データ)を読み込んだ後(ステップ106)、この分光特性情報の転送が行われる(ステップ107)。次のステップ108では、記録される画像が動画であるか否かを判定し、N(静止画)のときは、静止画データに分光特性情報を付加した静止画用パケットを生成しこのパケットをネットワークI/F40を通して出力し、(ステップ109−静止画転送処理)、Y(動画)のときはシリアルI/F45を通して分光特性情報を出力する(ステップ110−動画時処理)。
図6(A)には、上記ステップ109で行われる静止画転送処理が示されており、パケット生成回路39では、分光特性情報をTAG変換(所定コードへ変換)し(ステップ131)、このTAG変換された分光特性情報を静止画データと結合する(ステップ132)。次に、ファイル構造の生成(ステップ133)、静止画用パケットの生成(ステップ134)を行い、この静止画用パケットがネットワークI/F40を介して画像記録表示装置16へ供給される通信を行う(ステップ135)。即ち、スコープ10のメモリ25に格納されているCCD18等に関するスコープ側分光特性情報が第1マイコン24から第2マイコン42を介して第3マイコン43へ供給され、また光源装置14のメモリ55に格納されている光源ランプ50の種類の情報(分光特性情報)と絞り位置センサ52から出力された絞り位置情報(分光特性情報)が第4マイコン54から第2マイコン42を経由して第3マイコン43へ供給されており、これらの分光特性情報が静止画データに付加されて通信される。
図6(B)には、上記ステップ110で行われる動画時処理が示されており、第3マイコン43は、受信した分光特性情報をシリアルI/F45を介して送信する(ステップ140)。
図7(A)には、画像記録表示装置16側での静止画処理が示されており、上記プロセッサ装置12から送信された静止画用パケットは、ネットワークI/F57を介して入力され、このパケット転送が完了すると、分光特性情報と結合した画像データをRAM65を介してハードディスク61に書き込み保存する(ステップ201)。そして、この画像記録表示装置16のキーボード等において、波長域選択と共に分光画像の表示操作が行われたとき(ステップ202)、ハードディスク61に保存した上記分光特性情報を参照し、スコープ10、光源14等の分光特性情報に対応したマトリクスデータ(係数セット)をROM64の複数のマトリクスデータの中から選択して読み出す(ステップ203)。この後、分光画像形成回路34Bではマトリクスデータに基づいた分光画像が形成され、この分光画像(静止画)がD/A変換器68を介してモニタ15へ出力され表示される(ステップ204)。
図7(B)には、画像記録表示装置16側での動画処理が示されており、シリアルI/F58を通して分光特性情報を受信すると、この分光特性情報をRAM65へ転送し、一次的に記憶保持する(ステップ211)。そして、この画像記録表示装置16で、波長域選択と共に分光画像の表示操作が行われたとき(ステップ212)、上記RAM65に記憶されている分光特性情報を基に、上記ROM64の複数のマトリクスデータの中から対応するマトリスクデータ(係数セット)を選択して読み出し(ステップ213)、静止画の場合と同様に、分光画像形成回路34Bではマトリクスデータに基づいた分光画像が形成され(ステップ214)、この分光画像(動画)がD/A変換器68を介してモニタ15へ出力され表示される(ステップ215)。
次に、図3に示した分光画像形成回路34Bでの分光画像の形成について説明する(プロセッサ装置12内の34Aでも同様となる)。この分光画像の形成(生成)は、画像記録表示装置16のキーボード等を操作し、λ1,λ2,λ3信号の波長域を選択することにより行われるが、まずハードディスク61に記憶された画像信号(動画の場合はビデオグラバー59から出力されたもの)であるY/C(色差)信号は、第1色変換回路70にてRGB信号への変換が行われた後、色空間変換処理回路71へ供給され、この色空間変換処理回路71にて、RGB信号データとマトリクスデータとにより、分光画像形成のための上記数式1のマトリクス演算が行われる。例えば、3つの波長域(λ1,λ2,λ3)としてp21(中心波長500nm),p45(中心波長620nm),p51(中心波長650nm)が選択された場合は、RGB信号データから次の数式2のマトリクス演算にてλ1,λ2,λ3の信号が求められる。
Figure 0004741264
そうして、モードセレクタ72にて3色モードが選択されている場合は、上記λ1,λ2,λ3の信号、また単色モードが選択されている場合は、上記λ1,λ2,λ3のいずれかの信号が増幅回路73へ供給され、それぞれのゲインe,e,eによって増幅され、e×λ1,e×λ2,e×λ3の信号が得られる。この増幅回路73から出力された増幅信号は、Rs(=e・λ1),Gs(=e・λ2),Bs(=e・λ3)の信号として第2色変換回路74へ供給され、また単色モードが選択されている場合は、上記λ1,λ2,λ3のいずれかの信号(例えばλ2が選択されているときe・λ2)がRs,Gs,Bsの信号として第2色変換回路74へ供給される。この第2色変換回路74では、Rs,Gs,Bs信号としてのλ1,λ2,λ3の信号がY/C信号(Y,Rs−Y,Bs−Y)へ変換され、このY/C信号がD/A変換器32を介してモニタ15へ供給されることにより、分光画像がモニタ15に表示される。
このようにして、モニタ15に表示される分光画像は、図8及び図9で示すような波長域の色成分で構成されるものとなる。即ち、図8は、生体の反射スペクトルに分光画像を形成する3つの波長域を重ねた概念図であり、また図9は、原色型のCCD18の分光感度特性に3つの波長域を重ねた概念図であり(色フィルタとλ1λ2λ3信号波長域の感度の目盛は一致していない)、実施例でλ1,λ2,λ3信号とし選択された波長p21,p45,p51は、図示されるように、順に500nm、620nm、650nmを中心波長とし、±10nm程度の範囲の波長域の色信号であり、この3つの波長域の色の組合せから構成される分光画像(動画及び静止画)が表示されることになる。
そして、画像記録表示装置16で得られる分光画像は、種類が異なるスコープ10や光源14で得られたカラー画像を保存する場合でも、同一波長域での再現性を維持することができ、特定の微細構造を良好に描出した分光画像が得られる。即ち、スコープ10では、CCD18の分光特性、対物光学系やライトガイド等を考慮した分光特性が異なる場合、光源装置14では、光源ランプ50がキセノンランプであるかハロゲンランプであるかの相違、或いは後述するように絞り49の絞り位置の相違によって分光特性が異なる場合でも、再現性にバラツキのない良好な分光画像が得られる。
図4には、上記光源14の構成及び照明光量の絞り位置によって変化する分光特性が示されており、実施例では、図4(A)に示されるように、例えば全開の絞り位置aから全閉に近い絞り位置fまでの6段階の位置が絞り位置検出センサ52で検出され、この絞り位置a〜fのデータが第4マイコン54によって第3マイコン43を介して画像記録表示装置16へ供給される。そして、この画像記録表示装置16では、この絞り位置a〜fに対応したマトリクスデータが選択され、これによって分光画像形成のためのマトリクス演算が行われる。
図4(B)には、上記絞り(羽根)49の絞り位置における分光特性が示されており、実施例の絞り49によれば、全開の絞り位置aからfへ絞られる程、長波長側から徐々に赤領域成分がカットされる分光特性(a→f)となる。そこで、実施例では、この絞り位置a〜fに対応したマトリクスデータが上記画像記録表示装置16のROM64に記憶されており、例えば現在の絞り位置がcであった場合は、絞り位置cに対応したマトリクスデータ(係数セット)がROM64から読み出され、このマトリクスデータによる演算が行われる。この結果、絞り位置によって照明光の分光特性が変化する場合でも、再現性の良好な分光画像が得られることになる。
当該例では、プロセッサ装置12においても分光画像形成回路34Aを備えており、プロセッサ装置12の操作パネル等を操作して、λ1,λ2,λ3信号の波長域を選択することにより、スコープ10による観察、処置の実施中に、分光画像を生成してモニタ15へ表示することもできる。
本発明の実施例に係る内視鏡分光画像システム装置の全体構成を示すブロック図である。 実施例の画像記録表示装置の構成を示すブロック図である。 実施例の分光画像形成回路の構成を示すブロック図である。 実施例の光源装置内の構成及び絞り位置[図(A)]とこの絞り位置における分光特性[図(B)]を示す図である。 実施例のプロセッサ装置側での分光特性情報の処理を示すフローチャートである。 実施例のプロセッサ装置側での分光特性情報の処理で、図5の中の静止画転送処理[図(A)]と動画時処理[図(B)]の詳細な内容を示すフローチャートである。 実施例の画像記録表示装置側での静止画処理[図(A)]と動画処理[図(B)]を示すフローチャートである。 実施例で形成される分光画像の波長域の一例を生体の反射スペクトルと共に示したグラフ図である。 実施例で形成される分光画像の波長域の一例を原色型CCDの分光感度特性と共に示したグラフ図である。
符号の説明
10…スコープ(電子内視鏡)、 12…プロセッサ装置、
14…光源装置、 15…モニタ、
16…画像記録(再生)表示装置、 18…CCD、
24…第1マイコン、 25,44,55…メモリ、
27…ライトガイド、 30…DVP、
34A,34B……分光画像形成回路、
40,57…ネットワークI/F、 42…第2マイコン、
43…第3マイコン、 45,58…シリアルI/F、
49…絞り(羽根)、 50…光源ランプ、
52…絞り位置検出センサ、 54…第4マイコン、
61…ハードディスク、 64…ROM、
71…色空間変換処理回路、 72…モードセレクタ。

Claims (4)

  1. 内視鏡に搭載された撮像素子からの出力に基づいて被観察体のカラー画像を形成する信号プロセッサと、
    この信号プロセッサとは別体に構成され、この信号プロセッサから出力されたカラー画像を記録する画像記録表示装置と、を有し、
    上記信号プロセッサには、上記カラー画像のデータに基づいて分光画像を形成するための各波長域のマトリクスデータを記憶する記憶部と、この記憶部の中の該当する波長域のマトリクスデータを用いて上記カラー画像データに基づくマトリクス演算を行い、任意に選択された複数の波長域からなる分光画像を形成する分光画像形成回路と、少なくとも上記撮像素子の分光特性が含まれる分光画像形成に関する各種の分光特性情報を上記カラー画像データと共に出力する情報出力回路とを設け、
    上記画像記録表示装置には、上記カラー画像データに基づいて分光画像を形成するためのマトリクスデータであって、上記情報出力回路から出力される各種の分光特性情報に対応した複数のマトリクスデータテーブルを記憶する記憶部と、この記憶部のマトリクスデータテーブルの各波長域マトリスクデータを用いて上記カラー画像データに基づくマトリクス演算を行い、任意に選択された複数の波長域からなる分光画像を形成する分光画像形成回路と、を設けた内視鏡分光画像システム装置。
  2. 内視鏡から照明光を照射するための光源装置を備え、この光源装置の光源の種類による分光特性を分光特性情報として上記画像記録表示装置に供給し、光源の種類に応じたマトリクスデータテーブルを選択して分光画像を形成することを特徴とする請求項1記載の内視鏡分光画像システム装置。
  3. 上記光源装置に、上記カラー画像が形成されているときの照明光量の絞りの位置を検出する絞り位置検出センサを設け、
    この絞り位置検出センサから出力された絞り位置を分光特性情報として上記画像記録表示装置へ供給し、この絞り位置に応じたマトリクスデータテーブルを選択して分光画像を形成することを特徴とする請求項記載の内視鏡分光画像システム装置。
  4. 上記画像記録表示装置には、表示器を着脱自在に接続し、この表示器にカラー画像と分光画像を表示できるようにしたことを特徴とする請求項1乃至3のいずれかに記載の内視鏡分光画像システム装置。
JP2005080426A 2005-03-18 2005-03-18 内視鏡分光画像システム装置 Active JP4741264B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005080426A JP4741264B2 (ja) 2005-03-18 2005-03-18 内視鏡分光画像システム装置
EP06005419.4A EP1702556B1 (en) 2005-03-18 2006-03-16 Endoscope and spectral image processing device
US11/377,272 US8040373B2 (en) 2005-03-18 2006-03-17 Endoscope spectral image system apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005080426A JP4741264B2 (ja) 2005-03-18 2005-03-18 内視鏡分光画像システム装置

Publications (2)

Publication Number Publication Date
JP2006255324A JP2006255324A (ja) 2006-09-28
JP4741264B2 true JP4741264B2 (ja) 2011-08-03

Family

ID=36646138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005080426A Active JP4741264B2 (ja) 2005-03-18 2005-03-18 内視鏡分光画像システム装置

Country Status (3)

Country Link
US (1) US8040373B2 (ja)
EP (1) EP1702556B1 (ja)
JP (1) JP4741264B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195829A (ja) 2006-01-27 2007-08-09 Fujinon Corp 内視鏡システム装置
JP4868976B2 (ja) * 2006-08-18 2012-02-01 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2009225830A (ja) * 2008-03-19 2009-10-08 Fujifilm Corp 電子内視鏡装置
JP4981730B2 (ja) * 2008-03-26 2012-07-25 国立大学法人東京工業大学 分光画像生成装置及び分光画像生成方法
JP5235473B2 (ja) * 2008-04-04 2013-07-10 Hoya株式会社 分光特性推定装置
DE102009008834A1 (de) 2008-08-02 2010-02-18 Dr. Hein & Partner GbR (vertretungsberechtigter Gesellschafter Dr. Achim Hein, 90599 Dietenhofen) Vorrichtung und Verfahren zur elektronischen Erfassung und Auswertung von medizinischen Daten
JP2010043979A (ja) * 2008-08-13 2010-02-25 Yuichi Kamata 分光画像計測装置
JP5658873B2 (ja) 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5220780B2 (ja) * 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP2011194082A (ja) * 2010-03-19 2011-10-06 Fujifilm Corp 内視鏡画像補正装置および内視鏡装置
JP5604248B2 (ja) 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
EP2453376B1 (en) 2010-11-15 2019-02-20 Fujifilm Corporation Medical image recording/reproducing apparatus, medical image recording/reproducing method and program
JP5256270B2 (ja) * 2010-11-15 2013-08-07 富士フイルム株式会社 医療用画像再生装置及び医療用画像再生方法並びにプログラム
JP5346907B2 (ja) * 2010-11-15 2013-11-20 富士フイルム株式会社 医療用画像記録再生装置、及びプログラム
JP5766958B2 (ja) * 2011-01-21 2015-08-19 オリンパス株式会社 顕微鏡システム、情報処理装置、及び情報処理プログラム
WO2012105446A1 (ja) * 2011-01-31 2012-08-09 オリンパスメディカルシステムズ株式会社 光源装置
EP2797490B1 (en) 2011-12-29 2016-11-09 Cook Medical Technologies LLC Space-optimized visualization catheter having a camera train holder in a catheter with off-centered lumens
US9668643B2 (en) 2011-12-29 2017-06-06 Cook Medical Technologies Llc Space-optimized visualization catheter with oblong shape
WO2013101912A1 (en) 2011-12-29 2013-07-04 Cook Medical Technoloies Llc Space-optimized visualization catheter with camera train holder
JP6097629B2 (ja) * 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
JP5893813B1 (ja) * 2014-09-03 2016-03-23 オリンパス株式会社 内視鏡装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690900A (ja) * 1992-06-16 1994-04-05 Olympus Optical Co Ltd 電子内視鏡装置
JPH06335449A (ja) * 1993-05-31 1994-12-06 Olympus Optical Co Ltd 電子内視鏡装置
JP2000014629A (ja) * 1998-07-02 2000-01-18 Olympus Optical Co Ltd 内視鏡分光装置
JP2000221417A (ja) * 1999-02-04 2000-08-11 Olympus Optical Co Ltd 内視鏡撮像装置
JP2000350231A (ja) * 1999-06-02 2000-12-15 Olympus Optical Co Ltd 映像信号処理装置
JP2001112712A (ja) * 1999-10-18 2001-04-24 Olympus Optical Co Ltd 内視鏡撮像装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2004194993A (ja) * 2002-12-19 2004-07-15 Pentax Corp 電子内視鏡装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4926247A (en) * 1986-10-15 1990-05-15 Olympus Optical Co., Ltd. Color imaging apparatus including a means for electronically non-linearly expanding and compressing dynamic range of an image signal
JP2643948B2 (ja) * 1987-08-10 1997-08-25 オリンパス光学工業株式会社 電子内視鏡装置
JPS6417621A (en) * 1987-07-13 1989-01-20 Toshiba Corp Electronic endoscopic apparatus
JPH0796005B2 (ja) 1987-10-27 1995-10-18 オリンパス光学工業株式会社 内視鏡装置
US5331551A (en) * 1989-10-02 1994-07-19 Olympus Optical Co., Ltd. Endoscope image recording system for compressing and recording endoscope image data
US5408263A (en) * 1992-06-16 1995-04-18 Olympus Optical Co., Ltd. Electronic endoscope apparatus
US6690410B1 (en) 1999-06-09 2004-02-10 Olympus Optical Co., Ltd. Image processing unit with expandable image signal processing capability and endoscopic imaging system
DE10015816A1 (de) * 2000-03-30 2001-10-18 Infineon Technologies Ag Biosensorchip
JP4338337B2 (ja) * 2001-06-15 2009-10-07 Hoya株式会社 色調整処理を行う電子内視鏡装置および電子内視鏡装置のビデオスコープ
US20040225222A1 (en) * 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
JP4343594B2 (ja) * 2003-06-23 2009-10-14 オリンパス株式会社 内視鏡装置
JP4647346B2 (ja) * 2005-03-04 2011-03-09 富士フイルム株式会社 内視鏡装置
JP4647347B2 (ja) * 2005-03-04 2011-03-09 富士フイルム株式会社 内視鏡装置
JP4732769B2 (ja) * 2005-03-04 2011-07-27 富士フイルム株式会社 内視鏡装置
US7850599B2 (en) * 2005-03-04 2010-12-14 Fujinon Corporation Endoscope apparatus
JP4637620B2 (ja) * 2005-03-18 2011-02-23 富士フイルム株式会社 内視鏡システム装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690900A (ja) * 1992-06-16 1994-04-05 Olympus Optical Co Ltd 電子内視鏡装置
JPH06335449A (ja) * 1993-05-31 1994-12-06 Olympus Optical Co Ltd 電子内視鏡装置
JP2000014629A (ja) * 1998-07-02 2000-01-18 Olympus Optical Co Ltd 内視鏡分光装置
JP2000221417A (ja) * 1999-02-04 2000-08-11 Olympus Optical Co Ltd 内視鏡撮像装置
JP2000350231A (ja) * 1999-06-02 2000-12-15 Olympus Optical Co Ltd 映像信号処理装置
JP2001112712A (ja) * 1999-10-18 2001-04-24 Olympus Optical Co Ltd 内視鏡撮像装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2004194993A (ja) * 2002-12-19 2004-07-15 Pentax Corp 電子内視鏡装置

Also Published As

Publication number Publication date
US20060252988A1 (en) 2006-11-09
EP1702556B1 (en) 2013-05-29
EP1702556A1 (en) 2006-09-20
JP2006255324A (ja) 2006-09-28
US8040373B2 (en) 2011-10-18

Similar Documents

Publication Publication Date Title
JP4741264B2 (ja) 内視鏡分光画像システム装置
JP4647347B2 (ja) 内視鏡装置
JP4732769B2 (ja) 内視鏡装置
JP4637620B2 (ja) 内視鏡システム装置
JP4931199B2 (ja) 電子内視鏡装置
EP2005877B1 (en) Endoscope device
JP4579721B2 (ja) 内視鏡装置
EP1527729B1 (en) Image processing apparatus
EP1698272B1 (en) Endoscope and image processing device
JP5191090B2 (ja) 内視鏡装置
JP4767649B2 (ja) 内視鏡装置
JP2006239203A (ja) 内視鏡装置
JP5191329B2 (ja) 画像取得装置
EP2505121B1 (en) Endoscope apparatus
JP2010136748A (ja) 内視鏡装置およびその制御方法
JP2007195829A (ja) 内視鏡システム装置
JP5039621B2 (ja) 電子内視鏡装置
JP4813145B2 (ja) 内視鏡装置
JP2009240354A (ja) 電子内視鏡装置
JP2010115341A (ja) 電子内視鏡装置
JP2009225830A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071116

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090902

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110506

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4741264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250