JPWO2017104190A1 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JPWO2017104190A1 JPWO2017104190A1 JP2017556357A JP2017556357A JPWO2017104190A1 JP WO2017104190 A1 JPWO2017104190 A1 JP WO2017104190A1 JP 2017556357 A JP2017556357 A JP 2017556357A JP 2017556357 A JP2017556357 A JP 2017556357A JP WO2017104190 A1 JPWO2017104190 A1 JP WO2017104190A1
- Authority
- JP
- Japan
- Prior art keywords
- color correction
- color
- subject
- endoscope system
- correction parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00172—Optical arrangements with means for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Otolaryngology (AREA)
- Endoscopes (AREA)
Abstract
内視鏡システムは、赤色、緑色及び青色のレーザー光を発生させる光源と、レーザー光が入射される第1端部P1と、レーザー光を被検体に照射する第2端部P2とを有する導光部Pと、被検体からの反射光を検出し、反射光に応じた検出信号を出力する光検出部41と、被検体毎に設定された複数の色補正パラメータを記憶するメモリ61、62と、検出信号に基づいて観察画像を生成し、被検体に応じて選択された複数の色補正パラメータの少なくとも1つに基づいて観察画像の色補正をする画像処理部71と、を有する。
Description
本発明は、内視鏡システムに関する。
従来、医療分野で使用される内視鏡装置であって、直進性に優れた狭帯域光であるレーザー光によって被検体を走査し、被検体を撮像する走査型内視鏡装置が知られている。走査型内視鏡装置は、照明用光ファイバの先端を搖動させながらレーザー光を被検体に照射し、被検体の反射光を受光用光ファイバによって受光し、被検体を撮像する。走査型内視鏡は、挿入部に固体撮像素子を設けなくてもよいため挿入部の細径化が可能であり、挿入部が挿入される被検体の負担を軽減させることができる。
また、他の従来例として、日本国特開2008−302075号公報に記載されるように、ランプの照明光を被検体に照射して被検体を撮像し、観察画像に対してスコープに応じた色変換処理をすることにより、色再現の精度を向上させた内視鏡装置が提案されている。
内視鏡装置によって検出される被検体の色は、被検体に照射される光の成分と、被検体の分光反射特性とによって異なる。分光反射特性は、被検体の材質等によって異なることが知られている。
しかし、従来の走査型内視鏡装置では、赤色、緑色及び青色の3色レーザー光が被検体に照射され、被検体がLED光等の広帯域光を照射したときとは異なる色に見えてしまうことがある。同じ波長のレーザー光を照射しても分光反射特性の違いによって被検体毎に反射される光の色は異なり、広帯域光を被検体に照射したときと同じように見える色を再現して表示させることは難しい。
また、日本国特開2008−302075号公報に開示される従来の内視鏡装置は、レーザー光が照射された被検体の色を再現するものではない。
そこで、本発明は、レーザー光を照射して被検体を撮像し、被検体に応じた色の再現性を向上させることができる内視鏡システムを提供することを目的とする。
本発明の一態様の内視鏡システムは、赤色、緑色及び青色のレーザー光を発生させる光源と、前記レーザー光が入射される第1端部と、前記レーザー光を被検体に照射する第2端部とを有する導光部と、前記被検体からの反射光を検出し、反射光に応じた検出信号を出力する光検出部と、前記被検体毎に設定された複数の色補正パラメータを記憶するメモリと、前記検出信号に基づいて観察画像を生成し、前記被検体に応じて選択された前記複数の色補正パラメータの少なくとも1つに基づいて前記観察画像の色補正をする画像処理部と、を有する。
以下、図面を参照しながら、本発明の実施形態を説明する。
(構成)
図1は、本発明の実施形態に係わる、内視鏡システム1の主要部の構成を示すブロック図である。図1では、電気信号線を実線で表し、光ファイバを破線で表している。
図1は、本発明の実施形態に係わる、内視鏡システム1の主要部の構成を示すブロック図である。図1では、電気信号線を実線で表し、光ファイバを破線で表している。
内視鏡システム1の主要部は、図1に示すように、装置本体2と、内視鏡3と、表示部4とを有して構成される。装置本体2は、内視鏡3及び表示部4に接続される。
装置本体2は、制御部11と、光源である光源ユニット21と、ドライバユニット31と、光検出部である検出ユニット41と、操作部51と、メモリ61と、画像処理部71とを有して構成される。
制御部11は、光源ユニット21及びドライバユニット31の駆動制御を行う回路である。制御部11は、光源制御部12及び走査制御部13を有して構成される。
光源制御部12は、光源ユニット21に接続され、光源ユニット21に制御信号を出力し、光源ユニット21の駆動を制御できるように構成される。
走査制御部13は、ドライバユニット31に接続され、ドライバユニット31に制御信号を出力し、ドライバユニット31の駆動を制御できるように構成される。
光源ユニット21は、光源制御部12から入力される制御信号に基づいて、赤色、緑色及び青色のレーザー光を発生させ、導光部である照明用光ファイバPの入射側端部P1にレーザー光を入射させることができるように構成される。例えば、光源ユニット21は、光源制御部12から入力される制御信号に基づいて、赤色、緑色及び青色の各レーザー光を、順次繰り返して発生し、照明用光ファイバPの入射側端部P1に入射する。
光源ユニット21は、赤色、緑色及び青色の各レーザー光源22r、22g、22bと、合波器23とを有して構成される。光源ユニット21は、照明用光ファイバPに接続される。
赤色、緑色及び青色の各レーザー光源22r、22g、22bは、合波器23に接続される。
赤色のレーザー光源22rは、赤色のレーザー光を発生させる。緑色のレーザー光源22gは、緑色のレーザー光を発生させる。青色のレーザー光源22bは、青色のレーザー光を発生させる。
合波器23は、赤色、緑色及び青色の各レーザー光源22r、22g、22bから入力される光を合波することができるように構成される。合波器23は、照明用光ファイバPの入射側端部P1に接続される。合波器23は、入力された光を合波して照明用光ファイバPに出力する。
照明用光ファイバPは、光が入射される第1端部である入射側端部P1と、光を被検体に照射する第2端部である照射側端部P2とを有して構成され、入射側端部P1から照射側端部P2に、導光できるように構成される。照明用光ファイバPは、合波器23から入力される光を内視鏡3の挿入部82の先端から被検体に照射する。
ドライバユニット31は、内視鏡3のアクチュエータ81を駆動し、照明用光ファイバPの照射側端部P2を搖動させる回路である。ドライバユニット31は、信号発生器32と、D/A変換器33a、33bと、アンプ34a、34bとを有して構成される。図1では、1点鎖線により、照射側端部P2が搖動する態様を模式的に表している。
信号発生器32は、走査制御部13から入力される制御信号に基づいて、アクチュエータ81の駆動信号AX、AYを生成し、D/A変換器33a、33bに出力する。
駆動信号AXは、照明用光ファイバPの照射側端部P2をX軸方向へ搖動できるように、出力される。駆動信号AXは、例えば、下記数式(1)によって規定される。下記数式(1)において、X(t)は時刻tにおける駆動信号AXの信号レベルであり、Amxは時刻tに依存しない振幅値であり、G(t)は正弦波sin(2πft)を変調する所定の関数である。
X(t)=Amx×G(t)×sin(2πft) …(1)
駆動信号AYは、照明用光ファイバPの照射側端部P2をY軸方向へ搖動できるように出力される。駆動信号AYは、例えば、下記数式(2)によって規定される。下記数式(2)において、Y(t)は時刻tにおける駆動信号AYの信号レベルであり、Amyは時刻tに依存しない振幅値であり、G(t)は正弦波sin(2πft+φ)を変調する所定の関数であり、φは位相である。
駆動信号AYは、照明用光ファイバPの照射側端部P2をY軸方向へ搖動できるように出力される。駆動信号AYは、例えば、下記数式(2)によって規定される。下記数式(2)において、Y(t)は時刻tにおける駆動信号AYの信号レベルであり、Amyは時刻tに依存しない振幅値であり、G(t)は正弦波sin(2πft+φ)を変調する所定の関数であり、φは位相である。
Y(t)=Amy×G(t)×sin(2πft+φ) …(2)
D/A変換器33a、33bは、信号発生器32から入力される駆動信号AX、AYを、それぞれデジタル信号からアナログ信号に変換し、アンプ34a、34bに出力する。
D/A変換器33a、33bは、信号発生器32から入力される駆動信号AX、AYを、それぞれデジタル信号からアナログ信号に変換し、アンプ34a、34bに出力する。
アンプ34a、34bは、D/A変換器33a、33bから入力される駆動信号AX、AYを増幅し、増幅された駆動信号AX、AYをアクチュエータ81に出力する。
図2は、本発明の実施形態に係わる、内視鏡システム1のアクチュエータ81の構成を示す断面図である。
内視鏡3は、被検体内に挿入され、光源ユニット21によって発せられた光を被検体に照射し、被検体の反射光を撮像できるように構成される。内視鏡3は、挿入部82と、アクチュエータ81と、レンズ83と、受光部R1とを有して構成される。
挿入部82は、細長状に形成され、被検体の体内に挿入可能である。
アクチュエータ81は、照射側端部P2を搖動させ、レーザー光の照射位置を所定の走査経路に沿って移動させることが可能である。所定の走査経路は、例えば、渦巻き状の走査経路である。アクチュエータ81は、図2に示すように、フェルール84と、圧電素子85とを有して構成される。
フェルール84は、例えば、ジルコニア(セラミック)を材質として構成される。フェルール84は、照明用光ファイバPの照射側端部P2が搖動できるように、照射側端部P2の近傍に設けられる。
圧電素子85は、予め個別に設定された分極方向を有し、ドライバユニット31から入力される駆動信号AX、AYに応じて振動し、照明用光ファイバPの照射側端部P2を搖動させることができる。圧電素子85は、照明用光ファイバPの長手軸に対して直交するX軸方向へ照明用光ファイバPを搖動させるためのX軸用圧電素子85xと、照明用光ファイバPの長手軸及びX軸方向に対して直交する方向であるY軸方向へ照明用光ファイバPを搖動させるためのY軸用圧電素子85yとを有して構成される。
レンズ83は、挿入部82の先端に設けられ、照明用光ファイバPの照射側端部P2から照射された光が入射され、被検体に光を照射できるように構成される。
受光部R1は、挿入部82の先端に設けられ、被検体の反射光を受光する。受光された被検体の反射光は、受光用光ファイバRを介し、装置本体2の検出ユニット41に出力される。
図3及び図4は、本発明の実施形態に係わる、内視鏡システム1の渦巻き状の走査経路を説明する説明図である。
ドライバユニット31が信号レベルを増加させながら駆動信号AX、AYを出力すると、照明用光ファイバPは、アクチュエータ81により搖動され、照明用光ファイバPの照射位置は、図3のA1からB1に示されるように、漸次中心から遠ざかる渦巻き状の走査経路に沿って移動する。その後、ドライバユニット31が信号レベルを減少させながら駆動信号AX、AYを出力すると、照明用光ファイバPの照射位置は、図4のB2からA2に示されるように、漸次中心へ近づく渦巻き状の走査経路に沿って移動する。これにより、光源ユニット21によって順次発生する赤色、緑色及び青色の各レーザー光が、渦巻き状に被検体に照射され、被検体の反射光が受光部R1に受光され、被検体が渦巻き状に走査される。
図1に戻り、検出ユニット41は、被検体から反射光を検出し、反射光に応じた検出信号を画像処理部71に出力する回路である。検出ユニット41は、検出器42と、A/D変換器43とを有して構成される。
検出器42は、例えば、アバランシェフォトダイオード等の光電変換素子を有して構成され、受光部R1から受光用光ファイバRを介して入力される被検体の反射光を検出信号に変換し、A/D変換器43に出力する。
A/D変換器43は、検出器42から入力される検出信号をデジタル信号に変換し、画像処理部71に出力する。
操作部51は、術者によって観察モード切替えの指示入力がされる切替スイッチを有して構成される。操作部51は、画像処理部71に接続され、術者の指示入力を画像処理部71に出力できるように構成される。操作部51に対する指示入力により、術者は、観察モードを切り替え、複数の色補正パラメータの中から色補正に使用される色補正パラメータに切替え可能である。
メモリ61は、書き換え可能な不揮発性メモリによって構成される。メモリ61には、被検体毎に設定された複数の色補正パラメータが記憶される。メモリ61は、画像処理部71に接続される。画像処理部71は、メモリ61に記憶された色補正パラメータを参照可能である。
図5は、本発明の実施形態に係わる、内視鏡システム1の画像処理部71の構成を示すブロック図である。
画像処理部71は、検出ユニット41から入力される検出信号に基づいて観察画像を生成し、被検体に応じて選択された複数の色補正パラメータの少なくとも1つに基づいて観察画像の色補正をする回路である。
画像処理部71は、画像生成部72と、色補正部73とを有して構成される回路である。
画像生成部72は、検出ユニット41から検出信号が入力され、図示しないマッピングテーブルを参照して検出信号を画像情報に変換し、1フレームずつ観察画像を生成する。画像処理部71によって生成された観察画像は、色補正部73に出力される。観察画像は、赤色、緑色及び青色の信号値を含んで構成される。
なお、より良好な観察画像を生成できるように、画像処理部71は、漸次中心から遠ざかる渦巻き状の走査経路(図3のA1からB1)及び漸次中心へ近づく渦巻き状の走査経路(図4のB2からA2)のいずれか一方の走査経路に沿って検出された検出信号のみを使用し、観察画像を生成しても構わない。
色補正部73は、観察画像に対し、被検体に応じた色補正をし、色補正がされた観察画像を表示部4に出力することができるように構成される。色補正部73は、操作部51と、メモリ61と、表示部4とに接続される。色補正部73は、操作部51から指示入力された観察モードを検出し、メモリ61から観察モードに応じた色補正パラメータを取得し、画像生成部72から入力される観察画像に対して色補正パラメータによって色補正をし、表示部4に出力することができるように構成される。
例えば、操作部51に対する指示入力等によって鼻粘膜観察モードに切り替えられると、色補正部73は、メモリ61から鼻粘膜用の色補正パラメータを取得し、鼻粘膜用の色補正パラメータによって観察画像の色を補正し、表示部4に出力をする。
例えば、操作部51に対する指示入力等によって鼻汁観察モードに切り替えられると、色補正部73は、メモリ61から鼻汁用の色補正パラメータを取得し、鼻汁用の色補正パラメータによって観察画像の色を補正し、表示部4に出力をする。
表示部4は、モニタ等により構成され、画像処理部71から出力される観察画像と、観察対象である被検体を術者に示すための観察モードとを表示可能である。
続いて、色補正パラメータについて説明をする。
図6、図7及び図8は、本発明の実施形態に係わる、カラーチャートの基準の赤色、緑色及び青色の反射光強度を説明する説明図である。図6、図7及び図8は、基準になる内視鏡におけるLED光を色見本であるカラーチャートに照射したときの各色の反射光強度を示す。図6では、LEDの発光特性Dと、カラーチャートの赤色の分光反射特性Crとが重なる部分の面積により、カラーチャートの赤色の反射光強度SDrが示される。図7では、LEDの発光特性Dと、カラーチャートの緑色の分光反射特性Cgとが重なる部分の面積により、カラーチャートの緑色の反射光強度SDgが示される。図8では、LEDの発光特性Dと、カラーチャートの青色の分光反射特性Cbとが重なる部分の面積により、カラーチャートの青色の反射光強度SDbが示される。
図9は、本発明の実施形態に係わる、カラーチャートの赤色、緑色及び青色の反射光強度を説明する説明図である。図9は、内視鏡3におけるレーザー光をカラーチャートに照射したときの反射光強度を示す。赤色のレーザー光の発光特性Lrと、カラーチャートの赤色の分光反射特性Crとが重なる部分の面積により、カラーチャートの赤色の反射光強度SLrが示される。緑色のレーザー光の発光特性Lgと、カラーチャートの緑色の分光反射特性Cgとが重なる部分の面積により、カラーチャートの緑色の反射光強度SLgが示される。青色のレーザー光の発光特性Lbと、カラーチャートの青色の分光反射特性Cbとが重なる部分の面積により、カラーチャートの青色の反射光強度SLbが示される。図9では、レーザー光の発光特性Lr、Lg、Lbは、説明のため、実際よりも太く模式的に表している。
色補正パラメータは、観察画像の色相と彩度を補正できるように予め設定される。観察画像の色相と彩度は、赤色、緑色及び青色の信号値の比によって決定される。緑色の信号値を基準とするとき、緑色を除く赤色と青色の各信号値を補正し、観察画像の色相と彩度を補正することができる。したがって、色補正パラメータは、赤色の信号値に乗算される色補正パラメータYrと、青色の信号値に乗算される色補正パラメータYbとを有して構成される。
色補正パラメータは、内視鏡3の特性によって変化する色相と彩度を補正することができるように、内視鏡3の特性に応じ、予め設定される。
色補正パラメータは、被検体毎に、被検体の分光反射特性に応じ、予め複数設定される。例えば、色補正パラメータは、鼻粘膜の分光反射特性に応じて設定された鼻粘膜用の色補正パラメータと、鼻汁の分光反射特性に応じて設定された鼻汁用の色補正パラメータとを含んで構成される。例えば、鼻粘膜用の色補正パラメータは、青色の信号値を減少させるパラメータ値を含んで構成される。
観察画像の色相角及び彩度値は、赤色、緑色及び青色の反射光強度の比に応じて変化する。下記の数式(3)に示すように、内視鏡3における赤色、緑色及び青色のレーザー光によって被検体(ここでは、カラーチャート)を撮像したときの赤色、緑色及び青色の反射光強度の比が、図示しない基準になる内視鏡(以下「基準内視鏡」という)のLED光によって被検体を撮像したときの反射光強度の比と等しいとき、内視鏡3によって撮像される被検体の色相角及び彩度値が、基準内視鏡によって撮像される被検体の色相角(以下「基準色相角」という)及び彩度値(以下「基準彩度値」という)と同一状態になる。
SDr:SDg:SDb=SLr:SLg:SLb …(3)
上記の数式(3)により、色補正パラメータXr(赤色)、Xg(緑色)、Xb(青色)は、次の数式(4)(5)(6)によって表される。
上記の数式(3)により、色補正パラメータXr(赤色)、Xg(緑色)、Xb(青色)は、次の数式(4)(5)(6)によって表される。
Xr=SDr/SLr …(4)
Xg=SDg/SLg …(5)
Xb=SDb/SLb …(6)
色補正パラメータXg(緑色)を基準にすると、色補正パラメータYr(赤色)、Yb(青色)は、次の数式(7)(8)によって表される。
Xg=SDg/SLg …(5)
Xb=SDb/SLb …(6)
色補正パラメータXg(緑色)を基準にすると、色補正パラメータYr(赤色)、Yb(青色)は、次の数式(7)(8)によって表される。
Yr=Xr/Xg …(7)
Yb=Xb/Xg …(8)
画像生成部72によって生成される観察画像は、反射光強度SLr、SLg、SLbに応じた赤色、緑色及び青色の信号値を含んで構成される。色補正部73では、画像生成部72から入力される観察画像に対し、緑色を基準とし、赤色の信号値に色補正パラメータYr(赤色)を乗算し、青色の信号値に色補正パラメータYb(青色)を乗算し、基準内視鏡によって撮像されるカラーチャートの色を再現可能である。
Yb=Xb/Xg …(8)
画像生成部72によって生成される観察画像は、反射光強度SLr、SLg、SLbに応じた赤色、緑色及び青色の信号値を含んで構成される。色補正部73では、画像生成部72から入力される観察画像に対し、緑色を基準とし、赤色の信号値に色補正パラメータYr(赤色)を乗算し、青色の信号値に色補正パラメータYb(青色)を乗算し、基準内視鏡によって撮像されるカラーチャートの色を再現可能である。
続いて、色補正パラメータの設定フローについて説明をする。
図10は、本発明の実施形態に係わる、内視鏡システム1の色補正パラメータ設定フローの例を示すフローチャートである。図10では、鼻粘膜に対する赤色の色補正パラメータの設定フローを例示している。図11は、本発明の実施形態に係わる、内視鏡システム1の鼻粘膜の分光反射特性Mを示す図である。図12は、本発明の実施形態に係わる、内視鏡システム1の鼻汁の分光反射特性Nを示す図である。
色補正パラメータは、内視鏡システム1の工場出荷前に設定される。色補正パラメータは、図10に示すフローに従い、CPUによってプログラムを実行可能である色補正パラメータ設定装置6(図1の2点鎖線)の処理によって設定される。以下、色補正パラメータ設定装置6の処理を説明する。なお、色補正パラメータは、図10に示すフローに従い、手作業によって設定されても構わない。
内視鏡3の特性に応じた色補正パラメータの作成処理をする(S1)。S1では、カラーチャートの赤色の基準色相角及び基準彩度値を取得する。基準色相角及び基準彩度値は、予め、基準内視鏡によって赤色のLED光を照射してカラーチャートを撮像し、ベクトルスコープ等の色相彩度検出装置5(図1の2点鎖線)に出力される検出結果によって設定される。
次に、内視鏡3によって赤色のレーザー光を照射してカラーチャートを撮像し、色相角及び彩度値を色相彩度検出装置5に出力する。内視鏡3によって取得される色相角及び彩度値が、基準色相角及び基準彩度値と一致状態になるまで、赤色の色補正パラメータXrを所定値だけずらしながら修正し、赤色の色補正パラメータXrを作成する。なお、内視鏡3によって取得される色相角及び彩度値と、基準色相角及び基準彩度値との一致状態は、許容できる範囲の誤差があっても構わない。
カラーチャートの分光反射率Cr1と、鼻粘膜の分光反射率Mrとを比較する(S2)。S2では、照射するレーザー光の波長における、カラーチャートの分光反射率Cr1と、鼻粘膜の分光反射率Mrとを比較し、カラーチャートの分光反射率Cr1が鼻粘膜の分光反射率Mrよりも大きいとき、処理はS3に進む。また、カラーチャートの分光反射率Cr1が鼻粘膜の分光反射率Mrよりも小さいとき、処理はS6に進む。また、カラーチャートの分光反射率Cr1と鼻粘膜の分光反射率Mrが等しいとき、処理は終了する。例えば、図11では、赤色レーザー光Lrの波長において、カラーチャートの分光反射率Cr1が、鼻粘膜の分光反射率Mrよりも大きいため、処理はS3に進む。
S3では、鼻粘膜の基準色相角及び基準彩度値を取得する。鼻粘膜の基準色相角及び基準彩度値は、予め、基準内視鏡によってLED光を照射して鼻粘膜を撮像し、色相彩度検出装置5に出力される検出結果によって設定される。
色補正パラメータXrを所定値だけ増加させる(S4)。S4では、色補正パラメータXrを所定値だけ増加させ、内視鏡3によって赤色のレーザー光を照射して鼻粘膜を撮像し、観察画像を出力する。
観察画像の鼻粘膜の赤色の色相角及び彩度値が、鼻粘膜の基準色相角及び基準彩度値と一致状態であるか否かを判定する(S5)。S5では、観察画像の色相角及び彩度値を色相彩度検出装置5に出力し、観察画像の色相角及び彩度値がS3で取得した基準色相角及び基準彩度値と一致状態であるか否かを判定する。一致状態ではないとき(S5:NO)、処理はS4に戻る。一方、一致状態であるとき、処理は終了する。
S6では、基準内視鏡によって鼻粘膜の基準色相角及び基準彩度値を取得する。
色補正パラメータXrを所定値だけ減少させる(S7)。S7では、色補正パラメータXrを所定値だけ減少させ、内視鏡3によって赤色のレーザー光を照射して鼻粘膜を撮像し、観察画像を出力する。
観察画像の鼻粘膜の赤色の色相角及び彩度値が、基準色相角及び基準彩度値と一致状態であるか否かを判定する(S8)。S8では、観察画像の色相角及び彩度値を色相彩度検出装置5に出力し、観察画像の色相角及び彩度値がS6で取得した基準色相角及び基準彩度値と一致状態であるか否かを判定する。一致状態ではないとき(S8:NO)、処理はS6に戻る。一方、一致状態であるとき、処理は終了する。
上述のS1からS8の処理により、赤色の色補正パラメータXrが設定される。
同様の処理により、緑色の色補正パラメータXg、青色の色補正パラメータXbが設定される。
色補正パラメータXr、Xg、Xbに基づいて、数式(7)(8)によって演算し、色補正パラメータYr、Ybが設定される。
図12は、鼻汁の分光反射特性を示す図である。鼻汁についても、S1からS8の処理により、色補正パラメータXr、Xg、Xbが設定され、数式(7)(8)により、色補正パラメータYr、Ybが設定される。
実施形態によれば、レーザー光を照射して被検体を撮像し、被検体に応じた色の再現性を向上させることができる。
(実施形態の変形例1)
実施形態では、操作部51に対する指示入力によって観察モードが切り替えられるが、観察モードは、観察画像の全体の色相角と彩度値によって切り替えられても構わない。
実施形態では、操作部51に対する指示入力によって観察モードが切り替えられるが、観察モードは、観察画像の全体の色相角と彩度値によって切り替えられても構わない。
実施形態の変形例1では、画像処理部71は、観察画像における所定の色の占める割合を検出し、検出された所定の色の占める割合に応じ、複数の色補正パラメータの中から少なくとも1つの色補正パラメータを決定する。
より具体的には、色補正部73は、画像生成部72から入力される観察画像から所定の色相及び彩度を示す特徴領域を検出し、観察画像における検出された特徴領域の占める割合が所定値以上であるとき、所定の観察モードに切り替え、メモリ61に記憶される複数の色補正パラメータの中から所定の色補正パラメータを決定する。
例えば、観察画像に対し、赤色の特徴領域の占める割合が所定値以上であるとき、色補正部73は、観察モードを鼻粘膜モードに切り替え、鼻粘膜用の色補正パラメータによって色補正を行う。また、観察画像に対し、黄色によって特徴づけられる特徴領域の占める割合が所定値以上であるとき、色補正部73は、観察モードを鼻汁モードに切り替え、鼻汁用の色補正パラメータによって色補正を行う。
実施形態の変形例1によれば、被検体の色に応じた色補正パラメータの切り替えが行われ、レーザー光を照射して被検体を撮像し、被検体に応じた色の再現性を向上させることができる。
(実施形態の変形例2)
実施形態の変形例1では、観察画像の全体の色相と彩度によって観察モードが切り替えられるが、観察画像を構成する複数の小領域毎に、観察モードが切り替えられても構わない。
実施形態の変形例1では、観察画像の全体の色相と彩度によって観察モードが切り替えられるが、観察画像を構成する複数の小領域毎に、観察モードが切り替えられても構わない。
色補正部73は、観察画像を構成する複数の小領域の各々に対し、所定の色の占める割合を検出し、検出された所定の色の占める割合に応じ、複数の色補正パラメータの中から少なくとも1つの色補正パラメータを決定する。
色補正部73は、隣り合う小領域の境界の色を平滑化する。色補正部73は、互いの小領域の境界の画素又は色補正パラメータに対してスムージング処理を施し、互いの色をぼんやりさせ、色が自然に移り替わるように画像処理をする。
実施形態の変形例2によれば、小領域毎に被検体の色に応じた色補正パラメータが設定され、レーザー光を照射して被検体を撮像し、被検体に応じた色の再現性を向上させることができる。
なお、実施形態では、色補正部73は、1つの観察モードに対応する色補正パラメータによって色補正を行うが、複数の観察モードに対応する色補正パラメータに基づいて演算することによって色補正パラメータを算出し、色補正を行っても構わない。
色補正パラメータは、例えば、鼻粘膜用の色補正パラメータと、鼻汁用の色補正パラメータとの平均値を演算することによって、中間補正パラメータとして算出されても構わない。
他の色補正パラメータの算出例として、例えば、内視鏡3の長さに応じて赤色等の特定の色の光の成分の減衰があるとき、色補正パラメータは、特定の色の光の減衰量を補完できるように、所定の調整係数を乗算して算出されても構わない。
他の色補正パラメータの算出例として、例えば、表示部4が色補正機能を有するとき、色補正パラメータは、表示部4の色補正機能の特徴に合わせて設定されても構わない。
なお、実施形態では、メモリ61は、装置本体2に設けられるが、内視鏡3内にメモリ62を設けても構わない。
なお、実施形態では、検出器42は1つであるが、赤色、緑色及び青色用の3つの検出器を有しても構わない。
なお、実施形態では、色補正パラメータは、鼻粘膜用の色補正パラメータと、鼻汁用の色補正パラメータとを例示しているが、色補正パラメータは、鼻粘膜用及び鼻汁用に限定されず、他の被検体の撮像に使用される色補正パラメータであっても構わない。
(倍率色収差補正の画像処理)
ところで、被検体によって反射した光はレンズを通過する際に屈折するが、光の屈折率は光の波長、すなわち光の色によって異なる。その結果、光の色によってレンズの焦点距離は異なり、レンズ周縁部に色ずれを生じさせる。レンズ周縁部の色ずれは、倍率色収差補正の画像処理によって補正される。
ところで、被検体によって反射した光はレンズを通過する際に屈折するが、光の屈折率は光の波長、すなわち光の色によって異なる。その結果、光の色によってレンズの焦点距離は異なり、レンズ周縁部に色ずれを生じさせる。レンズ周縁部の色ずれは、倍率色収差補正の画像処理によって補正される。
図13、図14及び図15は、倍率色収差の画像処理を説明する説明図である。図13において、H及びVによって示される座標はテレビジョン座標系の座標を示し、X及びYによって示される座標は中心座標系の座標を示す。
メモリには、1/8象限である領域Q2bのテレビジョン座標系変換テーブルが記憶される。テレビジョン座標系変換テーブルは、テレビジョン座標系により、領域Q2bに配置される全ての画素の各々に対し、画素の参照元座標データHn、Vnと、画素の参照先座標データΔHn、ΔVnとを有して構成される。参照先座標データΔHn、ΔVnは、画素の移動量として規定される。
画像処理装置は、1/8象限のテレビジョン座標系変換テーブルを参照し、4象限の中心座標系変換テーブルを作成可能である。画像処理装置は、作成された中心座標系変換テーブルを参照し、中心座標系変換テーブルに含まれる全ての画素の各々に対し、画素の座標データXn、Ynと、参照先座標データΔXn、ΔYnとを取得し、参照元座標(Xn,Yn)の画素値を、参照先座標(Xn+ΔX,Yn+ΔY)の画素値に置き換えることにより、画素を移動させ、倍率色収差補正をすることが可能である。
中心座標系変換テーブルの作成は、次のように行われる。
画像処理装置は、領域Q2bのテレビジョン座標系変換テーブルを垂直水平反転させ領域Q2aのテレビジョン座標系変換テーブルを作成する。具体的には、領域Q2bに含まれる全ての参照元座標データHn及びVnを互いに入れ替え、かつ参照先座標データΔHn及びΔVnを互いに入れ替えることにより、領域Q2bのテレビジョン座標系変換テーブルが作成される。
画像処理装置は、領域Q2aのテレビジョン座標系変換テーブルと、領域Q2bのテレビジョン座標系変換テーブルとを合わせ、領域Q2のテレビジョン座標系変換テーブルを作成する。
画像処理装置は、次の数式に示す演算を行うことにより、中心座標系変換テーブルを作成する。中心座標系変換テーブルは、画素の参照元座標データXn、Ynと、画素の参照先座標データΔXn、ΔYnとを有して構成される。参照先座標データΔXn、ΔYnは、画素の移動量として規定される。
領域Q1について、
Xn=199−Hn
Yn=199−Vn
ΔXn=−1×ΔHn
ΔYn=ΔVn
領域Q2について、
Xn=Hn−200
Yn=199−Vn
ΔXn=ΔHn
ΔYn=ΔVn
領域Q3について、
Xn=199−Hn
Yn=Vn−200
ΔXn=−1×ΔHn
ΔYn=−1×ΔVn
領域Q4について、
Xn=Hn−200
Yn=Vn−200
ΔXn=ΔHn
ΔYn=−1×ΔVn
例えば、図14では、テレビジョン座標系の座標(201,198)は、領域Q1の中心座標系の座標(−2,1)、領域Q2の中心座標系の座標(1,1)、領域Q3の中心座標系の座標(−2,−2)、領域Q4の中心座標系の座標(1,−2)に変換され、中心座標系変換テーブルが作成される。
Xn=199−Hn
Yn=199−Vn
ΔXn=−1×ΔHn
ΔYn=ΔVn
領域Q2について、
Xn=Hn−200
Yn=199−Vn
ΔXn=ΔHn
ΔYn=ΔVn
領域Q3について、
Xn=199−Hn
Yn=Vn−200
ΔXn=−1×ΔHn
ΔYn=−1×ΔVn
領域Q4について、
Xn=Hn−200
Yn=Vn−200
ΔXn=ΔHn
ΔYn=−1×ΔVn
例えば、図14では、テレビジョン座標系の座標(201,198)は、領域Q1の中心座標系の座標(−2,1)、領域Q2の中心座標系の座標(1,1)、領域Q3の中心座標系の座標(−2,−2)、領域Q4の中心座標系の座標(1,−2)に変換され、中心座標系変換テーブルが作成される。
画像処理装置は、1/8象限の変換テーブルから4象限の変換テーブルを作成可能であり、変換テーブルを記憶するメモリの記憶量を削減可能である。
ところで、倍率色収差補正では、画像処理装置は、メモリに観察画像のコピーを一時保存し、一時保存された観察画像を参照し、参照先座標(Xn+ΔXn,Yn+ΔYn)の画素値を取得し、オリジナルの観察画像における参照元座標の画素値を参照先座標の画素値によって置き換える。
観察画像を一時保存するとき、画像処理装置は、最大の移動量の画素の移動をカバーできるライン数分だけ、メモリに観察画像を一時保存する。より具体的には、画像処理装置は、処理対象となる各画素から複数の参照先座標データΔYnの値を取得し、複数の参照先座標データΔYnの中から、画素の最大の移動量を示す参照先座標データΔYmaxを抽出する。続いて、図15に示すように、画像処理装置は、観察画像の中から参照先座標データΔYmaxの値と同じライン数だけ画像を抽出してメモリに一時保存する。
画像処理装置は、観察画像を一時保存するメモリの記憶量を削減可能である。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明によれば、レーザー光を照射して被検体を撮像し、被検体に応じた色の再現性を向上させることができる内視鏡システムを提供することができる。
本出願は、2015年12月14日に日本国に出願された特願2015−243284号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
Claims (12)
- 赤色、緑色及び青色のレーザー光を発生させる光源と、
前記レーザー光が入射される第1端部と、前記レーザー光を被検体に照射する第2端部とを有する導光部と、
前記被検体からの反射光を検出し、反射光に応じた検出信号を出力する光検出部と、
前記被検体毎に設定された複数の色補正パラメータを記憶するメモリと、
前記検出信号に基づいて観察画像を生成し、前記被検体に応じて選択された前記複数の色補正パラメータの少なくとも1つに基づいて前記観察画像の色補正をする画像処理部と、
を有することを特徴とする内視鏡システム。 - アクチュエータを有し、
前記アクチュエータは、前記第2端部を搖動させ、前記レーザー光の照射位置を所定の走査経路に沿って移動させることが可能である、
ことを特徴とする請求項1に記載の内視鏡システム。 - 前記アクチュエータは、前記レーザー光の照射位置を渦巻き状の走査経路に沿って変位させることが可能である、ことを特徴とする請求項2に記載の内視鏡システム。
- 前記複数の色補正パラメータの各々は、前記被検体毎に、前記被検体の分光反射特性に応じて設定される、ことを特徴とする請求項1に記載の内視鏡システム。
- 前記複数の色補正パラメータは、鼻粘膜の分光反射特性に応じて設定された鼻粘膜用の色補正パラメータと、鼻汁の分光反射特性に応じて設定された鼻汁用の色補正パラメータとを有する、ことを特徴とする請求項1に記載の内視鏡システム。
- 前記観察画像は、赤色、緑色及び青色の信号値を含んで構成され、
前記鼻粘膜用の色補正パラメータは、青色の信号値を減少させるパラメータ値を含む、
ことを特徴とする請求項5に記載の内視鏡システム。 - 前記複数の色補正パラメータは、第1の色補正パラメータと、第2の色補正パラメータとに基づいて算出される中間補正パラメータを含むことを特徴とする請求項5に記載の内視鏡システム。
- 前記第1の色補正パラメータは、前記鼻粘膜用の色補正パラメータであり、
前記第2の色補正パラメータは、前記鼻汁用の色補正パラメータである、
ことを特徴とする請求項7に記載の内視鏡システム。 - 前記画像処理部は、前記観察画像における所定の色の占める割合を検出し、検出された前記所定の色の占める割合に応じ、前記複数の色補正パラメータの中から少なくとも1つの色補正パラメータを決定することを特徴とする請求項1に記載の内視鏡システム。
- 前記観察画像は、複数の小領域によって構成され、
前記画像処理部は、複数の小領域の各々に対し、所定の色の占める割合を検出し、検出された前記所定の色の占める割合に応じ、前記複数の色補正パラメータの中から少なくとも1つの色補正パラメータを決定して色補正をする、
ことを特徴とする請求項1に記載の内視鏡システム。 - 前記画像処理部は、隣り合う小領域の境界の色を平滑化することを特徴とする請求項1に記載の内視鏡システム。
- 操作部を有し、前記操作部に対する指示入力により、前記複数の色補正パラメータの中から色補正に使用される色補正パラメータに切替え可能であることを特徴とする請求項1に記載の内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015243284 | 2015-12-14 | ||
JP2015243284 | 2015-12-14 | ||
PCT/JP2016/076195 WO2017104190A1 (ja) | 2015-12-14 | 2016-09-06 | 内視鏡システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017104190A1 true JPWO2017104190A1 (ja) | 2018-10-04 |
Family
ID=59055901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556357A Pending JPWO2017104190A1 (ja) | 2015-12-14 | 2016-09-06 | 内視鏡システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180289247A1 (ja) |
JP (1) | JPWO2017104190A1 (ja) |
WO (1) | WO2017104190A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021137150A (ja) * | 2020-03-03 | 2021-09-16 | Hoya株式会社 | 内視鏡システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3283131B2 (ja) * | 1993-12-22 | 2002-05-20 | オリンパス光学工業株式会社 | 内視鏡装置 |
JP2006146646A (ja) * | 2004-11-22 | 2006-06-08 | Noritsu Koki Co Ltd | 写真画像処理方法及びその装置 |
JP2010045615A (ja) * | 2008-08-13 | 2010-02-25 | Olympus Corp | 撮像装置および内視鏡システム |
JP6180335B2 (ja) * | 2014-01-24 | 2017-08-16 | オリンパス株式会社 | 光走査型内視鏡装置 |
-
2016
- 2016-09-06 JP JP2017556357A patent/JPWO2017104190A1/ja active Pending
- 2016-09-06 WO PCT/JP2016/076195 patent/WO2017104190A1/ja active Application Filing
-
2018
- 2018-06-12 US US16/005,767 patent/US20180289247A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20180289247A1 (en) | 2018-10-11 |
WO2017104190A1 (ja) | 2017-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8363099B2 (en) | Microscope system and method of operation thereof | |
JP5490331B1 (ja) | 内視鏡システム | |
JP6964592B2 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
US8994804B2 (en) | Scanning endoscope system | |
JP6072374B2 (ja) | 観察装置 | |
JP5974206B2 (ja) | 光源装置 | |
JP2015230229A (ja) | 非接触レーザスキャニング分光画像取得装置及び分光画像取得方法 | |
WO2014020943A1 (ja) | 内視鏡システム | |
WO2017104190A1 (ja) | 内視鏡システム | |
JP2008203416A (ja) | レーザ顕微鏡 | |
JP2016193144A (ja) | 内視鏡システムおよび計測方法 | |
US10491873B2 (en) | Scanning observation apparatus and image display method of scanning observation apparatus | |
JP6416277B2 (ja) | 光走査型内視鏡装置 | |
JP2018000795A (ja) | 内視鏡プロセッサ | |
JP5974208B1 (ja) | 光走査型観察システム | |
JP6381123B2 (ja) | 光走査型観察システム | |
JP2013160893A (ja) | 顕微鏡とその収差補正方法 | |
WO2017037781A1 (ja) | 走査型観察装置 | |
JP6465436B2 (ja) | 走査型内視鏡システム | |
JP2018015110A (ja) | 内視鏡プロセッサ | |
WO2016017199A1 (ja) | 光走査型観察システム | |
WO2014024530A1 (ja) | 走査型内視鏡装置、画像処理装置、画像処理方法 | |
JP6640231B2 (ja) | 光走査型観察システム | |
US20190302444A1 (en) | Endoscopic device, method of determining switching of optical system in the same, and recording medium | |
JP2004093982A (ja) | 走査型顕微鏡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190826 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201215 |