JPWO2018051679A1 - 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 - Google Patents
計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 Download PDFInfo
- Publication number
- JPWO2018051679A1 JPWO2018051679A1 JP2018539568A JP2018539568A JPWO2018051679A1 JP WO2018051679 A1 JPWO2018051679 A1 JP WO2018051679A1 JP 2018539568 A JP2018539568 A JP 2018539568A JP 2018539568 A JP2018539568 A JP 2018539568A JP WO2018051679 A1 JPWO2018051679 A1 JP WO2018051679A1
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- spot
- imaging
- optical axis
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 262
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 269
- 238000003384 imaging method Methods 0.000 claims abstract description 206
- 239000003550 marker Substances 0.000 claims abstract description 88
- 230000035945 sensitivity Effects 0.000 claims abstract description 13
- 238000005286 illumination Methods 0.000 claims description 63
- 239000013307 optical fiber Substances 0.000 claims description 33
- 238000003780 insertion Methods 0.000 claims description 17
- 230000037431 insertion Effects 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 10
- 230000004907 flux Effects 0.000 claims description 5
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 21
- 238000012986 modification Methods 0.000 description 20
- 230000004048 modification Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 239000004065 semiconductor Substances 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 6
- 239000000835 fiber Substances 0.000 description 5
- 239000007788 liquid Substances 0.000 description 5
- 230000010355 oscillation Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 229910010413 TiO 2 Inorganic materials 0.000 description 1
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000012779 reinforcing material Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- OGIDPMRJRNCKJF-UHFFFAOYSA-N titanium oxide Inorganic materials [Ti]=O OGIDPMRJRNCKJF-UHFFFAOYSA-N 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
- A61B2562/0242—Special features of optical sensors or probes classified in A61B5/00 for varying or adjusting the optical path length in the tissue
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Astronomy & Astrophysics (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、内視鏡システムのプロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体110(内視鏡)、内視鏡プロセッサ200(内視鏡システムのプロセッサ)、光源装置300、及びモニタ400から構成される内視鏡装置100を含んでいる。
内視鏡本体110は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察を行う。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。先端硬質部116には、撮像光学系130(撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1〜3参照)。
図2及び図5に示すように、レーザモジュール500はレーザ光源モジュール502(光源、レーザ光源)と、光ファイバー504(光ファイバー)と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール(ferrule)508に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRIN(Graded Index)レンズ510(コリメータ、グレーデッドインデックス型レンズ)が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図5の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
図7は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図7のように光軸L2が光軸L1上を通るように見える。なお、図8は図4の構成に対応する図である。図4及び図8に示す態様においても、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。
図2に示すように、光源装置300は、照明用の光源310(照明光源)、絞り330、集光レンズ340、及び光源制御部350(制御部)等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A(照明光源)及び赤外光源310B(照明光源)を備えており、可視光及び赤外線の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は、光源制御部350(制御部)により制御され、後述するように、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができるようになっている。
次に、図2に基づき内視鏡プロセッサ200(計測部、記憶部、マーカ生成部、表示制御部、光源駆動部、レーザ駆動部)の構成を説明する。内視鏡プロセッサ200は、内視鏡装置100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、マーカ生成部、表示制御部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU(Central Processing Unit;中央処理装置)210(計測部、マーカ生成部、表示制御部)の制御下で行われる。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替や重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の結像面におけるスポット位置の測定や、測定した位置に基づくマーカの大きさ(ピクセル数)の算出が行われる(後述)。メモリ212(記憶部)には、CPU210や画像処理部204が行う処理に必要な情報、例えば撮像素子134の結像面におけるスポットの位置とマーカの大きさとの関係があらかじめ記憶されている。この関係は、関数形式で記憶してもよいし、ルックアップテーブル形式で記憶してもよい。
図10は内視鏡装置100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図10では、スポットSP0が腫瘍tm(黒色で隆起している部分)の付近に形成されている様子を示す。
次に、内視鏡システム10を用いた被検体の計測支援方法について説明する。図11は計測支援方法の処理を示すフローチャートである。
第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図12(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1において観察可能であるとすると、範囲R1の近端P1、中央付近の点P2、及び遠端P3では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図12において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行うようにしている。
第1の実施形態では、撮像素子134の撮像面におけるスポットの位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してスポット位置に関連づけてメモリ212に記憶しておき、計測したスポット位置に応じてこの関係を参照してマーカの大きさを算出する。以下、スポット位置とマーカの大きさとの関係の測定手順の例を説明する。なお、ここではマーカは十字型とし、水平方向及び垂直方向の実寸サイズを5mmとして説明するが、本発明におけるマーカはこのような態様に限定されるものではない。
次に、計測補助光の好ましい傾き角の値について、実施例及び比較例を用いて説明する。
実施例及び比較例で用いるパラメータの定義を、図27及び図28を参照しつつ説明する。レーザヘッド506と撮像光学系130の位置関係を、撮像光学系130の光軸L2を含んだ2次元平面に射影して考える。計測(測長)範囲を撮像光学系130の先端からの距離で定義して近端をzn(mm)、遠端をzf(mm)とする。レーザヘッド506と撮像光学系130の中心間の距離をdcl(mm)とする。撮像光学系130の観測できる画角をθ(度;deg)とする。遠端でのスポットの位置は、撮像光学系130の光軸L2からの距離がz1(mm)であるものとする。またその時の像高をz1aとする。近端でのスポットの位置は、撮像光学系130の光軸L2からの距離がz2(mm)であるものとする。またその時の像高をz2aとする。レーザ光(計測補助光)が撮像光学系130の光軸L2を横切る位置は撮像光学系130の先端からの距離がa(mm)であり、横切った位置から遠端までの距離はb(mm)である。なお、図27においてはレーザヘッド506と撮像光学系130の位置関係を上述の2次元平面に射影しているので、3次元空間では必ずしも両光軸が交わる必要はない(両光軸は図7,8のような関係でもよいし、図9のような関係でもよい)。撮像光学系130の光軸L2と計測補助光の光軸L1とのなす角(計測補助光の傾き角)をAngle(度)とする。プリズム512の屈折率をnとしたときに、プリズム512の頂角(図28参照)をα(度)とする(頂角αは図5の頂角AL1に対応する)。また、図28に示すように、計測補助光の出射方向がプリズム512の鏡面512Aに対する垂線となす角をβ(度)とする。図28において、(a)部分、(b)部分、(c)部分はそれぞれプリズム512の側面図、上面図、背面図である。なお、プリズム512の素材(図29の“Material”)としては一般名称が「BK7」である光学ガラスとTiO2(酸化チタン)とのうちいずれか(実施例及び比較例により異なる;図29参照)を用いたが、これらに限らずレンズに用いるガラス材料等を用いても良い。
上述した第1の実施形態では、レーザヘッド506がGRINレンズ510及びプリズム512を備え、計測補助光が波長650nmの赤色レーザ光である態様について説明したが、本発明においてレーザヘッドの構成及び計測補助光の波長、及びこれらに基づく計測処理はこのような態様に限定されるものではない。レーザヘッドの構成及び計測補助光の波長についての他の態様について、以下に説明する。なお以下の説明において、第1の実施形態と同様の構成には同一の参照符号を付し、詳細な説明を省略する。
第2の実施形態では、レーザヘッドの構成は第1の実施形態に係るレーザヘッド506と同じであるが、計測補助光の波長が波長445nmの青色レーザ(半導体レーザ)である点が第1の実施形態と異なる。なお半導体レーザの代わりにLEDを用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。
次に、本発明の第3の実施形態について説明する。第3の実施形態では、レーザヘッドの構成は上述した第1,第2の実施形態と同様であるが、第3の実施形態では計測補助光の波長が波長505nmの緑色レーザ(半導体レーザ)である点が第1,第2の実施形態と異なる。なお半導体レーザの代わりにLED(例えば、波長530nm)または固体レーザ(例えば、波長532nm)を用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。
次に、本発明の第4の実施形態について説明する。第4の実施形態では、上述した第1〜第3の実施形態とはレーザモジュール(レーザヘッド)の構成が異なる。第4の実施形態に係るレーザモジュール520の構成は図30の通りであり、レーザヘッド516(ヘッド)において、光ファイバー504の先端側にGRINレンズ510に変えて光ファイバー505(コリメータ、グレーデッドインデックス型光ファイバー)が設けられている。この光ファイバー505は屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス(Graded Index)型光ファイバーであり、GRINレンズ510と同様に、光ファイバー504により導光されて入射したレーザ光を平行な光束にして出射するコリメータとして機能する。光ファイバー505から出射される光束の広がりは光ファイバー505の長さを調節することで調節でき、平行な光束のレーザ光を出射させるには(λ/4)ピッチ(λはレーザ光の波長)程度にすればよい。
次に、本発明の第5の実施形態について説明する。第5の実施形態では、上述した第1〜第4の実施形態とはレーザモジュール(レーザヘッド)の構成が異なる。第5の実施形態に係るレーザモジュール530の構成は図31の通りであり、レーザヘッド526(ヘッド)の先端部分にプリズムは設けられておらずGRINレンズ510A(コリメータ)が設けられている点が異なっている。GRINレンズ510Aは第1〜第3の実施形態に係るGRINレンズ510と同様に屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス型レンズであるが、先端側にプリズムが設けられていない分GRINレンズ510よりも光軸方向の長さが長く、また先端が斜めにカットされていて、この斜めにカットされた先端部分がプリズムとして機能する。図31の角度AL2が図5,30におけるプリズム512の頂角AL1に対応する。
次に、上述した実施形態の変形例について説明する。上述した第1〜第5の実施形態では、プリズム512またはGRINレンズ510Aにより計測補助光の出射角度を変更しているが、本発明において計測補助光の出射角度を変更する手段はこれらの部材に限定されるものではない。例えば図32の変形例1に示すように、レーザヘッド540から出射されたレーザビームB1(計測補助光)を、レーザヘッド540の前方(先端硬質部116の先端側)に設けられたミラー542で反射することで計測補助光の出射角度を変更してもよい。なお、図32において参照符号L2,θ2,L3はそれぞれ撮像光学系130の光軸、撮像光学系130の撮影画角、レーザビームB1の光軸を示す。
上述した第1の実施形態では固体のプリズム512を用いているため計測補助光の傾き角(出射方向)は一定であるが、液体プリズムを用いて計測補助光の傾き角を変更可能に構成してもよい。例えば、WO2012/043211号公報には第1,第2液体の界面位置を制御して光軸に対するプリズム界面の傾きを制御可能な液体プリズムが記載されており、このような液体プリズムを用いることで計測条件に応じて計測補助光の傾き角を変更することができる。なお、変形例2における撮像光学系の光軸と計測補助光の光軸との関係は第1〜第5の実施形態と同様の関係にすることができ、これにより第1〜第5の実施形態及び変形例1と同様に被写体の大きさを容易かつ高精度に計測することができる。
次に、変形例3について説明する。上述した第1〜第5の実施形態及び変形例1,2ではプリズム、GRINレンズ、ミラー、及び液体プリズム等の光学部材により計測補助光の出射方向を変更し計測補助光の光軸が撮像光学系の光軸に対し0度でない傾き角を有するようにしているが、このような状態を実現する手段は光学部材の配置に限定されるものではない。先端硬質部116の径が問題にならない場合は、図33に示すようにレーザヘッド540を撮像光学系130に対し斜めに配置することができる。
上述した実施形態及び変形例では、照明及び観察用の光源装置300(照明光源)が可視光源310A(照明光源)及び赤外光源310B(照明光源)を備える場合について説明しているが、本発明の実施において光源の構成はこのような態様に限られない。例えば(白色)、(青色、緑色、赤色)、または(紫色、青色、緑色、赤色)等波長の異なる複数のLEDの組合せにより光源を構成してもよい。この場合各色のLEDを単独で発光させてもよいし、複数色のLEDを同時に発光させてもよい。また全ての色のLEDを同時に発光させることで白色光を照射してもよい。
上述した実施形態及び変形例では、撮像素子134は各画素に対しカラーフィルタが配設されたカラー撮像素子である場合について説明したが、本発明において撮像素子の構成及び撮像方式はこのような態様に限定されるものではなく、モノクロ撮像素子(CCD型、CMOS型等)でもよい。
本発明の計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法は、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置及び計測支援方法は、内視鏡に限らず、工業用部品や製品の寸法や形状を計測する場合にも適用できる。
100 内視鏡装置
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
110 内視鏡本体
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 内視鏡プロセッサ
202 画像入力コントローラ
204 画像処理部
206 ビデオ出力部
208 操作部
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
503 集光レンズ
504 光ファイバー
505 光ファイバー
506 レーザヘッド
507 補強材
508 フェルール
509 ハウジング
510 GRINレンズ
510A GRINレンズ
512 プリズム
512A 鏡面
516 レーザヘッド
526 レーザヘッド
520 レーザモジュール
530 レーザモジュール
540 レーザヘッド
542 ミラー
AL1 頂角
B1 レーザビーム
B2 レーザビーム
IA 撮像範囲
L1 光軸
L1A 光軸
L1B 光軸
L2 光軸
L3 光軸
L4 光軸
M1〜M3 マーカ
M1A マーカ
M3A マーカ
P1 近端
P3 遠端
P4〜P9 スポット位置
R1 範囲
R2 撮像範囲
R3 撮像範囲
S10〜S34 計測支援方法の各ステップ
SP0 スポット
sp1〜sp5 スポット
g1,g2 関数
h1,h2 関数
tm 腫瘍
tm1〜tm3 腫瘍
α 頂角
δ1 傾き角
δ2 傾き角
Claims (16)
- 光源から出射された計測補助光を平行な光束にして出射するコリメータを含むヘッドと、
前記ヘッドから出射された計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、
前記被写体の画像に基づいて前記撮像素子上の前記スポットの位置を計測する計測部と、
前記スポットの前記撮像素子上の位置と前記被写体の実寸サイズとの関係を示す情報を記憶する記憶部と、
前記計測した前記スポットの位置に基づいて前記記憶部から前記関係を示す情報を取得し、前記取得した情報に基づいて前記実寸サイズを示すマーカを生成するマーカ生成部と、
前記スポットが形成された前記被写体の画像及び前記マーカを表示装置に表示させる表示制御部であって、前記被写体の画像において前記スポットの近傍に前記マーカを表示させる表示制御部と、
を備え、
前記ヘッドは、光軸が前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し0度でない傾き角を有し前記撮像光学系の画角を横切る計測補助光を出射する計測支援装置。 - 前記ヘッドから出射される前記計測補助光の光軸は前記平面に存在する請求項1に記載の計測支援装置。
- 前記ヘッドから出射される前記計測補助光の光軸は前記平面において前記撮像光学系の光軸と交差する請求項1または2に記載の計測支援装置。
- 前記ヘッドは、前記コリメータから出射された前記計測補助光の出射方向を変更する光学部材であって、前記ヘッドが出射する計測補助光の光軸と前記撮像光学系の光軸とが前記平面においてなす角が前記傾き角になるように前記計測補助光の出射方向を変更する光学部材を有する請求項1から3のいずれか1項に記載の計測支援装置。
- 前記光学部材は前記傾き角に応じた頂角を有するプリズム部材である請求項4に記載の計測支援装置。
- 前記光源から出射された前記計測補助光を前記コリメータまでシングル横モードで伝搬させる光ファイバーを備える請求項1から5のいずれか1項に記載の計測支援装置。
- 前記コリメータは、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス型レンズである請求項1から6のいずれか1項に記載の計測支援装置。
- 前記コリメータは、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス型光ファイバーである請求項1から7のいずれか1項に記載の計測支援装置。
- 前記計測補助光の光軸を前記平面に射影した場合に、前記傾き角が1.1度以上50.2度以下である請求項1から8のいずれか1項に記載の計測支援装置。
- 請求項1から9のいずれか1項に記載の計測支援装置を備える内視鏡システム。
- 被検体内に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡を備え、
前記コリメータと、前記スポットの光学像を前記撮像素子に結像させる撮像レンズと、が前記先端硬質部に設けられる請求項10に記載の内視鏡システム。 - 照明光を照射する照明光源と、前記照明光の照度を制御する制御部と、を有し、
前記制御部は、前記撮像部により前記スポットの画像を取得する計測モードでは、前記照明光を前記被写体に照射して前記被写体を観察する通常観察モードよりも前記照明光の照度を下げる請求項10または11に記載の内視鏡システム。 - 前記撮像素子は、2次元配列された複数の受光素子からなる複数の画素と、前記複数の画素に配設された複数のフィルタ色のカラーフィルタと、を備えるカラー撮像素子であり、
前記計測部は、前記複数のフィルタ色のうち前記計測補助光の波長に対する感度が最も高いフィルタ色のカラーフィルタが配設された画素の画像信号により生成される画像に基づいて前記スポットの前記撮像素子上の位置を計測する、請求項10から12のいずれか1項に記載の内視鏡システム。 - 請求項10から13のいずれか1項に記載の内視鏡システムのプロセッサであって、
前記光源を駆動する光源駆動部と、前記計測部と、前記記憶部と、前記マーカ生成部と、前記表示制御部と、を備えるプロセッサ。 - 前記光源駆動部はレーザ光源を駆動するレーザ駆動部である請求項14に記載のプロセッサ。
- 光源から出射された計測補助光を平行な光束にして出射するコリメータを含むヘッドと、前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、前記スポットの前記撮像素子上の位置と前記被写体の実寸サイズとの関係を示す情報を記憶する記憶部と、を備える計測支援装置を用いた計測支援方法であって、
前記ヘッドから出射される前記計測補助光の光軸が、前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し0度でない傾き角を有するように前記計測補助光を出射する補助光出射工程と、
前記計測補助光により前記スポットが形成された被写体の画像を前記撮像部を介して取得する撮像工程と、
前記被写体の画像に基づいて前記撮像素子上の前記スポットの位置を計測する計測工程と、
前記計測した前記スポットの位置に基づいて前記記憶部から前記関係を示す情報を取得し、前記取得した情報に基づいて前記実寸サイズを示すマーカを生成するマーカ生成工程と、
前記スポットが形成された前記被写体の画像及び前記マーカを表示装置に表示させる表示制御工程であって、前記被写体の画像において前記スポットの近傍に前記マーカを表示させる表示制御工程と、
を含む計測支援方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016180808 | 2016-09-15 | ||
JP2016180808 | 2016-09-15 | ||
PCT/JP2017/028644 WO2018051679A1 (ja) | 2016-09-15 | 2017-08-07 | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018051679A1 true JPWO2018051679A1 (ja) | 2019-06-24 |
JP6964592B2 JP6964592B2 (ja) | 2021-11-10 |
Family
ID=61618821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539568A Active JP6964592B2 (ja) | 2016-09-15 | 2017-08-07 | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11536556B2 (ja) |
EP (1) | EP3513703B1 (ja) |
JP (1) | JP6964592B2 (ja) |
WO (1) | WO2018051679A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7115897B2 (ja) * | 2018-04-20 | 2022-08-09 | 富士フイルム株式会社 | 内視鏡装置 |
WO2019207742A1 (ja) * | 2018-04-26 | 2019-10-31 | オリンパス株式会社 | 内視鏡用光モジュール、内視鏡、および内視鏡用光モジュールの製造方法 |
JP7029359B2 (ja) * | 2018-07-27 | 2022-03-03 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並び内視鏡装置用プログラム |
CN109618137B (zh) * | 2018-12-18 | 2020-11-17 | 鞍钢集团矿业有限公司 | 一种基于图像处理的挡板升降高度的监控方法 |
JP7099971B2 (ja) * | 2019-03-04 | 2022-07-12 | 富士フイルム株式会社 | 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法 |
WO2020189334A1 (ja) * | 2019-03-20 | 2020-09-24 | 富士フイルム株式会社 | 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム |
JP2020151250A (ja) * | 2019-03-20 | 2020-09-24 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
CN114286961A (zh) * | 2019-08-28 | 2022-04-05 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
WO2021131238A1 (ja) * | 2019-12-25 | 2021-07-01 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
WO2021225026A1 (ja) * | 2020-05-07 | 2021-11-11 | 富士フイルム株式会社 | テストチャート、検査システム、及び検査方法 |
JPWO2022049807A1 (ja) * | 2020-09-02 | 2022-03-10 | ||
JP2022067406A (ja) * | 2020-10-20 | 2022-05-06 | パナソニックIpマネジメント株式会社 | 内視鏡システム |
CN112763510B (zh) * | 2021-04-07 | 2021-08-06 | 三一筑工科技股份有限公司 | 裂缝宽度检测装置、混凝土裂缝检测方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5968318U (ja) * | 1982-10-29 | 1984-05-09 | 三菱電線工業株式会社 | 光フアイバスコ−プ |
JPS6249208A (ja) * | 1985-08-29 | 1987-03-03 | Toshiba Corp | 距離測定機能付内視鏡 |
JPS6273223A (ja) * | 1985-09-26 | 1987-04-03 | Toshiba Corp | 内視鏡装置 |
JPH03231622A (ja) * | 1990-02-06 | 1991-10-15 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH0542097A (ja) * | 1991-08-16 | 1993-02-23 | Olympus Optical Co Ltd | 三次元計測用内視鏡装置 |
JPH07136101A (ja) * | 1993-11-16 | 1995-05-30 | Sony Corp | 計測機能付き内視鏡 |
JP2002156212A (ja) * | 2000-11-21 | 2002-05-31 | Olympus Optical Co Ltd | 目盛表示装置及びその方法 |
JP2002336188A (ja) * | 2001-05-21 | 2002-11-26 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
US20040242961A1 (en) * | 2003-05-22 | 2004-12-02 | Iulian Bughici | Measurement system for indirectly measuring defects |
JP2010063485A (ja) * | 2008-09-08 | 2010-03-25 | Fujifilm Corp | 内視鏡用照明光学系及び内視鏡 |
JP2012039255A (ja) * | 2010-08-04 | 2012-02-23 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置及びプログラム |
JP2016106867A (ja) * | 2014-12-08 | 2016-06-20 | Hoya株式会社 | 電子スコープ及び電子内視鏡システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3595220A (en) * | 1967-08-08 | 1971-07-27 | Olympus Optical Co | Device for measuring the distance of an object from the forward end portion of an endoscope |
US4290667A (en) * | 1976-02-03 | 1981-09-22 | International Standard Electric Corporation | Optical fibre terminations and connectors |
JPS5968318A (ja) | 1982-10-12 | 1984-04-18 | Mitsubishi Petrochem Co Ltd | 改質エチレン重合体 |
US5070401A (en) * | 1990-04-09 | 1991-12-03 | Welch Allyn, Inc. | Video measurement system with automatic calibration and distortion correction |
US5436655A (en) | 1991-08-09 | 1995-07-25 | Olympus Optical Co., Ltd. | Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement |
US5669871A (en) * | 1994-02-21 | 1997-09-23 | Olympus Optical Co., Ltd. | Endoscope measurement apparatus for calculating approximate expression of line projected onto object to measure depth of recess or the like |
JP3110642B2 (ja) * | 1995-01-30 | 2000-11-20 | 三菱電線工業株式会社 | 寸法計測機能付き内視鏡 |
JP3418480B2 (ja) | 1995-04-17 | 2003-06-23 | 医療法人社団ケント会 | 医療支援装置 |
US5677536A (en) * | 1996-06-19 | 1997-10-14 | Smv America | Gamma camera with on the fly calibration for PMT drift |
US6283483B1 (en) * | 1999-07-29 | 2001-09-04 | Paccar Inc | Electronicallly controlled ackerman steering |
GB0000415D0 (en) * | 2000-01-11 | 2000-03-01 | British Aerospace | Improvements relating to interfacing embedded optical transmission structures |
US6792175B2 (en) * | 2000-11-30 | 2004-09-14 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | Optical crossbar switch |
JP5026769B2 (ja) | 2006-11-14 | 2012-09-19 | オリンパス株式会社 | 計測用内視鏡装置、プログラム、および記録媒体 |
WO2008093689A1 (ja) * | 2007-01-31 | 2008-08-07 | Namiki Seimitsu Houseki Kabushiki Kaisha | モータ及びそのモータを備えた内視鏡プローブ |
JP2011000258A (ja) * | 2009-06-18 | 2011-01-06 | Fujifilm Corp | 内視鏡システム、内視鏡、並びに距離・照射角度測定方法 |
DE102009038021A1 (de) * | 2009-08-18 | 2011-02-24 | Olaf Dipl.-Ing. Christiansen | Bildverarbeitungssystem mit einer zusätzlichen zusammen mit der Bildinformation zu verarbeitenden Maßstabsinformation |
TW201436178A (zh) * | 2013-02-13 | 2014-09-16 | Sony Corp | 受光發光裝置 |
EP2903250A1 (de) * | 2014-01-31 | 2015-08-05 | WolfVision Innovation GmbH | Bildaufnahmeverfahren mit adaptiver Markierlichtemission und ebensolches Bildaufnahmegerät |
WO2017120330A1 (en) * | 2016-01-05 | 2017-07-13 | Cardiofocus, Inc. | Ablation system with automated sweeping ablation energy element |
-
2017
- 2017-08-07 EP EP17850585.5A patent/EP3513703B1/en active Active
- 2017-08-07 JP JP2018539568A patent/JP6964592B2/ja active Active
- 2017-08-07 WO PCT/JP2017/028644 patent/WO2018051679A1/ja unknown
-
2019
- 2019-03-11 US US16/297,734 patent/US11536556B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5968318U (ja) * | 1982-10-29 | 1984-05-09 | 三菱電線工業株式会社 | 光フアイバスコ−プ |
JPS6249208A (ja) * | 1985-08-29 | 1987-03-03 | Toshiba Corp | 距離測定機能付内視鏡 |
JPS6273223A (ja) * | 1985-09-26 | 1987-04-03 | Toshiba Corp | 内視鏡装置 |
JPH03231622A (ja) * | 1990-02-06 | 1991-10-15 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH0542097A (ja) * | 1991-08-16 | 1993-02-23 | Olympus Optical Co Ltd | 三次元計測用内視鏡装置 |
JPH07136101A (ja) * | 1993-11-16 | 1995-05-30 | Sony Corp | 計測機能付き内視鏡 |
JP2002156212A (ja) * | 2000-11-21 | 2002-05-31 | Olympus Optical Co Ltd | 目盛表示装置及びその方法 |
JP2002336188A (ja) * | 2001-05-21 | 2002-11-26 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
US20040242961A1 (en) * | 2003-05-22 | 2004-12-02 | Iulian Bughici | Measurement system for indirectly measuring defects |
JP2010063485A (ja) * | 2008-09-08 | 2010-03-25 | Fujifilm Corp | 内視鏡用照明光学系及び内視鏡 |
JP2012039255A (ja) * | 2010-08-04 | 2012-02-23 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置及びプログラム |
JP2016106867A (ja) * | 2014-12-08 | 2016-06-20 | Hoya株式会社 | 電子スコープ及び電子内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
US20190204068A1 (en) | 2019-07-04 |
EP3513703B1 (en) | 2021-04-28 |
WO2018051679A1 (ja) | 2018-03-22 |
EP3513703A1 (en) | 2019-07-24 |
JP6964592B2 (ja) | 2021-11-10 |
EP3513703A4 (en) | 2019-09-18 |
US11536556B2 (en) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6964592B2 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
US12059126B2 (en) | Endoscope system | |
US10708553B2 (en) | Measurement support device, endoscope system, processor for endoscope system | |
JP6644899B2 (ja) | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ | |
US11419694B2 (en) | Endoscope system measuring size of subject using measurement auxiliary light | |
US11490785B2 (en) | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light | |
JP5953443B2 (ja) | 内視鏡システム | |
JP6352673B2 (ja) | 内視鏡装置及び内視鏡装置の操作方法 | |
JP6738465B2 (ja) | 内視鏡システム | |
KR20200117895A (ko) | 증강현실 투영장치 | |
US12070184B2 (en) | Imaging system, endoscope system, and control method | |
JP6549021B2 (ja) | 内視鏡システム、及び計測装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200415 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200813 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201102 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201203 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210408 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210616 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210706 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20210830 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210831 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210929 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6964592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |