JPWO2018159292A1 - 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ - Google Patents
計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ Download PDFInfo
- Publication number
- JPWO2018159292A1 JPWO2018159292A1 JP2019502861A JP2019502861A JPWO2018159292A1 JP WO2018159292 A1 JPWO2018159292 A1 JP WO2018159292A1 JP 2019502861 A JP2019502861 A JP 2019502861A JP 2019502861 A JP2019502861 A JP 2019502861A JP WO2018159292 A1 JPWO2018159292 A1 JP WO2018159292A1
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- spot
- measurement
- points
- circular marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 171
- 239000003550 marker Substances 0.000 claims abstract description 145
- 230000003287 optical effect Effects 0.000 claims abstract description 132
- 238000003384 imaging method Methods 0.000 claims abstract description 122
- 238000003860 storage Methods 0.000 claims abstract description 43
- 230000004075 alteration Effects 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 56
- 230000009466 transformation Effects 0.000 claims description 44
- 238000003780 insertion Methods 0.000 claims description 19
- 230000037431 insertion Effects 0.000 claims description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000005452 bending Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 43
- 238000010586 diagram Methods 0.000 description 34
- 238000005286 illumination Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 19
- 239000013307 optical fiber Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 239000000835 fiber Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000012779 reinforcing material Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/00078—Insertion part of the endoscope body with stiffening means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0623—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Geometry (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
Description
図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、内視鏡システムのプロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1及び図2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(内視鏡システムのプロセッサ)、光源装置300、及びモニタ400(表示装置)を備える。
内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者は手元操作部102を把持して内視鏡本体100を操作し、挿入部104を被検体の体内に挿入して観察する。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。手元操作部102を操作することにより、湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮像光学系130(撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1〜3参照)。
図2及び図4に示すように、レーザモジュール500はレーザ光源モジュール502と、光ファイバー504と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール508(フェルール:ferrule)に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRINレンズ510(GRIN:Graded Index)が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図4の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
図6は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図6のように光軸L1が光軸L2上を通るように見える。
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は、光源制御部350により制御され、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
次に、図2に基づきプロセッサ200(計測部、記憶部、座標取得部、表示制御部)の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、座標取得部、表示制御部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU210(CPU:Central Processing Unit;中央処理装置)の制御下で行われる。すなわち、CPU210は計測部、座標取得部、及び表示制御部としての機能を有する。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替、重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の結像面におけるスポット位置の測定、測定した位置に基づくマーカの大きさ(ピクセル数)の算出等が行われる(後述)。画像処理部204における各種の処理を実行するためのハードウェア的な構造としては、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のプロセッサ(電気回路)を挙げることができる。画像処理部204は1つのプロセッサで構成されていてもよいし、複数のプロセッサを組み合わせて構成されていてもよい。メモリ212(記憶部)は各種処理の際の一時記憶用の記憶素子と不揮発性の記憶素子(非一時的記録媒体)とを含み、CPU210及び/または画像処理部204の制御により、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系130の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、が関連づけて記憶される(後述)。また、メモリ212には後述する計測支援方法をCPU210及び/または画像処理部204に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。
図7は内視鏡本体100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図7では、スポットSP0が腫瘍tm(黒色で隆起している部分)の付近に形成されている様子を示す。
次に、内視鏡システム10を用いた被検体の計測支援方法について説明する。図8は計測支援方法の処理を示すフローチャートである。
第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系130の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図9(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1において観察可能であるとすると、範囲R1の至近端E1、中央付近の距離E2、及び最遠端E3では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図9において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行っている。図9における範囲R1及び計測画角が「撮像画像において、円形マーカによる計測対象の大きさ計測が有効な範囲」に対応する。
第1の実施形態では、撮像素子134の撮像面におけるスポットの位置と歪曲円形マーカを示す点の座標とを関連づけてメモリ212(記憶部)に記憶しておき、計測したスポット位置に応じてメモリ212を参照して座標を取得する。以下、座標の記憶について説明する。
第1の実施形態では、観察距離(撮像距離)を変化させた場合にスポットが撮像画像を移動する軌跡における複数の点に対して、歪曲円形マーカを示す点の座標を記憶する。撮像距離を変化させた場合の撮像画像におけるスポットの移動軌跡は計測補助光の光軸L1と撮像光学系130の光軸L2との関係により定まり、図10に示す関係の場合は直線となるが、撮像光学系130に歪曲収差がある場合はその歪曲収差に応じて歪曲する。
歪曲円形マーカを表示する場合は、プロセッサ200(CPU210,画像処理部204)が、計測したスポットの座標に基づいてメモリ212(記憶部)を参照して歪曲円形マーカを示す点の座標を取得する。ここでいう「取得」は、記憶された座標を用いること、及び記憶された座標に基づいて生成した座標を用いることを含む。以下、座標取得の具体的態様を説明する。
図15は、スポットが移動する軌跡T1において歪曲円形マーカを示す点の座標が記憶された複数の点(図12〜14の例ではK個)のうち、計測されたスポットとの距離がしきい値以下の点に対応して歪曲円形マーカを示す点の座標を取得する様子を示す図である。図15の例では、点P2とスポットが存在する点Piとの距離がD1であり、点P3と点Piとの距離がD2である(点P2,P3に対し、歪曲円形マーカを示す点の座標が記憶されている)。また、スポットとの距離に対するしきい値をTHとすると、TH<D1、TH>D2であるものとする。この場合、態様1ではスポットとの距離がしきい値以下である点P2に対し記憶されている座標(図12〜14の例ではL個)を、点Piにおける歪曲円形マーカを示す座標として取得する。スポットとの距離がしきい値以下の点が複数ある場合は、スポットとの距離が最も近い点に対応する座標を取得してマーカの精度を向上させることが好ましい。なお、スポットとの距離の算出、及びしきい値との比較はプロセッサ200(CPU210,画像処理部204)により行うことができる。また、しきい値は歪曲円形マーカの精度、計測精度等に応じて決めることができる。
態様2では、スポットが移動する軌跡における複数の点のうち、計測されたスポットを挟む2つ以上の点に対応した座標を内挿して歪曲円形マーカを示す点の座標を取得する。図16の例では、点P2に対する座標(L個;図13,14参照)と、点P3に対する座標(L個;図13,14参照)とを対応する点同士(例えば、図14に示す点P21と点P31)で内挿して、点Piに対するL個の点の座標を取得する。内挿の計算はプロセッサ200(CPU210,画像処理部204)により行うことができる。
態様3では、軌跡における複数の点のうちスポットを挟まない2つ以上の点に対応した座標を外挿して歪曲円形マーカを示す点の座標を取得する。図17の例では、点P1に対する座標(L個;図13,14参照)と、点P2に対する座標(L個;図13,14参照)とを対応する点同士(例えば、図14に示す点P11と点P21)で外挿して点Piに対するL個の点の座標を取得する。外挿の計算はプロセッサ200(CPU210,画像処理部204)により行うことができる。
上述した態様1〜3では、歪曲円形マーカを示す点の座標は軌跡上の一部の点について記憶しておけばよい。これに対し、軌跡上の全ての点(画素)に対して座標を記憶しておき、記憶された座標をそのまま取得してもよい。このような態様の場合、点同士の距離の計算、補間計算等を省略することができる。
次に、歪曲円形マーカを示す点の座標生成及び記憶の具体的態様について説明する。
<実測点の補間による座標生成及び記憶>
図18は、実施例1における座標生成及び記憶の処理を示すフローチャートである。実施例1では、実測した点(第1の点)及び実測した点を補間して生成した点(第2の点)を、歪曲円形マーカを示す点の座標として記憶する。座標の実測、変換等(図18のフローチャートにおける各処理)はプロセッサ200(CPU210、画像処理部204)により行うことができ、生成された座標はメモリ212(記憶部)に記憶される。
<射影変換による座標生成及び記憶>
次に、歪曲円形マーカを示す点の座標生成及び記憶の実施例2について説明する。実施例2では、射影変換により正方格子に変換した領域で円形マーカの座標を算出し、算出した座標を逆変換して歪曲格子領域における歪曲円形マーカの座標を取得する。座標の生成、変換(図21のフローチャートにおける各処理)等の処理はプロセッサ200(CPU210、画像処理部204)により行うことができ、生成された座標はメモリ212(記憶部)に記憶される。
ステップS204では、マーカを包接する歪曲格子領域(図22の例では歪曲格子領域QN)をアフィン変換(射影変換の一態様)により図23に示すような正方格子領域SQに変換する。変換行列及び逆行列は、内視鏡システム10の製造後の検査により求めておく。例えば、格子状チャートを撮影した画像の格子点の座標を計測し、この座標を正方格子点に変換するアフィン変換行列を求める。アフィン変換行列を求める領域は、撮像距離が計測距離範囲の至近端の場合の歪曲格子領域QN(スポット位置は点SP2)と最遠端の場合の格子領域QF(スポット位置は点SP3)とを含む、撮像画像の一部に設定された格子領域QD(図24参照)であり、画像全体について変換行列を記憶しておく必要はない。なお、図24では正方格子状の領域が撮像光学系130の歪曲収差により樽型に歪曲した場合の例を示している。
ステップS204により歪曲格子領域QNが正方格子領域SQに変換されたら、図27に示すように正方格子領域SQにおいて円形マーカM1を示す点の座標を算出する(ステップS206)。正方格子領域に変換されているので、円形マーカの座標を容易に算出することができる。
円形マーカの座標が得られたら、上述した変換行列の逆行列を用いて歪曲円形マーカM1Aに変換する(ステップS208;図28参照)。歪曲円形マーカM1Aは、図8のフローチャート(ステップS28)について説明したように、撮像画像に重畳して表示される。図29は表示の例であり、腫瘍tm上に形成されたスポット(点SP2)を中心とする歪曲円形マーカM1Aが表示された様子を示している。
本発明の計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサは、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置は、内視鏡に限らず、工業用部品等の寸法、形状を計測する場合にも適用することができる。
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
206 ビデオ出力部
208 操作部
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
503 集光レンズ
504 光ファイバー
506 レーザヘッド
507 補強材
508 フェルール
509 ハウジング
510 GRINレンズ
512 プリズム
AL1 頂角
E1 至近端
E2 距離
E3 最遠端
IA 撮像範囲
L1 光軸
L2 光軸
M1 円形マーカ
M1A 歪曲円形マーカ
P1 点
P2 点
P3 点
Pi 点
Pi1 点
Pi2 点
Pij 点
PiL 点
PK 点
P4 スポット位置
P5 スポット位置
P6 スポット位置
Q1 矢印
Q2 矢印
Q3 矢印
QD 格子領域
QF 格子領域
QN 歪曲格子領域
R1 範囲
R2 撮像範囲
S10〜S210 計測支援方法の各ステップ
SQ 正方格子領域
T1 軌跡
T2 軌跡
tm 腫瘍
Claims (14)
- 計測補助光を出射するヘッドと、
前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、
前記画像における前記スポットの座標を計測する計測部と、
前記スポットの座標と、前記被写体における計測対象の実寸サイズを示し前記撮像光学系の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶する記憶部であって、前記画像の撮像距離を変化させた場合に前記スポットが前記画像を移動する軌跡における複数の点に対して前記円形マーカを示す点の座標を記憶する前記記憶部と、
前記計測した前記スポットの座標に基づいて前記記憶部を参照して、前記スポットの座標に対応する前記円形マーカを示す点の座標を取得する座標取得部と、
前記取得した座標に基づいて前記画像における前記スポットの近傍に前記円形マーカを表示させる表示制御部と、
を備え、
前記ヘッドは、前記計測補助光の光軸を前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し0度でない傾き角を有し前記撮像光学系の画角を横切る前記計測補助光を出射する、計測支援装置。 - 前記座標取得部は、前記複数の点のうち前記スポットとの距離がしきい値以下の点に対応した前記円形マーカを示す点の座標を取得する、請求項1に記載の計測支援装置。
- 前記座標取得部は、前記複数の点のうち前記スポットを挟む2つ以上の点に対応した座標を内挿して前記円形マーカを示す点の座標を取得する、請求項1に記載の計測支援装置。
- 前記座標取得部は、前記複数の点のうち前記スポットを挟まない2つ以上の点に対応した座標を外挿して前記円形マーカを示す点の座標を取得する、請求項1に記載の計測支援装置。
- 前記記憶部は、前記画像において前記円形マーカによる計測対象の大きさ計測が有効な範囲に対応して前記円形マーカを示す点の座標を記憶する請求項1から4のいずれか1項に記載の計測支援装置。
- 前記記憶部は、前記スポットを中心とした円に対応して実測した複数の第1の点の座標と、前記複数の第1の点を補間して生成した複数の第2の点の座標と、を前記円形マーカを示す点の座標として記憶し、
前記座標取得部は前記複数の第1の点の座標と前記複数の第2の点の座標とを前記円形マーカを示す点の座標として取得する請求項1から5のいずれか1項に記載の計測支援装置。 - 前記記憶部は、前記複数の第1の点を前記円の角度方向及び径方向に線形補間した点の座標を前記複数の第2の点の座標として記憶する請求項6に記載の計測支援装置。
- 前記記憶部は、前記画像において前記スポットを中心とした前記円形マーカを含む歪曲格子領域を正方格子領域に射影変換する変換行列を記憶し、
前記座標取得部は、前記変換行列により変換された前記正方格子領域における前記円形マーカを示す点の座標を取得し、前記取得した座標を前記変換行列の逆行列により逆変換して前記歪曲格子領域における前記円形マーカを示す点の座標を取得する、請求項1から5のいずれか1項に記載の計測支援装置。 - 前記記憶部は、m及びnを正の整数とした場合に前記歪曲格子領域及び前記正方格子領域を2×m×n個に分割した複数の小領域のそれぞれについて前記変換行列を記憶し、
前記座標取得部は、前記画像の画素のうち同一の小領域に属する画素に対しては、前記複数の変換行列のうちの同一の変換行列及び前記複数の逆行列のうちの同一の逆行列を適用する請求項8に記載の計測支援装置。 - 前記記憶部は、前記撮像距離が計測距離範囲の最遠端である場合の前記歪曲格子領域及び前記計測距離範囲の至近端である場合の前記歪曲格子領域を含む、前記画像における一部の領域を分割した複数の領域であって、前記最遠端における前記歪曲格子領域の格子の大きさよりも小さく分割された前記複数の領域を前記複数の小領域として前記変換行列を記憶し、
前記座標取得部は、前記複数の小領域に対して記憶された前記変換行列を用いて前記円形マーカを示す点の座標を取得する、請求項9に記載の計測支援装置。 - 前記変換行列はアフィン変換行列である請求項8から10のいずれか1項に記載の計測支援装置。
- 請求項1から11のいずれか1項に記載の計測支援装置を備える内視鏡システム。
- 被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡を備え、
前記ヘッドと、前記スポットの光学像を前記撮像素子に結像させる撮像レンズと、が前記先端硬質部に設けられる請求項12に記載の内視鏡システム。 - 請求項12または13に記載の内視鏡システムのプロセッサであって、前記計測部と、前記記憶部と、前記座標取得部と、前記表示制御部と、を備えるプロセッサ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040618 | 2017-03-03 | ||
JP2017040618 | 2017-03-03 | ||
PCT/JP2018/005058 WO2018159292A1 (ja) | 2017-03-03 | 2018-02-14 | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018159292A1 true JPWO2018159292A1 (ja) | 2019-11-07 |
JP6898425B2 JP6898425B2 (ja) | 2021-07-07 |
Family
ID=63370775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019502861A Active JP6898425B2 (ja) | 2017-03-03 | 2018-02-14 | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ |
Country Status (4)
Country | Link |
---|---|
US (1) | US10708553B2 (ja) |
EP (1) | EP3590407B1 (ja) |
JP (1) | JP6898425B2 (ja) |
WO (1) | WO2018159292A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11931010B2 (en) * | 2017-03-24 | 2024-03-19 | Covidien Lp | Endoscopes and methods of treatment |
WO2019045144A1 (ko) * | 2017-08-31 | 2019-03-07 | (주)레벨소프트 | 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법 |
WO2019207742A1 (ja) * | 2018-04-26 | 2019-10-31 | オリンパス株式会社 | 内視鏡用光モジュール、内視鏡、および内視鏡用光モジュールの製造方法 |
JP2020005745A (ja) * | 2018-07-04 | 2020-01-16 | 富士フイルム株式会社 | 内視鏡装置 |
JP7099971B2 (ja) * | 2019-03-04 | 2022-07-12 | 富士フイルム株式会社 | 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法 |
JP2020151250A (ja) * | 2019-03-20 | 2020-09-24 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
CN115066196A (zh) | 2020-02-06 | 2022-09-16 | 富士胶片株式会社 | 医用图像处理装置、内窥镜系统、医用图像处理方法及程序 |
CN111325802B (zh) * | 2020-02-11 | 2023-04-25 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种直升机风洞试验中圆形标记点识别匹配方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02216404A (ja) * | 1989-02-17 | 1990-08-29 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JPH03231622A (ja) * | 1990-02-06 | 1991-10-15 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2002336188A (ja) * | 2001-05-21 | 2002-11-26 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JP2011015721A (ja) * | 2009-07-07 | 2011-01-27 | Fa System Engineering Kk | 立体映像表示装置の立体スケール像形成装置 |
JP2012039255A (ja) * | 2010-08-04 | 2012-02-23 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置及びプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3595220A (en) * | 1967-08-08 | 1971-07-27 | Olympus Optical Co | Device for measuring the distance of an object from the forward end portion of an endoscope |
US3817635A (en) * | 1967-08-08 | 1974-06-18 | Olumpus Co Ltd | Device for measuring the actual dimension of an object at the forward end portion of an endoscope |
JPS60182407A (ja) * | 1984-02-29 | 1985-09-18 | Olympus Optical Co Ltd | 測長内視鏡 |
US4935810A (en) * | 1988-10-26 | 1990-06-19 | Olympus Optical Co., Ltd. | Three-dimensional measuring apparatus |
JPH0473763A (ja) | 1990-07-16 | 1992-03-09 | Kansai Paint Co Ltd | 光硬化性電着塗料組成物 |
JPH04323505A (ja) * | 1991-04-23 | 1992-11-12 | Minolta Camera Co Ltd | 測長装置を内蔵したカメラ |
JP3446272B2 (ja) | 1993-11-16 | 2003-09-16 | ソニー株式会社 | 計測機能付き内視鏡 |
WO2006120690A2 (en) * | 2005-05-13 | 2006-11-16 | G.I. View Ltd. | Endoscopic measurement techniques |
JP5026769B2 (ja) | 2006-11-14 | 2012-09-19 | オリンパス株式会社 | 計測用内視鏡装置、プログラム、および記録媒体 |
JP2011069965A (ja) | 2009-09-25 | 2011-04-07 | Japan Atomic Energy Agency | 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体 |
JP5684033B2 (ja) * | 2011-04-11 | 2015-03-11 | オリンパス株式会社 | 撮像装置及び内視鏡装置の作動方法 |
CN110136191B (zh) * | 2013-10-02 | 2023-05-09 | 基文影像公司 | 用于体内对象的大小估计的系统和方法 |
CN106535734B (zh) | 2014-09-25 | 2018-02-13 | 奥林巴斯株式会社 | 内窥镜系统 |
WO2017168986A1 (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
-
2018
- 2018-02-14 JP JP2019502861A patent/JP6898425B2/ja active Active
- 2018-02-14 EP EP18761984.6A patent/EP3590407B1/en active Active
- 2018-02-14 WO PCT/JP2018/005058 patent/WO2018159292A1/ja active Application Filing
-
2019
- 2019-06-19 US US16/445,216 patent/US10708553B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02216404A (ja) * | 1989-02-17 | 1990-08-29 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JPH03231622A (ja) * | 1990-02-06 | 1991-10-15 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2002336188A (ja) * | 2001-05-21 | 2002-11-26 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JP2011015721A (ja) * | 2009-07-07 | 2011-01-27 | Fa System Engineering Kk | 立体映像表示装置の立体スケール像形成装置 |
JP2012039255A (ja) * | 2010-08-04 | 2012-02-23 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3590407A1 (en) | 2020-01-08 |
JP6898425B2 (ja) | 2021-07-07 |
EP3590407A4 (en) | 2020-04-08 |
WO2018159292A1 (ja) | 2018-09-07 |
EP3590407B1 (en) | 2021-09-15 |
US10708553B2 (en) | 2020-07-07 |
US20190306467A1 (en) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018159292A1 (ja) | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ | |
WO2018051679A1 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
WO2018051680A1 (ja) | 内視鏡システム | |
US11555997B2 (en) | Endoscope with integrated measurement of distance to objects of interest | |
US11419694B2 (en) | Endoscope system measuring size of subject using measurement auxiliary light | |
US11490785B2 (en) | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light | |
EP2719321B1 (en) | Image pickup unit for endoscope and endoscope | |
JPWO2013179760A1 (ja) | 内視鏡システム | |
WO2018055933A1 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
JP6736670B2 (ja) | 内視鏡システム | |
WO2017212909A1 (ja) | 撮像素子、撮像装置、電子機器 | |
JP2016524958A (ja) | 内視鏡小型撮像システム | |
JP5953443B2 (ja) | 内視鏡システム | |
JP2014228851A (ja) | 内視鏡装置、画像取得方法および画像取得プログラム | |
JP6352673B2 (ja) | 内視鏡装置及び内視鏡装置の操作方法 | |
JP7179837B2 (ja) | 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法 | |
US10921577B2 (en) | Endoscope device | |
JP6504701B2 (ja) | 内視鏡 | |
US20230255444A1 (en) | Imaging system, endoscope system, and control method | |
JP2023553792A (ja) | 撮像システム、腹腔鏡及び対象物を撮像するための方法 | |
WO2017064746A1 (ja) | 撮像装置、内視鏡装置及び撮像方法 | |
JP2017086803A (ja) | 計測装置、内視鏡システム、及び計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200424 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200813 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201102 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201203 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210408 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210511 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210608 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6898425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |