JP6508640B2 - Endoscope device - Google Patents
Endoscope device Download PDFInfo
- Publication number
- JP6508640B2 JP6508640B2 JP2017517478A JP2017517478A JP6508640B2 JP 6508640 B2 JP6508640 B2 JP 6508640B2 JP 2017517478 A JP2017517478 A JP 2017517478A JP 2017517478 A JP2017517478 A JP 2017517478A JP 6508640 B2 JP6508640 B2 JP 6508640B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- component
- endoscope apparatus
- signal
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
Description
本発明は、被検体の二次元画像を取得するとともに、被検体の測定を行う内視鏡装置に関する。 The present invention relates to an endoscope apparatus that measures a subject while acquiring a two-dimensional image of the subject.
CCD、またはCMOSイメージセンサ等の撮像素子を用いた撮像装置は、被検体からの反射光をマトリックス状に配置された多数の受光素子により同時に受光し、被写体画像を取得する。暗い体内を撮影する内視鏡の場合には、光源からの光により照明された範囲の画像が取得される。 An imaging apparatus using an imaging element such as a CCD or a CMOS image sensor simultaneously receives reflected light from an object by a large number of light receiving elements arranged in a matrix, and acquires an object image. In the case of an endoscope for imaging a dark body, an image of an area illuminated by light from a light source is acquired.
これに対して、光走査型撮像装置では、被写体を光スポットによりスキャン照射しながら、その反射光を順に受光し、その受光データをもとに被写体画像が作成される。 On the other hand, in the light scanning type imaging apparatus, while scanning and irradiating a subject with a light spot, the reflected light is sequentially received, and a subject image is created based on the received light data.
例えば、光走査型内視鏡では、光ファイバ走査部が、光源からの光を導光する光ファイバの先端部を2次元走査することで、光スポットのスキャン照射が行われる。 For example, in the light scanning endoscope, the scanning irradiation of the light spot is performed by two-dimensionally scanning the tip of the optical fiber which guides the light from the light source by the optical fiber scanning unit.
米国特許第6563105号明細書には、スキャン照射された被検体の三次元画像を、照度差ステレオ法を用いて取得するシステムが開示されている。 U.S. Pat. No. 6,563,105 discloses a system for acquiring a three-dimensional image of a scan-irradiated object using a photometric stereo method.
照度差ステレオ法では離散して配置された複数の受光窓に入射した反射光をもとに三次元画像を作成する。 In the photometric stereo method, a three-dimensional image is created on the basis of reflected light incident on a plurality of discrete light receiving windows.
このため、内視鏡の先端部の外径を小さくすることは容易ではない。 For this reason, it is not easy to reduce the outer diameter of the distal end of the endoscope.
また、照明光は、カラー画像を取得するためのRGB光に加えて、距離測量を行うために赤外光とからなる。そして、受光部は、赤色受光素子と緑色受光素子と青色受光素子とに加えて、さらに距離測量を行うために赤外光受光素子を有する複雑な構成である。また、RGB光が重畳された白色光を照明光として用いるため、受光部の前に、赤色光と緑色光と青色光とを分離するダイクロイックミラー等の分光器等が必要であった。 In addition to the RGB light for acquiring a color image, the illumination light includes infrared light for performing distance measurement. In addition to the red light receiving element, the green light receiving element, and the blue light receiving element, the light receiving unit has a complex configuration including an infrared light receiving element to perform distance measurement. In addition, since white light on which RGB light is superimposed is used as illumination light, a spectroscope such as a dichroic mirror that separates red light, green light, and blue light is required in front of the light receiving unit.
本発明の実施形態は、被検体の二次元画像を取得するとともに、被検体の測定を行う高性能であり、かつ、簡単な構成の内視鏡装置を提供することを目的とする。 An embodiment of the present invention aims to provide an endoscope apparatus that is high-performance and has a simple configuration that measures a subject while acquiring a two-dimensional image of the subject.
実施形態の内視鏡装置は、照射光を発生する光源と、導光した前記照射光を先端から被検体へ向けてスポット照射する第1の光ファイバと、前記第1の光ファイバの前記先端の方向を変化させることで、前記照射光を走査する走査部と、前記照射光が照射された前記被検体からの反射光にもとづく電気信号を出力する受光部と、前記電気信号を処理する信号処理部と、を備えており、前記照射光が、前記被検体の二次元画像を取得するための観察成分と、前記観察成分に重畳されており、タイムオブフライト法を用いて前記被検体との距離測量を行うために高周波変調された測定成分とを含み、前記受光部が、前記反射光の前記観察成分にもとづく観察信号と前記反射光の前記測定成分にもとづく測定信号とを含む前記電気信号を出力し、前記信号処理部が、前記観察信号を処理し二次元画像データを出力するとともに、前記測定信号を処理し測定データを出力する。 An endoscope apparatus according to an embodiment includes a light source for generating irradiation light, a first optical fiber for spot irradiation of the guided irradiation light from a tip toward a subject, and the tip of the first optical fiber By changing the direction of the light source, a scanning unit that scans the irradiation light, a light receiving unit that outputs an electric signal based on the reflected light from the object irradiated with the irradiation light, and a signal that processes the electric signal a processing unit, and wherein the illumination light, wherein the observation component for obtaining a two-dimensional image of the object, which is superimposed on the observation component, and the subject using the time-of-flight method And the measurement component including the measurement component based on the observation component of the reflected light and the measurement signal based on the measurement component of the reflected light. and it outputs a signal, before Signal processing section outputs the two-dimensional image data by processing the observation signal, and outputs the measurement data to process the measurement signal.
本発明の実施形態によれば、被検体の二次元画像を取得するとともに、被検体の測定を行う高性能であり、かつ、簡単な構成の内視鏡装置を提供できる。 According to the embodiment of the present invention, it is possible to provide an endoscope apparatus which is high-performance and has a simple configuration, which measures a subject while acquiring a two-dimensional image of the subject.
<第1実施形態>
図1に示す本実施形態の内視鏡装置1は、光走査型の内視鏡10と、本体部20と、モニタ30と、を具備する。First Embodiment
An
内視鏡10は、生体内に挿通される細長い挿入部11と、操作部12と、ユニバーサルケーブル13と、を有する。挿入部11は、先端部11Aと湾曲部11Bと可撓管部11Cと、を含む。なお、内視鏡10は、いわゆる軟性内視鏡だが、挿入部11が硬質な、いわゆる硬性内視鏡であってもよい。
The
操作部12には、湾曲部11Bを湾曲操作するための湾曲操作ノブ12A等が配設されている。挿入部11と操作部12の連結部は、ユーザーが把持する把持部12Bとなっている。
The
操作部12から延設されたユニバーサルケーブル13が本体部20とコネクタ14を介して接続されている。本体部20は画像を表示するモニタ30と接続されている。
A
次に、図2に内視鏡装置1の構成を示す。
Next, FIG. 2 shows the configuration of the
内視鏡装置1の本体部20は、光源40と走査制御部25と受光部である受光素子21と信号処理部22と画像生成部23と制御部24と、を有する。
The
光源40は、照射光を発生する。走査制御部25は走査部15を制御し照射光を走査する。受光素子21は照射光が照射された被検体からの反射光を受光し反射光にもとづく電気信号を出力する。信号処理部22は受光素子21が出力する電気信号を処理する。画像生成部23は信号処理部22が出力する電気信号を処理し内視鏡画像を生成する。制御部24は内視鏡装置1の全体の制御を行う。
The
信号処理部22と画像生成部23と制御部24とは、所定のプログラムにより動作するCPU等の半導体素子からなる。信号処理部22と画像生成部23と制御部24とは、物理的に独立した半導体素子でもよいし、1つの半導体素子が複数の機能を有していてもよい。
The
光源40は、赤波長光(例えば620nm〜750nm)を発生するR光源41と、緑波長光(例えば495nm〜570nm)を発生するG光源42と、青波長光(例えば450nm〜495nm)を発生するB光源43と、を有する。R光源41、G光源42およびB光源43は、例えば、レーザー光源である。なお、後述するように、R光源41が発生する赤波長光は高周波変調された重畳照射光である。
The
光源40が発生した照明光(照射光)は、第1の光ファイバ45により挿入部11の先端部11Aまで導光され、レンズ15Aを介して被検体へ向けてスポット照射される。先端部11Aには、走査制御部25からの信号に応じて、第1の光ファイバ45の先端の方向を変化させることで照射光を走査する走査部15が配設されている。
The illumination light (irradiation light) generated by the
走査部15は、第1の光ファイバ45の先端をX方向およびX方向に直交するY方向に振動する。第1の光ファイバ45を振動させる手段としては、圧電素子を第1の光ファイバ45に取り付けて振動させる方式、および、第1の光ファイバ45に取り付けた永久磁石を電磁コイルで振動させる電磁コイル方式を用いる。第1の光ファイバ45を駆動するときに、圧電素子または電磁コイルなどの駆動素子を、第1の光ファイバ45の共振周波数近傍で駆動させると、小さいエネルギで大きな偏向(変位,振幅)が得られる。
The
照明光に照射された被検体からの反射光は、先端部11Aに配置されたレンズ46Aを介して第2の光ファイバ46の先端に集光される。第2の光ファイバ46は反射光を受光素子21まで導光する。なお、第1の光ファイバ45および第2の光ファイバ46のそれぞれは、コネクタ14等において光結合している少なくとも2本の光ファイバからなる。
The reflected light from the subject irradiated to the illumination light is condensed at the tip of the second
なお、図2に示すように、内視鏡装置1では、先端部11Aに1本の第2の光ファイバ46を配設しているが、反射光をより多く受光するために、複数の第2の光ファイバ46を先端部11Aに配置して合波して受光素子21に導光してもよい。
In addition, as shown in FIG. 2, in the
図3に示すように、内視鏡装置1では、光源40が発生する照射光が被検体の二次元画像を取得するための観察成分と被検体の測定を行うための測定成分とを含む。ここで、観察成分は、カラー画像を取得するために、赤波長成分である赤波長光と、緑波長成分である緑波長光と、青波長成分である青波長光からなる。
As shown in FIG. 3, in the
高周波変調された赤波長光は、赤波長成分としての機能だけでなく、タイムオブフライト法を用いて被検体との距離測量(distance measurement)を行うための測定成分の機能を有する。言い替えれば、赤波長光は、観察成分に測定成分が重畳された重畳照射光である。すなわち、照射光の観察成分である赤波長光が高周波変調により測定成分を含んでいる。なお、図3等では図示の都合上、赤波長光等の変調光を実際よりも低い周波数で変調された状態で表現している。 The high frequency modulated red wavelength light has not only a function as a red wavelength component but also a function of a measurement component for performing distance measurement with the object using a time-of-flight method. In other words, red wavelength light is superimposed irradiation light in which the measurement component is superimposed on the observation component. That is, the red wavelength light which is an observation component of the irradiation light contains the measurement component by high frequency modulation. In FIG. 3 and the like, for convenience of illustration, modulated light such as red wavelength light is expressed in a state of being modulated at a frequency lower than the actual one.
R光源41、G光源42およびB光源43は、時間差をおいて光を出射する面順次方式である。被検体にスポット照射された照射光は連続的に2次元走査されている。このため、厳密には、赤波長光が照射された場所Aと緑波長光が照射された場所Bと青波長光が照射された場所Cとは異なる。このため、いわゆる色割れが発生し、1本の白色の直線が、赤色の直線、緑色の直線および青色の直線に分かれて見えてしまうおそれがある。しかし、十分に高速にRGB光を切り替えることで、場所A、B、Cを同じ場所として信号処理することができる。なお、赤波長光、緑波長光、および青波長光の光量は同一である必要はない。
The R
第1の光ファイバ45の先端が走査部15によりXY方向に走査される。走査方式は、所定範囲を均一に照明するために、図4Aに示す螺旋状(渦巻き状)方式、または図4Bに示すラスター状方式等が用いられる。
The tip of the first
例えば、図4A、図4Bに示す走査方式では、R光源41を照射光とする走査がA〜Bまで行われ、その反射光により赤フィールドの画像が取得される。次に、G光源42を照射光とする走査がA〜Bまで行われ、その反射光により緑フィールドの画像が取得される。さらにB光源43を照射光とする走査がA〜Bまで行われ、その反射光により青フィールドの画像が取得される。面順次方式の内視鏡装置1では、赤フィールドの画像と緑フィールドの画像と青フィールドの画像とから、1枚のカラー画像が得られる。
For example, in the scanning method shown in FIGS. 4A and 4B, scanning with the R
図5に示すように、反射光は照明光と同じように、観察成分光(G成分、B成分)と観察成分に測定成分が重畳された重畳反射光(R成分)とからなる。 As shown in FIG. 5, the reflected light is composed of the observation component light (G component, B component) and the superimposed reflection light (R component) in which the measurement component is superimposed on the observation component, as in the illumination light.
シリコンからなる受光素子21は、単一の(single)検出層が反射光を電気信号に変換し出力する単一(single)の可視光受光素子である。すなわち、図6に示す受光素子21の検出層21Lは、赤波長から青波長までの可視光域の光を検出する。受光素子21は、検出した反射光にもとづき、観察信号と測定信号とを含む電気信号Dを出力するフォトダイオードである。観察信号は、R成分とG成分とB成分とからなる。R成分は観察信号に測定成分が重畳された重畳観察信号であるが、積分により、観察信号が抽出される。
The
信号処理部22は、RGBの3成分の観察信号を処理し二次元カラー画像データを出力する。画像生成部23は二次元カラー画像データから、図7に示すような二次元カラー画像30Aを出力する。二次元カラー画像30Aは体内の管腔の内視鏡画像である。
The
さらに、信号処理部22は、重畳観察信号の測定成分、すなわち高周波変調成分を処理し、測定データとして距離画像(range image)データを出力する。
Furthermore, the
図8に示すように、タイムオブフライト法を用いて距離測量(distance measurement)を行うための照射光の測定成分である赤波長成分は、周波数fに高周波変調されている。被検体までの距離をLとすると、反射光は照明光に対して時間差(遅れ)Δtが生じる。 As shown in FIG. 8, the red wavelength component, which is a measurement component of the irradiation light for performing distance measurement using the time-of-flight method, is high frequency modulated to a frequency f. Assuming that the distance to the object is L, the reflected light has a time difference (delay) Δt with respect to the illumination light .
このため、以下の(式1)により被検体までの距離Lが算出できる。cは光速である。 Therefore, the distance L to the subject can be calculated by the following (formula 1). c is the speed of light.
2L=c×Δt (式1)
なお、(式1)から算出される被検体までの距離Lは、第1の光ファイバ45の長さ(光源40から内視鏡10の挿入部11の先端部11Aまでの距離)L1と、第2の光ファイバ46の長さ(先端部11Aから受光素子21までの距離)L2と、を含む。距離L1、L2は一定であるため、先端部11Aから被検体までの距離をもとに、信号処理部22は距離画像データを算出する。
2L = c × Δt (equation 1)
The distance L to the subject calculated from (Expression 1) is the length of the first optical fiber 45 (the distance from the
変調周波数fの1/1000の位相差Δφを検出する信号処理部22において、R光源41の変調周波数が100MHz〜1GHzであれば、分解能1mm以下の距離測量が可能となる。
In the
信号処理部22は、被検体のスポット照射された各点までの距離が計測された距離画像データを出力する。画像生成部23は距離画像データを補間処理し、図9に示すような距離画像30Bを出力する。距離画像30Bは、二次元カラー画像30Aと同じ場所の画像である。
The
そして、画像生成部23は、二次元カラー画像30Aと距離画像30Bとから、図10に示す三次元カラー画像30Cを生成する。
Then, the
なお、画像生成部23は、二次元カラー画像データと距離画像データとから、三次元カラー画像30Cを生成してもよい。また、モニタ30が立体表示可能な場合には、三次元画像は図10等に示した距離に応じたメッシュ表示ではなく、奥行き情報を含む立体画像であってもよい。
The
内視鏡装置1は、受光部が、観察成分にもとづく観察信号と測定成分にもとづく測定信号とを含む電気信号を単一の検出層21Lが出力する単一の受光素子21であるため、構成が簡単である。
The
さらに、照明光の観察成分であるR成分が、測定成分の機能を含む重畳照明光である。このため、3つの光源だけで、三次元画像を取得できる。さらに照射光および反射光が可視光であるため、可視光帯において透過率の高い光ファイバを用いることで光の損失を小さくすることができる。 Furthermore, the R component which is an observation component of the illumination light is superimposed illumination light including the function of the measurement component. For this reason, a three-dimensional image can be acquired only with three light sources. Furthermore, since the irradiation light and the reflection light are visible light, the loss of light can be reduced by using an optical fiber having a high transmittance in the visible light band.
なお、以上の説明では、R成分が重畳照明光であったが、G成分またはB成分が重畳照明光でもよいし、複数の波長成分、たとえば、R成分およびG成分が重畳照明光でもよいし、R成分、G成分およびB成分が重畳照明光でもよい。 In the above description, the R component is the superimposed illumination light, but the G component or the B component may be the superimposed illumination light, or a plurality of wavelength components, for example, the R component and the G component may be the superimposed illumination light. The R, G, and B components may be superimposed illumination light.
<第1実施形態の変形例>
次に第1実施形態の変形例の内視鏡装置1Xについて説明する。内視鏡装置1Xは、内視鏡装置1と類似しているため、同じ機能の構成要素には同じ符号を付し説明は省略する。Modification of First Embodiment
Next, an
図11に示すように内視鏡装置1Xのシリコンからなる受光素子21Xは、複数の検出層21L(赤検出層21LR、緑検出層21LG、および青検出層21LB)が積層されている単一のフォトダイオードである。隣り合う検出層には異なる極性の不純物がドープされている。
As shown in FIG. 11, a single
最上層である青検出層21LBの深さは、0.2μm程度である。第二層である緑検出層21LGの深さは0.6μm程度である。最下層である赤検出層21LRの深さは2μm程度である。 The depth of the topmost blue detection layer 21LB is approximately 0.2 μm. The depth of the second green detection layer 21LG is about 0.6 μm. The depth of the lowermost red detection layer 21LR is about 2 μm.
受光素子21Xは、R成分、G成分およびB成分がシリコンを透過する特性が異なることを利用して、素子の厚み方向に3層の検出層を形成している。青検出層21LBはB成分にもとづく信号Aを出力する。緑検出層21LGには、波長が短いB成分は到達しない。このため、緑検出層21LGは、G成分にもとづくB観察信号を出力する。赤検出層21LRには、波長が長いR成分しか到達しない。このため、赤検出層21LRは、R成分にもとづくC観察信号を出力する。
The
図12に示すように、反射光は照明光と同じように、観察成分光(G成分、B成分)と観察成分に測定成分が重畳された重畳反射光(R成分)とからなる。 As shown in FIG. 12, similarly to the illumination light, the reflected light is composed of the observation component light (G component, B component) and the superimposed reflection light (R component) in which the measurement component is superimposed on the observation component.
受光素子21Xが重畳反射光(R成分)を受光すると、青検出層21LBは信号A1を、緑検出層21LGは信号B1を、赤検出層21LRは信号C1を出力する。信号C1が、測定成分を含むR成分にもとづく重畳観察信号である。なお、青検出層21LBは信号A1を、緑検出層21LGは信号B1を出力する。信号A1、B1は処理には使用されない。
When the
受光素子21XがG成分光を受光すると、青検出層21LBは信号A2を、緑検出層21LGはG成分にもとづく信号B2を出力する。赤検出層21LRが出力する信号C2はノイズ成分だけの略ゼロである。信号A2、C2は処理には使用されない。
When the
受光素子21XがB成分光を受光すると、青検出層21LBはB成分光にもとづく信号A3を出力する。緑検出層21LGが出力する信号B3および赤検出層21LRが出力する信号C3はノイズ成分だけの略ゼロである。信号B3、C3は処理には使用されない。
When the
なお、受光素子が、シリコン基板と各検出層との間の信号を出力し、それぞれの成分にもとづく電気信号を取得するために信号処理部22が差分を算出してもよい。
The light receiving element may output a signal between the silicon substrate and each detection layer, and the
観察信号は、R成分とG成分とB成分とからなる。R成分は観察信号に測定成分が重畳された重畳観察信号である。受光素子21Xは、検出した反射光にもとづき、観察信号と測定信号とを含む電気信号を出力する。
The observation signal consists of R component, G component and B component. The R component is a superimposed observation signal in which the measurement component is superimposed on the observation signal. The
内視鏡装置1Xは、内視鏡装置1の効果を有し、さらに、受光素子21Xは、複数の検出層21L(赤検出層21LR、緑検出層21LG、および青検出層21LB)が積層されているため、受光素子21よりも検出感度が高い。
The
<第2実施形態>
次に第2実施形態の内視鏡装置1Aについて説明する。内視鏡装置1Aは、内視鏡装置1と類似しているため、同じ機能の構成要素には同じ符号を付し説明は省略する。
Second Embodiment
Next, an
図13に示すように、内視鏡装置1Aの光源40Aは、R光源41とG光源42とB光源43と赤外光を発生するIR光源44とを有する。赤外光の波長は、例えば750nm〜1600nmであるが、好ましくは1400nm以下、特に好ましくは1200nm以下であれば、反射光は生体組織の表面からの反射光が主となるため、表面形状を良好に取得できる。
As shown in FIG. 13, the
受光素子21Aは、単一の検出層21LAが、可視光から赤外光までの広い波長帯の光を電気信号に変換し出力する広帯域受光素子である。
The
図14に示すように、光源40Aが発生する照射光は、被検体の二次元画像を取得するための観察成分と被検体の測定を行うための測定成分とを含む。ここで、観察成分は、赤波長成分である赤波長光と、緑波長成分である緑波長光と、青波長成分である青波長光からなる。測定成分は、IR光源44が発生する高周波変調された赤外波長成分である。
As shown in FIG. 14, the irradiation light generated by the
R光源41、G光源42、B光源43およびIR光源44は、時間差をおいて光を出射する。
The R
図15に示すように、反射光は照明光と同じように、観察成分(R成分、G成分、B成分)と測定成分(IR成分)とからなる。 As shown in FIG. 15, the reflected light is made up of an observation component (R component, G component, B component) and a measurement component (IR component) in the same manner as the illumination light.
受光素子21Aは、可視光波長から赤外波長までの広帯域の光を検出する。そして、受光素子21Aは、観察信号と測定信号とを含む電気信号を出力する。
The
信号処理部22は、観察信号を処理し二次元カラー画像データを出力するとともに、測定信号を処理し測定データとして距離画像データを出力する。画像生成部23は二次元カラー画像データおよび距離画像データから三次元カラー画像30Cを生成する。
The
内視鏡装置1Aは、内視鏡装置1と同じ効果を有する。そして、観察成分照明光(R、G、B)と測定成分照明光(IR)とが別の波長の光である。このため、RGBの3つの観察信号の強度差が小さく、内視鏡装置1よりも色再現性がよい。また、内視鏡装置1よりも、測定成分照明光が長波長であるため、距離測量の精度向上が容易である。
The
なお、第1の光ファイバ45、第2の光ファイバ46として、赤波長成分、緑波長成分および青波長成分を導光する第1のコアと、赤外波長成分を導光する第2のコアと、を有するマルチコア光ファイバを用いてもよい。第1のコアは可視光成分(RGB)に対して損失が少なく、第2のコアは赤外光成分(IR)に対して損失の少ない材料からなる。
As the first
また、第1実施形態の内視鏡装置1において、可視光検出型の受光素子21に替えて広帯域受光素子である受光素子21Aを用いてもよい。
In the
また、光源40Aが、赤外波長成分として、波長1200nm超、好ましくは1400nm超の第1の赤外波長成分と、波長1200nm以下、好ましくは1400nm以下の第2の赤外波長成分と、を順に発生してもよい。波長1200nm以下の第2の赤外波長成分による距離画像30Bは生体組織の表面の三次元画像である。一方、波長1200nm超の第1の赤外波長成分とによる距離画像30Bは生体組織の内部、例えば、表面から数mm下の三次元画像である。すなわち、光源40Aが出射する赤外線の波長を切り替えることで、例えば、生体組織の内部の血管の距離画像を得ることができる。
In addition, the
<第2実施形態の変形例>
次に第2実施形態の変形例の内視鏡装置1AXについて説明する。内視鏡装置1AXは、内視鏡装置1Aと類似しているため、同じ機能の構成要素には同じ符号を付し説明は省略する。Modification of Second Embodiment
Next, an endoscope apparatus 1AX according to a modification of the second embodiment will be described. The endoscope apparatus 1AX is similar to the
図16に示すように、内視鏡装置1AXの受光素子21AXは、複数の検出層21LAが積層されている単一素子である。複数の検出層21LAは、信号Dを出力する可視光検出層21LA1と、可視光検出層21LA1の下の赤外波長成分にもとづく信号Eを出力する赤外光検出層21LA2と、からなる。可視光検出層21LA1は、赤波長から青波長までの可視光域の光を検出する。赤外光検出層21LA2の深さは5μm程度である。赤外光検出層21LA2には、波長が長い赤外(IR)成分しか到達しない。
As shown in FIG. 16, the light receiving element 21AX of the endoscope apparatus 1AX is a single element in which a plurality of detection layers 21LA are stacked. A plurality of detection layers 21LA includes a visible light detecting layer 21LA1 for outputting a signal D, and the infrared
図17に示すように、反射光は照明光と同じように、観察成分(R成分、G成分、B成分)と測定成分(IR成分)とからなる。 As shown in FIG. 17, the reflected light is made up of an observation component (R component, G component, B component) and a measurement component (IR component), as with the illumination light.
受光素子21AXの可視光検出層21LA1は、観察信号(R信号、G信号、B信号)である信号Dを出力する。一方、赤外光検出層21LA2は測定信号(IR信号)である信号Eを出力する。 The visible light detection layer 21LA1 of the light receiving element 21AX outputs a signal D which is an observation signal (R signal, G signal, B signal). On the other hand, the infrared light detection layer 21LA2 outputs a signal E which is a measurement signal (IR signal).
内視鏡装置1AXは、内視鏡装置1Aの効果を有し、さらに受光素子21AXは、複数の検出層21LAが積層されているため、受光素子21Aよりも検出感度が高い。
The endoscope apparatus 1AX has the effect of the
また、内視鏡装置1AXでは、可視光(RGB)を受光する可視光検出層21LA1と、赤外光(IR)を受光する赤外光検出層21LA2とは、同時に信号Dおよび信号Eを出力できる。このため、可視光と赤外光とが同時に照射されてもよい。すなわち、R光源41、G光源42、またはB光源43と、IR光源44とは、同時に光を出射してもよい。IR光だけが照射される時間を設ける必要がないため、高速度撮像が可能となる。また、カラー画像と距離画像とのマッチングが容易になる。
In the endoscope apparatus 1AX, the visible light detection layer 21LA1 for receiving visible light (RGB) and the infrared light detection layer 21LA2 for receiving infrared light (IR) simultaneously output the signal D and the signal E. it can. For this reason, visible light and infrared light may be simultaneously irradiated. That is, the R
<第3実施形態>
次に第3実施形態の内視鏡装置1Bについて説明する。内視鏡装置1Bは、内視鏡装置1等と類似しているため、同じ機能の構成要素には同じ符号を付し説明は省略する。
Third Embodiment
Next, an
図2および図18に示すように、内視鏡装置1Bの光源40Bは、第1実施形態の光源40と同じように、R光源41とG光源42とB光源43とを有する。ただし、光源40Bでは、R光源41、G光源42、およびB光源43は、同時に光を出射する。すなわち、照明光は、観察成分光(G成分、B成分)と観察成分に測定成分が重畳された重畳照明光(R成分)とからなる混合光である。
As shown in FIGS. 2 and 18, the
受光素子21Bは、単一の検出層21LBが反射光を電気信号に変換し出力する変調型受光素子である。受光素子21Bは、検出層21LBに印加されたバイアス電圧の強度により受光波長帯が変化する。例えば、ショットキー型検出素子である受光素子21Bは、バイアスが印加されるとショットキー障壁が小さくなり検出可能な波長が長波長側にシフトするため、波長に対する検出感度が変化する。
The
受光素子21Bは、図示しない最上層のメッシュ電極等を介して所定の3種類のバイアスが印加されると、3つの異なる強度の電気信号を出力する。それぞれの電気信号は、R、G、Bの3波長帯にもとづく信号を異なる割合で含んでいる。
The
バイアス印加による3波長帯の検出感度の変化は既知であるため、3種類の電気信号から、R、G、Bの3波長帯の、それぞれによる信号を算出することができる。 Since changes in detection sensitivity in the three wavelength bands due to bias application are known, signals from the three wavelength bands of R, G, and B can be calculated from three types of electrical signals.
すなわち、図19に示すように、受光素子21Bは、R成分信号(重畳)とG成分信号とB成分信号とを異なる割合で含んでいる3種類の電気信号A、B、Cを順に出力する。信号処理部22は3種類の電気信号A、B、Cから、R、G、Bの3つの観察信号を分離するとともに、測定信号を取得する。なお、受光素子21Bを含む受光部の演算手段が信号分離処理を行ってもよい。
That is, as shown in FIG. 19, the
内視鏡装置1Bは、内視鏡装置1と同じ効果を有する。さらに、内視鏡装置1Bは、測定成分と全ての観察成分とが同時に被検体に照射されるため、同じ時間の観察画像と測定画像とが得られる。このため、内視鏡装置1Bは、内視鏡装置1等の効果を有し、さらに、色割れが発生するおそれがなく、内視鏡装置1等よりも、2つの画像のマッチングが容易である。
The
内視鏡装置1Bは、R光源41、G光源42、およびB光源43は、同時に光を出射するが、受光素子21Bは、RGBの3フィールドの画像を順次、受光する面順次方式であった。これに対して、1走査の間(図4A等で、A〜Bの間)に、受光素子21Bのバイアスを高速で変化させることで、1走査の間にRGBの3フィールドの画像と、距離画像と、を得る、いわゆる同時式も可能である。
In the
同時式では、高周波数でバイアスを変調する必要があるが、変化の激しい被写体であっても、色割れが発生するおそれがなく、距離測量の精度が高い。 In the simultaneous method, although it is necessary to modulate the bias at a high frequency, there is no possibility that color breakup occurs even if the subject is a rapidly changing object, and the accuracy of distance measurement is high.
また、R光源41、G光源42、およびB光源43が順に光を出射する場合には、受光素子21Bが照明光の波長切替に同期して受光波長を切り替えても良い。
When the R
<第3実施形態の変形例>
次に第3実施形態の変形例の内視鏡装置1BXについて説明する。内視鏡装置1BXは、内視鏡装置1Bと類似しているため、同じ機能の構成要素には同じ符号を付し説明は省略する。<Modification of Third Embodiment>
Next, an endoscope apparatus 1BX of a modified example of the third embodiment will be described. Since the endoscope apparatus 1BX is similar to the
図20に示すように、内視鏡装置1BXの受光素子21Xが混合光からなる反射光を受光すると、青検出層21LBは信号Aを、緑検出層21LGは信号Bを、赤検出層21LRは信号Cを出力する。信号Cが、測定成分を含むR成分にもとづく重畳観察信号である。信号Bは、測定成分を含むR成分およびG成分にもとづく。信号Bは、測定成分を含むR成分、G成分およびB成分にもとづく。
As shown in FIG. 20, when the
信号Bから信号Cが引き算されると、G成分だけにもとづく緑観察信号となる。信号Aから信号Bが引き算されると、B成分だけにもとづく青観察信号となる。 When the signal C is subtracted from the signal B, it becomes a green observation signal based only on the G component. When the signal B is subtracted from the signal A, it becomes a blue observation signal based on only the B component.
内視鏡装置1BXは、内視鏡装置1Bの効果を有し、受光素子21Xが同時に信号A、B、Cを出力するため、測定成分と全ての観察成分とが同時に被検体に照射されるため、同じ時間の観察画像と測定画像とが得られる。さらに、内視鏡装置1BXは受光素子21Xが信号A、B、Cを出力する時間が長いため、内視鏡装置1Bよりも、ノイズの少ない情報が得られる。
The endoscope apparatus 1BX has the effect of the
<第4実施形態>
次に第4実施形態の内視鏡装置1Cについて説明する。内視鏡装置1Cは、内視鏡装置1〜1B等と類似しているため、同じ機能の構成要素には同じ符号を付し説明は省略する。Fourth Embodiment
An
図13および図21に示すように、内視鏡装置1Cの光源40Cは、第2実施形態の光源40Aと同じように、R光源41とG光源42とB光源43とIR光源44とを有する。ただし、光源40Cでは光源40Bと同じように、R光源41、G光源42、B光源43およびIR光源44は、同時に光を出射する。すなわち、照明光は、観察成分光(R成分、G成分、B成分)と測定成分光(IR成分)とからなる混合光である。
As shown in FIGS. 13 and 21, the
図22に示すように、4種類のバイアスが順に印加された広帯域変調型の受光素子21Cは、R成分信号とG成分信号とB成分信号とIR成分信号とを異なる割合で含んでいる4種類の電気信号A、B、C、Dを順に出力する。
As shown in FIG. 22, the wide band modulation type
信号処理部22は4種類の電気信号A、B、C、Dから、R、G、Bの3つの観察信号を分離するとともに、測定信号を取得する。なお、受光素子21Cを含む受光部の演算手段が信号分離処理を行ってもよい。
The
内視鏡装置1Cは、内視鏡装置1Aの効果と内視鏡装置1Bの効果を有し、さらに変化の激しい被写体であっても、色割れが発生するおそれがなく、距離測量の精度が高い。
The
また、R光源41、G光源42、B光源43およびIR光源44が順に光を出射する場合には、受光素子21Bが照明光の波長切替に同期して受光波長を切り替えても良い。
When the R
<第4実施形態の変形例>
次に第4実施形態の変形例の内視鏡装置1CXについて説明する。内視鏡装置1CXは、内視鏡装置1Cと類似しているため、同じ機能の構成要素には同じ符号を付し説明は省略する。Modification of Fourth Embodiment
Next, an endoscope apparatus 1CX according to a modification of the fourth embodiment will be described. Since the endoscope apparatus 1CX is similar to the
図23に示すように、内視鏡装置1CXの受光素子21CXは、複数の検出層21LCが積層されている単一素子である。複数の検出層21LCは、観察信号を出力する可視光検出層21LC1と、赤外波長成分にもとづく測定信号を出力する赤外光検出層21LC2と、からなる。 As shown in FIG. 23, the light receiving element 21CX of the endoscope apparatus 1CX is a single element in which a plurality of detection layers 21LC are stacked. The plurality of detection layers 21LC include a visible light detection layer 21LC1 that outputs an observation signal, and an infrared light detection layer 21LC2 that outputs a measurement signal based on an infrared wavelength component.
上層の可視光検出層21LC1は、赤検出層21LR、緑検出層21LG、および青検出層21LBからなる。 The upper visible light detection layer 21LC1 includes a red detection layer 21LR, a green detection layer 21LG, and a blue detection layer 21LB.
赤外光検出層21LC2は赤外波長(IR)成分にもとづく信号Eを出力する。赤検出層21LRは、R成分にもとづく信号Cを出力する。緑検出層21LGは、G成分にもとづく信号Bを出力する。青検出層21LBはB成分にもとづくにもとづく信号Aを出力する。 The infrared light detection layer 21LC2 outputs a signal E based on an infrared wavelength (IR) component. The red detection layer 21LR outputs a signal C based on the R component. The green detection layer 21LG outputs a signal B based on the G component. The blue detection layer 21LB outputs a signal A based on the B component.
図24に示すように、内視鏡装置1Cの光源40Cは、第2実施形態の光源40Aと同じように、R光源41とG光源42とB光源43とIR光源44とを有する。
As shown in FIG. 24, the
ただし、光源40Cでは光源40Bと同じように、R光源41、G光源42、B光源43およびIR光源44は、同時に光を出射する。すなわち、照明光は、観察成分光(R成分、G成分、B成分)と測定成分光(IR成分)とからなる混合光である。
However, in the
図25に示すように、混合光からなる反射光を受光した受光素子21CXは、4種類の電気信号A、B、C、Eを出力する。電気信号A、B、Cが観察信号であり、信号Eが、測定信号である。
As shown in FIG. 25, the
内視鏡装置1CXは、内視鏡装置1Cの効果を有し、さらに、受光素子21CXが信号A、B、C、Eを出力する時間が長いため、内視鏡装置1Cよりも、ノイズの少ない情報が得られる。
The endoscope apparatus 1CX has the effect of the
なお、内視鏡装置1CXでも、可視光(RGB)を受光する可視光検出層21LC1と、赤外光(IR)を受光する赤外光検出層21LC2とは、同時に信号A、BまたはCと、信号Eとを出力できる。このため、可視光と赤外光とが同時に照射されてもよい。すなわち、R光源41、G光源42、またはB光源43と、IR光源44とは、同時に光を出射してもよい。IR光だけが照射される時間を設ける必要がないため、高速度撮像が可能となる。また、カラー画像と距離画像とのマッチングが容易になる。
In the endoscope apparatus 1CX, the visible light detection layer 21LC1 that receives visible light (RGB) and the infrared light detection layer 21LC2 that receives infrared light (IR) simultaneously have the signals A, B, or C and , E can be output. For this reason, visible light and infrared light may be simultaneously irradiated. That is, the R
また、内視鏡装置1CXでは、第2実施形態の光源40Aと同じように、R光源41、G光源42、B光源43およびIR光源44が時間差をおいて光を出射する光源と、受光素子21Cとを組み合わせても良い。このとき、光源40Aと同じように、R光源41、G光源42、またはB光源43と、IR光源44とは、同時に光を出射してもよい。
In the endoscope apparatus 1CX, similarly to the
<第5実施形態>
次に第5実施形態の内視鏡装置1Dについて説明する。内視鏡装置1Dは、内視鏡装置1〜1CX等と類似しているため、同じ機能の構成要素には同じ符号を付し説明は省略する。Fifth Embodiment
An
図25に示すように、内視鏡装置1Dでは、受光素子21Dが内視鏡10の挿入部11の先端部11Aに配置されている。受光素子21Dは、受光素子21と同じ、単一の検出層21Lが反射光を電気信号に変換し出力する単一の可視光受光素子である。検出層21Lが出力する電気信号は信号線21Mを介して信号処理部22に伝送される。
As shown in FIG. 25, in the
内視鏡装置1Dでは、反射光は、第2の光ファイバを介さずに受光素子21Dに入射する。このため損失が小さく、高感度である。また、第2の光ファイバ46の長さL2により生じる時間差Δtの影響がなくなるため、より距離測量の精度が高い。
In the
内視鏡装置1Dでは、反射光は、第2の光ファイバを介さずに受光素子21に入射する。このため損失が小さく、高感度である。また、第2の光ファイバ46の長さL2により生じる時間差Δtの影響がなくなるため、より距離測量の精度が高い。
In the
内視鏡装置1A〜1CXにおいても、小型の受光素子(受光部)を内視鏡10の挿入部11の先端部11Aに配置することができる。なお、受光素子(受光部)を内視鏡10の把持部12Bに配置してもよい。また光源40を把持部12Bに配置してもよい。
Also in the
なお、以上の説明では、被検体の測定として距離計測を例に説明した。しかし、照射光を用いた被検体の測定として、赤外照射光を用いた、発熱量(温度)測定、FI−IR法による水分量の分布、または、照射光により発生する蛍光を検出することで、対応成分の定量測定、ラマン散乱光測定等であってもよい。 In the above description, distance measurement has been described as an example of measurement of a subject. However, as measurement of an object using irradiation light, calorific value (temperature) measurement using infrared irradiation light, distribution of water content by FI-IR method, or detecting fluorescence generated by irradiation light In this case, quantitative measurement of the corresponding component, Raman scattered light measurement, etc. may be used.
本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更、組み合わせ、および応用が可能であることは勿論である。 The present invention is not limited to the above-described embodiments, and it goes without saying that various modifications, combinations, and applications are possible without departing from the spirit of the invention.
1、1A〜1DX・・・内視鏡装置
10・・・内視鏡
15・・・走査部
20・・・本体部
21・・・受光素子
21L・・・検出層
22・・・信号処理部
23・・・画像生成部
24・・・制御部
25・・・走査制御部
30・・・モニタ
30A・・・二次元カラー画像
30B・・・距離画像
30C・・・三次元カラー画像
40・・・光源
45・・・第1の光ファイバ
46・・・第2の光ファイバDESCRIPTION OF
Claims (8)
導光した前記照射光を先端から被検体へ向けてスポット照射する第1の光ファイバと、
前記第1の光ファイバの前記先端の方向を変化させることで、前記照射光を走査する走査部と、
前記照射光が照射された前記被検体からの反射光にもとづく電気信号を出力する受光部と、
前記電気信号を処理する信号処理部と、を備える内視鏡装置であって、
前記照射光が、前記被検体の二次元画像を取得するための観察成分と、前記観察成分に重畳されており、タイムオブフライト法を用いて前記被検体との距離測量を行うために高周波変調された測定成分とを含み、
前記受光部が、前記反射光の前記観察成分にもとづく観察信号と前記反射光の前記測定成分にもとづく測定信号とを含む前記電気信号を出力し、
前記信号処理部が、前記観察信号を処理し二次元画像データを出力するとともに、前記測定信号を処理し測定データを出力することを特徴とする内視鏡装置。 A light source for generating irradiated light;
A first optical fiber for spot-irradiating the guided light from the tip toward the object;
A scanning unit configured to scan the irradiation light by changing the direction of the tip of the first optical fiber;
A light receiving unit that outputs an electrical signal based on the reflected light from the object irradiated with the irradiation light;
An endoscope apparatus comprising: a signal processing unit configured to process the electrical signal;
The irradiation light is superimposed on an observation component for acquiring a two-dimensional image of the subject and the observation component, and high frequency modulation is performed to perform distance measurement with the subject using a time-of-flight method. Containing the measured components and
The light receiving unit outputs the electric signal including an observation signal based on the observation component of the reflected light and a measurement signal based on the measurement component of the reflected light;
An endoscope apparatus characterized in that the signal processing unit processes the observation signal and outputs two-dimensional image data, and processes the measurement signal and outputs measurement data.
前記受光部が、前記第2の光ファイバが導光した前記反射光を受光することを特徴とする請求項1に記載の内視鏡装置。 A second optical fiber for guiding the reflected light;
The endoscope apparatus according to claim 1, wherein the light receiving unit receives the reflected light guided by the second optical fiber.
前記信号処理部が、前記観察信号を処理し前記二次元画像データであるカラー画像データを出力するとともに、前記測定信号を処理し、前記測定データとして距離画像データを出力し、
前記カラー画像データと前記距離画像データとから、三次元カラー画像を生成する画像生成部をさらに具備することを特徴とする請求項1から請求項3のいずれか1項に記載の内視鏡装置。 The observed component comprises a red wavelength component, a green wavelength component and a blue wavelength component,
The signal processing unit processes the observation signal and outputs color image data which is the two-dimensional image data, processes the measurement signal, and outputs distance image data as the measurement data.
The endoscope apparatus according to any one of claims 1 to 3, further comprising an image generation unit configured to generate a three-dimensional color image from the color image data and the distance image data. .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/063469 WO2016181454A1 (en) | 2015-05-11 | 2015-05-11 | Endoscopic device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016181454A1 JPWO2016181454A1 (en) | 2017-10-26 |
JP6508640B2 true JP6508640B2 (en) | 2019-05-08 |
Family
ID=57249003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017517478A Active JP6508640B2 (en) | 2015-05-11 | 2015-05-11 | Endoscope device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6508640B2 (en) |
WO (1) | WO2016181454A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7354608B2 (en) * | 2019-06-21 | 2023-10-03 | ソニーグループ株式会社 | Medical observation system, medical observation method, and information processing device |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0542097A (en) * | 1991-08-16 | 1993-02-23 | Olympus Optical Co Ltd | Endoscope for three-dimensional measurement |
JP2005087468A (en) * | 2003-09-17 | 2005-04-07 | Shoji Kawahito | Image pickup device provided with distance image measurement function and endoscopic apparatus |
WO2007067163A1 (en) * | 2005-11-23 | 2007-06-14 | University Of Washington | Scanning beam with variable sequential framing using interrupted scanning resonance |
WO2007138552A2 (en) * | 2006-05-30 | 2007-12-06 | Koninklijke Philips Elecronics N.V. | Apparatus for depth-resolved measurements of properties of tissue |
CN101888807B (en) * | 2007-11-30 | 2014-02-19 | 圣朱德医疗有限公司房颤分公司 | Irrigated ablation catheter having magnetic tip for magnetic field control and guidance |
JP2011036592A (en) * | 2009-08-18 | 2011-02-24 | Hoya Corp | Endoscope apparatus |
JP2012183216A (en) * | 2011-03-07 | 2012-09-27 | Fujifilm Corp | Endoscope apparatus |
-
2015
- 2015-05-11 JP JP2017517478A patent/JP6508640B2/en active Active
- 2015-05-11 WO PCT/JP2015/063469 patent/WO2016181454A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2016181454A1 (en) | 2016-11-17 |
JPWO2016181454A1 (en) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2653091B1 (en) | Scanning endoscope device | |
JP6246740B2 (en) | Extended depth of focus for high resolution image scanning | |
US6600861B2 (en) | Fiber bundle and endoscope apparatus | |
US6975898B2 (en) | Medical imaging, diagnosis, and therapy using a scanning single optical fiber system | |
US20080221388A1 (en) | Side viewing optical fiber endoscope | |
JP2015508685A5 (en) | ||
US11759099B2 (en) | Optical scanning imaging/projection apparatus and endoscope system | |
EP3241481B1 (en) | Dual path endoscope | |
JP2011217836A (en) | Electronic endoscopic system | |
US8974378B2 (en) | Scanning endoscope apparatus | |
JP6508640B2 (en) | Endoscope device | |
JP2011217835A (en) | Device for detecting shape of endoscope | |
JP6803835B2 (en) | Scanning endoscopy system | |
WO2017217498A1 (en) | Endoscope expansion device | |
JP6508639B2 (en) | Endoscope device | |
JP6508638B2 (en) | Endoscope device | |
JP6238751B2 (en) | Scanning observation device | |
JP5242304B2 (en) | Observation system | |
US20180103835A1 (en) | Scanning-endoscope image evaluation system | |
KR102112229B1 (en) | Endoscope apparatus capable of visualizing both visible light and near-infrared light | |
JP2008220430A (en) | Medical apparatus | |
KR20200070912A (en) | Image picup module for endoscope and medical endoscope synchronized multiplex medical image based on separate imaging | |
JP7261301B2 (en) | Optical device, light source device, light collection method, and endoscope system | |
JP2017086549A (en) | Scanning endoscope apparatus | |
WO2017203711A1 (en) | Scanning-type endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190325 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6508640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |