JP6227077B2 - Endoscope system and operating method thereof - Google Patents
Endoscope system and operating method thereof Download PDFInfo
- Publication number
- JP6227077B2 JP6227077B2 JP2016174238A JP2016174238A JP6227077B2 JP 6227077 B2 JP6227077 B2 JP 6227077B2 JP 2016174238 A JP2016174238 A JP 2016174238A JP 2016174238 A JP2016174238 A JP 2016174238A JP 6227077 B2 JP6227077 B2 JP 6227077B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- wavelength
- illumination
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
本発明は、内視鏡先端部に固体撮像素子を搭載した電子内視鏡を備える内視鏡システム及びその作動方法に関する。 The present invention relates to an endoscope system including an electronic endoscope having a solid-state imaging device mounted on the distal end portion of the endoscope, and an operation method thereof.
医療分野において、内視鏡システムを利用した医療診断が盛んに行われている。内視鏡システムは、体腔内に挿入される挿入部を備えた電子内視鏡(スコープ)と、この電子内視鏡が着脱自在に接続される本体装置とで構成される。 In the medical field, medical diagnosis using an endoscope system is actively performed. The endoscope system includes an electronic endoscope (scope) having an insertion portion that is inserted into a body cavity, and a main body device to which the electronic endoscope is detachably connected.
本体装置は、プロセッサ装置と光源装置とを備える。プロセッサ装置は、電子内視鏡の挿入部先端に内蔵された固体撮像素子から出力される撮像信号を受信して画像処理を行い、得られた観察画像をモニタに表示する。光源装置は、電子内視鏡内に挿通されたライトガイドを通して体腔内を照明する光を発生する。 The main device includes a processor device and a light source device. The processor device receives an imaging signal output from a solid-state imaging device built in the distal end of the insertion portion of the electronic endoscope, performs image processing, and displays the obtained observation image on a monitor. The light source device generates light that illuminates the inside of the body cavity through a light guide inserted into the electronic endoscope.
電子内視鏡の挿入部先端に搭載される固体撮像素子としては、特許文献1に記載されている様に、低電圧駆動が可能で多画素化と高速読出化が容易なCMOS(Complementary Metal Oxide Semiconductor)型や、CCD(Charge Coupled Device)型が使われる。
As described in
電子内視鏡は、一般的なデジタルカメラ等とは異なり、特殊な環境下で使用される。例えば、図7(a)に示す様に、電子内視鏡先端部1を暗所である体腔2内に挿入し、患部3を遠くから撮影したり、図7(b)に示す様に、電子内視鏡先端部1を患部3に近づけて患部3の拡大画像を撮影したりする。図7(a)の撮影状態における照明光の強さで患部3に近づき、図7(b)の撮影状態にすると、照明光が強すぎて患部3の観察画像が白飛びしてしまう。
An electronic endoscope is used in a special environment unlike a general digital camera or the like. For example, as shown in FIG. 7 (a), the
そこで、光源装置で発生させる照明光の強さを弱くするのであるが、この比が、電子内視鏡では、例えば2000:1と大きい。つまり、図7(a)の撮影状態にしたときの照明光の強さを、1/2000程度に弱めて図7(b)の撮影状態にする必要がある。 Therefore, although the intensity of the illumination light generated by the light source device is reduced, this ratio is as large as 2000: 1, for example, in an electronic endoscope. That is, it is necessary to reduce the intensity of the illumination light when the shooting state of FIG. 7A is set to about 1/2000 to the shooting state of FIG. 7B.
この様に、照明光の強さを大きく変えると、別の問題が発生する。図8は、この問題の一例を説明するグラフである。カラー画像を撮影するために、照明光には、赤(R),緑(G),青(B)の三原色の波長帯域の光が含まれる様にしている。このRGBの照明光に含まれる色成分の割合が、照明光の強さを大きく変えると、変化してしまう。例えば、図8に示す例では、照明光が弱いときに比べて照明光を強くすると、発光効率等の光源個体差が出てR光量,G光量,B光量のバランスが変わり、R/Gは一定であるのに対し、B/Gが上昇してしまう場合がある。 In this way, another problem occurs when the intensity of the illumination light is greatly changed. FIG. 8 is a graph illustrating an example of this problem. In order to capture a color image, the illumination light includes light in the wavelength bands of the three primary colors of red (R), green (G), and blue (B). The ratio of the color components contained in the RGB illumination light changes when the intensity of the illumination light is greatly changed. For example, in the example shown in FIG. 8, when the illumination light is made stronger than when the illumination light is weak, individual light source differences such as light emission efficiency occur, and the balance of the R light quantity, G light quantity, and B light quantity changes, and R / G is While it is constant, B / G may increase.
この様な場合、同じ患部3の観察画像を電子内視鏡先端部1を患部3に近づけながら観察していた医者は、図7(a)における観察画像と、図7(b)における観察画像とで、色味の違う画像を観察することになり、違和感を感じてしまう。特に、表層血管観察を行う場合、B/Gは一定である必要がある。
In such a case, a doctor who has observed an observation image of the same
本発明の目的は、照明光の明るさ(強度)を変化させても観察画像の色味変化を抑制する内視鏡システム及びその作動方法を提供することにある。 An object of the present invention is to provide an endoscope system that suppresses the color change of an observation image even when the brightness (intensity) of illumination light is changed, and an operation method thereof.
本発明の内視鏡システムは、先端部に被写体に対して照明光を照射する照明窓が設けられ、該被写体からの光を受光する固体撮像素子を前記先端部に搭載した電子内視鏡と、
青色光の第1波長域の光を発光する主光源と、前記第1波長域とは異なる第2波長域の青色光を発光し、特殊光観察に使用される補助光源を含み、それぞれ異なる波長域の光を発光する複数の光源と、前記複数の光源をそれぞれ駆動する複数の光源駆動回路と、前記複数の光源駆動回路の制御を行う光源制御部とを含み、該光源の発光光を前記電子内視鏡に導入する光源装置と、
前記主光源からの光を吸収して赤色光と緑色光の混合光を発光し、前記補助光源からの光を殆ど透過する蛍光体と、を備え、
前記光源制御部は、特殊光観察時に、前記主光源と前記補助光源を点灯して、青色光と前記蛍光体で発光した光とを含む照明光を前記被写体に照射する際、前記複数の光源駆動回路を個別に制御し、前記被写体に照射される前記照明窓からの前記照明光の赤成分の光量をR、緑成分の光量をG、青成分の光量をBとしたとき、B/GとR/Gを、それぞれ一定にするものである。
また、本発明の内視鏡システムの作動方法は、先端部に被写体に対して照明光を照射する照明窓が設けられ、該被写体からの光を受光する固体撮像素子を前記先端部に搭載した電子内視鏡と、
青色光の第1波長域の光を発光する主光源と、前記第1波長域とは異なる第2波長域の青色光を発光し、特殊光観察に使用される補助光源を含み、それぞれ異なる波長域の光を発光する複数の光源と、前記複数の光源を駆動する光源駆動回路と、前記光源駆動回路の制御を行う光源制御部とを含み、該光源の発光光を前記電子内視鏡に導入する光源装置と、
前記主光源からの光を吸収して赤色光と緑色光の混合光を発光し、前記補助光源からの光を殆ど透過する性質を有する蛍光体と、を備える内視鏡システムの作動方法であって、
前記光源制御部が、特殊光観察時に、前記主光源と前記補助光源を点灯して、前記被写体に照射するための青色光と前記蛍光体で発光した光とを含む照明光を出射するに際し、前記光源駆動回路を制御して前記主光源の発光強度を変化させる場合、前記補助光源の発光強度を変化させて、前記被写体に照射される前記照明窓からの前記照明光の赤成分の光量をR、緑成分の光量をG、青成分の光量をBとしたとき、B/GとR/Gを、それぞれ一定にするものである。
An endoscope system according to the present invention includes an electronic endoscope in which an illumination window for illuminating a subject with illumination light is provided at a distal end portion, and a solid-state imaging device that receives light from the subject is mounted on the distal end portion. ,
A main light source that emits blue light in the first wavelength range and an auxiliary light source that emits blue light in a second wavelength range different from the first wavelength range and is used for special light observation, each having a different wavelength A plurality of light sources that emit light of a region, a plurality of light source drive circuits that respectively drive the plurality of light sources, and a light source control unit that controls the plurality of light source drive circuits, A light source device to be introduced into the electronic endoscope;
A phosphor that absorbs light from the main light source, emits mixed light of red light and green light, and transmits most of the light from the auxiliary light source, and
The light source control unit turns on the main light source and the auxiliary light source during special light observation, and irradiates the subject with illumination light including blue light and light emitted from the phosphor. When the driving circuit is individually controlled and the light quantity of the red component of the illumination light emitted from the illumination window irradiated to the subject is R, the light quantity of the green component is G, and the light quantity of the blue component is B, B / G And R / G are made constant.
Further, according to the operation method of the endoscope system of the present invention, an illumination window for irradiating the subject with illumination light is provided at the distal end portion, and a solid-state imaging device that receives light from the subject is mounted on the distal end portion. An electronic endoscope,
A main light source that emits blue light in the first wavelength range and an auxiliary light source that emits blue light in a second wavelength range different from the first wavelength range and is used for special light observation, each having a different wavelength A plurality of light sources that emit light in a region, a light source drive circuit that drives the plurality of light sources, and a light source control unit that controls the light source drive circuit, and the light emitted from the light source is transmitted to the electronic endoscope A light source device to be introduced;
Emits mixed light of red light and green light by absorbing light from the main light source, there in operation method of the endoscope system and a phosphor having a property of hardly transmitting the light from the auxiliary light source And
Upon the light source control section, at the time of special light observation, and turns on the auxiliary light source and said main light source, emits the illumination light including the light emitted by the blue light and the phosphor for illuminating said object, When the light source drive circuit is controlled to change the light emission intensity of the main light source, the light emission intensity of the auxiliary light source is changed to change the amount of red component of the illumination light from the illumination window irradiated to the subject. When the light quantity of R and green components is G, and the light quantity of blue components is B, B / G and R / G are made constant, respectively.
本発明によれば、遠い被写体の画像と近い被写体の画像で色味変化がなくなり、見易い画像を提供可能となる。 According to the present invention, it is possible to provide an easy-to-see image with no color change between a distant subject image and a close subject image.
以下、本発明の一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図1は本発明の一実施形態に係る内視鏡システムの概略構成を示した全体構成図である。本実施形態の内視鏡システム10は、電子内視鏡12と、本体装置を構成するプロセッサ装置14及び光源装置16とから構成される。電子内視鏡12は、患者(被検体)の体腔内に挿入される可撓性の挿入部20と、挿入部20の基端部分に連設された操作部22と、プロセッサ装置14及び光源装置16に接続されるユニバーサルコード24とを備えている。
FIG. 1 is an overall configuration diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention. The
挿入部20の先端には先端部26が連設され、先端部26内に、体腔内撮影用の撮像チップ(撮像装置)54(図3参照)が内蔵される。先端部26の後方には、複数の湾曲駒を連結した湾曲部28が設けられている。湾曲部28は、操作部22に設けられたアングルノブ30が操作されたとき、挿入部20内に挿設されたワイヤが押し/引きされ、上下左右方向に湾曲動作する。これにより、先端部26が体腔内で所望の方向に向けられる。
A
ユニバーサルコード24の基端にはコネクタ36が設けられている。コネクタ36は、複合タイプのものであり、プロセッサ装置14に接続される他、光源装置16にも接続される。
A
プロセッサ装置14は、ユニバーサルコード24内に挿通されたケーブル68(図3参照)を介して電子内視鏡12に給電を行い、撮像チップ54の駆動を制御すると共に、撮像チップ54からケーブル68を介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。
The
プロセッサ装置14で変換された画像データは、プロセッサ装置14にケーブル接続されたモニタ38に内視鏡撮影画像(観察画像)として表示される。また、プロセッサ装置14は、コネクタ36を介して光源装置16とも電気的に接続され、光源装置16を含め内視鏡システム10の動作を統括的に制御する。
The image data converted by the
図2は、電子内視鏡12の先端部26の先端面26aを示した正面図である。図2に示すように、先端部26の先端面26aには、観察窓40と、照明窓42と、鉗子出口44と、送気・送水用ノズル46が設けられている。
FIG. 2 is a front view showing the
観察窓40は、先端面26aの中央且つ片側に偏心して配置されている。照明窓42は、観察窓40に関して対称な位置に2個配され、体腔内の被観察部位に光源装置16からの照明光を照射する。
The
鉗子出口44は、挿入部20内に配設された鉗子チャンネル70(図3参照)に接続され、操作部22に設けられた鉗子口34(図1参照)に連通している。鉗子口34には、注射針や高周波メスなどが先端に配された各種処置具が挿通され、各種処置具の先端が鉗子出口44から体腔内に出される。
The
送気・送水用ノズル46は、操作部22に設けられた送気・送水ボタン32(図1参照)の操作に応じて、光源装置16に内蔵された送気・送水装置から供給される洗浄水や空気を、観察窓40や体腔内に向けて噴射する。
The air supply /
図3は電子内視鏡12の先端部26の縦断面図である。図3に示すように、観察窓40の奥には、体腔内の被観察部位の像光を取り込むための対物光学系50を保持する鏡筒52が配設されている。鏡筒52は、挿入部20の中心軸に対物光学系50の光軸が平行となるように取り付けられている。鏡筒52の後端には、対物光学系50を経由した被観察部位の像光を、略直角に曲げて撮像チップ54に向けて導光するプリズム56が接続されている。
FIG. 3 is a longitudinal sectional view of the
撮像チップ54は、CMOS型の固体撮像素子58と、固体撮像素子58の駆動及び信号の入出力を行う周辺回路60とが一体形成されたモノリシック半導体(いわゆるCMOSセンサチップ)であり、支持基板62上に実装されている。
The
固体撮像素子58の撮像面(受光面)58aは、プリズム56の出射面と対向するように配置されている。撮像面58a上には、矩形枠状のスペーサ63を介して矩形板状のカバーガラス64が取り付けられている。撮像チップ54とスペーサ63とカバーガラス64とは、接着剤を介して組み付けられており、これにより、塵埃などの侵入から撮像面58aが保護される。
The imaging surface (light receiving surface) 58 a of the solid-
挿入部20の後端に向けて延設された支持基板62の後端部には、複数の入出力端子62aが支持基板62の幅方向に並べて設けられている。入出力端子62aには、ユニバーサルコード24を介してプロセッサ装置14との各種信号のやり取りを媒介するための信号線66が接合されており、入出力端子62aは、支持基板62に形成された配線やボンディングパッド等(図示せず)を介して撮像チップ54内の周辺回路60と電気的に接続されている。
A plurality of input /
信号線66は、可撓性の管状のケーブル68内にまとめて挿通されている。ケーブル68は、挿入部20、操作部22、及びユニバーサルコード24の各内部を挿通し、コネクタ36に接続されている。
The signal lines 66 are collectively inserted into a flexible tubular cable 68. The cable 68 is inserted through each of the
また、図2,図3では図示を省略しているが、照明窓42の奥には、照明部が設けられている。照明部には、光源装置16からの照明光を導くライトガイド120(図4参照)の出射端120aが配されており、本実施形態では、この出射端と照明窓42との間に蛍光体53を設けている。ライトガイド120は、ケーブル68と同様に、挿入部20、操作部22、及びユニバーサルコード24の各内部を挿通し、コネクタ36に入射端が接続されている。
Although not shown in FIGS. 2 and 3, an illumination unit is provided in the back of the
図4は、内視鏡システム10の制御系を示したブロック図である。図4に示すように、電子内視鏡12の先端部26には、固体撮像素子58と、アナログ信号処理回路(AFE:アナログフロントエンド)72と、TG(タイミングジェネレータ)78と、CPU80とが設けられている。
FIG. 4 is a block diagram showing a control system of the
TG78は、CPU80の制御に基づき、固体撮像素子58の駆動パルス(垂直/水平走査パルス、リセットパルス等)とAFE72用の同期パルスとを発生する。固体撮像素子58は、TG78から入力される駆動パルスにより駆動され、対物光学系50を介して撮像面58aに結像された光学像を光電変換して撮像信号として出力する。
The
固体撮像素子58の撮像面58aには、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサ(光電変換素子)が設けられている。固体撮像素子58の撮像面58aに入射した光は各画素のフォトセンサに電荷として蓄積される。そして、垂直走査回路及び水平走査回路(いずれも不図示)による垂直方向と水平方向の走査によって、各画素のフォトセンサに蓄積された信号電荷量は画素信号として順次読み出され、所定のフレームレートで出力される。
A large number of pixels are arranged in a matrix on the
なお、図示は省略するが、固体撮像素子58は、複数の色セグメントからなるカラーフィルタ(例えば、ベイヤ配列の原色カラーフィルタ)を備えた単板カラー撮像方式の固体撮像素子である。
Although not shown, the solid-
また、固体撮像素子58の各フォトセンサの蓄積電荷を撮像信号として読み出す信号読出回路の構成は従来周知であり、例えば3トランジスタ構成や4トランジスタ構成などの一般的な構成を適用することが可能であり、ここでは説明を省略する。
The configuration of a signal readout circuit that reads out the accumulated charge of each photosensor of the solid-
AFE72は、相関二重サンプリング(CDS)回路と、自動ゲイン回路(AGC)と、A/D変換器とにより構成されている。CDS回路は、固体撮像素子58から出力される撮像信号に対して相関二重サンプリング処理を施し、固体撮像素子58で生じるリセット雑音及びアンプ雑音の除去を行う。
The
AGCは、CDS回路によりノイズ除去が行われた撮像信号を、CPU80から指定されたゲイン(増幅率)で増幅する。A/D変換器は、AGCにより増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。AFE72でデジタル化されて出力された撮像信号(デジタル撮像信号)は、信号線66を通してプロセッサ装置14に入力される。
The AGC amplifies the image signal from which noise has been removed by the CDS circuit with a gain (amplification factor) designated by the
プロセッサ装置14は、CPU82と、ROM84と、RAM85と、画像処理回路(DSP)86と、表示制御回路88とを備えて構成される。
The
CPU82は、プロセッサ装置14内の各部を制御するとともに、内視鏡システム10の全体を統括的に制御する。ROM84には、プロセッサ装置14の動作を制御するための各種プログラムや制御用データが記憶される。また、RAM85には、CPU82により実行されるプログラムやデータなどが一時記憶される。
The
DSP86は、CPU82の制御に基づき、AFE72から入力された撮像信号に対し、色補間,色分離,色バランス調整,ガンマ補正,画像強調処理等を施し、画像データを生成する。
The
DSP86から出力された画像データは表示制御回路88に入力され、表示制御回路88は、DSP86から入力された画像データを、モニタ38に対応した信号形式に変換しモニタ38の画面に表示させる。
The image data output from the
プロセッサ装置14の操作部90は、固体撮像素子58の動作モードを選択し又は切り替えるためのモード切替ボタンや、その他ユーザの指示入力を受け付ける各種ボタンが設けられている。
The
光源装置16は、主光源100と、主光源駆動回路101と、補助光源102と、補助光源駆動回路103と、CPU104と、合波部105とを備えて構成される。CPU104は、プロセッサ装置14のCPU82と通信を行い、主光源駆動回路101の制御を行う。
The
補助光源駆動回路103は、CPU指示の主光源駆動回路101による主光源100の主発光量に基づいて、補助光源102の発光量が後述する補助発光量となるように補助光源102の発光制御を行う。合波部105は、主光源100と補助光源102の夫々の出射光を合波してライトガイド120の入射端120bに出射する。本実施形態では、CPU指示による主発光量で補助発光量を制御するため、制御の応答遅れがなくなり、安定した色味制御が可能となる。
The auxiliary light
主光源100は、本実施形態では波長445nmの青色レーザを発光するレーザダイオードでなり、主光源駆動回路101によりパルス駆動されて発光量が制御される。補助光源102は、本実施形態では波長405nmの青色レーザを発光するレーザダイオードでなり、補助光源駆動回路103によりパルス駆動されて発光量が制御される。波長405nmの青色光は、特殊光観察で使用される。
In the present embodiment, the main
ライトガイド120の出射端120aと電子内視鏡12の先端照明窓42との間には、上述した様に蛍光体53が設けられている。ライトガイド120を通った青色レーザ光は蛍光体53に照射され、蛍光体53を励起状態にすると共に、その一部は蛍光体53を透過して青色光として照明窓42から出射される。
As described above, the
蛍光体53は、青色レーザ光で励起され、光の波長帯域でいうと、青色と緑色の境界当たりの波長域から赤色の波長域までの広範囲の光(色としては黄色)を発光する。この黄色の光と蛍光体53を透過する青色光(蛍光体53で発光する青色光も一部含む。)とが混合されて白色光となり、照明窓42を通して被写体を照明することになる。
The
この蛍光体53は、主として、波長445nmの青色レーザ光の照射を受けたとき黄色光を発光すると共に波長445nmの青色光を透過するが、波長405nmの青色レーザ光を受けたときはその殆どを透過する性質を持つ。
The
即ち、波長445nmの青色レーザ光と波長405nmの青色レーザ光との混合割合を制御することで、蛍光体53を透過する青色光と、蛍光体53で発光する黄色光との割合を制御することが可能となる。
That is, by controlling the mixing ratio of blue laser light having a wavelength of 445 nm and blue laser light having a wavelength of 405 nm, the ratio of blue light transmitted through the
赤色(R)光と青色(B)光と緑色(G)光を含む白色光で照明された被写体(患部)からの反射光を、RGBの3原色のカラーフィルタを搭載した固体撮像素子58で受光することで、被写体のカラー画像が再現される。
The reflected light from the subject (affected part) illuminated with white light including red (R) light, blue (B) light, and green (G) light is reflected by a solid-
上記のように構成された内視鏡システム10で体腔内を観察する際には、電子内視鏡12と、プロセッサ装置14と、光源装置16と、モニタ38の電源をオンにして、電子内視鏡12の挿入部20を体腔内に挿入し、光源装置16からの照明光で体腔内を照明しながら、固体撮像素子58により撮像される体腔内の画像をモニタ38で観察することになる。
When the inside of the body cavity is observed with the
CPU14は、固体撮像素子58の撮像画像信号から照明光の光量制御を行うか否かを判断し、光量制御を行う場合には主光源駆動回路101に指令を出す。CPUからの指示を受けた主光源駆動回路101は、主光源100の発光量制御を行う。主光源100から発光される青色レーザ光(波長445nm)を受けた蛍光体53は、そのレーザ光量に応じた黄色光(緑色光Gは+赤色R)を発光すると共に、入射する波長445nmの青色光のうち所要割合の青色光を透過する。
The
この透過する波長445nmの青色光は、図8に例示する特性を持つ蛍光体53及び主光源100の場合、発光量が多くなるほど即ち明るくなるほど、蛍光体53を透過する青色光の割合が増え、B/Gが増加してしまう。
In the case of the
即ち、図8の基準点位置(A点位置)に対して主光源100の発光量を増やしてB点位置の明るさにしたとき、R/Gの割合がA点位置と同じであるのに対し、B/Gが上昇して観察画像は青みを帯びた画像になる。このように、B/Gが変化すると、観察画像の色味が変化し、特に、高精度な表層血管観察に支障を来す場合がある。
That is, when the light emission amount of the main
そこで、本実施形態では、主光源100からの青色レーザ光と補助光源102からの青色レーザ光とを所定の割合で混合した青色レーザ光を用いてA点位置の明るさを定めておく。
Therefore, in the present embodiment, the brightness at the point A is determined using blue laser light obtained by mixing the blue laser light from the main
そして、照明光を明るくするために主光源100の発光量を増大させB点位置の明るさにしたとき、波長445nmの青色レーザ光が蛍光体53を透過する率が高くなった分だけ、波長405nmの補助光源102の発光量を減らし、蛍光体53を透過する青色光が、基準位置A点における青色光(蛍光体53を透過する青色光)と同じとなるように制御する。
Then, when the amount of light emitted from the main
図5は、主光源100の発光量(波長445nm)と補助光源102の発光量(波長405nm)の関係の一例を示すグラフである。主光源100の発光量(CPU82の指示による発光量)を増大させたとき、補助光源102の発光量比率を減らし、照明光に含まれる青色光の割合が一定となるように制御する。図中の式のLは各波長の発光量を示し、aは補正発光量比率(405)の傾き、bは切片である。これにより、照明光の強弱制御を行うために主光源100の発光量制御を行っても、観察画像の色味変化がなくなり、高精度な表層血管観察が可能となる。
FIG. 5 is a graph showing an example of the relationship between the light emission amount of the main light source 100 (wavelength 445 nm) and the light emission amount of the auxiliary light source 102 (wavelength 405 nm). When the light emission amount of the main light source 100 (the light emission amount instructed by the CPU 82) is increased, the light emission amount ratio of the auxiliary
図4の構成で説明すると、主光源駆動回路101が主光源100の発光量を増大させたとき、補助光源駆動回路103は補助光源102の発光量比率を減少させ、主光源100の発光量を減少させたとき補助光源102の発光量比率を増大させることになる。なお、図4の構成では、補助光源駆動回路103は主光源駆動回路101の駆動量を受けて補助光源102の発光量制御を行っているが、補助光源駆動回路103もCPU104からの指示を受けて駆動する構成としても良い。
Referring to the configuration of FIG. 4, when the main light
蛍光体53の特性に対して主光源100と補助光源102の発光割合をどの様に制御すれば良いかは、予め求めておくことができる。つまり、図8に例示する特性は、予め計測しておくことができるため、この特性データを図4のROM84内にテーブルデータとして格納しておけば、照明光の発光量制御を任意に行っても、常に色味に変化の無い観察画像を得ることが可能となる。
It can be determined in advance how to control the light emission ratio of the main
図6は、本発明の別実施形態の内視鏡システムの制御系ブロック図である。図4の実施形態と異なる箇所は光源装置16である。図4の実施形態では、蛍光体53を用いたが、本実施形態では蛍光体53を用いずに、光源装置16として3原色夫々のLED光源を用いている。
FIG. 6 is a block diagram of the control system of the endoscope system according to another embodiment of the present invention. A difference from the embodiment of FIG. 4 is a
本実施形態の光源装置16は、光源としてのR光発光LED100r,G光発光LED100g,B光発光LED100bと、これら光源100r,100g,100bの夫々を駆動する光源駆動回路112r,112g,112bと、これら光源駆動回路112r,112g,112bに制御指令を出力するCPU114と、各光源100r,100g,100bの出射光を合波してライトガイド120の入射端120bに入射させる合波部115とを備えて構成される。CPU114は、プロセッサ装置14のCPU82と通信を行い、光源駆動回路112r,112g,112bの制御を行う。
The
本実施形態では、光源として発光LED100r,100g,100bを用いたが、各色を発光するレーザダイオードを用いても良い。これら光源100r,100g,100bは、各光源駆動回路112r,112g,112bにより発光強度が制御される。
In the present embodiment, the
合波部115で合波された光は、被写体照明光として多数本の光ファイバを束ねて構成されるライトガイド120の入射端120bに導入され、出射端120aから照明窓42を通り被写体に向けて出射される。
The light combined by the
赤色(R)光と青色(B)光と緑色(G)光を含む白色光で照明された被写体(患部)からの反射光を、RGBの3原色のカラーフィルタを搭載した固体撮像素子58で受光することで、被写体のカラー画像が再現される。
The reflected light from the subject (affected part) illuminated with white light including red (R) light, blue (B) light, and green (G) light is reflected by a solid-
図7で説明した様に、電子内視鏡12の先端部を患部から遠ざけて観察画像を撮像する場合と、患部に近づけて観察画像を撮像する場合、照明光の明るさ制御を行う。照明光の明るさは、図4の実施形態も同様であるが、固体撮像素子58の撮像画像信号から判断でき、観察画像が所定の明るさより暗くなったときは照明光の発光量を上げて明るくし、観察画像が所定の明るさより明るくなったときは照明光の発光量を下げて暗くする。
As described with reference to FIG. 7, the brightness of the illumination light is controlled when the observation image is captured by moving the distal end portion of the
しかし、発光LED100r,100g,100bの通電量を増減制御すると、発光LED100r,100g,100b間の個体差が変化する等し、図8で説明した様に、照明光に含まれるR光,G光,B光の割合が変化することがある。この場合、観察画像の色味が変化したり、B/Gが上昇して表層血管観察に不向きとなる。
However, when the energization amount of the
そこで、本実施形態では、色味が変化しない様に、各光源100r,100g,100bへの通電量を制御し、常に、B/G,R/Gが一定となるように、図8の例えばA点位置のB/G,R/Gと同じB/G,R/Gの値となる様にし、観察画像の色味がA点位置の色味と同じ色味となるように光源制御を行う。
Therefore, in the present embodiment, the energization amount to each of the
なお、図4の実施形態と図6の実施形態を併せた光源とすることでも良い。即ち、図6の青色(B)発光光源100bとして波長445nmの光を発光する光源を用い、波長405nmの特殊光を発光する光源を第4の光源として光源装置16内に設けても良い。
Note that the light source that combines the embodiment of FIG. 4 and the embodiment of FIG. 6 may be used. That is, a light source that emits light having a wavelength of 445 nm may be used as the blue (B)
上述した実施形態では、図8に例示した特性を基に説明したが、照明光を強くしたとき、どの色の光量がどの色の光量に対して増減するかは、光源個体差によるため、本発明は図8の特性に限定されるものではない。照明光を強くしたときどの様な各色光量の変化が起きるかは予め調べておくことができ、調べたデータをROM84内にテーブルデータとして保持しておけば、CPU82はCPU114に適切な光源制御指示を行うことができ、常に基準位置の色味に合わせた照明光を生成することができる。
In the above-described embodiment, the description has been made based on the characteristics illustrated in FIG. 8. However, when the illumination light is increased, which color light quantity increases or decreases with respect to which color light quantity depends on individual light source differences. The invention is not limited to the characteristics shown in FIG. It is possible to check in advance what kind of change in the amount of light of each color occurs when the illumination light is strengthened. If the checked data is stored as table data in the
ここで、例えば図8の横軸の全て点におけるデータをテーブルデータとして保持しておく必要はなく、離散的な特定位置のデータ(図8の例では明るさ50,100,150,200,…の各位置のデータ)を保持しておき、これらの間のデータは補間演算で求めれば良い。
Here, for example, it is not necessary to store data at all points on the horizontal axis in FIG. 8 as table data, but data at discrete specific positions (in the example of FIG. 8,
なお、テーブルデータを、ROM84内に設けるとして説明したが、本体装置側ではなく、電子内視鏡12の個体差情報は、電子内視鏡12のCPU80内の図示しないROMに保存しておき、電子内視鏡12が本体装置14,16に接続されたとき、CPU80からCPU82にテーブルデータを転送する構成にしておくと、電子内視鏡12を交換したとき電子内視鏡12に併せた制御が可能となる。
Although the table data has been described as being provided in the
以上述べた実施形態の内視鏡システム及びその駆動方法は、先端部に固体撮像素子が搭載されると共に該固体撮像素子に隣接して照明部が設けられ、被検体の体腔内に前記先端部が挿入されたとき該体腔内の被写体を前記照明部から出射される照明光で照明し前記固体撮像素子で該被写体の画像を撮影する電子内視鏡と、
赤色光,緑色光,青色光の3原色光を混合した前記照明光を生成し、前記照明部から前記被写体に出射する照明手段とを備える内視鏡システム及びその駆動方法であって、
前記照明光の強度を変化させたとき、前記赤色光,緑色光,青色光の各色のうち他色の光量に対して少なくなる光量の色の照明光強度を上げ、又は、他色の光量に対して多くなる光量の色の照明光強度を下げることを特徴とする。
In the endoscope system and the driving method thereof according to the embodiments described above, a solid-state imaging device is mounted on the distal end portion, and an illuminating unit is provided adjacent to the solid-state imaging device, and the distal end portion is disposed in the body cavity of the subject. An electronic endoscope that illuminates a subject in the body cavity with illumination light emitted from the illuminating unit and captures an image of the subject with the solid-state imaging device,
An endoscope system including an illumination unit that generates the illumination light obtained by mixing the three primary color lights of red light, green light, and blue light and emits the light from the illumination unit to the subject, and a driving method thereof.
When the intensity of the illumination light is changed, among the colors of the red light, the green light, and the blue light, the intensity of the illumination light of the light amount that is smaller than the light amount of the other color is increased, or the light amount of the other color is changed. On the other hand, it is characterized in that the illumination light intensity of a color with a large amount of light is lowered.
また、実施形態の内視鏡システム及びその駆動方法の前記照明手段は、前記赤色光,緑色光,青色光のいずれかの所定色の第1波長域の光を発光する主光源と、該主光源からの光を吸収して残り2色の混合光を発光すると共に吸収されなかった前記主光源からの光を透過する蛍光体と、前記主光源からの光と同じ色で且つ前記第1波長域とは異なる第2波長域の光であって前記蛍光体を発光させる効率、又は前記蛍光体を透過する効率の少なくとも一つが異なる光を発光する補助光源とを備えて構成されており、
前記主光源の発光強度を変化させ前記蛍光体から出射される前記第1波長域の光の比率が増加したときには、前記補助光源の発光強度比率を低下させ、前記主光源の発光強度を変化させ前記蛍光体から出射される前記第1波長域の光の比率が減少したときには、前記補助光源の発光強度比率を増加させることにより、前記蛍光体から出射する前記所定色の光の他色に対する割合を一定に保つ制御を行うことを特徴とする。
The illuminating means of the endoscope system and the driving method thereof according to the embodiment includes a main light source that emits light in a first wavelength region of a predetermined color of any one of the red light, green light, and blue light, and the main light source. A phosphor that absorbs light from the light source and emits mixed light of the remaining two colors and transmits light from the main light source that has not been absorbed; and has the same color as the light from the main light source and the first wavelength An auxiliary light source that emits light having a second wavelength range different from that of the region and emitting light of the phosphor, or at least one of the efficiency of transmitting through the phosphor,
When the light intensity of the first wavelength range emitted from the phosphor is increased by changing the light emission intensity of the main light source, the light emission intensity ratio of the auxiliary light source is decreased and the light emission intensity of the main light source is changed. When the ratio of the light in the first wavelength range emitted from the phosphor decreases, the ratio of the predetermined color of light emitted from the phosphor to other colors is increased by increasing the emission intensity ratio of the auxiliary light source. It is characterized by performing control to keep the constant.
また、実施形態の内視鏡システム及びその駆動方法は、前記主光源の励起電流に応じて前記補助光源の励起電流を制御し、前記蛍光体から出射する前記所定色の光の他色に対する割合を一定に保つことを特徴とする。 In addition, the endoscope system and the driving method thereof according to the embodiment control the excitation current of the auxiliary light source in accordance with the excitation current of the main light source, and the ratio of the predetermined color light emitted from the phosphor to other colors It is characterized by keeping constant.
また、実施形態の内視鏡システム及びその駆動方法は、前記第1波長域の光は波長445nmの光であり、前記第2波長域の光は波長405nmの光であることを特徴とする。 In the endoscope system and the driving method thereof according to the embodiment, the light in the first wavelength range is light having a wavelength of 445 nm, and the light in the second wavelength range is light having a wavelength of 405 nm.
また、実施形態の内視鏡システム及びその駆動方法は、前記主光源の発光強度を変化させたときに前記蛍光体から出射される前記第1波長域の光の増減データをメモリに保持しておき、該メモリ内の格納データに基づいて前記補助光源の発光強度の制御を行うことを特徴とする。 In addition, the endoscope system and the driving method thereof according to the embodiment hold the increase / decrease data of the light in the first wavelength range emitted from the phosphor when the emission intensity of the main light source is changed in a memory. The emission intensity of the auxiliary light source is controlled based on the stored data in the memory.
また、実施形態の内視鏡システム及びその駆動方法の前記照明手段は、前記赤色光を発光する第1の光源と、前記緑色光を発光する第2の光源と、前記青色光を発光する第3の光源とを備えて構成され、
前記第1,第2,第3の光源の夫々発光強度を増加させて前記照明光の強度を上げたとき、前記赤色光,緑色光,青色光の各色のうち他色の光量に対して少なくなる光量の色を発光する前記光源の発光強度を他色の光を発光する前記光源の発光強度より上げ、前記第1,第2,第3の光源の夫々発光強度を減少させて前記照明光の強度を下げたとき、前記赤色光,緑色光,青色光の各色のうち他色の光量に対して多くなる光量の色を発光する前記光源の発光強度を他色の光を発光する前記光源の発光強度より下げ、前記照明光に含まれる赤色光,緑色光,青色光の混合割合を一定に保つことを特徴とする。
In addition, the illumination unit of the endoscope system and the driving method thereof according to the embodiment includes a first light source that emits the red light, a second light source that emits the green light, and a first light source that emits the blue light. 3 light sources,
When the intensity of the illumination light is increased by increasing the emission intensity of each of the first, second, and third light sources, the amount of light of each color of the red light, green light, and blue light is less than that of the other colors. The illumination light is emitted by increasing the light emission intensity of the light source that emits a color of a certain amount above the light emission intensity of the light source that emits light of another color, and decreasing the light emission intensity of each of the first, second, and third light sources. The light source emits light of another color when the intensity of the light source emits light of a light amount that is larger than the light amount of the other color among the colors of red light, green light, and blue light when the intensity of the light source is reduced The mixing ratio of red light, green light and blue light contained in the illumination light is kept constant.
以上述べた実施形態によれば、内視鏡先端部を主要被写体に近づけて撮影しても遠ざけて撮影しても観察画像の色味が変化することがなくなり、違和感のない見易い観察画像を提供することが可能となる。 According to the embodiments described above, the color of the observation image does not change even when the endoscope tip is photographed close to or away from the main subject, and an easy-to-see observation image without discomfort is provided. It becomes possible to do.
本発明に係る内視鏡システムは、被写体の近い画像と遠い画像とで色味変化がなくなり、見易い観察画像を提供でき、高品質画像を撮像可能な内視鏡システムとして有用である。 The endoscope system according to the present invention is useful as an endoscope system capable of providing an easy-to-see observation image and capable of capturing a high-quality image because there is no color change between an image close to and far from an object.
10 内視鏡システム
12 電子内視鏡
14 プロセッサ装置
16 光源装置
26 先端部
26a 先端部先端面
40 観察窓
42 照明窓
53 蛍光体
54 撮像素子チップ
58 固体撮像素子
100 主光源(波長445nm)
100r R光発光LED
100g G光発光LED
100b B光発光LED
101 主光源駆動回路
102 補助光源(波長405nm:特殊光観察光源)
103 補助光源駆動回路
80,82,104,114 CPU
105,115 合波部
120 ライトガイド
120a ライトガイド出射端
120b ライトガイド入射端
DESCRIPTION OF
100r R light emitting LED
100g G light emitting LED
100b B light emitting LED
101 Main light
103 Auxiliary light
105, 115
Claims (4)
青色光の第1波長域の光を発光する主光源と、前記第1波長域とは異なる第2波長域の青色光を発光し、特殊光観察に使用される補助光源を含み、それぞれ異なる波長域の光を発光する複数の光源と、前記複数の光源を駆動する光源駆動回路と、前記光源駆動回路の制御を行う光源制御部とを含み、該光源の発光光を前記電子内視鏡に導入する光源装置と、
前記主光源からの光を吸収して赤色光と緑色光の混合光を発光し、前記補助光源からの光を殆ど透過する性質を有する蛍光体と、を備え、
前記光源制御部は、特殊光観察時に、前記主光源と前記補助光源を点灯して、青色光と前記蛍光体で発光した光とを含む照明光を前記被写体に照射するに際し、前記光源駆動回路を制御して前記主光源の発光強度を変化させる場合、前記補助光源の発光強度を変化させて、前記被写体に照射される前記照明窓からの前記照明光の赤成分の光量をR、緑成分の光量をG、青成分の光量をBとしたとき、B/GとR/Gを、それぞれ一定にする内視鏡システム。 An electronic endoscope in which an illumination window for illuminating the subject with illumination light is provided at the distal end portion, and a solid-state imaging device that receives light from the subject is mounted on the distal end portion;
A main light source that emits blue light in the first wavelength range and an auxiliary light source that emits blue light in a second wavelength range different from the first wavelength range and is used for special light observation, each having a different wavelength A plurality of light sources that emit light in a region, a light source drive circuit that drives the plurality of light sources, and a light source control unit that controls the light source drive circuit, and the light emitted from the light source is transmitted to the electronic endoscope A light source device to be introduced;
A phosphor having a property of absorbing light from the main light source to emit mixed light of red light and green light and transmitting almost the light from the auxiliary light source, and
The light source control unit turns on the main light source and the auxiliary light source during special light observation, and irradiates the subject with illumination light including blue light and light emitted from the phosphor. When changing the light emission intensity of the main light source by controlling the light intensity of the auxiliary light source, the light intensity of the red component of the illumination light from the illumination window irradiated on the subject is changed to R, the green component An endoscope system in which B / G and R / G are constant when G is G and B is B.
前記第1波長域の光は波長445nmの光であり、前記第2波長域の光は波長405nmの光である内視鏡システム。 The endoscope system according to claim 1,
An endoscope system in which the light in the first wavelength region is light having a wavelength of 445 nm, and the light in the second wavelength region is light having a wavelength of 405 nm.
青色光の第1波長域の光を発光する主光源と、前記第1波長域とは異なる第2波長域の青色光を発光し、特殊光観察に使用される補助光源を含み、それぞれ異なる波長域の光を発光する複数の光源と、前記複数の光源を駆動する光源駆動回路と、前記光源駆動回路の制御を行う光源制御部とを含み、該光源の発光光を前記電子内視鏡に導入する光源装置と、
前記主光源からの光を吸収して赤色光と緑色光の混合光を発光し、前記補助光源からの光を殆ど透過する性質を有する蛍光体と、を備える内視鏡システムの作動方法であって、
前記光源制御部が、特殊光観察時に、前記主光源と前記補助光源を点灯して、前記被写体に照射するための青色光と前記蛍光体で発光した光とを含む照明光を出射するに際し、前記光源駆動回路を制御して前記主光源の発光強度を変化させる場合、前記補助光源の発光強度を変化させて、前記被写体に照射される前記照明窓からの前記照明光の赤成分の光量をR、緑成分の光量をG、青成分の光量をBとしたとき、B/GとR/Gを、それぞれ一定にする内視鏡システムの作動方法。 An electronic endoscope in which an illumination window for illuminating the subject with illumination light is provided at the distal end portion, and a solid-state imaging device that receives light from the subject is mounted on the distal end portion;
A main light source that emits blue light in the first wavelength range and an auxiliary light source that emits blue light in a second wavelength range different from the first wavelength range and is used for special light observation, each having a different wavelength A plurality of light sources that emit light in a region, a light source drive circuit that drives the plurality of light sources, and a light source control unit that controls the light source drive circuit, and the light emitted from the light source is transmitted to the electronic endoscope A light source device to be introduced;
Emits mixed light of red light and green light by absorbing light from the main light source, there in operation method of the endoscope system and a phosphor having a property of hardly transmitting the light from the auxiliary light source And
Upon the light source control section, at the time of special light observation, and turns on the auxiliary light source and said main light source, emits the illumination light including the light emitted by the blue light and the phosphor for illuminating said object, When the light source drive circuit is controlled to change the light emission intensity of the main light source, the light emission intensity of the auxiliary light source is changed to change the amount of red component of the illumination light from the illumination window irradiated to the subject. An operation method of the endoscope system in which B / G and R / G are respectively constant when R and G are G and B are B.
前記第1波長域の光は波長445nmの光であり、前記第2波長域の光は波長405nmの光である内視鏡システムの作動方法。 An operation method of the endoscope system according to claim 3,
The operation method of the endoscope system, wherein the light in the first wavelength region is light having a wavelength of 445 nm, and the light in the second wavelength region is light having a wavelength of 405 nm.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016174238A JP6227077B2 (en) | 2016-09-07 | 2016-09-07 | Endoscope system and operating method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016174238A JP6227077B2 (en) | 2016-09-07 | 2016-09-07 | Endoscope system and operating method thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015082661A Division JP6005794B2 (en) | 2015-04-14 | 2015-04-14 | Endoscope system and driving method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017012781A JP2017012781A (en) | 2017-01-19 |
JP6227077B2 true JP6227077B2 (en) | 2017-11-08 |
Family
ID=57829466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016174238A Active JP6227077B2 (en) | 2016-09-07 | 2016-09-07 | Endoscope system and operating method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6227077B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009056248A (en) * | 2007-09-03 | 2009-03-19 | Fujifilm Corp | Light source unit, drive control method of light source unit and endoscope |
JP2010158415A (en) * | 2009-01-08 | 2010-07-22 | Hoya Corp | Light source apparatus for endoscope |
JP5767775B2 (en) * | 2009-07-06 | 2015-08-19 | 富士フイルム株式会社 | Endoscope device |
JP5401205B2 (en) * | 2009-08-10 | 2014-01-29 | 富士フイルム株式会社 | Endoscope device |
JP5364520B2 (en) * | 2009-09-24 | 2013-12-11 | 富士フイルム株式会社 | Endoscope apparatus and method for operating endoscope apparatus |
JP2011147757A (en) * | 2009-09-29 | 2011-08-04 | Fujifilm Corp | Medical apparatus and endoscope apparatus |
-
2016
- 2016-09-07 JP JP2016174238A patent/JP6227077B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017012781A (en) | 2017-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5850630B2 (en) | Endoscope system and driving method thereof | |
JP5616664B2 (en) | Endoscope system | |
JP5628062B2 (en) | Electronic endoscope system | |
US8500632B2 (en) | Endoscope and endoscope apparatus | |
JP5899172B2 (en) | Endoscope device | |
JP6224819B2 (en) | Endoscope system, processor device for endoscope system, and method for operating endoscope system | |
EP2433556A1 (en) | Electronic endoscope system | |
US9414739B2 (en) | Imaging apparatus for controlling fluorescence imaging in divided imaging surface | |
JP6129731B2 (en) | Endoscope system and operating method thereof | |
JP6151850B2 (en) | Endoscope system, processor device for endoscope system, and method for operating endoscope system | |
JP2012143319A (en) | Endoscope system and method for driving the same | |
JP6228833B2 (en) | Imaging system and endoscope apparatus | |
JP2022179587A (en) | Case | |
JP6166841B2 (en) | Endoscope system, processor device for endoscope system, and method for operating endoscope system | |
JP5734060B2 (en) | Endoscope system and driving method thereof | |
JP2016032494A (en) | Endoscope system, operation method for endoscope system, light source apparatus, and operation method for light source apparatus | |
JP6190906B2 (en) | Imaging module and endoscope apparatus | |
JP2011250925A (en) | Electronic endoscope system | |
JP6560968B2 (en) | Endoscope system and operating method thereof | |
JP2017170168A (en) | Endoscope system, endoscope system processor device, and endoscope system operation method | |
JP6227077B2 (en) | Endoscope system and operating method thereof | |
JP2010184046A (en) | Endoscope, endoscope driving method, and endoscope system | |
JP2010184047A (en) | Endoscope, endoscope driving method, and endoscope system | |
JP6005794B2 (en) | Endoscope system and driving method thereof | |
JP7454417B2 (en) | Medical control device and medical observation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6227077 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |