JP6285370B2 - Endoscope processor device, operation method of endoscope processor device, endoscope control program, and endoscope system - Google Patents
Endoscope processor device, operation method of endoscope processor device, endoscope control program, and endoscope system Download PDFInfo
- Publication number
- JP6285370B2 JP6285370B2 JP2015010452A JP2015010452A JP6285370B2 JP 6285370 B2 JP6285370 B2 JP 6285370B2 JP 2015010452 A JP2015010452 A JP 2015010452A JP 2015010452 A JP2015010452 A JP 2015010452A JP 6285370 B2 JP6285370 B2 JP 6285370B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination light
- light
- observation mode
- observation
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 23
- 238000005286 illumination Methods 0.000 claims description 394
- 238000012545 processing Methods 0.000 claims description 41
- 238000001228 spectrum Methods 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 6
- 238000011017 operating method Methods 0.000 claims description 3
- 210000004204 blood vessel Anatomy 0.000 description 107
- 230000003287 optical effect Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 239000004065 semiconductor Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 206010021143 Hypoxia Diseases 0.000 description 7
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 229910052760 oxygen Inorganic materials 0.000 description 7
- 239000001301 oxygen Substances 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000007954 hypoxia Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000001146 hypoxic effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
本発明は、LEDやLDなど複数の半導体光源を独立に制御する内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システムに関する。 The present invention relates to a processor device for an endoscope that independently controls a plurality of semiconductor light sources such as LEDs and LDs, a method for operating the processor device for an endoscope, a control program for an endoscope, and an endoscope system. .
医療現場において、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。光源装置は、観察対象を照明するための照明光を発生する。内視鏡は、照明光で照明された観察対象を撮像素子で撮像して画像信号を出力する。プロセッサ装置は、内視鏡から送信された画像信号から観察対象の画像を生成してモニタに表示させる。 In a medical field, diagnosis using an endoscope system including a light source device, an endoscope, and a processor device is widely performed. The light source device generates illumination light for illuminating the observation target. The endoscope captures an observation target illuminated with illumination light with an image sensor and outputs an image signal. The processor device generates an image to be observed from the image signal transmitted from the endoscope and displays the image on the monitor.
内視鏡分野においては、従来の通常観察を行う通常モードの他、観察対象が低酸素状態か否かの観察を行う低酸素モードなど複数の観察モードを同時に実行し、それら複数の観察モードで得られる複数の画像を表示することが行われつつある。 In the endoscopic field, in addition to the normal mode for performing conventional normal observation, a plurality of observation modes such as a low oxygen mode for observing whether or not the observation target is in a hypoxic state are simultaneously executed. Displaying a plurality of obtained images is being performed.
しかしながら、複数の観察モードを実行する場合、観察モードの数が多くなるほど、数多くの照明光を照射する必要がある。このように、数多くの照明光を用いる場合、各観察モードで得られる画像は、動きの影響を大きく受けて位置ずれ等が生じることが多くなり、その結果、画質が低下するおそれがある。また、複数の観察モードで得られた画像を同時にモニタに表示する場合においては、画像間で描画の遅れが目立つ。 However, when performing a plurality of observation modes, it is necessary to irradiate more illumination light as the number of observation modes increases. As described above, when a large number of illumination lights are used, an image obtained in each observation mode is greatly affected by the movement and often causes a positional shift, and as a result, the image quality may be deteriorated. Further, when images obtained in a plurality of observation modes are displayed on the monitor at the same time, a delay in drawing is noticeable between the images.
そこで、特許文献1では、複数の観察モードで同じ照明光が用いられている場合、その照明光については、別々のタイミングで照射せず同時に照射することによって、照明光の数を減らして、各モードで得られる画像が動きの影響を受けないようにしている。 Therefore, in Patent Document 1, when the same illumination light is used in a plurality of observation modes, the illumination light is irradiated at the same time without being radiated at different timings, thereby reducing the number of illumination lights. The image obtained in the mode is not affected by the movement.
上記のように、複数の観察モードで得られた画像を同時にモニタに表示する場合においては、ドクターは、全ての観察モードの画像を同時に観察するのではなく、一部の観察モードの画像をメイン観察モードの画像として、ほぼ常時観察しつつ、その他の観察モードの画像については、サブ観察モードの画像として、一時的に観察することが多い。 As described above, when displaying images obtained in a plurality of observation modes on the monitor at the same time, the doctor does not observe all the observation mode images at the same time. In many cases, the image in the other observation mode is temporarily observed as the image in the sub-observation mode while the image in the observation mode is almost always observed.
ここで、メイン観察モードとサブ観察モードとで、それぞれ複数の照明光を用いる場合、それら照明光の発光順序によっては、メイン観察モードで用いる各照明光の発光タイミングの間隔が、サブ観察モードで用いる各照明光の発光タイミングの間隔よりも長くなることがある。この場合には、メイン観察モードの画像は、常時観察する画像であるにもかかわらず、一時的にしか観察しないサブ観察モードの画像よりも、動きの影響を受けて、画質が低下しやすい。したがって、メイン観察モードの画像など優先度の高い観察モードの画像の生成に用いる照明光については、各照明光の発光タイミングの間隔が短くなるように発光順序を設定することが求められていた。 Here, when a plurality of illumination lights are used in each of the main observation mode and the sub-observation mode, depending on the emission order of the illumination lights, the interval of the emission timing of each illumination light used in the main observation mode may be in the sub-observation mode. It may be longer than the interval of the emission timing of each illumination light used. In this case, although the image in the main observation mode is an image that is always observed, the image quality is more likely to deteriorate due to the influence of the motion than the image in the sub-observation mode that is observed only temporarily. Accordingly, it has been required to set the light emission order for the illumination light used for generating the observation mode image having a high priority, such as the main observation mode image, so that the interval of the emission timing of each illumination light is shortened.
本発明は、複数の観察モードの画像を表示する場合において、各観察モードで生成される画像の画質低下を防止可能な内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システムを提供することを目的とする。 The present invention relates to a processor device for an endoscope that can prevent image quality degradation of an image generated in each observation mode when displaying images in a plurality of observation modes, a method for operating the processor device for an endoscope, It is an object to provide an endoscope control program and an endoscope system.
上記目的を達成するために、本発明の内視鏡用のプロセッサ装置は、第1照明光と、第1照明光に対しスペクトルが異なる第2照明光と、第1照明光と第2照明光とのそれぞれに対しスペクトルが異なる第3照明光とを含む複数の照明光のうち、少なくとも1以上を用いる複数の観察モードを有する内視鏡システムに接続されるプロセッサ装置において、複数の観察モードから第1観察モード及び第2観察モードを少なくとも選択し、且つ選択された観察モード毎に優先度を設定するモード操作部と、複数の照明光の中から、選択された観察モードで用いる照明光を選択する照明光選択部であり、第1観察モードで用いる照明光として第1照明光及び第2照明光を選択し、第2観察モードで用いる照明光として第1照明光及び第3照明光を選択する照明光選択部と、第1観察モードで用いる第1照明光と第2照明光の発光タイミングの間隔と、第2観察モードで用いる第1照明光と第3照明光の発光タイミングの間隔とが、優先度によって定まるように、選択された観察モードで用いる照明光の発光順序を決定する発光順序決定部とを有する。 In order to achieve the above object, an endoscope processor device according to the present invention includes a first illumination light, a second illumination light having a spectrum different from that of the first illumination light, a first illumination light, and a second illumination light. In the processor device connected to the endoscope system having a plurality of observation modes using at least one of the plurality of illumination lights including the third illumination light having different spectra with respect to each of A mode operation unit that selects at least the first observation mode and the second observation mode and sets a priority for each selected observation mode, and illumination light used in the selected observation mode from among a plurality of illumination lights An illumination light selection unit to select, which selects the first illumination light and the second illumination light as the illumination light used in the first observation mode, and the first illumination light and the third illumination light as the illumination light used in the second observation mode. Selection An illumination light selection unit, an interval between light emission timings of the first illumination light and the second illumination light used in the first observation mode, and an interval between light emission timings of the first illumination light and the third illumination light used in the second observation mode. Includes a light emission order determination unit that determines the light emission order of the illumination light used in the selected observation mode so as to be determined by the priority.
本発明のプロセッサ装置の作動方法は、第1照明光と、第1照明光に対しスペクトルが異なる第2照明光と、第1照明光と第2照明光とのそれぞれに対しスペクトルが異なる第3照明光とを含む複数の照明光のうち、少なくとも1以上を用いる複数の観察モードを有する内視鏡システムに接続されるプロセッサ装置の作動方法において、モード操作部が、複数の観察モードから第1観察モード及び第2観察モードを少なくとも選択し、且つ選択された観察モード毎に優先度を設定するステップと、照明光選択部が、複数の照明光の中から、選択された観察モードで用いる照明光を選択する照明光選択部であり、第1観察モードで用いる照明光として第1照明光及び第2照明光を選択し、第2観察モードで用いる照明光として第1照明光及び第3照明光を選択するステップと、発光順序決定部が、第1観察モードで用いる第1照明光と第2照明光の発光タイミングの間隔と、第2観察モードで用いる第1照明光と第3照明光の発光タイミングの間隔とが、優先度によって定まるように、選択された観察モードで用いる照明光の発光順序を決定するステップとを有する。 The operating method of the processor device of the present invention includes a first illumination light, a second illumination light having a spectrum different from that of the first illumination light, and a third having a spectrum different from each of the first illumination light and the second illumination light. In the operating method of the processor device connected to the endoscope system having a plurality of observation modes using at least one of the plurality of illumination lights including the illumination light, the mode operation unit starts from the plurality of observation modes. The step of selecting at least the observation mode and the second observation mode and setting the priority for each selected observation mode, and the illumination light selection unit using the illumination mode selected from the plurality of illumination lights An illumination light selection unit that selects light, wherein the first illumination light and the second illumination light are selected as the illumination light used in the first observation mode, and the first illumination light and the second illumination light are used as the illumination light used in the second observation mode. The step of selecting the illumination light, the light emission order determination unit determining the interval between the emission timings of the first illumination light and the second illumination light used in the first observation mode, and the first illumination light and the third illumination used in the second observation mode. Determining the light emission order of the illumination light used in the selected observation mode so that the interval of the light emission timing is determined by the priority.
本発明の内視鏡用の制御プログラムは、第1照明光と、第1照明光に対しスペクトルが異なる第2照明光と、第1照明光と第2照明光とのそれぞれに対しスペクトルが異なる第3照明光とを含む複数の照明光のうち、少なくとも1以上を用いる複数の観察モードを有する内視鏡システムに接続されるプロセッサ装置にインストールされる内視鏡用の制御プログラムにおいて、コンピュータを、複数の観察モードから第1観察モード及び第2観察モードを少なくとも選択し、且つ選択された観察モード毎に優先度を設定するモード操作部と、複数の照明光の中から、選択された観察モードで用いる照明光を選択する照明光選択部であり、第1観察モードで用いる照明光として第1照明光及び第2照明光を選択し、第2観察モードで用いる照明光として第1照明光及び第3照明光を選択する照明光選択部と、第1観察モードで用いる第1照明光と第2照明光の発光タイミングの間隔と、第2観察モードで用いる第1照明光と第3照明光の発光タイミングの間隔とが、優先度によって定まるように、選択された観察モードで用いる照明光の発光順序を決定する発光順序決定部として機能させる。 The endoscope control program of the present invention has different spectra for the first illumination light, the second illumination light having a spectrum different from that of the first illumination light, and the first illumination light and the second illumination light, respectively. An endoscope control program installed in a processor device connected to an endoscope system having a plurality of observation modes using at least one of a plurality of illumination lights including a third illumination light. A mode operation unit that selects at least the first observation mode and the second observation mode from the plurality of observation modes and sets the priority for each selected observation mode; and the observation selected from the plurality of illumination lights Illumination light selection unit for selecting illumination light used in the mode, selecting the first illumination light and the second illumination light as illumination light used in the first observation mode, and using the illumination light in the second observation mode Then, the illumination light selector that selects the first illumination light and the third illumination light, the interval between the emission timings of the first illumination light and the second illumination light used in the first observation mode, and the first illumination mode used in the second observation mode. It functions as a light emission order determination unit that determines the light emission order of the illumination light used in the selected observation mode so that the interval between the light emission timings of the illumination light and the third illumination light is determined by priority.
本発明のプロセッサ装置を備える内視鏡システムは、第1照明光と第2照明光と第3照明光とを、観察対象を照明するための光として少なくとも発する光源部と、照明光で照明中の観察対象を撮像して画像信号を出力する撮像素子であり、第1照明光で照明中の観察対象を撮像して第1画像信号を出力し、第2照明光で照明中の観察対象を撮像して第2画像信号を出力し、第3照明光で照明中の観察対象を撮像して第3画像信号を出力する撮像素子と、第1画像信号と第2画像信号とに基づいた第1観察モード用画像、及び第1画像信号と第3画像信号とに基づいた第2観察モード用画像を少なくとも生成する画像処理部とを備える。 An endoscope system including a processor device according to the present invention is illuminating with a light source unit that emits at least first illumination light, second illumination light, and third illumination light as light for illuminating an observation target, and illumination light. An imaging device that images the observation target and outputs an image signal, images the observation target being illuminated with the first illumination light, outputs the first image signal, and displays the observation target illuminated with the second illumination light An image pickup device that picks up an image and outputs a second image signal, picks up an observation target being illuminated with the third illumination light and outputs the third image signal, and a first image signal based on the first image signal and the second image signal. An image processing unit that generates at least a first observation mode image and a second observation mode image based on the first image signal and the third image signal.
発光順序決定部は、第1観察モードで用いる第1照明光の発光タイミングと、第2観察モードで用いる第1照明光の発光タイミングとが同じになるように、発光順序を決定することが好ましい。 The light emission order determining unit preferably determines the light emission order so that the light emission timing of the first illumination light used in the first observation mode is the same as the light emission timing of the first illumination light used in the second observation mode. .
発光順序決定部は、2以上の照明光を用いる観察モードが選択された場合、優先度が高い観察モードほど、選択された観察モードで用いる照明光の発光タイミングの間隔が小さくなるように発光順序を決定することが好ましい。 When the observation mode using two or more illumination lights is selected, the light emission order determination unit emits the light so that the higher the priority of the observation mode, the smaller the emission timing interval of the illumination light used in the selected observation mode. Is preferably determined.
モード操作部は、第1観察モードの優先度が第2観察モードの優先度よりも高くなるように、選択された観察モード毎に優先度を設定することが好ましい。 The mode operation unit preferably sets the priority for each selected observation mode so that the priority of the first observation mode is higher than the priority of the second observation mode.
第1観察モードで用いる第1照明光と第2照明光の発光タイミングの間隔は、第2観察モードで用いる第1照明光と第3照明光の発光タイミングの間隔よりも小さいことが好ましい。 The interval between the emission timings of the first illumination light and the second illumination light used in the first observation mode is preferably smaller than the interval between the emission timings of the first illumination light and the third illumination light used in the second observation mode.
複数の観察モード間でスペクトルが互いに異なる照明光を少なくとも用いる観察モードを設定する観察モード設定部を備えることが好ましい。 It is preferable to include an observation mode setting unit that sets an observation mode that uses at least illumination light having different spectra among a plurality of observation modes.
複数の観察モードの中から少なくとも1以上の観察モードを選択する観察モード選択部と、複数の観察モードと、複数の観察モードの組み合わせに基づいて決定された発光順序とを関連付けて記憶する発光順序記憶部と、観察モード選択部で複数の観察モードが選択された場合に、発光順序記憶部に記憶された発光順序のうち、選択された観察モードの組み合わせと関連付けられた発光順序で観察対象を照明するように光源部を制御する光源制御部とを備えることが好ましい。 A light emission order that associates and stores an observation mode selection unit that selects at least one observation mode from among a plurality of observation modes, a plurality of observation modes, and a light emission order determined based on a combination of the plurality of observation modes. When a plurality of observation modes are selected by the storage unit and the observation mode selection unit, the observation target is selected in the light emission order associated with the combination of the selected observation modes among the light emission orders stored in the light emission order storage unit. It is preferable to include a light source control unit that controls the light source unit to illuminate.
本発明によれば、第1観察モードで用いる第1照明光と第2照明光の発光タイミングの間隔と、第2観察モードで用いる第1照明光と第3照明光の発光タイミングの間隔とが、各観察モードに設定された優先度によって定まるように照明光の発光順序を決定するので、各観察モードで用いる照明光に基づいて生成される画像の画質低下を防止可能な内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システムを提供することができる。 According to the present invention, the interval between the emission timings of the first illumination light and the second illumination light used in the first observation mode and the interval between the emission timings of the first illumination light and the third illumination light used in the second observation mode are as follows. Since the order in which the illumination light is emitted is determined so as to be determined by the priority set in each observation mode, it is possible for an endoscope that can prevent image quality degradation of an image generated based on the illumination light used in each observation mode. A processor device, an operation method of a processor device for an endoscope, a control program for an endoscope, and an endoscope system can be provided.
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール19は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
[First Embodiment]
As shown in FIG. 1, the
内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
The
また、操作部12bには、アングルノブ12eの他、ズーム操作部12fと、モード切替SW(モード切替スイッチ)12gと、が設けられている。ズーム操作部12fは、後述する撮像光学系30bに対して撮像倍率の変更を指示する撮像倍率変更指示を入力するために用いられる。
In addition to the
モード切替SW12gは、測定モードの切り替え操作に用いられる。内視鏡システム10は、測定モードとして、通常モードと、シングルモードと、マルチモードとを有する。通常モードは、白色光WLで照明された観察対象を撮像して得た自然な色合いの通常画像をモニタ18に表示する。
The
シングルモード及びマルチモードは、特定の波長帯域の光を照明光として用いる観察モードで得られる画像(以下、特定画像という)をモニタ18に表示する。シングルモードは、複数の観察モードのうちいずれか1つの観察モードの照明光で観察対象の照明を行う。マルチモードは、複数の観察モードのうち2以上の観察モードの照明光で観察対象の照明を行う。また、本実施形態では、観察モードとして、極表層血管観察モードと中層血管観察モードとを含む複数の観察モードを有する。
In the single mode and the multi mode, an image (hereinafter referred to as a specific image) obtained in an observation mode using light in a specific wavelength band as illumination light is displayed on the
極表層血管観察モードは、観察対象に含まれる血管のうち、観察対象の表面からの深さが極めて浅い極表層の部分に分布する血管(以下、極表層血管という)を強調した極表層血管強調画像をモニタ18に表示する。中層血管観察モードは、観察対象に含まれる血管のうち、中層程度の部分に分布する血管(以下、中層血管という)を強調した中層血管強調画像をモニタ18に表示する。
In the superficial blood vessel observation mode, the superficial blood vessel emphasis that emphasizes the blood vessels distributed in the superficial layer that is extremely shallow from the surface of the observation target (hereinafter referred to as the superficial blood vessel) among the blood vessels included in the observation target. The image is displayed on the
図2に示すように、内視鏡12には、照明光学系30aと、撮像光学系30bとが設けられている。照明光学系30aは、照明レンズ32を有している。光源装置14からの照明光は、照明レンズ32を介して観察対象に照射される。
As shown in FIG. 2, the
撮像光学系30bは、対物レンズ42と、ズームレンズ44と、撮像素子46とを有している。照明光で照明中の観察対象からの反射光、散乱光、及び蛍光など各種戻り光は、対物レンズ42及びズームレンズ44を介して撮像素子46に入射する。これにより、撮像素子46に観察対象の像が結像される。
The imaging optical system 30 b includes an objective lens 42, a
ズームレンズ44は、ズーム操作部12fからの撮像倍率変更指示に応じて、テレ端とワイド端との間を自在に移動することにより、撮像倍率を変更可能とする。ズームレンズ44がワイド端に移動すると、観察対象の像が拡大する。一方、ズームレンズ44がテレ端に移動すると、観察対象の像が縮小する。ズームレンズ44は、非拡大観察が行われる場合には、ワイド端に配置されており、ズーム操作部12fの操作によって拡大観察が行われる場合には、ワイド端からテレ端に移動される。
The
撮像素子46は、照明光で照明中の観察対象を撮像するカラー撮像素子である。撮像素子46の各画素には、図3に示す青色カラーフィルタ、緑色カラーフィルタ、赤色カラーフィルタのいずれかが設けられている。このため、撮像素子46は、青色カラーフィルタが設けられた青色画素と、緑色カラーフィルタが設けられた緑色画素と、赤色カラーフィルタが設けられた赤色画素とで観察対象からの戻り光を受光する。そして、BGRの3色の画素から、BGRの3色の画像信号を出力する。
The
撮像素子46としては、CCD(Charge Coupled Device)撮像素子やCMOS(Complementary Metal-Oxide Semiconductor)撮像素子を利用可能である。また、原色の撮像素子46の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像素子を用いても良い。補色撮像素子を用いる場合には、CMYGの4色の画像信号が出力されるので、補色−原色色変換によって、CMYGの4色の画像信号をBGRの3色の画像信号に変替することにより、撮像素子46と同様のBGR各色の画像信号を得ることができる。また、撮像素子46の代わりに、カラーフィルタを設けていないモノクロの撮像素子を用いても良い。
As the
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路47は、撮像素子46から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路47を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変替される。A/D変替後のデジタル画像信号がプロセッサ装置16に入力される。
A CDS / AGC (Correlated Double Sampling / Automatic Gain Control) circuit 47 performs correlated double sampling (CDS) and automatic gain control (AGC) on an analog image signal obtained from the
光源装置14は、光源部20と、光源部20を制御する光源制御部21とを備えている(図2参照)。光源部20は、複数の半導体光源を有する。光源部20は、複数の半導体光源をそれぞれ点灯または消灯し、また、点灯する場合には各半導体光源の発光量を制御することによって、観察対象を照明するための照明光を発する。本実施形態では、光源部20は、V−LED(Violet Light Emitting Diode)光源20a、B−LED(Blue Light Emitting Diode)光源20b、G−LED(Green Light Emitting Diode)光源20c、及びR−LED(Red Light Emitting Diode)光源20dを有する。
The
V−LED光源20aは、中心波長405nm、波長帯域380nm〜420nmの紫色光Vを発する紫色半導体光源である。B−LED光源20bは、中心波長445nm、波長帯域405nm〜485nmの青色光B1を発する青色半導体光源である。G−LED光源20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する緑色半導体光源である。R−LED光源20dは、中心波長620nm〜630nmで、波長帯域が600nm〜650nmに及び赤色光Rを発する赤色半導体光源である。なお、V−LED光源20aとB−LED光源20bの中心波長は、±5nmから±10nm程度の幅を有する。
The V-
光源制御部21は、各光源20a〜20dに対して、制御信号を独立に入力する。これにより、光源制御部21は、各光源20a〜20dの点灯や消灯、及び点灯時の発光量などを独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。
The light source control unit 21 inputs a control signal independently to each of the
例えば、光源制御部21は、通常モードの場合には、V−LED光源20a、B−LED光源20b、G−LED光源20c、及びR−LED光源20dを点灯させる。各光源20a〜20dの点灯時には、紫色光V、青色光B1、緑色光G、及び赤色光Rの各発光量を特定の比率に制御する。図4において、紫色光V、青色光B1、緑色光G、及び赤色光Rが光路結合部23によって結合された照明光を白色光WLとして、通常モードで用いる。
For example, in the normal mode, the light source controller 21 turns on the V-
光源制御部21は、シングルモードの場合には、観察モードに応じて各光源20a〜20dの制御を行う。シングルモードでは、後述する観察モード選択部80によって、複数の観察モードの中から1つの観察モードが選択される。本実施形態では、シングルモードの場合には、例えば、極表層血管観察モードが選択される。極表層血管観察モードで用いる照明光としては、後述する照明光選択部74によって、例えば、第1照明光L1と、第1照明光L1に対しスペクトルが異なる第2照明光L2とが選択されている。このため、光源制御部21は、シングルモードの場合には、第1照明光L1と第2照明光L2とが切り替えられるように各光源20a〜20dの制御を行う。
In the single mode, the light source control unit 21 controls the
光源制御部21は、マルチモードの場合には、複数の観察モードの組み合わせに応じて、各光源20a〜20dの制御を行う。マルチモードの場合には、後述する観察モード選択部80によって、複数の観察モードの中から第1観察モード及び第2観察モードが少なくとも選択される。本実施形態では、マルチモードの場合には、例えば、第1観察モードとして極表層血管観察モードが選択され、第2観察モードとして中層血管観察モードが選択される。中層血管観察モードで用いる照明光としては、後述する照明光選択部74によって、例えば、第1照明光L1と、第1照明光L1と第2照明光L2とのそれぞれに対しスペクトルが異なる第3照明光L3とが選択されている。このため、光源制御部21は、第1照明光L1と第2照明光L2と第3照明光L3とが切り替えられるように各光源20a〜20dの制御を行う。なお、光源制御部21は、マルチモードの場合には、後述する発光順序決定部76で決定された発光順序に従って、第1照明光L1〜第3照明光L3の発光タイミングを制御する。
In the case of the multi mode, the light source control unit 21 controls each of the
図5において、光源制御部21は、B−LED光源20bとR−LED光源20dとを点灯させ、V−LED光源20aとG−LED光源20cとを消灯させることによって、青色光B1及び赤色光Rが光路結合部23によって結合された照明光を第1照明光L1とする。
In FIG. 5, the light source control unit 21 turns on the B-
図6において、光源制御部21は、V−LED光源20aとR−LED光源20dとを点灯させ、B−LED光源20bとG−LED光源20cとを消灯させることによって、紫色光V及び赤色光Rが光路結合部23によって結合された照明光を第2照明光L2とする。
In FIG. 6, the light source control unit 21 turns on the V-
図7において、光源制御部21は、G−LED光源20cとR−LED光源20dとを点灯させ、V−LED光源20aとB−LED光源20bとを消灯させることによって、緑色光G及び赤色光Rが光路結合部23によって結合された照明光を第3照明光L3とする。
In FIG. 7, the light source control unit 21 turns on the G-
光路結合部23は、ミラーやレンズなどで構成されており、光源部20が発した照明光を、挿入部12a内に挿通されたライトガイド25へ射出する。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23から入射した照明光を、照明レンズ32を介して内視鏡12の先端部12dまで伝搬する。
The optical
プロセッサ装置16は、撮像制御部52と、画像信号取得部54と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理切替部60と、通常画像処理部62と、特定画像処理部64と、映像信号生成部66と、発光順序決定処理部68とを備えている。
The
撮像制御部52は、光源制御部21からの同期信号の入力(あるいは、光源制御部21への同期信号の出力)によって、光源制御部21による照明光の発光タイミングと、撮像素子46により撮像が行われるフレームとの同期や、撮像素子46からの画像信号の出力の制御を行う。
The
撮像制御部52は、通常モードの場合、撮像素子46を制御して、1フレーム毎に、白色光WLで照明中の観察対象の撮像を行わせる。これにより、1フレーム毎に、各色の画素から、RGB各色の画像信号が出力される。この撮像制御は、通常モードに設定されている間、繰り返し行なわれる。
In the normal mode, the
また、撮像制御部52は、シングルモード、及びマルチモードの場合、撮像素子46を制御して、1フレーム毎に、各照明光で照明中の観察対象の撮像を行わせる。これにより、1フレーム毎に、各色の画素から、各照明光に応じたRGB各色の画像信号が出力される。例えば、撮像素子46は、第1照明光L1で照明中の観察対象を撮像して、RGB各色の第1画像信号を出力し、第2照明光L2で照明中の観察対象を撮像して、RGB各色の第2画像信号を出力し、第3照明光L3で照明中の観察対象を撮像して、RGB各色の第3画像信号を出力する。
Further, in the single mode and the multi mode, the
画像信号取得部54は、CDS/AGC回路47及びA/Dコンバータ48を介して、撮像素子46からデジタルの画像信号を取得する。DSP56は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変替処理、デモザイク処理などの各種信号処理を施す。欠陥補正処理では、撮像素子46の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。
The image
ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変替処理によって明るさや彩度が整えられる。ガンマ変替処理後の画像信号には、デモザイク処理(等方化処理、または同時化処理ともいう)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がBGR各色の信号を有するようになる。ノイズ除去部58は、DSP56でデモザイク処理などが施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法などによる)を施すことによってノイズを除去する。ノイズが除去された画像信号は、画像処理切替部60に送信される。
The image signal after gain correction processing is subjected to linear matrix processing for improving color reproducibility. After that, the brightness and saturation are adjusted by gamma change processing. The image signal after the gamma conversion process is subjected to a demosaic process (also called an isotropic process or a synchronization process), and a signal of a color that is insufficient at each pixel is generated by interpolation. By this demosaic processing, all the pixels have signals of each color of BGR. The
画像処理切替部60は、モード切替SW12gの操作によって通常モードにセットされている場合には、画像信号を通常画像処理部62に送信し、シングルモードまたはマルチモードにセットされている場合には、画像信号を特定画像処理部64に送信する。
The image
通常画像処理部62は、画像処理切替部60から受信した画像信号に対して色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像を生成する。色変換処理では、画像信号に対して3×3のマトリクス処理、階調変替処理、及び3次元LUT(ルックアップテーブル)処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、例えば血管やピットパターン(腺管)などの観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。上記のように各種画像処理などを施した画像信号を用いたカラー画像が通常画像である。
The normal
特定画像処理部64は、画像信号に基づいて、観察モードに応じて特定画像信号を生成する。特定画像信号を用いた画像が特定画像である。具体的には、特定画像処理部64は、画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、特定画像を生成する。例えば、極表層血管観察モードの場合には、特定画像として、第1照明光L1の照明時に得られた第1画像信号と、第2照明光L2の照明時に得られた第2画像信号とに基づいた極表層血管強調画像が生成される。中層血管観察モードの場合には、特定画像として、第1照明光L1の照明時に得られた第1画像信号と、第3照明光L3の照明時に得られた第3画像信号とに基づいた中層血管強調画像が生成される。本実施形態では、第1観察モードとして極表層血管観察モードが選択されているため、第1観察モードで得られる第1観察モード用画像を極表層血管強調画像とる。また、第2観察モードとして中層血管観察モードが選択されているため、第2観察モードで得られる第2観察モード用画像を中層血管強調画像とする。 The specific image processing unit 64 generates a specific image signal according to the observation mode based on the image signal. An image using the specific image signal is a specific image. Specifically, the specific image processing unit 64 performs color conversion processing, color enhancement processing, and structure enhancement processing on the image signal to generate a specific image. For example, in the case of the polar surface blood vessel observation mode, as the specific image, a first image signal obtained when the first illumination light L1 is illuminated and a second image signal obtained when the second illumination light L2 is illuminated. Based on the extreme surface blood vessel enhancement image is generated. In the case of the middle-layer blood vessel observation mode, as the specific image, the middle layer based on the first image signal obtained at the time of illumination with the first illumination light L1 and the third image signal obtained at the time of illumination with the third illumination light L3. A blood vessel enhanced image is generated. In the present embodiment, since the extreme surface blood vessel observation mode is selected as the first observation mode, the first observation mode image obtained in the first observation mode is taken as the extreme surface blood vessel emphasized image. Further, since the middle-layer blood vessel observation mode is selected as the second observation mode, the second observation mode image obtained in the second observation mode is set as the middle-layer blood vessel emphasized image.
映像信号生成部66は、通常画像処理部62または特定画像処理部64から受信した画像信号を、モニタ18で表示可能な画像として表示するための映像信号に変替し、モニタ18に順次出力する。これにより、モニタ18には、通常画像信号が入力された場合は通常画像を表示し、特定画像信号が入力された場合は特定画像を表示する。なお、マルチモードの場合には、複数の観察モードに応じて生成された複数の画像を、モニタ18内に並べて表示しても良い。また、複数の画像を切り替えてモニタ18に表示しても良い。
The video signal generation unit 66 converts the image signal received from the normal
以下では、マルチモードで用いる照明光の発光順序の決定方法について説明を行う。発光順序決定処理部68には、観察モード設定部70と、モード操作部72と、照明光選択部74と、発光順序決定部76と、発光順序記憶部78と、観察モード選択部80とが設けられている。
Below, the determination method of the light emission order of the illumination light used by multi mode is demonstrated. The light emission order
観察モード設定部70は、観察モードの設定を行う。観察モードの設定は、例えば、診断の目的に応じて行われる。本実施形態では、極表層血管を観察するための極表層血管観察モードと、中層血管を観察するための中層血管観察モードとが設定される。また、観察モード設定部70は、複数の観察モード間でスペクトルが互いに異なる照明光を少なくとも用いる観察モードの設定を行う。これにより、スペクトルが同じ照明光を用いる観察モードが、重複して設定されることを禁止している。なお、観察モード設定部70は、コンソール19などの入力操作に基づいて観察モードを設定する。
The observation mode setting unit 70 sets the observation mode. The observation mode is set according to the purpose of diagnosis, for example. In the present embodiment, an extreme surface blood vessel observation mode for observing a polar surface blood vessel and a middle layer blood vessel observation mode for observing a middle blood vessel are set. Moreover, the observation mode setting unit 70 sets an observation mode that uses at least illumination light having different spectra among a plurality of observation modes. Thereby, it is prohibited that the observation mode using the illumination light having the same spectrum is set redundantly. Note that the observation mode setting unit 70 sets the observation mode based on an input operation of the
モード操作部72は、複数の観察モードから第1観察モード及び第2観察モードを少なくとも選択し、且つ選択された観察モード毎に優先度を設定する。例えば、モード操作部72は、複数の観察モードから、第1観察モードとして極表層血管観察モードを選択し、第2観察モードとして中層血管観察モードを選択する。また、優先度の設定を行う際に、例えば、中層血管よりも極表層血管を重点的に観察することを目的とした場合には、モード操作部72は、極表層血管観察モードの優先度を、中層血管観察モードの優先度よりも高く設定する。
The
照明光選択部74は、複数の照明光の中から、モード操作部72で選択された観察モードで用いる照明光を選択する。例えば、照明光選択部74は、第1照明光L1、第2照明光L2、及び第3照明光L3のうち、極表層血管観察モードで用いる照明光として第1照明光L1及び第2照明光L2を選択する。また。中層血管観察モードで用いる照明光として第1照明光L1及び第3照明光L3を選択する。
The illumination
発光順序決定部76は、モード操作部72で選択された複数の観察モードの組み合わせに基づいて、マルチモードで用いる照明光の発光順序を決定する。発光順序決定部76で決定された発光順序に従って、光源制御部21において照明光の発光タイミングが制御される。
The light emission
図8において、例えば、発光順序決定部76は、極表層血管観察モードで用いる照明光、中層血管観察モードで用いる照明光の発光順序として第1発光順序を求める。即ち、第1発光順序では、1フレーム目に第1照明光L1、2フレーム目に第2照明光L2、3フレーム目に第1照明光L1、4フレーム目に第3照明光L3が発光される。この第1発光順序では、フレーム数が「4」とされる。フレーム数は、各照明光の照射に応じて撮像を行うフレームの回数である。また、極表層血管観察モードのフレーム間隔は「1」であり、中層血管観察モードのフレーム間隔は「1」である。フレーム間隔は、観察モードで用いる照明光が発光されるフレーム間の間隔を示しており、観察モードで用いる照明光の発光タイミングの間隔に対応する。このため、各観察モードのフレーム間隔を総和した量を示すフレーム間隔総量は「2」とされる。
In FIG. 8, for example, the light emission
発光順序決定部76は、第1発光順序で並べられた照明光のうち、同じスペクトルの照明光が無い場合には、この第1発光順序をマルチモードで用いる照明光の発光順序として決定する。
When there is no illumination light having the same spectrum among the illumination lights arranged in the first emission order, the emission
一方、同じスペクトルの照明光が有る場合には、同じスペクトルの照明光の発光タイミングが同じになるように、第1発光順序を並べ替えて第2発光順序を求める。図9において、例えば、第1発光順序が第1照明光L1、第2照明光L2、第1照明光L1、第3照明光L3の順序である場合には、第1照明光L1の発光タイミングが同じになるように第1発光順序を並べ替えて、第1照明光L1、第2照明光L2、第3照明光L3の発光順序を第2発光順序として求める。即ち、第2発光順序では、1フレーム目に第1照明光L1、1フレーム目に第2照明光L2、3フレーム目に第3照明光L3が発光される。この第2発光順序では、フレーム数は「3」とされる。また、極表層血管観察モードのフレーム間隔は「1」であり、中層血管観察モードのフレーム間隔は「2」であるので、フレーム間隔総量は「3」とされる。 On the other hand, when there is illumination light with the same spectrum, the second light emission order is obtained by rearranging the first light emission order so that the light emission timings of the illumination light with the same spectrum are the same. In FIG. 9, for example, when the first emission order is the order of the first illumination light L1, the second illumination light L2, the first illumination light L1, and the third illumination light L3, the emission timing of the first illumination light L1. The first light emission order is rearranged so that the same is obtained, and the light emission order of the first illumination light L1, the second illumination light L2, and the third illumination light L3 is obtained as the second light emission order. That is, in the second light emission sequence, the first illumination light L1 is emitted in the first frame, the second illumination light L2 in the first frame, and the third illumination light L3 in the third frame. In this second light emission order, the number of frames is “3”. Further, since the frame interval in the extreme surface blood vessel observation mode is “1” and the frame interval in the middle layer blood vessel observation mode is “2”, the total frame interval is set to “3”.
発光順序決定部76は、求めた第2発光順序が、優先度が高い観察モードほど、選択された観察モードで用いる照明光の発光タイミングの間隔(即ち、フレーム間隔)が小さくなるように定められている場合には、第2発光順序をマルチモードで用いる照明光の発光順序として決定する。
The light emission
一方、発光順序決定部76は、求めた第2発光順序が、優先度が高い観察モードほど、選択された観察モードのフレーム間隔が小さくなるように定められていない場合には、このフレーム間隔が小さくなるように、第2発光順序を並べ替えて第3発光順序を求める。
On the other hand, if the determined second light emission order is not set so that the frame interval of the selected observation mode becomes smaller in the observation mode with higher priority, the light emission
発光順序決定部76は、第3発光順序を求める場合、例えば、極表層血管観察モードと中層血管観察モードのうち、優先度が1番目に高い極表層血管観察モードのフレーム間隔を最小にしたうえで、優先度が2番目に高い中層血管観察モードのフレーム間隔を小さくする。
When determining the third light emission order, for example, the light emission
図10において、第2発光順序が第1照明光L1、第2照明光L2、第3照明光L3である場合には、第2発光順序を並び替えて、第2照明光L2、第1照明光L1、第3照明光L3の発光順序を第3発光順序として求める。即ち、第3発光順序では、1フレーム目に第2照明光L2、2フレーム目に第1照明光L1、3フレーム目に第3照明光L3が発光される。この第3発光順序では、フレーム数は「3」とされる。また、極表層血管観察モードのフレーム間隔は「1」であり、中層血管観察モードのフレーム間隔は「1」であるため、フレーム間隔総量は「2」とされる。そして、発光順序決定部76は、第3発光順序をマルチモードで用いる照明光の発光順序として決定する。
In FIG. 10, when the second light emission order is the first illumination light L1, the second illumination light L2, and the third illumination light L3, the second light emission order is rearranged to obtain the second illumination light L2 and the first illumination light. The light emission order of the light L1 and the third illumination light L3 is obtained as the third light emission order. That is, in the third light emission sequence, the second illumination light L2 is emitted in the first frame, the first illumination light L1 is emitted in the second frame, and the third illumination light L3 is emitted in the third frame. In the third light emission order, the number of frames is “3”. Further, since the frame interval in the extreme surface blood vessel observation mode is “1” and the frame interval in the middle layer blood vessel observation mode is “1”, the total frame interval is set to “2”. And the light emission
発光順序記憶部78は、複数の観察モードと、複数の観察モードの組み合わせに基づいて発光順序決定部76で決定された発光順序とを関連付けて記憶する。例えば、極表層血管観察モード及び中層血管観察モードと、極表層血管観察モードと中層血管観察モードとの組み合わせに基づいた第3発光順序とを関連付けて記憶する。
The light emission
観察モード選択部80は、複数の観察モードの中から1以上の観察モードを選択する。具体的には、観察モード選択部80は、シングルモードの場合に、複数の観察モードの中から1つの観察モードを選択する。例えば、極表層血管観察モードと中層血管観察モードとを含む複数の観察モードの中から、極表層血管観察モードを選択する。
The observation
これに対して、観察モード選択部80は、マルチモードの場合に、複数の観察モードの中から少なくとも2以上の観察モードを選択する。例えば、極表層血管観察モードと中層血管観察モードとを含む複数の観察モードの中から、極表層血管観察モードと中層血管観察モードとを選択する。また、マルチモードにおいて、観察モード選択部80で複数の観察モードが選択された場合には、光源制御部21では、発光順序記憶部78に記憶された発光順序のうち、選択された観察モードの組み合わせと関連付けられた発光順序で観察対象を照明するように光源部20を制御する。このように、観察モード選択部80は、ドクターなどが、診断の目的に応じて観察モードを選択するためのものである。このため、観察モード選択部80は、コンソール19などに接続される。
On the other hand, the observation
次に、本発明の作用について、図11に示すフローチャートに沿って説明する。マルチモードで用いる照明光の発光順序決定する場合、複数の観察モードから、極表層血管観察モードと中層血管観察モードとを少なくとも選択する(S1)。そして、選択した観察モード毎に優先度を設定する(S2)。例えば、極表層血管観察モードの優先度を、中層血管観察モードの優先度よりも高く設定する。 Next, the effect | action of this invention is demonstrated along the flowchart shown in FIG. When determining the order of illumination light used in the multi-mode, at least a superficial blood vessel observation mode and a middle blood vessel observation mode are selected from a plurality of observation modes (S1). Then, a priority is set for each selected observation mode (S2). For example, the priority in the extreme surface blood vessel observation mode is set higher than the priority in the middle blood vessel observation mode.
次に、複数の照明光の中から、極表層血管観察モードで用いる照明光と、中層血管観察モードで用いる照明光とを選択する(S3)。例えば、第1照明光L1〜第3照明光L3を含む複数の照明光のうち、極表層血管観察モードで用いる照明光として第1照明光L1及び第2照明光L2を選択し、中層血管観察モードで用いる照明光として第1照明光L1及び第3照明光L3を選択する。 Next, the illumination light used in the polar surface blood vessel observation mode and the illumination light used in the middle blood vessel observation mode are selected from the plurality of illumination lights (S3). For example, among the plurality of illumination lights including the first illumination light L1 to the third illumination light L3, the first illumination light L1 and the second illumination light L2 are selected as the illumination light used in the polar surface blood vessel observation mode, and the middle layer blood vessel observation is performed. The first illumination light L1 and the third illumination light L3 are selected as illumination light used in the mode.
極表層血管観察モードで用いる第1照明光L1と第2照明光L2の発光タイミングの間隔と、中層血管観察モードで用いる第1照明光L1と第3照明光L3の発光タイミングの間隔とが、優先度によって定まるように、各照明光の発光順序を決定する(S5)。例えば、優先度が高く設定された極表層血管観察モードで用いる第1照明光L1と第2照明光L2の発光タイミングの間隔が、極表層血管観察モードよりも優先度が低く設定された中層血管観察モードで用いる第1照明光L1と第3照明光L3の発光タイミングの間隔よりも小さくなるように、第1照明光L1〜第3照明光L3の発光順序を決定する。 The interval between the emission timings of the first illumination light L1 and the second illumination light L2 used in the polar surface blood vessel observation mode and the interval between the emission timings of the first illumination light L1 and the third illumination light L3 used in the middle layer blood vessel observation mode are: The light emission order of each illumination light is determined so as to be determined by the priority (S5). For example, the middle-layer blood vessel in which the interval between the emission timings of the first illumination light L1 and the second illumination light L2 used in the polar surface blood vessel observation mode with a high priority is set lower than in the polar surface blood vessel observation mode. The light emission order of the first illumination light L1 to the third illumination light L3 is determined so as to be smaller than the interval between the light emission timings of the first illumination light L1 and the third illumination light L3 used in the observation mode.
以上のように、本発明は、複数の観察モードが選択された場合において、優先度の高い観察モードで用いる照明光の発光タイミングの間隔が短くなるように、照明光の発光順序を決定するので、優先度の高い観察モードで生成される画像の画質低下を防止できる。 As described above, according to the present invention, when a plurality of observation modes are selected, the illumination light emission order is determined so that the interval of the illumination light emission timing used in the observation mode with the higher priority is shortened. Therefore, it is possible to prevent the image quality of the image generated in the observation mode with high priority from being deteriorated.
[第2実施形態]
第1実施形態では、観察モードとして、極表層血管観察モードと中層血管観察モードとを有するが、第2実施形態では、更に、深層血管観察モードと、低酸素モードと、表層血管観察モードと、白色光観察モードとを有する。
[Second Embodiment]
In the first embodiment, the observation mode has a polar surface blood vessel observation mode and a middle blood vessel observation mode, but in the second embodiment, a deep blood vessel observation mode, a hypoxia mode, a surface blood vessel observation mode, A white light observation mode.
図12において、内視鏡システム100には、光源部102が設けられている。光源部102は、上記第1実施形態の光源部20の各光源20a〜20dに加え、473LD(Laser Diode)光源104を有する。473LD光源104は、中心波長473nmの青色レーザ光B2を発する青色レーザ光源である。なお、473LD光源104の半値幅は±10nm程度にすることが好ましい。また、473LD光源104は、ブロードエリア型のInGaN系レーザダイオードが利用でき、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。なお、その他の部材は第1実施形態と同じなので説明を省略する。
In FIG. 12, the
以下では、第2実施形態における発光順序の決定方法について説明を行う。 Below, the determination method of the light emission order in 2nd Embodiment is demonstrated.
観察モード設定部70では、極表層血管観察モードと中層血管観察モードとに加え、深層血管観察モードと、低酸素モードと、表層血管観察モードと、白色光観察モードとを設定する。深層血管観察モードは、観察対象に含まれる深層血管を強調した深表層血管強調画像をモニタ18に表示する。低酸素モードは、観察対象の血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示する。表層血管観察モードは、観察対象に含まれる表層血管を強調した表層血管強調画像をモニタ18に表示する。白色光観察モードは、通常モードと同じであり、通常画像をモニタ18に表示する。
The observation mode setting unit 70 sets a deep blood vessel observation mode, a low oxygen mode, a surface blood vessel observation mode, and a white light observation mode in addition to the extreme surface blood vessel observation mode and the middle blood vessel observation mode. In the deep blood vessel observation mode, a deep surface blood vessel emphasized image in which the deep blood vessels included in the observation target are emphasized is displayed on the
モード操作部72では、例えば、極表層血管観察モードと中層血管観察モードと深層血管観察モードと低酸素モードとを選択する。また、モード操作部72は、例えば、極表層血管観察モードの優先度を1番高く設定し、低酸素モードの優先度を2番目に高く設定し、中層血管観察モードの優先度を3番目に高く設定し、深層血管観察モードの優先度を4番目に高く設定する。
In the
照明光選択部74では、深層血管観察モードで用いる照明光として、第1照明光L1〜第3照明光L3のそれぞれに対しスペクトルが異なる第4照明光L4と、第1照明光L1とを選択する。また、低酸素モードで用いる照明光として、第1照明光L1〜第4照明光L4のそれぞれに対しスペクトルが異なる第5照明光L5と、第1照明光L1〜第5照明光L5のそれぞれに対しスペクトルが異なる第6照明光L6とを選択する。
The illumination
図13において、第4照明光L4は、B−LED光源20bとG−LED光源20cとを点灯させ、V−LED光源20aとR−LED光源20dと473LD光源104とを消灯させることによって、青色光B1及び緑色光Gが光路結合部23によって結合された照明光とする。
In FIG. 13, the fourth illumination light L4 is blue by turning on the B-
図14において、第5照明光L5は、473LD光源104とG−LED光源20cとR−LED光源20dとを点灯させ、V−LED光源20aとB−LED光源20bとを消灯させることによって、青色レーザ光B2と緑色光Gと赤色光Rとが光路結合部23によって結合された照明光とする。
In FIG. 14, the fifth illumination light L5 is blue by turning on the 473LD
図15において、第6照明光L6は、B−LED光源20bとG−LED光源20cとR−LED光源20dとを点灯させ、V−LED光源20aと473LD光源104とを消灯させることによって、青色光B1と緑色光Gと赤色光Rとが光路結合部23によって結合された照明光とする。
In FIG. 15, the sixth illumination light L6 is blue by turning on the B-
図16において、発光順序決定部76では、極表層血管観察モードで用いる照明光、低酸素モードで用いる照明光、中層血管観察モードで用いる照明光、深層血管観察モードで用いる照明光の順序を第1発光順序として求める。例えば、第1発光順序は、1フレーム目に第1照明光L1、2フレーム目に第2照明光L2、3フレーム目に第5照明光L5、4フレーム目に第6照明光L6、5フレーム目に第1照明光L1、6フレーム目に第3照明光L3、7フレーム目に第4照明光L4、8フレーム目に第1照明光L1が発光される発光順序とする。この第1発光順序では、フレーム数は「8」とされる。また、極表層血管観察モードのフレーム間隔は「1」、低酸素モードのフレーム間隔は「1」、中層血管観察モードのフレーム間隔は「1」、深層血管観察モードのフレーム間隔は「1」であるため、フレーム間隔総量は「4」とされる。
In FIG. 16, the light emission
求めた第1発光順序は、同じスペクトルの照明光として第1照明光L1を有する。このため、発光順序決定部76は、第1発光順序を並べ替えて第2発光順序を求める。図17において、例えば、第2発光順序は、1フレーム目に第2照明光L2、2フレーム目に第1照明光L1、3フレーム目に第5照明光L5、4フレーム目に第6照明光L6、5フレーム目に第3照明光L3、6フレーム目に第4照明光L4で発光される発光順序とする。この第2発光順序では、フレーム数は「6」とされる。また、極表層血管観察モードのフレーム間隔は「1」、低酸素モードのフレーム間隔は「1」、中層血管観察モードのフレーム間隔は「3」、深層血管観察モードのフレーム間隔は「4」であるため、フレーム間隔総量は「9」とされる。
The obtained first light emission order includes the first illumination light L1 as illumination light having the same spectrum. For this reason, the light emission
求めた第2発光順序は、優先度が高い観察モードほど、選択された観察モードで用いる照明光の発光タイミングの間隔が小さくなるように定められていない。このため、発光順序決定部76は、第2発光順序を並べ替えて第3発光順序を求める。図18において、例えば、第3発光順序は、1フレーム目に第5照明光L5、2フレーム目に第6照明光L6、3フレーム目に第2照明光L2、4フレーム目に第1照明光L1、5フレーム目に第3照明光L3、6フレーム目に第4照明光L4が発光される発光順序とする。この第3発光順序では、フレーム数は「6」とされる。また、極表層血管観察モードのフレーム間隔は「1」、低酸素モードのフレーム間隔は「1」、中層血管観察モードのフレーム間隔は「1」、深層血管観察モードのフレーム間隔は「2」であるため、フレーム間隔総量は「5」とされる。そして、発光順序決定部76は、第3発光順序をマルチモードで用いる照明光の発光順序として決定する。
The obtained second light emission order is not determined such that the higher the priority of the observation mode, the smaller the interval of the emission timing of the illumination light used in the selected observation mode. For this reason, the light emission
なお、第2実施形態では、中心波長473nmの青色レーザ光B2を発する473LD光源104を用いているが、473LD光源104に代えて、図19に示すようなB−LED光源110を用いても良い。B−LED光源110は、中心波長460nm、波長帯域420nm〜500nmの青色光B3を発する青色半導体光源である図20に示すように、B−LED光源110を用いる場合には、B−LED光源110の光路上にLPF(ロングパスフィルタ)112を設ける。
In the second embodiment, the 473LD
LPF112は、B−LED光源110が発する青色光B3から、特定波長帯域を有する光を生成する。具体的には、図21に示すように、LPF112は、B−LED光源110が発する青色光B3のピーク波長を境に、短波長側の波長帯域(波長460nm未満)をカットし、長波長側の波長帯域(波長460nm以上)を透過する。これにより、LPF112は、青色光B3から、特定波長帯域を有する青色光BLを生成する。
The
青色光BLは、例えば、第5照明光L5に用いられる。具体的には、図22において、第5照明光L5は、B−LED光源110とG−LED光源20cとR−LED光源20dとを点灯させ、V−LED光源20aとB−LED光源20bとを消灯させることによって、青色光BLと緑色光Gと赤色光Rとを含む照明光とする。
The blue light BL is used for the fifth illumination light L5, for example. Specifically, in FIG. 22, the fifth illumination light L5 turns on the B-
なお、上記実施形態では、中心波長445nmの青色光B1を発するB−LED光源20bを用いているが、B−LED光源20bに代えて、B−LED光源110を設け、更にB−LED光源110の光路上に、図23に示すSPF(ショートパスフィルタ)114を設けるようにしても良い。
In the above embodiment, the B-
SPF114は、B−LED光源110が発する青色光B3から、特定波長帯域を有する光を生成する。具体的には、図24に示すように、SPF114は、B−LED光源110が発する青色光B3のピーク波長を境に、短波長側の波長帯域(波長460nm未満)を透過し、長波長側の波長帯域(波長460nm以上)をカットする。これにより、SPF114は、青色光B3から、特定波長帯域を有する青色光BSを生成する。
The
青色光BSは、例えば、第1照明光L1に用いられる。具体的には、図25において、第1照明光L1は、B−LED光源110とR−LED光源20dとを点灯させ、V−LED光源20aとG−LED光源20cとを消灯させることによって、青色光BSと赤色光Rとを含む照明光とする。なお、青色光BSは、第1照明光L1の他に、第4照明光L4や第6照明光に用いても良い。
The blue light BS is used for the first illumination light L1, for example. Specifically, in FIG. 25, the first illumination light L1 turns on the B-
なお、上記実施形態では、モード操作部72によって、観察モードに対して優先度を設定しているが、各照明光の発光タイミングの間隔に対して優先度を設定しても良い。
In the above embodiment, the priority is set for the observation mode by the
10、100 内視鏡システム
12 内視鏡
14 光源装置
16 プロセッサ装置
20,102 光源部
20a V−LED光源
20b,110 B−LED光源
20c G−LED光源
20d R−LED光源
68 発光順序決定処理部
70 観察モード設定部
72 モード操作部
74 照明光選択部
76 発光順序決定部
78 発光順序記憶部
80 観察モード選択部
104 473LD光源
112 LPF(ロングパスフィルタ)
114 SPF(ショートパスフィルタ)
DESCRIPTION OF SYMBOLS 10,100
114 SPF (short pass filter)
Claims (10)
複数の前記観察モードから第1観察モード及び第2観察モードを少なくとも選択し、且つ選択された前記観察モード毎に優先度を設定するモード操作部と、
複数の前記照明光の中から、選択された前記観察モードで用いる照明光を選択する照明光選択部であり、前記第1観察モードで用いる照明光として前記第1照明光及び前記第2照明光を選択し、前記第2観察モードで用いる照明光として前記第1照明光及び前記第3照明光を選択する照明光選択部と、
前記第1観察モードで用いる前記第1照明光と前記第2照明光の発光タイミングの間隔と、前記第2観察モードで用いる前記第1照明光と前記第3照明光の発光タイミングの間隔とが、前記優先度によって定まるように、選択された前記観察モードで用いる照明光の発光順序を決定する発光順序決定部とを有するプロセッサ装置。 A plurality of light sources including a first illumination light, a second illumination light having a spectrum different from that of the first illumination light, and a third illumination light having a spectrum different from each of the first illumination light and the second illumination light. In the processor device connected to the endoscope system having a plurality of observation modes using at least one or more of the illumination light of
A mode operation unit that selects at least a first observation mode and a second observation mode from a plurality of the observation modes, and sets a priority for each of the selected observation modes;
An illumination light selection unit that selects illumination light used in the selected observation mode from among the plurality of illumination lights, and the first illumination light and the second illumination light are used as illumination light used in the first observation mode. An illumination light selection unit that selects the first illumination light and the third illumination light as illumination light used in the second observation mode;
An interval between emission timings of the first illumination light and the second illumination light used in the first observation mode and an interval between emission timings of the first illumination light and the third illumination light used in the second observation mode. And a light emission order determination unit that determines the light emission order of the illumination light used in the selected observation mode so as to be determined by the priority.
モード操作部が、複数の前記観察モードから第1観察モード及び第2観察モードを少なくとも選択し、且つ選択された前記観察モード毎に優先度を設定するステップと、
照明光選択部が、複数の前記照明光の中から、選択された前記観察モードで用いる照明光を選択する照明光選択部であり、前記第1観察モードで用いる照明光として前記第1照明光及び前記第2照明光を選択し、前記第2観察モードで用いる照明光として前記第1照明光及び前記第3照明光を選択するステップと、
発光順序決定部が、前記第1観察モードで用いる前記第1照明光と前記第2照明光の発光タイミングの間隔と、前記第2観察モードで用いる前記第1照明光と前記第3照明光の発光タイミングの間隔とが、前記優先度によって定まるように、選択された前記観察モードで用いる照明光の発光順序を決定するステップとを有するプロセッサ装置の作動方法。 A plurality of light sources including a first illumination light, a second illumination light having a spectrum different from that of the first illumination light, and a third illumination light having a spectrum different from each of the first illumination light and the second illumination light. In the operating method of the processor device connected to the endoscope system having a plurality of observation modes using at least one of the illumination lights of
A mode operation unit selecting at least a first observation mode and a second observation mode from a plurality of the observation modes, and setting a priority for each of the selected observation modes;
The illumination light selection unit is an illumination light selection unit that selects the illumination light used in the selected observation mode from the plurality of illumination lights, and the first illumination light is used as the illumination light used in the first observation mode. Selecting the second illumination light, and selecting the first illumination light and the third illumination light as illumination light used in the second observation mode;
The light emission order determination unit determines the interval between the light emission timings of the first illumination light and the second illumination light used in the first observation mode, and the first illumination light and the third illumination light used in the second observation mode. And determining a light emission order of illumination light used in the selected observation mode so that an interval of light emission timing is determined by the priority.
コンピュータを、
複数の前記観察モードから第1観察モード及び第2観察モードを少なくとも選択し、且つ選択された前記観察モード毎に優先度を設定するモード操作部と、
複数の前記照明光の中から、選択された前記観察モードで用いる照明光を選択する照明光選択部であり、前記第1観察モードで用いる照明光として前記第1照明光及び前記第2照明光を選択し、前記第2観察モードで用いる照明光として前記第1照明光及び前記第3照明光を選択する照明光選択部と、
前記第1観察モードで用いる前記第1照明光と前記第2照明光の発光タイミングの間隔と、前記第2観察モードで用いる前記第1照明光と前記第3照明光の発光タイミングの間隔とが、前記優先度によって定まるように、選択された前記観察モードで用いる照明光の発光順序を決定する発光順序決定部として機能させることを特徴とする内視鏡用の制御プログラム。 A plurality of light sources including a first illumination light, a second illumination light having a spectrum different from that of the first illumination light, and a third illumination light having a spectrum different from each of the first illumination light and the second illumination light. In an endoscope control program installed in a processor device connected to an endoscope system having a plurality of observation modes using at least one of the illumination lights of
Computer
A mode operation unit that selects at least a first observation mode and a second observation mode from a plurality of the observation modes, and sets a priority for each of the selected observation modes;
An illumination light selection unit that selects illumination light used in the selected observation mode from among the plurality of illumination lights, and the first illumination light and the second illumination light are used as illumination light used in the first observation mode. An illumination light selection unit that selects the first illumination light and the third illumination light as illumination light used in the second observation mode;
An interval between emission timings of the first illumination light and the second illumination light used in the first observation mode and an interval between emission timings of the first illumination light and the third illumination light used in the second observation mode. A control program for an endoscope that functions as a light emission order determining unit that determines the light emission order of illumination light used in the selected observation mode so as to be determined by the priority.
前記第1照明光と前記第2照明光と前記第3照明光とを、観察対象を照明するための光として少なくとも発する光源部と、
照明光で照明中の前記観察対象を撮像して画像信号を出力する撮像素子であり、前記第1照明光で照明中の前記観察対象を撮像して第1画像信号を出力し、前記第2照明光で照明中の前記観察対象を撮像して第2画像信号を出力し、前記第3照明光で照明中の前記観察対象を撮像して第3画像信号を出力する撮像素子と、
前記第1画像信号と前記第2画像信号とに基づいた第1観察モード用画像、及び前記第1画像信号と前記第3画像信号とに基づいた第2観察モード用画像を少なくとも生成する画像処理部とを備える内視鏡システム。 An endoscope system comprising the processor device according to any one of claims 1 to 6,
A light source unit that emits at least the first illumination light, the second illumination light, and the third illumination light as light for illuminating the observation target;
An imaging device that images the observation target under illumination with illumination light and outputs an image signal, images the observation target under illumination with the first illumination light, outputs a first image signal, and the second An imaging device that images the observation target being illuminated with illumination light and outputs a second image signal, images the observation target that is illuminated with the third illumination light, and outputs a third image signal;
Image processing for generating at least a first observation mode image based on the first image signal and the second image signal and a second observation mode image based on the first image signal and the third image signal An endoscope system comprising a unit.
複数の前記観察モードと、複数の前記観察モードの組み合わせに基づいて決定された前記発光順序とを関連付けて記憶する発光順序記憶部と、
前記観察モード選択部で複数の前記観察モードが選択された場合に、前記発光順序記憶部に記憶された前記発光順序のうち、選択された前記観察モードの組み合わせと関連付けられた前記発光順序で前記観察対象を照明するように前記光源部を制御する光源制御部とを備える請求項9記載の内視鏡システム。 An observation mode selection unit that selects at least one of the observation modes from a plurality of the observation modes;
A light emission order storage unit that associates and stores the plurality of observation modes and the light emission order determined based on a combination of the plurality of observation modes;
When a plurality of the observation modes are selected by the observation mode selection unit, the light emission order stored in the light emission order storage unit is the light emission order associated with the selected combination of the observation modes. The endoscope system according to claim 9, further comprising: a light source control unit that controls the light source unit so as to illuminate an observation target.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015010452A JP6285370B2 (en) | 2015-01-22 | 2015-01-22 | Endoscope processor device, operation method of endoscope processor device, endoscope control program, and endoscope system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015010452A JP6285370B2 (en) | 2015-01-22 | 2015-01-22 | Endoscope processor device, operation method of endoscope processor device, endoscope control program, and endoscope system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016131837A JP2016131837A (en) | 2016-07-25 |
JP6285370B2 true JP6285370B2 (en) | 2018-02-28 |
Family
ID=56435021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015010452A Active JP6285370B2 (en) | 2015-01-22 | 2015-01-22 | Endoscope processor device, operation method of endoscope processor device, endoscope control program, and endoscope system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6285370B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3586718B1 (en) | 2017-02-24 | 2023-08-30 | FUJIFILM Corporation | Endoscope system and processor device |
WO2019039354A1 (en) * | 2017-08-23 | 2019-02-28 | 富士フイルム株式会社 | Light source device and endoscope system |
EP3756532B1 (en) * | 2018-02-20 | 2024-04-17 | FUJIFILM Corporation | Endoscope system |
WO2020035929A1 (en) | 2018-08-16 | 2020-02-20 | オリンパス株式会社 | Endoscope device, operation method for endoscope device, and image processing program |
JP7362783B2 (en) * | 2020-01-09 | 2023-10-17 | 富士フイルム株式会社 | Endoscope system and its operating method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5385188B2 (en) * | 2010-03-26 | 2014-01-08 | 富士フイルム株式会社 | Electronic endoscope system |
JP5405445B2 (en) * | 2010-12-17 | 2014-02-05 | 富士フイルム株式会社 | Endoscope device |
JP5496075B2 (en) * | 2010-12-27 | 2014-05-21 | 富士フイルム株式会社 | Endoscopic diagnosis device |
JP5654511B2 (en) * | 2012-03-14 | 2015-01-14 | 富士フイルム株式会社 | Endoscope system, processor device for endoscope system, and method for operating endoscope system |
JP5698878B2 (en) * | 2013-02-12 | 2015-04-08 | オリンパスメディカルシステムズ株式会社 | Endoscope device |
JP2015139613A (en) * | 2014-01-29 | 2015-08-03 | オリンパス株式会社 | medical image forming apparatus |
-
2015
- 2015-01-22 JP JP2015010452A patent/JP6285370B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016131837A (en) | 2016-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10004389B2 (en) | Endoscope system, operation method for endoscope system, processor device, and operation method for processor device | |
JP6039606B2 (en) | Endoscope system, light source device, operation method of endoscope system, and operation method of light source device | |
JP6243364B2 (en) | Endoscope processor, operation method, and control program | |
US20150272422A1 (en) | Endoscope system, processor device, and method for operating endoscope system | |
JP2017023620A (en) | Image processing apparatus and endoscope system, and method for operating image processing apparatus | |
JP6285370B2 (en) | Endoscope processor device, operation method of endoscope processor device, endoscope control program, and endoscope system | |
JP6362274B2 (en) | Endoscope system and method for operating endoscope system | |
JP6389140B2 (en) | Endoscope system, processor device, and operation method of endoscope system | |
US11089949B2 (en) | Endoscope system and method of operating same | |
US10285631B2 (en) | Light source device for endoscope and endoscope system | |
US10278628B2 (en) | Light source device for endoscope and endoscope system | |
WO2019093355A1 (en) | Endoscope system and method for operating same | |
US10003774B2 (en) | Image processing device and method for operating endoscope system | |
US11089943B2 (en) | Endoscope system and method of operating the same | |
JP6247610B2 (en) | Endoscope system, operation method of endoscope system, light source device, and operation method of light source device | |
JP2016007355A (en) | Light source device, endoscope system, operation method of light source device, and operation method of endoscope system | |
JP6461742B2 (en) | Endoscope system and method for operating endoscope system | |
JP6616071B2 (en) | Endoscope processor device, operation method of endoscope processor device, control program for endoscope | |
JP2019136555A (en) | Endoscope light source device, endoscope system, and method of operating endoscope light source device | |
JP7386266B2 (en) | Endoscope system and its operating method | |
JP7390465B2 (en) | Endoscope system and method of operating the endoscope system | |
JPWO2017170232A1 (en) | Endoscopic image signal processing apparatus and method, and program | |
JP2016209517A (en) | Endoscope system and operation method therefor | |
CN112472011A (en) | Endoscope system and method for operating same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6285370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |