JP5415805B2 - Diagnosis support device - Google Patents
Diagnosis support device Download PDFInfo
- Publication number
- JP5415805B2 JP5415805B2 JP2009085569A JP2009085569A JP5415805B2 JP 5415805 B2 JP5415805 B2 JP 5415805B2 JP 2009085569 A JP2009085569 A JP 2009085569A JP 2009085569 A JP2009085569 A JP 2009085569A JP 5415805 B2 JP5415805 B2 JP 5415805B2
- Authority
- JP
- Japan
- Prior art keywords
- fluorescence
- fluorescence lifetime
- light
- excitation light
- lifetime
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims description 33
- 230000003902 lesion Effects 0.000 claims description 71
- 230000005284 excitation Effects 0.000 claims description 70
- 238000001514 detection method Methods 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 33
- 206010028980 Neoplasm Diseases 0.000 claims description 16
- VWWQXMAJTJZDQX-UYBVJOGSSA-N flavin adenine dinucleotide Chemical compound C1=NC2=C(N)N=CN=C2N1[C@@H]([C@H](O)[C@@H]1O)O[C@@H]1CO[P@](O)(=O)O[P@@](O)(=O)OC[C@@H](O)[C@@H](O)[C@@H](O)CN1C2=NC(=O)NC(=O)C2=NC2=C1C=C(C)C(C)=C2 VWWQXMAJTJZDQX-UYBVJOGSSA-N 0.000 claims description 11
- 235000019162 flavin adenine dinucleotide Nutrition 0.000 claims description 11
- 239000011714 flavin adenine dinucleotide Substances 0.000 claims description 11
- 229940093632 flavin-adenine dinucleotide Drugs 0.000 claims description 11
- 150000004032 porphyrins Chemical class 0.000 claims description 6
- 239000000835 fiber Substances 0.000 description 47
- 230000001613 neoplastic effect Effects 0.000 description 35
- 210000001519 tissue Anatomy 0.000 description 23
- 238000012545 processing Methods 0.000 description 21
- 238000005286 illumination Methods 0.000 description 19
- 238000001444 catalytic combustion detection Methods 0.000 description 18
- 238000001161 time-correlated single photon counting Methods 0.000 description 16
- 239000000126 substance Substances 0.000 description 15
- 238000005259 measurement Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- BAWFJGJZGIEFAR-NNYOXOHSSA-N NAD zwitterion Chemical compound NC(=O)C1=CC=C[N+]([C@H]2[C@@H]([C@H](O)[C@@H](COP([O-])(=O)OP(O)(=O)OC[C@@H]3[C@H]([C@@H](O)[C@@H](O3)N3C4=NC=NC(N)=C4N=C3)O)O2)O)=C1 BAWFJGJZGIEFAR-NNYOXOHSSA-N 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 229950006238 nadide Drugs 0.000 description 5
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000002073 fluorescence micrograph Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 239000011358 absorbing material Substances 0.000 description 3
- 208000027866 inflammatory disease Diseases 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 238000005086 pumping Methods 0.000 description 3
- 102000008186 Collagen Human genes 0.000 description 2
- 108010035532 Collagen Proteins 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000019522 cellular metabolic process Effects 0.000 description 2
- 229920001436 collagen Polymers 0.000 description 2
- 208000029742 colonic neoplasm Diseases 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000005281 excited state Effects 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012921 fluorescence analysis Methods 0.000 description 1
- 238000001917 fluorescence detection Methods 0.000 description 1
- 230000004066 metabolic change Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
Description
本発明は、被検体からの蛍光の寿命を算出して診断の支援を行う診断支援装置に関する。 The present invention relates to a diagnosis support apparatus that calculates a lifetime of fluorescence from a subject and supports diagnosis.
従来から、癌の検出には内視鏡が使用されてきたが、色調の変化が少ない癌や平坦に近い形をした癌の見落としが課題となっている。近年では、生体の自家蛍光を利用した蛍光内視鏡も実用化されており病変の早期検出に利用されている。
自家蛍光とは、生体内に自然に含まれる蛍光物質からの蛍光のことを指し、体外から投与される薬剤蛍光と区別して使われる言葉である。現在の自家蛍光内視鏡では、励起光を照射することにより粘膜の奥にある粘膜下層のコラーゲンから生じる蛍光を主に見ていると考えられている。
癌などの腫瘍性病変においては、粘膜下層を覆う粘膜層の厚みが増すことにより、励起光や蛍光が肥厚した粘膜層に吸収・散乱されて観察される蛍光が減弱する。
また、腫瘍性病変では一般的に組織に含まれる血液量が多<、励起光や蛍光がヘモグロビンに吸収されることによっても蛍光が減弱する。
しかし、血液量は腫瘍ではない炎症性の疾患でも多くなるため、自家蛍光内視鏡下では腫瘍と炎症の区別が難しいという問題があった。
Conventionally, endoscopes have been used to detect cancer, but overlooking cancers with little change in color tone or cancers that are nearly flat has become a problem. In recent years, fluorescent endoscopes utilizing living body autofluorescence have been put into practical use and are used for early detection of lesions.
Autofluorescence refers to fluorescence from a fluorescent substance that is naturally contained in a living body, and is a term used to distinguish it from drug fluorescence administered from outside the body. In the current autofluorescence endoscope, it is considered that fluorescence generated from collagen in the submucosal layer in the back of the mucous membrane is mainly observed by irradiating excitation light.
In neoplastic lesions such as cancer, the thickness of the mucosal layer covering the submucosal layer increases, and the fluorescence observed by absorption and scattering of the excitation light and fluorescence in the thickened mucosal layer is attenuated.
In addition, tumorous lesions generally have a large amount of blood contained in the tissue, and the fluorescence is attenuated by absorption of excitation light and fluorescence into hemoglobin.
However, since blood volume increases even in inflammatory diseases that are not tumors, there is a problem that it is difficult to distinguish tumors from inflammation under autofluorescence endoscope.
一方、第1の従来例としての例えば特表2003−535659号公報は、光ガイドを走査アクチュエータと共に移動させ、光で関心領域を走査し、関心領域からの光を検出し、光の特徴を示す信号を生成し、関心領域の生物物理学的状態を決定するために、関心領域に対して蛍光寿命の分析を実行することを開示している。 On the other hand, for example, Japanese translations of PCT publication No. 2003-535659 as a first conventional example moves a light guide together with a scanning actuator, scans a region of interest with light, detects light from the region of interest, and shows the characteristics of the light. Disclosed is a fluorescence lifetime analysis performed on the region of interest to generate a signal and determine the biophysical state of the region of interest.
しかしながら上記第1の従来例は、蛍光寿命を分析することを開示しているが、腫瘍性病変と炎症性疾患とを区別又は判別し易くすることを開示するものでない。 However, although the first conventional example discloses analyzing the fluorescence lifetime, it does not disclose that it is easy to distinguish or discriminate between a neoplastic lesion and an inflammatory disease.
この他に第2の従来例としての特開2005−283264号公報は、異なる波長帯域の複数の励起光を同一の資料部位に照射し、それぞれの蛍光を検出手段により検出し、それぞれの蛍光に対応した出力信号同士を比較に基づいて解析する演算手段を備えた蛍光分析装置を開示している。この場合、演算手段は、相互相関分析又は共焦点コインシデンス分析を採用したものであり、第1の従来例と同様に腫瘍と炎症とを区別又は判別し易くすることを開示するものでない。 In addition, Japanese Patent Laid-Open No. 2005-283264 as a second conventional example irradiates a plurality of excitation light beams of different wavelength bands on the same material part, detects each fluorescence by a detection means, There is disclosed a fluorescence analysis apparatus provided with a calculation means for analyzing corresponding output signals based on comparison. In this case, the calculation means employs cross-correlation analysis or confocal coincidence analysis, and does not disclose that it is easy to distinguish or discriminate between tumor and inflammation as in the first conventional example.
このため、腫瘍性病変と炎症性疾患とを血液等の蛍光吸収による影響をあまり受けずに区別又は判別し易くして、術者に対して診断を支援する装置が望まれる。
本発明は、上記問題点に鑑みてなされたものであり、蛍光寿命を利用して、蛍光吸収物質により影響されることなく腫瘍性病変等の病変判別に利用できる診断支援装置を提供することを目的とする。
For this reason, a device that assists diagnosis for an operator by making it easy to distinguish or discriminate between a neoplastic lesion and an inflammatory disease without being affected by fluorescence absorption of blood or the like is desired.
The present invention has been made in view of the above-described problems, and provides a diagnostic support device that can be used for lesion determination such as neoplastic lesions without being affected by a fluorescent absorbing material by using a fluorescence lifetime. Objective.
本発明の1形態に係る診断支援装置は、
被検体に照射する励起光を発生する光源部と、
前記励起光の照射によって生じた蛍光を検出する検出部と、
前記検出部で検出された蛍光に基づき、第1の蛍光寿命及び第2の蛍光寿命を算出する蛍光寿命算出部と、
前記第1の蛍光寿命と前記第2の蛍光寿命に基づいて病変判別を行う病変判別部と、
を有する。
A diagnosis support apparatus according to one aspect of the present invention includes:
A light source unit that generates excitation light to irradiate the subject;
A detection unit for detecting fluorescence generated by irradiation of the excitation light;
A fluorescence lifetime calculation unit that calculates a first fluorescence lifetime and a second fluorescence lifetime based on the fluorescence detected by the detection unit;
A lesion determination unit that performs lesion determination based on the first fluorescence lifetime and the second fluorescence lifetime;
Have
本発明の他の1形態に係る診断支援装置は、
被検体に照射する第1の励起光及び該第1の励起光とは波長の異なる第2の励起光を発生する光源部と、
前記第1の励起光の照射によって生じた第1の蛍光と前記第2の励起光の照射によって生じた第2の蛍光を検出する検出部と、
前記検出部で検出された前記第1の蛍光に係る第1の蛍光寿命及び前記検出部で検出された前記第2の蛍光に係る第2の蛍光寿命を算出する蛍光寿命算出部と、
前記第1の蛍光寿命と前記第2の蛍光寿命に基づいて病変判別を行う病変判別部と、
を有する。
A diagnosis support apparatus according to another aspect of the present invention provides:
A first light source that irradiates the subject and a light source unit that generates second excitation light having a wavelength different from that of the first excitation light;
A detection unit for detecting first fluorescence generated by irradiation of the first excitation light and second fluorescence generated by irradiation of the second excitation light;
A fluorescence lifetime calculation unit for calculating a first fluorescence lifetime related to the first fluorescence detected by the detection unit and a second fluorescence lifetime related to the second fluorescence detected by the detection unit;
A lesion determination unit that performs lesion determination based on the first fluorescence lifetime and the second fluorescence lifetime ;
Have
本発明によれば、蛍光寿命を利用して、蛍光吸収物質により影響されることなく腫瘍性病変等の病変判別に利用できる。 According to the present invention, the fluorescence lifetime can be used to determine lesions such as neoplastic lesions without being affected by the fluorescent absorbing material.
図1に示すように本発明の診断支援装置71は、被検体に照射する励起光を発生する光源部72と、この励起光の照射により被検体に生じた蛍光を検出する検出部73とを有する。
また、この診断支援装置71は、検出部73で検出された蛍光に基づき、第1の蛍光寿命及び第2の蛍光寿命を算出する蛍光寿命算出部74と、第1の蛍光寿命と第2の蛍光寿命に基づいて病変判別を行う病変判別部75と、を有する。
診断支援装置71は、後述する第1、第2、第4の実施形態の診断支援装置1A、1B、1Dと第3の実施形態の内視鏡装置1Cに該当する。光源部72は、第1〜第3の実施形態のレーザ光源2と、第4の実施形態のレーザ光源2A、2Bに該当する。レーザ光源2A、2Bは、第1の励起光としてのレーザパルス及びこの第1の励起光とは波長が異なる第2の励起光としてのレーザパルスを発生する。
As shown in FIG. 1, the diagnosis support
In addition, the
The diagnosis support
検出部73は、第1〜第4の実施形態の検出部73A〜73Dに該当する。第4の実施形態の検出部73Dは、第1の励起光によって生じた第1の蛍光と、第2の励起光によって生じた第2の蛍光とをそれぞれ検出する。
蛍光寿命算出部74は、第1〜第4の実施形態の蛍光寿命算出回路25に該当する。病変判別部75は、第1〜第4の実施形態の判別回路27に該当する。
The
The fluorescence
ここで、本発明における病変判別に用いる蛍光寿命を説明する。
蛍光物質は、励起光の照射により光を吸収して励起状態に遷移するが、不安定なために蛍光を放出して元の状態に戻る。この場合、励起状態から蛍光を放出して元の状態に戻るまでに、一般にピコ秒〜ナノ秒オーダーの時間を要し、この時間のことを蛍光寿命と呼んでいる。
具体的には蛍光寿命は、蛍光強度が1/eに低下するのに要する時間と定義される。蛍光寿命は、物質の種類により異なるというだけではなく、その物質が他の物質と結合している状態や、pH、温度などといった周囲の環境によって変化する。しかし、この蛍光寿命は、基本的には周囲に蛍光を吸収する他の吸収物質が存在していても、その吸収の影響を受けにくいと考えられる。
換言すると、蛍光寿命から腫瘍性病変の判別を行う方法は、従来例における蛍光強度の測定結果から腫瘍性病変の判別を行う場合には不可避となる粘膜層の厚みや血液量など蛍光を吸収する物質のために蛍光強度が影響を受けてしまう欠点を解消できると考えられる。
Here, the fluorescence lifetime used for lesion determination in the present invention will be described.
The fluorescent material absorbs light by excitation light irradiation and transitions to an excited state. However, since it is unstable, it emits fluorescence and returns to its original state. In this case, it generally takes a time on the order of picoseconds to nanoseconds to release the fluorescence from the excited state and return to the original state, and this time is called the fluorescence lifetime.
Specifically, the fluorescence lifetime is defined as the time required for the fluorescence intensity to drop to 1 / e. The fluorescence lifetime is not only different depending on the type of substance, but also changes depending on the state in which the substance is bound to other substances and the surrounding environment such as pH and temperature. However, this fluorescence lifetime is considered to be hardly affected by the absorption even when other absorbing materials that absorb fluorescence exist in the surroundings.
In other words, the method for discriminating tumorous lesions from the fluorescence lifetime absorbs fluorescence such as the mucosal layer thickness and blood volume, which is unavoidable when discriminating neoplastic lesions from the fluorescence intensity measurement results in the conventional example. It is considered that the disadvantage that the fluorescence intensity is affected by the substance can be solved.
一方、生体内にはNADH(ニコチンアミドアデニンジヌクレオチド)、FAD(フラビンアデニンジヌクレオチド)、コラーゲン、ポルフィリンなどといった様々な蛍光物質が存在している。この中でNADHやFADに関しては、NADHやFAD単体として存在しているものと、生体内のタンパクと結合した状態のものが混在している。
この場合、蛍光物質は、単体のものとタンパクと結合したものとでは蛍光寿命が異なることが知られている。このタンパクとの結合状態は、細胞の代謝の状況によって変化するので、腫瘍性病変においても細胞の代謝が変化して蛍光寿命が変化する可能性が高い。
本発明者は、ラツトの大腸腫瘍や、人の大腸腫瘍における病変部の蛍光寿命を正常部と比較検討した。例えば、ラットの時に用いた励起光の波長はFADを励起する450nmとし、蛍光の検出波長は500〜540nmとした。
On the other hand, various fluorescent substances such as NADH (nicotinamide adenine dinucleotide), FAD (flavin adenine dinucleotide), collagen, porphyrin, and the like exist in the living body. Among these, regarding NADH and FAD, those that exist as NADH or FAD alone and those that bind to proteins in the living body are mixed.
In this case, it is known that a fluorescent substance has a different fluorescence lifetime between a single substance and a substance bound to a protein. Since the binding state with this protein changes depending on the state of cell metabolism, there is a high possibility that even in a neoplastic lesion, the cell metabolism changes and the fluorescence lifetime changes.
The present inventor has compared the fluorescence lifetime of rat lesions and lesions in human colon tumors with normal regions. For example, the wavelength of the excitation light used for the rat was 450 nm for exciting FAD, and the fluorescence detection wavelength was 500 to 540 nm.
そして、大腸腫瘍の腫瘍部と正常部との蛍光寿命の測定結果を得た。この測定結果は、正常部に比較して腫瘍部では蛍光が時間的に急峻に減衰する傾向を示す。
これら2つの測定結果のカーブを2つの蛍光物質が存在するとして2つの指数関数の和でカーブフィツティングすることにより蛍光寿命が算出される。即ち、
I(t)=α1・exp(-t/τ1)十α2・exp(-t/τ2) (1)
I:蛍光強度
t:時間
α1、α2:t=0における各成分の蛍光強度
τ1、τ2 : 各成分の蛍光寿命(τ1 <τ2)
という式1を用い、蛍光強度I(t)が実際に測定されたカーブに近くなるようなα1、α2、τ1、τ2を算出する。
And the measurement result of the fluorescence lifetime of the tumor part and normal part of a colon tumor was obtained. This measurement result shows a tendency that the fluorescence attenuates sharply with time in the tumor part as compared with the normal part.
The fluorescence lifetime is calculated by curve-fitting these two measurement result curves with the sum of two exponential functions assuming that two fluorescent substances are present. That is,
I (t) = α 1・ exp (-t / τ 1 ) + α 2・ exp (-t / τ 2 ) (1)
I: Fluorescence intensity
t: time
α 1 , α 2 : fluorescence intensity of each component at t = 0
τ 1 , τ 2 : fluorescence lifetime of each component (τ 1 <τ 2 )
Using
また、各成分の蛍光寿命を利用して、寄与率が定義される。第1成分(蛍光寿命が短い方)の寄与率C1は、
C1=α1 ・τ1/ (α1・τ1+α2・τ2) (2)
で定義される。
また、平均の蛍光寿命(τAVE)は、
τAVE=(α1・(τ1)2十α2・(τ2)2)/(α1・τ1十α2・τ2) (3)
実験結果では、τ1、τ2は腫瘍部において正常部よりも短くなる傾向が見られた。このような測定結果に基づいて、以下の各実施形態にて説明するように蛍光寿命を利用して病変判別の具体例としての腫瘍性病変の判別を行う。
Further, the contribution rate is defined using the fluorescence lifetime of each component. Contribution rate C 1 of the first component (Write fluorescence lifetime is short), the
C 1 = α 1 · τ 1 / (α 1 · τ 1 + α 2 · τ 2 ) (2)
Defined by
The average fluorescence lifetime (τ AVE ) is
τ AVE = (α 1 · ( τ 1) 2 tens of α 2 · (τ 2) 2 ) / (
As a result of the experiment, τ 1 and τ 2 tended to be shorter in the tumor part than in the normal part. Based on such measurement results, a neoplastic lesion is identified as a specific example of lesion determination using the fluorescence lifetime as described in the following embodiments.
(第1の実施形態)
以下、本発明の第1の実施形態の構成及び作用を説明する。
図2に示すように本発明の第1の実施形態に係る診断支援装置1Aは、被検体に照射するための励起光としてのレーザパルスを発生する(光源部72としての)レーザ光源2と、このレーザ光源2からのレーザパルスを導光して、被検体としての体腔内の生体組織3に照射する導光手段を備えた内視鏡4とを有する。
また、この診断支援装置1Aは、生体組織3からの自家蛍光(以下、単に蛍光と略記)を受光して導光する内視鏡4が接続され、導光された光から蛍光を検出する検出部73A等を備えたプロセッサ5と、このプロセッサ5により判別結果の情報を表示するモニタ6とを有する。
(First embodiment)
The configuration and operation of the first embodiment of the present invention will be described below.
As shown in FIG. 2, the
In addition, the diagnosis support apparatus 1A is connected to an
レーザ光源2は、例えばチタンサファイアレーザから、第2次高調波発生用の結晶(SHG結晶)により、基本波長(800nm)に対する第2次高調波を取り出す。さらに、レーザ光源2は、パルスピッカー等を用いて例えば繰り返し周波数10MHzの周期で波長400nmの超短パルス光としてのレーザパルスを出射する。図3は、このレーザパルスを示す。
このレーザ光源2の出射端には、内視鏡4の挿入部7内に挿通された光導光手段としてのライトガイドファイバ8の入射端が着脱自在に接続される。この入射端に入射されたレーザパルスは、このライトガイドファイバ8の先端の出射端に導光される。
The
An incident end of a
この出射端は、体腔内に挿入される挿入部7の先端部9に配置され、この出射端に対向してダイクロイックミラー11が配置されている。このダイクロイックミラー11は、420nm以下の波長の光を反射し、450nm以上の波長帯域の光を透過する特性に設定されている。
このダイクロイックミラー11により反射されたレーザパルスは、MEMS(Micro Electro Mechanical System)ミラー12により反射される。
このMEMSミラー12は、ダイクロイックミラー11により反射されたレーザパルスを2次元的に走査(スキャン)する。このMEMSミラー12は、例えばプロセッサ5内のタイミング制御回路13からのタイミング信号に同期して生成される駆動信号により、矢印で示すようにミラー面の角度が変更され、ミラー面は反射されたレーザパルスを2次元的に走査する。
This exit end is disposed at the
The laser pulse reflected by the
The
なお、このタイミング制御回路13は、レーザ光源2のレーザパルスの出射タイミング等の制御と、後述する検出器19a、19b、時間相関単一光子計測システム(Time Correlated Single Photon Counting System:TCSPCと略記)21、蛍光寿命算出回路25、画像処理回路28等を制御する。
上記MEMSミラー12を経たレーザパルスは、励起光パルスとして集光レンズ14を経て生体組織3に2次元走査しながら照射される。
生体組織3により照射されたこのレーザパルスにより、この生体組織3で発生した蛍光を含む光は、集光レンズ14を経てMEMSミラー12に入射される。
このMEMSミラー12により反射された光は、ダイクロイックミラー11に入射される。このダイクロイックミラー121は、上記のように420nm以下の光を反射し、450nm以上の光を透過する特性に設定されている。従って、このダイクロイックミラー11を透過した光は、450nm以上の蛍光を多く含む。
The
The laser pulse that has passed through the
The light containing the fluorescence generated in the
The light reflected by the
ミラー15により反射された蛍光を多く含む光は、光導光手段としてのライトガイドファイバ16の先端に入射され、挿入部7内を挿通されたこのライトガイドファイバ16によりその基端から出射される。なお、内視鏡4は、挿入部7の基端側に操作部10を備えている。操作部10を有しない構成でも良い。
このライトガイドファイバ16の基端が接続されるプロセッサ5内には、このライトガイドファイバ16の基端に対向して検出部73Aを構成するダイクロイックミラー17が配置されている。
このダイクロイックミラー17は、600nm以上の波長の光を反射し、600nm以下の光は透過する特性に設定されている。
ダイクロイックミラー17を透過した光は、励起光カットフィルタ18aを透過して一方の検出器19aにて受光され、この検出器19aにて検出される。
また、ダイクロイックミラー17で反射された光は、励起光カットフィルタ18bを透過して検出器19bにて受光され、この検出器19bにて検出される。これら2つの検出器19a及び検出器19bは、例えば高感度なAPD(アバランシェフオトダイオード)が用いられる。検出器19a及び検出器19bは、APDの場合に限定されるものでなく、フォトマルチプライヤー(光電子倍増管)でも良い。検出器19a及び検出器19bは、単一の光子を検出する機能を持つ。
また、励起光カットフィルタ18aは、励起光の波長の光を除去し、480nm〜540nmを透過するパンドパスフィルタ、励起光カットフィルタ18bは、励起光の波長の光を除去し、620nm〜650nmを透過するバンドパスフィルタである。
The light containing a large amount of fluorescence reflected by the
In the
The
The light transmitted through the
The light reflected by the
The excitation light cut
ダイクロイックミラー17と励起光カットフィルタ18a、18bの作用により、検出器19aは、波長510nm付近の蛍光を検出し、検出器19bは、波長635nm付近の蛍光を検出する。つまり、ダイクロイックミラー17,励起光カットフィルタ18a,18b、検出器19a、19bは、特定の波長領域としての第1の波長帯域の蛍光と、この第1の波長帯域の蛍光とは波長の異なる第2の波長帯域の蛍光を検出する検出部73Aを形成する。
検出器19a、検出器19bは、タイミング制御回路13によりその検出動作が制御される。
つまり、タイミング制御回路13は、一方の検出器19aを動作状態に設定した場合には、他方の検出器19bの検出動作を停止させ、他方の検出器19bを動作状態に設定した場合には、一方の検出器19aの検出動作を停止させる制御を行う。
By the action of the
The detection operation of the
That is, the
検出器19a、検出器19bの各検出信号は、時間相関単一光子計測システム(Time Correlated Single Photon Counting System:TCSPCと略記)21に例えば交互に入力される。このTCSPC21は、例えば図4に示すような構成である。
図3で示した繰り返しで発生する励起光パルスとしてのレーザパルスは、フォトダイオード22により検出され、このフォトダイオード22の検出信号は、時間/電圧変換器(Time to Amplitude Converter:TAC)23に入力される。図2においてはフォトダイオード22の検出信号は、レーザ光源2からタイミング制御回路13を介したルートでTCSPC21に入力される。
The detection signals of the
A laser pulse as a pumping light pulse generated by repetition shown in FIG. 3 is detected by a
なお、このフォトダイオード22は、レーザ光源2内においてライトガイドファイバ8に入射される直前の光路中に配置されたハーフミラー等で分岐されたレーザパルスを検出する。
上記時間/電圧変換器23は、フォトダイオード22の検出信号をスタート信号として、このスタート信号からの時間(経過)に比例した電圧を発生する。また、時間/電圧変換器23は、検出器19a(検出器19bの場合も同様)から検出信号が入力されると、その検出信号をエンド信号として、時間に比例した電圧の変化を停止する。
The
The time /
この時間/電圧変換器23は、スタート信号とエンド信号間の時間に比例した電圧をマルチチャンネルアナライザ(MCA)24に与える。このMCA24は、この電圧を時間に変換してTCSPC21から蛍光寿命算出部94としての蛍光寿命算出回路25に出力する。
蛍光寿命算出回路25は、MCA24から入力された時間の情報から以下に説明するように蛍光寿命を算出する。なお、図4においてはTCSPC21がMCA24を含む構成で示しているが、蛍光寿命算出回路25が、MCA24を含む構成にしても良い。
蛍光寿命算出回路25は、レーザパルスが繰り返し照射により得られる光子の検出タイミングの情報を、走査している位置(つまり走査位置)毎にメモリ26に蓄積(格納)する。
メモリ26に格納される走査位置の情報は、例えばタイミング制御回路13から取得される。
図3は、図4における励起光パルスとしてのレーザパルスの出射のタイミングから、検出器19a又は検出器19bにより蛍光の光子が検出される検出タイミングまでの時間測定の様子を示す。図3の例では、それぞれ時間ta、tb、tc、tdが測定されたことを示す。
蛍光寿命算出回路25は、各走査位置毎に、複数回測定されたその複数の時間のヒストグラムから蛍光寿命を算出する。
このようにして、所定回数のレーザパルスの照射後に、検出器19a、19bが蛍光の光子をそれぞれ検出した時間の情報を元にして、式1に基づいて510nmの波長の蛍光の蛍光寿命τ510と、635nmの波長の蛍光の蛍光寿命τ635とを走査位置毎に算出し、病変判別部75としての判別回路27に出力する。
The time /
The fluorescence
The fluorescence
The information on the scanning position stored in the
FIG. 3 shows a state of time measurement from the emission timing of the laser pulse as the excitation light pulse in FIG. 4 to the detection timing at which the fluorescence photon is detected by the
The fluorescence
In this way, after irradiation of a predetermined number of laser pulses, based on the information on the time at which the
510nmの波長においては、主にFADの蛍光が検出されるが、腫瘍性病変ではFADの代謝性変化等により510nmの蛍光寿命蛍光寿命τ510における第1成分の蛍光寿命τ510−1(2成分分析した時)は短くなる特性(傾向)を示す。 635nm の波長においては主にポルフィリンの蛍光が検出される。
ポルフィリンの蛍光は、他の生体内の蛍光物質と比較して非常に蛍光寿命が長いため、ポルフィリンが沢山含まれる部分については平均蛍光寿命が長くなる。
腫瘍の細胞では含まれるポルフィリンの量が増加することが多いため635nmの蛍光寿命τ635における平均蛍光寿命は、正常部に比較して腫瘍部分では長くなる(傾向を示す)。
At the wavelength of 510 nm, the fluorescence of FAD is mainly detected. However, in the case of neoplastic lesions, the fluorescence lifetime τ 510-1 (two components) of the fluorescence lifetime fluorescence lifetime τ 510 of 510 nm due to metabolic changes of FAD or the like. (When analyzed) shows a shortening characteristic (trend). At a wavelength of 635 nm, mainly porphyrin fluorescence is detected.
Since the fluorescence of porphyrin has a very long fluorescence lifetime as compared with fluorescent substances in other living organisms, the average fluorescence lifetime of a portion containing a large amount of porphyrin is increased.
Since the amount of porphyrin contained in tumor cells often increases, the average fluorescence lifetime at the fluorescence lifetime τ 635 of 635 nm is longer in the tumor portion (shows a tendency) than in the normal portion.
判別回路27は、510nmと635nmの波長の蛍光双方の蛍光寿命τ510、τ635に基づき演算することにより腫瘍性病変の可能性が高いか否かの病変判別を行う。
上記のように510nmの第1成分の蛍光寿命をτ510−1、635nmの平均蛍光寿命をτ635−AVE とすると、判別回路27は、2つの蛍光寿命τ635−AVE 、τ510−1の相対比としての蛍光寿命比τ635−AVE /τ510−1を算出する。
そして、判別回路27は、蛍光寿命比τ635−AVE /τ510−1を閾値Vthと比較することにより、腫瘍性病変であるか否かの判別を行う。つまり、
τ635−AVE /τ510−1>Vth (4)
である場合には、腫瘍性病変である可能性が高いと判別し、式4を満たさない場合には腫瘍性病変である可能性が低いとの判別を行う。
The
As described above, when the fluorescence lifetime of the first component at 510 nm is τ 510-1 and the average fluorescence lifetime at 635 nm is τ 635 -AVE , the
Then, the
τ 635-AVE / τ 510-1 > Vth (4)
If it is, it is determined that there is a high possibility of being a neoplastic lesion, and if
判別回路27は、判別結果の情報を、走査位置と共に、画像処理回路28に出力する。この画像処理回路28は、判別結果の情報を、2次元の走査位置と共に、その内部のメモリ29に格納する。
この画像処理回路28は、2次元の走査位置での生体組織3に対する判別結果の情報を画像情報して表示する表示装置としてのモニタ6に出力する。
この場合、判別結果に応じて表示色を変更してモニタ6で表示する。具体的には、判別結果が式4を満たさない走査位置の判別結果を表す画素を例えば白黒(モノクロ)で表示し、式4を満たす場合には、赤色で表示する。そして、モニタ6に表示された画像から赤い表示色部分が腫瘍性病変の可能性が高い部分であることを術者に知らせる。
The
The
In this case, the display color is changed according to the determination result, and the display is performed on the
なお、式4による判別に限らず、複数の閾値を用いて複数のレベルの判別結果を算出し、そのレベルの大きさに応じて表示色を変更するようにしても良い。例えば、閾値Vthを2つの閾値Vth1,Vth2(Vth1>Vth2)に設定して3段階の判別結果、具体的には、τ635−AVE /τ510−1>Vth1、Vth1>τ635−AVE /τ510−1>Vth2、Vth2>τ635−AVE /τ510−1を得るようにしても良い。
Note that the determination result is not limited to
図2に示すモニタ6での表示例においては、τ635−AVE /τ510−1>Vth1の場合には第1の表示色D1、Vth1>τ635−AVE /τ510−1>Vth2の場合には第2の表示色D2、Vth2>τ635−AVE /τ510−1の場合には、第3の表示色D3として表示した様子を示す。なお、3段階に限定されるものでなく、3段階以上に分けてカラー表示しても良い。
このように本実施形態は、蛍光寿命を算出して腫瘍性病変の判別を行うようにしているので、蛍光を吸収する物質の量に殆ど影響されることなく、腫瘍性病変の判別を行うことが可能となる。つまり、蛍光を吸収する血液等により、検出される蛍光強度は影響を受けるが、蛍光寿命の値はその影響を受けない。
また、本実施形態によれば、単一の蛍光寿命の情報だけでなく、互いに異なる2つの蛍光寿命の情報(それぞれが腫瘍性病変と、腫瘍性病変以外の例えば正常部の部分とで異なる特性又は傾向を持つ情報)を用いて腫瘍性病変を行うようにしているので、腫瘍性病変の判別を精度良く行うことが可能となる。
術者は、判別結果をモニタ6での表示画像を参考にすることにより腫瘍性病変の診断を円滑に行うことができる。このため、本実施形態は、術者が病変の診断、具体的には腫瘍性病変の診断を行う場合の診断支援を行うことができる。
In the display example on the
As described above, in this embodiment, since the fluorescence lifetime is calculated to discriminate the neoplastic lesion, the neoplastic lesion is discriminated almost without being influenced by the amount of the substance that absorbs the fluorescence. Is possible. That is, the detected fluorescence intensity is affected by blood or the like that absorbs fluorescence, but the fluorescence lifetime value is not affected.
In addition, according to the present embodiment, not only single fluorescence lifetime information but also two different fluorescence lifetime information (characteristics that differ between a tumor lesion and a normal portion other than the tumor lesion, for example) Or the information having a tendency) is used to perform the neoplastic lesion, so that the neoplastic lesion can be discriminated with high accuracy.
The surgeon can smoothly diagnose the neoplastic lesion by referring to the display result on the
(第2の実施形態)
次に図5を参照して本発明の第2の実施形態の診断支援装置1Bを説明する。第1の実施形態においては、MEMSミラー12を用いてレーザパルスを被検体としての生体組織3に対して2次元的に走査した。
これに対して本実施形態は、レーザパルスを(走査手段を用いないで)生体組織3に2次元的に照射し、像導光手段を用いて取得した2次元の蛍光情報を、ゲートが開にされた時に検出するゲート機能付きの蛍光画像検出手段により検出する。
図5に示す診断支援装置1Bは、レーザ光源2と、内視鏡4Bとプロセッサ5B及び表示装置としてのモニタ6とから構成される。
(Second Embodiment)
Next, a diagnosis support apparatus 1B according to the second embodiment of the present invention will be described with reference to FIG. In the first embodiment, the
On the other hand, in the present embodiment, a laser pulse (without using a scanning unit) is irradiated two-dimensionally on the
A diagnosis support apparatus 1B shown in FIG. 5 includes a
この内視鏡4Bは、レーザ光源2から出射されるレーザパルスを、挿入部7内に挿通されたライトガイドファイバ8により、その先端の出射端に導光する。この出射端に対向して励起光透過フィルタ31と集光レンズ14とが配置されている。導光されたレーザパルスは、この励起光透過フィルタ31を透過して、集光レンズ14を経て生体組織3側に2次元的に照射される。
先端部9における集光レンズ14に隣接して配置された対物レンズ32の結像位置には像導光手段としてのイメージガイドファイバ33の先端面が配置され、この先端面に結像された光学像は、挿入部7の基端に導光される。
このイメージガイドファイバ33の基端は、プロセッサ5Bに着脱自在に接続される。
The
At the imaging position of the
The base end of the
このイメージガイドファイバ33の基端に対向して検出部73Bを構成する結像レンズ34とダイクロイックミラー17が配置されている。
また、ダイクロイックミラー17を透過した光路側における結像レンズ34の結像位置には、励起光カットフィルタ18a、高速ゲート付きのイメージインテンシファイア(図5ではII)35aが配置され、このイメージインテンシファイア35aの出射面にはCCD36aが配置されている。
また、ダイクロイックミラー17で反射した光路側における結像レンズ34の結像位置には、励起光カットフィルタ18b、高速ゲート付きのイメージインテンシファイア35bが配置され、このイメージインテンシファイア35bの出射面にはCCD36bが配置されている。
Opposite to the base end of the
In addition, an excitation light cut
In addition, an excitation light cut
なお、イメージインテンシファイア35a、35bは、タイミング制御回路13により、レーザパルスが照射される毎に所定のタイミングでゲートが開にされる。
そして、イメージインテンシファイア35a、35bは、この所定のタイミングに開にされて入射されたイメージ光(画像光)のみを増幅してCCD36a、36bにそれぞれ出射し、CCD36a、36bは、増幅されたイメージ光を検出する。
蛍光画像検出手段の機能を持つ検出部73Bは、結像レンズ34、ダイクロイックミラー17、励起光カットフィルタ18a、18b、イメージインテンシファイア35a、35b、CCD36a、36bから構成される。
The
Then, the
The
CCD36a、36bもタイミング制御回路13により、CCD駆動信号が印加され、CCD36a、36bにより検出された蛍光画像の信号が蛍光寿命算出回路25に入力される。
本実施形態における蛍光寿命算出回路25は、蛍光寿命の算出を単純化して1成分の蛍光寿命の算出を行う。
各、イメージインテンシファイア35i(i=a又はb)は、図6に示すようにレーザパルスの出射タイミング後における時間t1での短い期間Wにゲートを開にして、所定のパルス回数だけ増幅、そしてCCD36iはその露光を繰り返す。その後にタイミング制御回路13からのCCD駆動信号によりCCD36iに蓄積された蛍光像の信号を読み出す。
The CCD drive signals are also applied to the
The fluorescence
Each image intensifier 35i (i = a or b) is amplified by a predetermined number of pulses by opening the gate in a short period W at time t1 after the emission timing of the laser pulse as shown in FIG. The CCD 36i repeats the exposure. Thereafter, the fluorescence image signal stored in the CCD 36 i is read out by the CCD drive signal from the
つまり、1回の露光ではCCD36iでの露光量が小さいため、複数回、同じ時間t1で、イメージインテンシファイア35iを介して複数回CCD36iを露光した後、そのCCD36iから光電変換して蓄積された蛍光画像をCCD駆動信号の印加により読み出す。
次に時間t2における短い期間Wにおける蛍光を同様にイメージインテンシファイア35iにより増幅し、その時間t2の期間Wで露光した蛍光画像をCCD36iで蓄積した後、そのCCD36iから蓄積された蛍光画像の信号を読み出す。
蛍光寿命算出回路25は、以下の計算により、蛍光寿命を算出する。
That is, since the exposure amount of the CCD 36i is small in one exposure, the CCD 36i is exposed a plurality of times through the image intensifier 35i at the same time t1, and then photoelectrically converted and accumulated from the CCD 36i. The fluorescent image is read out by applying a CCD drive signal.
Next, the fluorescence in the short period W at time t2 is similarly amplified by the image intensifier 35i, the fluorescent image exposed in the period W at time t2 is accumulated in the CCD 36i, and then the fluorescence image signal accumulated from the CCD 36i is stored. Is read.
The fluorescence
時間t1の期間Wにおける蛍光強度をI1、時間t2の期間Wにおける蛍光強度をI2、時間t1,t2の時間間隔をtoとすると、蛍光寿命は
τ =to/ln(I1/I2) (5)
で表される。
蛍光寿命算出回路25は、510nm、635nmの波長帯域それぞれの蛍光寿命τ510、τ635を式5に従ってCCD36iの画素位置毎に算出してメモリ26に格納する。
メモリ26に格納された蛍光寿命τ510、τ635は、判別回路27に出力される。 時間t1、t2を適切に設定することにより、判別回路27は510nmと635nmの蛍光寿命τ510、τ635を利用して、蛍光寿命比τ635/τ510 の値により腫瘍性病変の判別を行う。
When the fluorescence intensity in the period W at time t1 is I1, the fluorescence intensity in the period W at time t2 is I2, and the time interval between times t1 and t2 is to, the fluorescence lifetime is τ = to / ln (I1 / I2) (5)
It is represented by
The fluorescence
The fluorescence lifetimes τ 510 and τ 635 stored in the
第1の実施形態と同様に、判別回路27は、蛍光寿命比τ635/τ510が閾値よりも大きいか否かの判別結果により腫瘍性病変の可能性が高いか否かを判定する。判別回路27は、その判定結果を画像処理回路28に出力する。
画像処理回路28は、この判別結果を、生体組織3におけるこの判別が行われた蛍光を発生した2次元位置の情報と関連付けてメモリ29に格納する。
そして、モニタ6には生体の2次元位置における判別結果を画像化して表示する。レーザパルスの出射タイミングからゲートを開にする時間t1、t2を、変更可能にして、様々な蛍光物質に対応できるようにすることができる。
本実施形態によれば、第1の実施形態と同様に蛍光を吸収する物質の量に影響されることなく、腫瘍性病変の判別を行うことが可能となる。
Similar to the first embodiment, the
The
The
According to this embodiment, it is possible to determine a neoplastic lesion without being affected by the amount of a substance that absorbs fluorescence, as in the first embodiment.
また、本実施形態によれば、第1の実施形態と同様に複数の蛍光寿命に基づいて腫瘍性病変の判別を行うので、精度の高い判別を行うことができる。
また、本実施形態によれば、走査手段を用いることなく、生体組織3の2次元位置に対する蛍光寿命を算出して、判別結果を取得することができる。このため、短時間に所望とする情報を取得できる。また、励起光パルス(レーザパルス)の出射タイミングからゲートをかける時間を変更して取得した蛍光強度から蛍光寿命を算出することにより、簡単に蛍光寿命を算出することができる。
また、本実施形態は、ゲートをかける時間を変更可能(調整可能)とすることにより、様々な蛍光物質に対応できる。そして、本実施形態は、術者が病変診断を行う場合の支援を行うことができる。
Further, according to the present embodiment, since the tumorous lesion is determined based on a plurality of fluorescence lifetimes as in the first embodiment, it is possible to perform highly accurate determination.
Further, according to the present embodiment, it is possible to calculate the fluorescence lifetime with respect to the two-dimensional position of the
Moreover, this embodiment can respond to various fluorescent substances by making the time for applying the gate changeable (adjustable). And this embodiment can perform support when an operator performs a lesion diagnosis.
(第3の実施形態)
次に図7を参照して本発明の第3の実施形態の診断支援装置としての内視鏡装置1Cを説明する。この内視鏡装置1Cは、レーザ光源2と、内視鏡4Cと、プロセッサ5Cとモニタ6とから構成される。本実施形態は、生体組織3に照射する励起光を第1の実施形態とは異なる走査手段により2次元走査する。また、本実施形態は、可視領域での反射光画像を取得する通常の内視鏡機能を備える。
本実施形態に係る内視鏡4Cは、挿入部7の基端側の例えば操作部10内に4本に分岐したライトガイドファイバ41a、41b、41c、41dを設けている。これら4本のライトガイドファイバ41a、41b、41c、41dは、ファイバカップラ42において、1本の照明用ファイバ43にされる。
ライトガイドファイバ41a、41b、41cの入射端となる基端に対向して、照明用のレンズ44、44,44と、可視用光源部としての発光ダイオード部(LED部と略記)45を構成するLED45R,45G,45Bとがそれぞれ配置されている。
(Third embodiment)
Next, an endoscope apparatus 1C as a diagnosis support apparatus according to a third embodiment of the present invention will be described with reference to FIG. The endoscope apparatus 1C includes a
The
Opposing to the base end that is the incident end of the
また、ライトガイドファイバ41dの入射端にはレーザ光源2からのレーザパルスが入射される。なお、本実施形態におけるレーザ光源2は、その励起波長としてFADをより効率よく励起する440nmのレーザパルスを出射するように設定されている。
LED45R,45G,45Bは、レーザ光源2と共に、タイミング制御回路13によるタイミング制御下で、それぞれR(赤610nm),G(緑550nm),B(青460nm),レーザパルスを順次出射する(図9を参照して後述)。
ライトガイドファイバ41a、41b、41c、44dは、それぞれの入射端から入射された光を照明用ファイバ43の先端面に導光する。
この照明用ファイバ43の先端面は、挿入部7の先端部9に配置されており、この照明用ファイバ43の先端付近には走査手段を構成する例えば圧電素子46が取り付けられている。
Further, a laser pulse from the
The
The
The distal end surface of the
この圧電素子46は、タイミング制御回路13内部の駆動回路からの駆動信号で2次元的に駆動される。
圧電素子46は、駆動信号の印加により、照明用ファイバ43の先端を2次元的に駆動する。従って、照明用ファイバ43の先端面からR,G,B光と、レーザパルスとが集光レンズ14を経て生体組織3に向けて2次元的に走査しながら照射される。
この集光レンズ14に隣接して、検出用の集光レンズ47が配置され、生体組織3からの蛍光等を集光して検出用ファイバ48の先端面に入射させる。
図8は照射光のタイミングを示す。図8に示すように1画素分の情報を取得するために、R,G,B光と、複数の繰り返しのレーザパルスとが順次、生体組織3に照射される。
The
The
A condensing
FIG. 8 shows the timing of irradiation light. As shown in FIG. 8, in order to acquire information for one pixel, the
生体組織3からの反射光と、蛍光及びレーザパルスは検出用ファイバ48の先端面に順次入射される。なお、レーザパルスは、R,G,B光の照明期間においては、レーザ光源2内部の図示しないパルスピッカーによる間引き処理により遮断される。 照明用ファイバ43と、検出用ファイバ48の先端面付近での配置例を図9に示す。図9に示すように先端部9の中央に設けられた照明窓50の中央付近に照明用ファイバ43が配置されている。この照明窓50の外側に同心円状に検出用ファイバ48が配置されている。
そして、照明用ファイバ43は、圧電素子46により2次元的に駆動される(図9に示す例えば2つの直交する矢印方向)。
なお、図9では示していないが照明用ファイバ43、検出用ファイバ48の端面に対向して集光レンズ14,47がそれぞれ配置されている。
The reflected light from the
The
Although not shown in FIG. 9, condensing
上記検出用ファイバ48に入射された光は、この検出用ファイバ48の基端に導光される。この基端はプロセッサ5Cに着脱自在に接続される。このプロセッサ5C内には、この基端に対向する光路上に、検出部73Cを構成する励起光カットフィルタ52及びフォトマルチプライヤ53とが配置されている。
検出用ファイバ48の基端から出射された光は、励起光カットフィルタ52により励起光としてのレーザパルスの波長440nmの光がカットされる。
この励起光カットフィルタ52は、さらに波長450nm〜620nmの光を透過するバンドパスフィルタである。従って、励起光カットフィルタ52を透過した波長450nm〜620nmの光は、フォトマルチプライヤ53に入射される。
The light incident on the
The light emitted from the base end of the
The excitation light cut
このフォトマルチプライヤ53により入射された光は増幅された検出信号となり、この検出信号はTCSPC21に入力される。
The light incident by the
レーザパルスの照射期間におけるフォトマルチプライヤ53の出力信号は、TCSPC21に入力される。
このTCSPC21は、フォトマルチプライヤ53の出力信号をエンド信号として、レーザパルスの照射タイミングからの時間計測を行い、測定した時間の情報を蛍光寿命算出回路25に出力する。
一方、画像処理回路28は、R,G,B光の照明期間におけるフォトマルチプライヤ53からの出力信号から、R,G,B光の反射光信号(R,G,B信号という)に対応するカラーのR,G,B画像を生成する。この場合、画像処理回路28は、タイミング制御回路13を介して圧電素子46による走査位置の情報が入力され、走査位置の情報とR,G,B信号とを関連付けてメモリ29に記憶する。そして、画像処理回路28は、R,G,B画像を生成し、モニタ6に出力する。
また、この画像処理回路28は、G光の反射光強度に対応するG信号の強度を検出し、レーザパルスの強度を制御するレーザパルス強度制御信号(レーザ強度制御信号と略記)をレーザ光源2に出力する。
An output signal of the
The
On the other hand, the
The
レーザ光源2から出射されるレーザパルスの強度は、このレーザ強度制御信号により調整される。
具体的には、レーザ強度制御信号は、G光が照射された生体組織3からの反射光強度が小さい(暗い)場合には、強度を大きくしたレーザパルスを出射させるようにレーザ光源2を制御する。
これに対して、レーザ強度制御信号は、G光が照射された生体組織3からの反射光強度が大きい(明るい)場合には、強度を小さくしたレーザパルスを出射させるようにレーザ光源2を制御する。
The intensity of the laser pulse emitted from the
Specifically, the laser intensity control signal controls the
On the other hand, the laser intensity control signal controls the
このような制御を行うことにより、血液による蛍光吸収や距離の影響で画像が暗くなる部分においてもS/Nを確保して精度の高い蛍光寿命を求めることができるようにしている。
また、蛍光強度は、反射光強度に比べて弱いので、図8に示したようにフォトマルチプライヤ53の増幅率を調整している。図8に示すようにフォトマルチプライヤ53の増幅率がタイミング制御回路13による制御信号で調整される。つまり、R,G,B光の照明期間では、フォトマルチプライヤ53の増幅率は小さく、レーザパルスの照射(照明)期間においては、その増幅率が十分に大きく設定される(図8ではフォトマルチプライヤをPMTと略記)。
また、蛍光寿命算出回路25は、蛍光寿命を測定するために単一光子検出モードで動作する。
本実施形態においては、2成分分析の短い方の蛍光寿命をτ1aとして、長い方の蛍光寿命τ2aとして判別回路27に出力される。
判別回路27は、例えば2つの蛍光寿命τ1a、τ2aの積算値τ1a×τ2aが閾値より高いか低いかにより腫瘍性病変の判別を行う。つまり、この積算値τ1a×τ2aが閾値よりも小さい場合には腫瘍性病変である可能性が高いと判別する。そして、その判別結果を画像処理回路28に出力する。
By performing such control, S / N is ensured even in a portion where an image becomes dark due to fluorescence absorption by blood and the influence of distance, so that a highly accurate fluorescence lifetime can be obtained.
Further, since the fluorescence intensity is weaker than the reflected light intensity, the amplification factor of the
The fluorescence
In the present embodiment, the shorter fluorescence lifetime of the two-component analysis is output to the
The discriminating
画像処理回路28は、可視領域の反射光強度に基づくカラー画像を生成すると共に、判別回路27からの判別結果の信号に 基づき前記カラー画像の腫瘍性病変の可能性が高い部分を点滅(明るさを強弱)させた画像信号をモニタ6に出力する。
この時、明るさの強弱の度合いは上記積算値τ1a×τ2aの値に応じて、腫瘍性病変の可能性が高い程、明るさの変化の割合が大きくなるように画像処理回路28で制御する。
また、本実施形態においては、算出された蛍光寿命の精度を確認するために、蛍光寿命算出回路25は、実際に計測されたカーブと算出された蛍光寿命τ1a、τ2aとαからなるカーブとのずれを表す指標値(例えばカイニ乗値)を算出する。そして、蛍光寿命算出回路25は、算出した指標値を画像処理回路28に出力し、画像処理回路28は、モニタ6に指標値も表示する。
The
At this time, the degree of intensity of brightness is determined by the
Further, in this embodiment, in order to confirm the accuracy of the calculated fluorescence lifetime, the fluorescence
本実施形態によれば、第1の実施形態と同様に蛍光寿命を算出して腫瘍性病変の判別を行うようにしているので、蛍光を吸収する物質の量に殆ど影響されることなく、腫瘍性病変の判別を行うことが可能となる。
また、本実施形態によれば、単一の蛍光寿命の情報だけでなく、互いに異なる2つの蛍光寿命の情報(腫瘍性病変と、腫瘍性病変以外の例えば正常部の部分とで異なる特性又は傾向を持つ情報)を用いて腫瘍性病変を行うようにしているので、腫瘍性病変の判別を精度良く行うことが可能となる。
また、可視領域での反射光によるカラー画像を表示して、そのカラー画像上において対応する蛍光寿命による判別結果を術者が確認し易いように合成して表示するようにしているので、術者は腫瘍性病変の可能性が高い部分を識別し易い。
また、本実施形態は、挿入部7を体腔内に挿入して、通常の可視領域での内視鏡観察又は内視鏡検査を行う内視鏡装置としても使用することができる。また、内視鏡検査の際に蛍光寿命により腫瘍性病変の判別を行うことができる。
また、本実施形態は、指標値も表示するので、術者はこの指標値を参考にすることにより(その信頼度を考慮して)判別結果をより適切に利用できる。なお、照明用ファイバ43や検出用ファイバ48を、励起光と反射光とで別体化して形成しても良い。また、例えば反射光側を通常のファイバスコープのように形成しても良い。
According to the present embodiment, as in the first embodiment, the fluorescence lifetime is calculated and the tumorous lesion is discriminated, so that the tumor is hardly affected by the amount of the substance that absorbs fluorescence. It becomes possible to discriminate sex lesions.
In addition, according to the present embodiment, not only single fluorescence lifetime information but also two different fluorescence lifetime information (characteristics or trends that differ between a neoplastic lesion and, for example, a normal portion other than the neoplastic lesion) Therefore, it is possible to discriminate the neoplastic lesion with high accuracy.
In addition, a color image by reflected light in the visible region is displayed, and the discrimination result based on the corresponding fluorescence lifetime is displayed on the color image so that it can be easily confirmed by the operator. Is easy to identify the part with high possibility of neoplastic lesions.
Moreover, this embodiment can be used also as an endoscope apparatus which inserts the
In addition, since this embodiment also displays an index value, the surgeon can use the determination result more appropriately by referring to this index value (in consideration of its reliability). The
(第4の実施形態)
次に図10を参照して本発明の第4の実施形態を説明する。第1の実施形態においては、検出部73A側において2つの蛍光波長を分離して検出する構成にしていたが、本実施形態においては励起光を発生する光源部側において第1の励起光と、この第1の励起光とは波長が異なる第2の励起光とを順次発生する。
また、本実施形態においては、検出部73Dは1つの検出手段にして、第1の励起光の場合に対応する第1の蛍光と、第2の励起光の場合に対応する第2の蛍光とを時間をずらしてそれぞれ検出する構成にしている。
図10に示す本発明の第4の実施形態の診断支援装置1Dは、2つのレーザ光源2A、2Bと、内視鏡4Dと、プロセッサ5D及びモニタ6とから構成される。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described with reference to FIG. In the first embodiment, the two fluorescence wavelengths are separated and detected on the
Further, in the present embodiment, the
A
レーザ光源2A、2Bは、それぞれ405nmと370nmの波長のレーザパルスを、タイミング制御回路13の制御により順次発生する。この場合、405nmの波長のレーザパルスは、主にFADを励起するのに用いられ、370nmの波長のレーザパルスは、主にNADHを励起するのに用いられる。
2つの波長405nmと370nmのレーザパルスは、内視鏡4Dのライトガイドファイバ61における分岐した2つの入射端61a、61bに順次入射される。分岐したこのライトガイドファイバ61は、途中で1本になり、入射されたレーザパルスを先端に導光する。
この内視鏡4Dは、ライトガイドファイバ61が異なる他は、第1の実施形態の内視鏡4と同じ構成である。
The
Two laser pulses having wavelengths of 405 nm and 370 nm are sequentially incident on the two branched incident ends 61a and 61b of the
This endoscope 4D has the same configuration as the
2つの波長405nmと370nmのレーザパルスは、ライトガイドファイバ61の先端からダイクロイックミラー11で反射された後、MEMSミラー12,集光レンズ14を経て生体組織3に照射される。なお、ダイクロイックミラー11は、420nm以下の波長の光を反射し、430nm以上の波長の光を透過する。
生体組織3からの蛍光を含む光は、集光レンズ14、MEMSミラー12を経てダイクロイックミラー11に入射される。430nm以上の蛍光を含む光は、ダイクロイックミラー11を透過し、ミラー15で反射されてライトガイドファイバ16の先端に入射される。励起光としてのレーザパルスは、このダイクロイックミラー11により反射される。
Two laser pulses having wavelengths of 405 nm and 370 nm are reflected from the tip of the
Light including fluorescence from the
このライトガイドファイバ16の先端に入射された蛍光を含む光は、このライトガイドファイバ16の基端に導光され、この基端に対向して検出部73Dを構成する励起光カットフィルタ18に入射される。この励起光カットフィルタ18は、励起光の波長帯域をカットすると共に、450nmから490nmの波長の光を透過するように設定されている。
この励起光カットフィルタ18により、450nmから490nmの波長の蛍光が透過して検出器19により検出される。
この検出器19の検出信号は、TCSPC21に入力される。このTCSPC21により第1の実施形態と同様にレーザパルスの照射(出射)タイミングから検出器19により光子を検出したタイミングの時間が測定される。
The light including the fluorescence incident on the distal end of the
The excitation light cut
The detection signal of the
この場合、TCSPC21は405nmの励起光のもとでの第1の蛍光の蛍光寿命を算出するための時間の測定と、370nmの励起光のもとでの第2の蛍光の蛍光寿命を算出するための時間の測定とを検出器19の検出信号を用いて行う。
TCSPC21は、測定された時間の情報を蛍光寿命算出回路25に出力する。蛍光寿命算出回路25は、405nmの励起光の場合における第1の蛍光寿命τ1bと、370nmの励起光の場合の第2の蛍光寿命τ2bを算出して、判別回路27に出力する。
具体的には、蛍光寿命算出回路25は、蛍光寿命τ1bとして405nmの励起光の場合における蛍光における第1成分の蛍光寿命(2成分分析の短い方の蛍光寿命)τ405ex-1を算出する。
In this case, the
The
Specifically, the fluorescence
また、蛍光寿命算出回路25は、蛍光寿命τ2bとして370nmの励起光の場合における蛍光における第2成分の蛍光寿命(2成分分析の長い方の蛍光寿命)τ370ex-2を算出する。
そして、蛍光寿命算出回路25は、これら算出した蛍光寿命を判別回路27に出力する。
判別回路27は、2つの蛍光寿命τ405ex-1、τ370ex-2が腫瘍部の場合、正常部に比較してそれぞれ短くなる傾向を示す場合には、これら2つの蛍光寿命τ405ex-1、τ370ex-2における例えば積算値τ405ex-1×τ370ex-2を算出する。そして、判別回路27は、2つの蛍光寿命τ405ex-1、τ370ex-2の積算値τ405ex-1×τ370ex-2が閾値よりも小さい値のときに腫瘍性病変の可能性が高いと判別する。
一方、積算値τ405ex-1×τ370ex-2が閾値よりも大きい場合には、腫瘍性病変の可能性が低いと判別する。
In addition, the fluorescence
Then, the fluorescence
Discriminating
On the other hand, when the integrated value τ 405 ex-1 × τ 370 ex-2 is larger than the threshold value, it is determined that the possibility of a neoplastic lesion is low.
判別結果の情報は、画像処理回路28に送られる。画像処理回路28には、タイミング制御回路13を介してMEMSミラー12による走査位置の情報が入力される。画像処理回路28は、判別結果の情報を、この判別結果がされた走査位置(つまり蛍光発生位置)と関連付けてメモリ29に格納する。
Information about the determination result is sent to the
画像処理回路28は、判別結果の情報をモニタ6に出力する。モニタ6は、腫瘍性病変の可能性が高いと判別された生体組織3の位置を、腫瘍性病変の可能性が低いと判別された位置の場合とは、例えば異なる色で表示する。
本実施形態によれば、第1の実施形態の場合と同様に2つの蛍光寿命を用いて病変性判別を行うので、精度の高い判別を行うことができる。
なお、上述した実施形態では時間分解法により蛍光寿命を求める方法について述べているが、本発明は位相変調方式により蛍光寿命を求める場合についても応用可能である。
また、上述した実施例等を部分的に組み合わせる等して構成される実施形態も本発明に属する。
The
According to the present embodiment, lesion determination is performed using two fluorescence lifetimes as in the case of the first embodiment, so that highly accurate determination can be performed.
In the above-described embodiment, the method for obtaining the fluorescence lifetime by the time resolution method is described. However, the present invention can also be applied to the case of obtaining the fluorescence lifetime by the phase modulation method.
In addition, embodiments configured by partially combining the above-described examples and the like also belong to the present invention.
1A、1B、1D、71…診断支援装置、1C…内視鏡装置、2A,2B…レーザ光源、3…生体組織、4A〜4D…内視鏡、5A〜5D…プロセッサ、6…モニタ、8…ライトガイドファイバ、11、17…ダイクロイックミラー、18a、18b…励起光カットフィルタ、19a、19b…検出器、21…TCSPC、25…蛍光寿命算出回路、27…判別回路、28…画像処理回路、72…光源部、73,73A…検出部、74…蛍光寿命算出部、74…病変判別部
DESCRIPTION OF
Claims (9)
前記励起光の照射によって生じた蛍光を検出する検出部と、
前記検出部で検出された蛍光に基づき、第1の蛍光寿命及び第2の蛍光寿命を算出する蛍光寿命算出部と、
前記第1の蛍光寿命と前記第2の蛍光寿命に基づいて病変判別を行う病変判別部と、を有する診断支援装置。 A light source unit that generates excitation light to irradiate the subject;
A detection unit for detecting fluorescence generated by irradiation of the excitation light;
A fluorescence lifetime calculation unit that calculates a first fluorescence lifetime and a second fluorescence lifetime based on the fluorescence detected by the detection unit;
A diagnosis support apparatus comprising: a lesion determination unit that performs lesion determination based on the first fluorescence lifetime and the second fluorescence lifetime.
前記第1の励起光の照射によって生じた第1の蛍光と前記第2の励起光の照射によって生じた第2の蛍光を検出する検出部と、
前記検出部で検出された前記第1の蛍光に係る第1の蛍光寿命及び前記検出部で検出された前記第2の蛍光に係る第2の蛍光寿命を算出する蛍光寿命算出部と、
前記第1の蛍光寿命と前記第2の蛍光寿命に基づいて病変判別を行う病変判別部と、
を有する診断支援装置。 A first light source that irradiates the subject and a light source unit that generates second excitation light having a wavelength different from that of the first excitation light;
A detection unit for detecting first fluorescence generated by irradiation of the first excitation light and second fluorescence generated by irradiation of the second excitation light;
A fluorescence lifetime calculation unit for calculating a first fluorescence lifetime related to the first fluorescence detected by the detection unit and a second fluorescence lifetime related to the second fluorescence detected by the detection unit ;
A lesion determination unit that performs lesion determination based on the first fluorescence lifetime and the second fluorescence lifetime ;
A diagnosis support apparatus having
前記蛍光寿命算出部は、前記検出部で検出された前記第1の波長帯域の蛍光に基づいた前記第1の蛍光寿命及び前記第2の波長帯域の蛍光に基づいた前記第2の蛍光寿命を算出することを特徴とする請求項1に記載の診断支援装置。 The detection unit detects fluorescence in a first wavelength band generated by irradiation of the excitation light and fluorescence in a second wavelength band having a wavelength different from the first wavelength band;
The fluorescence lifetime calculation unit calculates the first fluorescence lifetime based on the fluorescence in the first wavelength band detected by the detection unit and the second fluorescence lifetime based on the fluorescence in the second wavelength band. The diagnosis support apparatus according to claim 1, wherein the diagnosis support apparatus is calculated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009085569A JP5415805B2 (en) | 2009-03-31 | 2009-03-31 | Diagnosis support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009085569A JP5415805B2 (en) | 2009-03-31 | 2009-03-31 | Diagnosis support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010233843A JP2010233843A (en) | 2010-10-21 |
JP5415805B2 true JP5415805B2 (en) | 2014-02-12 |
Family
ID=43088776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009085569A Active JP5415805B2 (en) | 2009-03-31 | 2009-03-31 | Diagnosis support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5415805B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5437864B2 (en) * | 2010-03-10 | 2014-03-12 | 富士フイルム株式会社 | Operating method of pH measuring device, operating method of detecting device, operating method of biological material analyzing device, and each device |
JP2012217673A (en) * | 2011-04-11 | 2012-11-12 | Fujifilm Corp | Endoscopic diagnosis system |
JP6182809B2 (en) * | 2012-01-30 | 2017-08-23 | シーシーエス株式会社 | Illumination device for tumor detection and illumination device for examination |
JP5993237B2 (en) * | 2012-07-25 | 2016-09-14 | オリンパス株式会社 | Fluorescence observation equipment |
JP2016031234A (en) * | 2014-07-25 | 2016-03-07 | 高電工業株式会社 | Specimen checkup device |
WO2016022998A2 (en) | 2014-08-08 | 2016-02-11 | Quantum-Si Incorporated | Integrated device for temporal binning of received photons |
KR102516593B1 (en) * | 2015-05-20 | 2023-04-03 | 퀀텀-에스아이 인코포레이티드 | Optical sources for fluorescence lifetime analysis |
TWI734748B (en) | 2016-02-17 | 2021-08-01 | 美商太斯萊特健康股份有限公司 | Sensor and device for lifetime imaging and detection applications |
EP3523054A4 (en) | 2016-10-04 | 2020-06-03 | The Regents of The University of California | Multi-frequency harmonic acoustography for target identification and border detection |
US10845308B2 (en) | 2016-12-22 | 2020-11-24 | Quantum-Si Incorporated | Integrated photodetector with direct binning pixel |
CN111433603B (en) * | 2017-11-01 | 2022-08-02 | 加利福尼亚大学董事会 | Imaging method and system for intraoperative surgical margin assessment |
AU2019288394A1 (en) | 2018-06-22 | 2021-01-07 | Quantum-Si Incorporated | Integrated photodetector with charge storage bin of varied detection time |
JP7414806B2 (en) | 2018-08-29 | 2024-01-16 | ウィスコンシン アラムニ リサーチ ファンデーション | System and method for sorting T cells by activation state |
CN111999269A (en) * | 2019-05-27 | 2020-11-27 | 复旦大学 | Detection device, detection method, and use method of detection device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0380586B1 (en) * | 1987-09-24 | 1999-12-08 | Massachusetts Institute Of Technology | Catheter system for imaging |
SE8900612D0 (en) * | 1989-02-22 | 1989-02-22 | Jonas Johansson | TISSUE CHARACTERIZATION USING A BLOOD-FREE FLUORESCENCE CRITERIA |
US6975898B2 (en) * | 2000-06-19 | 2005-12-13 | University Of Washington | Medical imaging, diagnosis, and therapy using a scanning single optical fiber system |
EP1372483A2 (en) * | 2001-03-01 | 2004-01-02 | Trustees of Dartmouth College | Fluorescence lifetime spectrometer (fls) and methods of detecting diseased tissues |
-
2009
- 2009-03-31 JP JP2009085569A patent/JP5415805B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010233843A (en) | 2010-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5415805B2 (en) | Diagnosis support device | |
EP1989992B1 (en) | Endoscope system | |
JP4954699B2 (en) | Fluorescence endoscope system | |
US20070213593A1 (en) | Endoscope system | |
US10244972B2 (en) | Fluorescence observation device, endoscopic system, processor device, and operation method | |
JP5073579B2 (en) | Imaging device | |
JP5216429B2 (en) | Light source device and endoscope device | |
JP5461753B2 (en) | Endoscope device | |
EP2213222B1 (en) | Fluorescence endoscope system | |
JP3435268B2 (en) | Fluorescence observation endoscope device | |
US20060173358A1 (en) | Fluorescence observation endoscope apparatus and fluorescence observation method | |
JP5285967B2 (en) | LIGHT SOURCE DEVICE AND ENDOSCOPE DEVICE USING THE SAME | |
US20080027286A1 (en) | Removable Filter Apparatus and Endoscope Apparatus | |
EP2478827A1 (en) | Endoscope system | |
JP5721940B2 (en) | Optical spectrum detection method | |
US20080039695A1 (en) | Fluorescence endoscope system, fluoroscopy apparatus, fluoroscopy method, fluorescence-information processing apparatus, and fluorescence-information processing method | |
JP2006296635A (en) | Endoscope apparatus | |
JP2010022700A (en) | Endoscope system | |
JPH10225426A (en) | Fluorescence observing device | |
JP2006340796A (en) | Sentinel lymph node detection system | |
JP2011185842A (en) | Method and device for analyzing low oxygen region of biosample by time resolving measurement of light induced self-fluorescence | |
JP2009291347A (en) | Light source unit and endoscope system using it | |
JP5525991B2 (en) | Electronic endoscope system, processor device for electronic endoscope system, and method for operating electronic endoscope system | |
JP2008259591A (en) | Light source device for fluorescence observation and fluorescence observation instrument using the same | |
JP2011229625A (en) | Endoscopic system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130513 |
|
TRDD | Decision of grant or rejection written | ||
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5415805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |