JP6300781B2 - 蛍光観察装置 - Google Patents
蛍光観察装置 Download PDFInfo
- Publication number
- JP6300781B2 JP6300781B2 JP2015500211A JP2015500211A JP6300781B2 JP 6300781 B2 JP6300781 B2 JP 6300781B2 JP 2015500211 A JP2015500211 A JP 2015500211A JP 2015500211 A JP2015500211 A JP 2015500211A JP 6300781 B2 JP6300781 B2 JP 6300781B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- fluorescence
- light source
- image
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 claims description 79
- 238000002073 fluorescence micrograph Methods 0.000 claims description 45
- 230000005284 excitation Effects 0.000 claims description 35
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 54
- 238000003780 insertion Methods 0.000 description 13
- 230000037431 insertion Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 11
- 239000007850 fluorescent dye Substances 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 5
- 229960004657 indocyanine green Drugs 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 239000006096 absorbing agent Substances 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- OENHQHLEOONYIE-UKMVMLAPSA-N all-trans beta-carotene Natural products CC=1CCCC(C)(C)C=1/C=C/C(/C)=C/C=C/C(/C)=C/C=C/C=C(C)C=CC=C(C)C=CC1=C(C)CCCC1(C)C OENHQHLEOONYIE-UKMVMLAPSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- TUPZEYHYWIEDIH-WAIFQNFQSA-N beta-carotene Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CCCC1(C)C)C=CC=C(/C)C=CC2=CCCCC2(C)C TUPZEYHYWIEDIH-WAIFQNFQSA-N 0.000 description 2
- 235000013734 beta-carotene Nutrition 0.000 description 2
- 239000011648 beta-carotene Substances 0.000 description 2
- 229960002747 betacarotene Drugs 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- OENHQHLEOONYIE-JLTXGRSLSA-N β-Carotene Chemical compound CC=1CCCC(C)(C)C=1\C=C\C(\C)=C\C=C\C(\C)=C\C=C\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C OENHQHLEOONYIE-JLTXGRSLSA-N 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
本発明は、蛍光観察装置に関するものである。
従来、生体組織の白色光画像と蛍光画像の両方を時分割で交互に取得する蛍光観察装置が知られている（例えば、特許文献１参照。）。特許文献１によれば、蛍光の波長が可視領域であり、蛍光の波長と白色光の一部の波長とが一致している場合であっても、蛍光と白色光とを分離して撮影することができる。
しかしながら、特許文献１においては、白色光画像と蛍光画像とを交互に取得するため、それぞれの画像のフレームレートが遅くなるという問題がある。特に、観察者は白色光画像を主として観察するため、白色光画像のフレームレートの低下は観察者にとって観察の妨げとなる。
本発明は、上述した事情に鑑みてなされたものであって、白色光画像のフレームレートを遅くすることなく白色光画像と可視領域の蛍光画像とを並行して取得することができる蛍光観察装置を提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、生体組織に励起光を含む照明光を照射する光源部と、該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、前記光源部からの前記励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、前記照明光が、可視領域全体にわたって波長を有する白色光のうち４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置である。
本発明の他の態様は、白色光を発する白色光源と該白色光源から発せられた前記白色光から４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域の光を除去するフィルタとを備え、生体組織に励起光を含む照明光を照射する光源部と、該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、前記光源部からの前記励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、前記照明光が、前記フィルタを透過した略白色光である、４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置である。
本発明の他の態様は、生体組織に励起光を含む照明光を照射し、かつ、前記照明光および該照明光の照射によって発生する蛍光とは異なる波長を有するもう１つの蛍光を発生させるもう１つの励起光を間欠的に前記生体組織に照射する光源部と、該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、前記光源部からの前記励起光および前記もう１つの励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、前記照明光が、４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置である。
本発明の一態様は、生体組織に励起光を含む照明光を照射する光源部と、該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、前記光源部からの前記励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、前記照明光が、可視領域全体にわたって波長を有する白色光のうち４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置である。
本発明の他の態様は、白色光を発する白色光源と該白色光源から発せられた前記白色光から４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域の光を除去するフィルタとを備え、生体組織に励起光を含む照明光を照射する光源部と、該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、前記光源部からの前記励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、前記照明光が、前記フィルタを透過した略白色光である、４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置である。
本発明の他の態様は、生体組織に励起光を含む照明光を照射し、かつ、前記照明光および該照明光の照射によって発生する蛍光とは異なる波長を有するもう１つの蛍光を発生させるもう１つの励起光を間欠的に前記生体組織に照射する光源部と、該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、前記光源部からの前記励起光および前記もう１つの励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、前記照明光が、４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置である。
本発明によれば、光源部からの照明光が生体組織に照射されることにより、生体組織の形態を撮影した戻り光画像が戻り光画像生成部によって生成される。これと同時に、照明光に含まれている励起光が生体組織に照射されることにより、生体組織からの蛍光を撮影した蛍光画像が蛍光画像生成部によって取得される。
この場合に、戻り光および蛍光は、共に可視領域の波長を有しつつ、互いに異なる波長を有しているので、戻り光画像生成部および蛍光画像生成部によって区別して撮影される。これにより、戻り光画像のフレームレートを遅くすることなく戻り光画像と蛍光画像とを並行して取得することができる。また、波長４９０ｎｍ〜５３０ｎｍの光は生体組織との作用が十分に小さく、生体組織の形態の情報の取得にほとんど寄与しない。したがって、照明光が４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長を含んでいなくても、生体組織の形態が十分に鮮明に撮影された、白色光画像と同等の戻り光画像を取得することができる。
上記発明においては、前記少なくとも一部の波長領域が、５１０ｎｍ〜５３０ｎｍであってもよい。
上記発明においては、前記少なくとも一部の波長領域の幅が、２０ｎｍ以上であってもよい。
上記発明においては、前記少なくとも一部の波長領域の幅が、２０ｎｍ以上であってもよい。
上記発明においては、前記光源部が、白色光を発する白色光源と、該白色光源から発せられた前記白色光から４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域の光を除去するフィルタとを備え、該フィルタが、前記白色光源の後段に挿脱可能に設けられ、前記照明光が、前記フィルタを透過した略白色光であってもよい。
このようにすることで、蛍光画像を取得しないときには、フィルタを白色光源の後段から取り除くことにより可視領域全体の波長を含む白色光を照明光として生体組織に照射し、生体組織の色をより正確に再現した戻り光画像を取得することができる。一方、蛍光画像を取得するときには、フィルタを白色光源の後段に挿入することにより白色光から一部の波長領域が除去された略白色光を照明光として生体に照射し、生体組織の色を略正確に再現した戻り光画像を取得することができる。
このようにすることで、蛍光画像を取得しないときには、フィルタを白色光源の後段から取り除くことにより可視領域全体の波長を含む白色光を照明光として生体組織に照射し、生体組織の色をより正確に再現した戻り光画像を取得することができる。一方、蛍光画像を取得するときには、フィルタを白色光源の後段に挿入することにより白色光から一部の波長領域が除去された略白色光を照明光として生体に照射し、生体組織の色を略正確に再現した戻り光画像を取得することができる。
上記発明においては、前記フィルタが前記白色光源の後段に挿入されているとき、および、前記フィルタが前記白色光源の後段から取り除かれているときに、それぞれ前記戻り光画像生成部によって生成された前記戻り光画像のホワイトバランスを切り替えるホワイトバランス切替部を備えていてもよい。
このようにすることで、白色光源の後段にフィルタが挿入されているときと取り除かれているときとで、照明光が含む波長が異なることに起因して戻り光画像において適切なホワイトバランス値が互いに異なる。各々のときの戻り光画像において必要となるホワイトバランス値にホワイトバランス切替部によって切り替えることができる。
このようにすることで、白色光源の後段にフィルタが挿入されているときと取り除かれているときとで、照明光が含む波長が異なることに起因して戻り光画像において適切なホワイトバランス値が互いに異なる。各々のときの戻り光画像において必要となるホワイトバランス値にホワイトバランス切替部によって切り替えることができる。
上記発明においては、前記光源部が、前記照明光および前記蛍光とは異なる波長を有するもう１つの蛍光を発生させるもう１つの励起光を間欠的に前記生体組織に照射してもよい。
このようにすることで、もう１つの励起光が生体組織に照射されているときには２種類の蛍光を同時に撮影することができる。
このようにすることで、もう１つの励起光が生体組織に照射されているときには２種類の蛍光を同時に撮影することができる。
上記発明においては、前記光源部が、前記もう１つの励起光として近赤外光を発する近赤外光源を備えていてもよい。
このようにすることで、可視領域の蛍光と近赤外領域の蛍光とを同時に撮影することができる。
このようにすることで、可視領域の蛍光と近赤外領域の蛍光とを同時に撮影することができる。
本発明によれば、白色光画像のフレームレートを遅くすることなく白色光画像と可視領域の蛍光画像とを並行して取得することができるという効果を奏する。
（第１の実施形態）
以下に、本発明の第１の実施形態に係る蛍光観察装置１について図１から図４を参照して説明する。
本実施形態に係る蛍光観察装置１は、内視鏡装置であって、図１に示されるように、体内に挿入される細長い挿入部２と、光源ユニット（光源部）３と、該光源ユニット３からの照明光Ｌを挿入部２の先端２ａから生体組織Ｘに向けて照射する照明ユニット４と、挿入部２の先端２ａに設けられ、生体組織Ｘの画像情報Ｓ１，Ｓ２を取得する撮像ユニット５と、該撮像ユニット５によって取得された画像情報Ｓ１，Ｓ２を処理する画像処理ユニット６と、該画像処理ユニット６によって処理された画像Ｇ１，Ｇ２を表示する表示部７とを備えている。
以下に、本発明の第１の実施形態に係る蛍光観察装置１について図１から図４を参照して説明する。
本実施形態に係る蛍光観察装置１は、内視鏡装置であって、図１に示されるように、体内に挿入される細長い挿入部２と、光源ユニット（光源部）３と、該光源ユニット３からの照明光Ｌを挿入部２の先端２ａから生体組織Ｘに向けて照射する照明ユニット４と、挿入部２の先端２ａに設けられ、生体組織Ｘの画像情報Ｓ１，Ｓ２を取得する撮像ユニット５と、該撮像ユニット５によって取得された画像情報Ｓ１，Ｓ２を処理する画像処理ユニット６と、該画像処理ユニット６によって処理された画像Ｇ１，Ｇ２を表示する表示部７とを備えている。
光源ユニット３は、キセノンランプのような白色光源３１と、該白色光源３１から発せられた白色光から一部の波長を切り出して照明光Ｌを生成するフィルタ３２と、該フィルタ３２によって生成された照明光Ｌを集光するカップリングレンズ３３とを備えている。白色光源３１は、可視領域全体にわたって波長を有する白色光を発する。フィルタ３２は、波長４００ｎｍ〜４９０ｎｍおよび５４０ｎｍ〜６１０ｎｍの光を少なくとも透過させるとともに、波長４９０ｎｍ〜５４０ｎｍの光を遮断する。これにより、図２に実線で示されるように、可視領域のうち一部の波長領域が除去されて２極化した波長分布を有する略白色光である照明光Ｌが生成される。
照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置されたライトガイドファイバ４１と、挿入部２の先端２ａに設けられた照明光学系４２とを備えている。ライトガイドファイバ４１は、カップリングレンズ３３によって集光された照明光Ｌを導光する。照明光学系４２は、ライトガイドファイバ４１によって導光されてきた照明光Ｌを拡散させて、挿入部２の先端２ａに対向する生体組織Ｘに照射する。
撮像ユニット５は、生体組織Ｘからの光を集光する対物レンズ５１と、該対物レンズ５１によって集光された光を２つに分割するビームスプリッタ５２と、該ビームスプリッタ５２によって分割された光をそれぞれ撮影するカラーＣＣＤのような撮像素子５３および高感度モノクロＣＣＤのような撮像素子５４と、ビームスプリッタ５２と撮像素子５４との間に配置されたバリアフィルタ５５とを備えている。
符号５６は、対物レンズ５１によって集光された光を、各撮像素子５３，５４の撮像面に結像させる結像レンズである。
バリアフィルタ５５は、ビームスプリッタ５２から入射された光のうち、照明光Ｌの戻り光を遮断し、後述する蛍光を選択的に透過させる。
バリアフィルタ５５は、ビームスプリッタ５２から入射された光のうち、照明光Ｌの戻り光を遮断し、後述する蛍光を選択的に透過させる。
画像処理ユニット６は、撮像素子５３によって取得された戻り光画像情報Ｓ１から戻り光画像Ｇ１を生成する戻り光画像生成部６１と、撮像素子５４によって取得された蛍光画像情報Ｓ２から蛍光画像Ｇ２を生成する蛍光画像生成部６２とを備えている。戻り光画像生成部６１および蛍光画像生成部６２はそれぞれ、戻り光画像Ｇ１および蛍光画像Ｇ２を表示部７に出力する。画像処理ユニット６は、戻り光画像Ｇ１および蛍光画像Ｇ２をそれぞれ、ノイズ除去などの画像処理を適宜施した後に、表示部７に出力してもよい。
表示部７は、戻り光画像Ｇ１および蛍光画像Ｇ２を並列に表示する。
表示部７は、戻り光画像Ｇ１および蛍光画像Ｇ２を並列に表示する。
次に、このように構成された蛍光観察装置１の作用について説明する。
本実施形態に係る蛍光観察装置１を用いて生体組織Ｘを観察するには、予め、例えば病変部に集積する蛍光色素を生体組織Ｘに投与しておく。蛍光色素は、波長４５０ｎｍ〜４９０ｎｍの光によって励起され、波長４９０ｎｍ〜５４０ｎｍの蛍光を発生するものが使用される。本実施形態においては、蛍光色素として、図２に示されるように、約４５０ｎｍ〜５００ｎｍの励起波長ＥＸｆｌと、約５１０ｎｍ〜５４０ｎｍの発光波長ＥＭｆｌとを有し、癌の標識に使用されるフルオレセイン誘導体を想定している。
本実施形態に係る蛍光観察装置１を用いて生体組織Ｘを観察するには、予め、例えば病変部に集積する蛍光色素を生体組織Ｘに投与しておく。蛍光色素は、波長４５０ｎｍ〜４９０ｎｍの光によって励起され、波長４９０ｎｍ〜５４０ｎｍの蛍光を発生するものが使用される。本実施形態においては、蛍光色素として、図２に示されるように、約４５０ｎｍ〜５００ｎｍの励起波長ＥＸｆｌと、約５１０ｎｍ〜５４０ｎｍの発光波長ＥＭｆｌとを有し、癌の標識に使用されるフルオレセイン誘導体を想定している。
まず、体内に挿入部２を挿入してその先端２ａを生体組織Ｘに対向配置し、光源ユニット３の作動によって照明光Ｌを挿入部２の先端２ａから生体組織Ｘに照射する。生体組織Ｘにおいて、照明光Ｌが生体組織Ｘの表面において反射され、反射された照明光Ｌの一部が挿入部２の先端２ａに戻る。
ここで、照明光Ｌは、蛍光色素を励起する波長４５０ｎｍ〜４９０ｎｍの励起光を含んでいる。したがって、照明光Ｌの照射によって生体組織Ｘに含まれている蛍光色素が励起され、発生した蛍光の一部が照明光Ｌの戻り光と共に挿入部２の先端２ａに戻る。
挿入部２の先端２ａにおいて対物レンズ５１によって集光された照明光Ｌの戻り光および蛍光は、ビームスプリッタ５２によって２つに分割される。そして、一方は撮像素子５３によって撮影されて戻り光画像情報Ｓ１として取得され、他方はバリアフィルタ５５によって蛍光のみが抽出された後に撮像素子５４によって撮影されて蛍光画像情報Ｓ２として取得される。ここで、撮像素子５３は、照明光Ｌの戻り光と蛍光の両方を撮影するが、蛍光は戻り光に対して十分に微弱であるので、撮像素子５３によって取得される戻り光画像情報Ｓ１は主として生体組織Ｘの形態の情報を含んだものとなる。
次に、画像処理ユニット６において、戻り光画像情報Ｓ１から戻り光画像Ｇ１が生成され、蛍光画像情報Ｓ２から蛍光画像Ｇ２が生成される。そして、戻り光画像Ｇ１および蛍光画像Ｇ２が表示部７に表示される。
ここで、照明光Ｌの生体組織Ｘに対する作用について説明する。図３は、生体組織Ｘに存在する主な吸収体の吸収スペクトルを示している。図３に示されるように、血液中に存在するヘモグロビン（Ｈｂ）および酸化ヘモグロビン（ＨｂＯ２）は、生体組織Ｘの表層において波長４００ｎｍ〜４５０ｎｍの光を強く吸収し、生体組織Ｘの深層において波長５４０ｎｍ〜５６５ｎｍの光を強く吸収する。脂肪に蓄積されるβカロテンは、波長４５０ｎｍ〜４９０ｎｍの光を強く吸収する。また、波長６００ｎｍ〜６１０ｎｍの光は、Ｈｂ、ＨｂＯ２およびβカロテンのいずれにもほとんど吸収されない。
このことは、波長４００ｎｍ〜４５０ｎｍの光と波長５４０ｎｍ〜５６５ｎｍの光とを照明光Ｌとして用いることにより、生体組織Ｘの表層および深層に存在する血管の形態を撮影することができ、波長４５０ｎｍ〜４９０ｎｍの光を照明光Ｌとして用いることにより、臓器の表面や粘膜下などに豊富に存在する脂肪の形態を撮影することができ、波長５８０ｎｍ〜６１０ｎｍの光を照明光Ｌとして用いることにより生体組織Ｘの表面の形態を撮影することができることを意味している。
生体組織Ｘの形態の情報を得るためには、主として血管、脂肪および表面形状の情報を得ることが重要となる。本実施形態によれば、照明光Ｌは、脂肪および血管において吸収される波長領域と、これらのいずれにおいても吸収されない波長領域とを含んでいる。したがって、白色光を生体組織Ｘに照明して取得した白色光画像と同様に生体組織Ｘの形態を十分に鮮明に撮影した戻り光画像Ｇ１を取得することができる。
また、このように生体組織Ｘの形態の情報の取得に重要ではない波長領域あり、形態の情報量が少ない波長領域である４９０ｎｍ〜５４０ｎｍを照明光Ｌから除き、照明光Ｌから除かれた波長領域４９０ｎｍ〜５４０ｎｍにおいて照明光Ｌを利用して蛍光を発生させることにより、戻り光画像Ｇ１のフレームレートを遅くすることなく、戻り光画像Ｇ１および蛍光画像Ｇ２の両方を並行して取得することができるという利点がある。
なお、本実施形態においては、フィルタ３２が、白色光源３１とカップリングレンズ３３との間の光路に挿脱可能に設けられていてもよい。
このようにすることで、フィルタ３２を白色光源３１とカップリングレンズ３３との間の光路に挿入することにより、上述したように戻り光画像Ｇ１および蛍光画像Ｇ２の両方を同時に取得することができる。一方、戻り光画像Ｇ１のみを観察するときは、フィルタ３２を光路から取り除くことにより、可視領域全体にわたって波長を有する白色光を照明光Ｌとして生体組織Ｘに照射し、生体組織Ｘの色をより正確に再現した戻り光画像Ｇ１を取得することができる。
このようにすることで、フィルタ３２を白色光源３１とカップリングレンズ３３との間の光路に挿入することにより、上述したように戻り光画像Ｇ１および蛍光画像Ｇ２の両方を同時に取得することができる。一方、戻り光画像Ｇ１のみを観察するときは、フィルタ３２を光路から取り除くことにより、可視領域全体にわたって波長を有する白色光を照明光Ｌとして生体組織Ｘに照射し、生体組織Ｘの色をより正確に再現した戻り光画像Ｇ１を取得することができる。
このようにフィルタ３２を挿脱可能に構成する場合には、図４に示されるように、戻り光画像Ｇ１のホワイトバランスを切り替えるホワイトバランス切替部６３が画像処理ユニット６に備えられていることが好ましい。
フィルタ３２が光路に挿入されているときに取得された戻り光画像Ｇ１と、フィルタ３２が光路から取り除かれているときに取得された戻り光画像Ｇ１とでは、照明光Ｌに含まれる波長が異なることに起因して適切なホワイトバランスが互いに異なる。そこで、ホワイトバランスを切り替えることで、具体的には、フィルタ３２が光路に挿入されているときに取得された戻り光画像Ｇ１のホワイトバランス値と、フィルタ３２が光路から取り除かれているときに取得された戻り光画像Ｇ１のホワイトバランス値とをそれぞれ適切な値に切り替えることで、常に生体組織Ｘの色を表示部７に適切に表示させることができる。
（第２の実施形態）
次に、本発明の第２の実施形態に係る蛍光観察装置１について図５から図７を参照して説明する。本実施形態において、第１の実施形態と異なる構成について主に説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置１は、図５に示されるように、光源ユニット３が、もう１つの励起光を生体組織Ｘに照射し、２種類の蛍光画像Ｇ２，Ｇ２’を取得する点において、第１の実施形態と主に異なる。
次に、本発明の第２の実施形態に係る蛍光観察装置１について図５から図７を参照して説明する。本実施形態において、第１の実施形態と異なる構成について主に説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置１は、図５に示されるように、光源ユニット３が、もう１つの励起光を生体組織Ｘに照射し、２種類の蛍光画像Ｇ２，Ｇ２’を取得する点において、第１の実施形態と主に異なる。
具体的には、光源ユニット３は、上述した可視領域の励起光を含む照明光Ｌに加えて、近赤外光Ｌ’（例えば、波長７５０ｎｍ〜８００ｎｍ）をもう１つの励起光として出力する。図５においては、近赤外光Ｌ’を出力するための近赤外光源３４と、該近赤外光源３４からの近赤外光Ｌ’を白色光源３１の出力光軸上に合成するミラー３５およびダイクロイックミラー３６とがさらに光源ユニット３に備えられている。光源ユニット３は、図示しない制御部からの制御信号に従って、撮像素子５４の撮像のタイミングと同期して近赤外光源３４から間欠的に近赤外光Ｌ’を出力させるようになっている。
バリアフィルタ５５は、ビームスプリッタ５２から入射された光のうち、照明光Ｌの戻り光および近赤外光Ｌ’を遮断し、照明光Ｌおよび近赤外光Ｌ’によって発生された２つの蛍光を選択的に透過させる。
次に、このように構成された蛍光観察装置１の作用について図６および図７を参照して説明する。
本実施形態に係る蛍光観察装置１を用いて生体組織Ｘを観察するには、予め、例えば病変部に集積する２種類の蛍光色素を生体組織Ｘに投与しておく。
本実施形態に係る蛍光観察装置１を用いて生体組織Ｘを観察するには、予め、例えば病変部に集積する２種類の蛍光色素を生体組織Ｘに投与しておく。
ここで、一方の蛍光色素としては、第１の実施形態と同様に、フルオレセインが使用される。他方の蛍光色素としては、近赤外光Ｌ’によって励起され、照明光Ｌおよびフルオレセインの蛍光とは異なる波長域の蛍光を発生するものが使用される。本実施形態においては、他方の蛍光色素として、図６に示されるように、約７８０ｎｍで極大となる励起波長ＥＸｉｃｇと、約８４５ｎｍで極大となる発光波長ＥＭｉｃｇとを有し、血管の染色に使用されるインドシアニングリーン（ＩＣＧ）を想定している。
第１の実施形態と同様にして、照明光Ｌを挿入部２の先端２ａから生体組織Ｘに照射する。このときに、図７に示されるように、撮像素子５４が１フレーム分の蛍光画像情報Ｓ２，Ｓ２’を取得する毎に、光源ユニット３からの近赤外光Ｌ’の出力と停止とが交互に繰り返される。これにより、近赤外光Ｌ’が停止しているときには、第１の実施形態と同様に、フルオレセインのみの蛍光を撮影した蛍光画像情報Ｓ２が撮像素子５４によって取得される。一方、近赤外光Ｌ’が出力されているときには、フルオレセインとＩＣＧの両方の蛍光を撮影した蛍光画像情報Ｓ２’が撮像素子５４によって取得される。これら蛍光画像情報Ｓ２、Ｓ２'は、交互に蛍光画像生成部６２に入力される。
蛍光画像生成部６２においては、交互に入力される蛍光画像情報Ｓ２，Ｓ２’から、フルオレセインの蛍光を撮影した蛍光画像Ｇ２と、フルオレセインおよびＩＣＧの両方の蛍光を撮影した蛍光画像Ｇ２’とが交互に生成される。なお、画像処理ユニット６は、蛍光画像Ｇ２’から該蛍光画像Ｇ２’の直前に生成された蛍光画像Ｇ２を減算することにより、ＩＣＧの蛍光のみを撮影した蛍光画像を生成し、該蛍光画像を表示部７に出力してもよい。
このように、本実施形態によれば、第１の実施形態の効果に加えて、可視領域の照明光Ｌおよび蛍光と干渉しない近赤外領域においてもう１つの蛍光を発生させることにより、戻り光画像Ｇ１のフレームレートを遅くすることなく２種類の蛍光画像Ｇ２，Ｇ２’を取得することができるという利点がある。
１ 蛍光観察装置
２ 挿入部
３ 光源ユニット（光源部）
３１ 白色光源
３２ フィルタ
３３ カップリングレンズ
３４ 近赤外光源
３５ ミラー
３６ ダイクロイックミラー
４ 照明ユニット
４１ ライトガイドファイバ
４２ 照明光学系
５ 撮像ユニット
５１ 対物レンズ
５２ ビームスプリッタ
５３，５４ 撮像素子
５５ バリアフィルタ
５６ 結像レンズ
６ 画像処理ユニット
６１ 戻り光画像生成部
６２ 蛍光画像生成部
６３ ホワイトバランス切替部
７ 表示部
Ｌ 照明光
Ｌ’ 近赤外光
Ｇ１ 戻り光画像
Ｇ２，Ｇ２’ 蛍光画像
２ 挿入部
３ 光源ユニット（光源部）
３１ 白色光源
３２ フィルタ
３３ カップリングレンズ
３４ 近赤外光源
３５ ミラー
３６ ダイクロイックミラー
４ 照明ユニット
４１ ライトガイドファイバ
４２ 照明光学系
５ 撮像ユニット
５１ 対物レンズ
５２ ビームスプリッタ
５３，５４ 撮像素子
５５ バリアフィルタ
５６ 結像レンズ
６ 画像処理ユニット
６１ 戻り光画像生成部
６２ 蛍光画像生成部
６３ ホワイトバランス切替部
７ 表示部
Ｌ 照明光
Ｌ’ 近赤外光
Ｇ１ 戻り光画像
Ｇ２，Ｇ２’ 蛍光画像
Claims (9)
- 生体組織に励起光を含む照明光を照射する光源部と、
該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、
前記光源部からの前記励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、
前記照明光が、可視領域全体にわたって波長を有する白色光のうち４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、
前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置。 - 白色光を発する白色光源と該白色光源から発せられた前記白色光から４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域の光を除去するフィルタとを備え、生体組織に励起光を含む照明光を照射する光源部と、
該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、
前記光源部からの前記励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、
前記照明光が、前記フィルタを透過した略白色光である、４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、
前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置。 - 生体組織に励起光を含む照明光を照射し、かつ、前記照明光および該照明光の照射によって発生する蛍光とは異なる波長を有するもう１つの蛍光を発生させるもう１つの励起光を間欠的に前記生体組織に照射する光源部と、
該光源部からの前記照明光の照射によって前記生体組織から戻る戻り光を撮影して前記生体組織の戻り光画像を生成する戻り光画像生成部と、
前記光源部からの前記励起光および前記もう１つの励起光の照射によって前記生体組織から発生する蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、を備え、
前記照明光が、４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域を含まない可視光であり、
前記励起光が、前記照明光の一部の波長を有し、前記少なくとも一部の波長領域に含まれる波長の前記蛍光を発生させる蛍光観察装置。 - 前記少なくとも一部の波長領域が、５１０ｎｍ〜５３０ｎｍである請求項１から請求項３のいずれかに記載の蛍光観察装置。
- 前記少なくとも一部の波長領域の幅が、２０ｎｍ以上である請求項１から請求項４のいずれかに記載の蛍光観察装置。
- 前記光源部が、
白色光を発する白色光源と、
該白色光源から発せられた前記白色光から４９０ｎｍ〜５４０ｎｍにおける少なくとも一部の波長領域の光を除去するフィルタと、を備え、
該フィルタが、前記白色光源の後段に挿脱可能に設けられ、
前記照明光が、前記フィルタを透過した略白色光である請求項１または請求項３に記載の蛍光観察装置。 - 前記白色光源の後段に挿脱可能に設けられた前記フィルタが前記白色光源の後段に挿入されているとき、および、前記フィルタが前記白色光源の後段から取り除かれているときに、それぞれ前記戻り光画像生成部によって生成された前記戻り光画像のホワイトバランスを切り替えるホワイトバランス切替部を備える請求項２または請求項６に記載の蛍光観察装置。
- 前記光源部が、前記照明光および前記蛍光とは異なる波長を有するもう１つの蛍光を発生させるもう１つの励起光を間欠的に前記生体組織に照射する請求項１、請求項２、請求項４、請求項５、請求項６および請求項７のいずれかに記載の蛍光観察装置。
- 前記光源部が、前記もう１つの励起光として近赤外光を発する近赤外光源を備える請求項３または請求項８に記載の蛍光観察装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013025387 | 2013-02-13 | ||
| JP2013025387 | 2013-02-13 | ||
| PCT/JP2014/052808 WO2014126000A1 (ja) | 2013-02-13 | 2014-02-06 | 蛍光観察装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2014126000A1 JPWO2014126000A1 (ja) | 2017-02-02 |
| JP6300781B2 true JP6300781B2 (ja) | 2018-03-28 |
Family
ID=51354005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015500211A Active JP6300781B2 (ja) | 2013-02-13 | 2014-02-06 | 蛍光観察装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20150342447A1 (ja) |
| EP (1) | EP2957211A4 (ja) |
| JP (1) | JP6300781B2 (ja) |
| CN (1) | CN105007798A (ja) |
| WO (1) | WO2014126000A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106725244A (zh) * | 2016-12-07 | 2017-05-31 | 哈尔滨海鸿基业科技发展有限公司 | 一种内窥镜双通道融合成像装置 |
| WO2020039520A1 (ja) * | 2018-08-22 | 2020-02-27 | オリンパス株式会社 | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4198086B2 (ja) * | 2003-06-25 | 2008-12-17 | オリンパス株式会社 | 蛍光観察用装置 |
| JP4520216B2 (ja) | 2004-05-11 | 2010-08-04 | Ｈｏｙａ株式会社 | 蛍光観察内視鏡装置 |
| JP4716673B2 (ja) * | 2004-05-21 | 2011-07-06 | オリンパス株式会社 | 蛍光内視鏡装置 |
| WO2006004038A1 (ja) * | 2004-07-06 | 2006-01-12 | Olympus Corporation | 光源装置及び蛍光観察システム |
| WO2006025334A1 (ja) * | 2004-08-30 | 2006-03-09 | Olympus Corporation | 内視鏡装置 |
| JP4989036B2 (ja) * | 2005-03-29 | 2012-08-01 | オリンパスメディカルシステムズ株式会社 | 電子内視鏡用信号処理装置及び電子内視鏡装置 |
| JP5114024B2 (ja) * | 2005-08-31 | 2013-01-09 | オリンパス株式会社 | 光イメージング装置 |
| JP2008043396A (ja) * | 2006-08-11 | 2008-02-28 | Olympus Corp | 内視鏡システム |
| JP5349899B2 (ja) * | 2007-11-09 | 2013-11-20 | 富士フイルム株式会社 | 撮像システムおよびプログラム |
| JP5396121B2 (ja) * | 2009-03-26 | 2014-01-22 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法 |
| JP4773583B2 (ja) * | 2009-10-20 | 2011-09-14 | オリンパスメディカルシステムズ株式会社 | 蛍光観察装置 |
| JP5570798B2 (ja) * | 2009-12-15 | 2014-08-13 | オリンパス株式会社 | 光走査型内視鏡装置 |
| JP5489785B2 (ja) * | 2010-03-03 | 2014-05-14 | オリンパス株式会社 | 蛍光内視鏡装置 |
| JP5346856B2 (ja) * | 2010-03-18 | 2013-11-20 | オリンパス株式会社 | 内視鏡システム、内視鏡システムの作動方法及び撮像装置 |
| CN102802495B (zh) * | 2010-03-18 | 2015-08-05 | 奥林巴斯株式会社 | 荧光观察装置以及荧光观察方法 |
| JP5597021B2 (ja) * | 2010-04-15 | 2014-10-01 | オリンパス株式会社 | 画像処理装置及びプログラム |
| KR20120097828A (ko) * | 2011-02-25 | 2012-09-05 | 삼성전자주식회사 | 협대역 영상을 제공할 수 있는 내시경 장치 및 상기 내시경 장치의 영상 처리 방법 |
-
2014
- 2014-02-06 JP JP2015500211A patent/JP6300781B2/ja active Active
- 2014-02-06 EP EP14751587.8A patent/EP2957211A4/en not_active Withdrawn
- 2014-02-06 WO PCT/JP2014/052808 patent/WO2014126000A1/ja active Application Filing
- 2014-02-06 CN CN201480008135.0A patent/CN105007798A/zh active Pending
-
2015
- 2015-08-11 US US14/823,381 patent/US20150342447A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| EP2957211A1 (en) | 2015-12-23 |
| US20150342447A1 (en) | 2015-12-03 |
| WO2014126000A1 (ja) | 2014-08-21 |
| CN105007798A (zh) | 2015-10-28 |
| JPWO2014126000A1 (ja) | 2017-02-02 |
| EP2957211A4 (en) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5435796B2 (ja) | 画像取得装置の作動方法および画像撮像装置 | |
| JP6005303B2 (ja) | 蛍光観察内視鏡システム | |
| JP5815426B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 | |
| JP5443802B2 (ja) | 蛍光観察装置 | |
| JP5371946B2 (ja) | 内視鏡診断装置 | |
| JP5623348B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 | |
| JP2011200367A (ja) | 画像撮像方法および装置 | |
| JP2015029841A (ja) | 撮像装置および撮像方法 | |
| JP6234375B2 (ja) | 観察装置 | |
| CN106132275B (zh) | 观察图像取得系统以及观察图像取得方法 | |
| JP2008173290A (ja) | 蛍光観察装置および蛍光観察方法 | |
| JP2009153621A (ja) | 生体観察装置および内視鏡装置 | |
| EP3009098A1 (en) | Microscope system for surgery | |
| WO2016151672A1 (ja) | 生体観察装置 | |
| JP2012090889A (ja) | 蛍光観察装置 | |
| JP2007313171A (ja) | 内視鏡システム | |
| JP5346635B2 (ja) | 蛍光観察装置 | |
| JP6238690B2 (ja) | 内視鏡システム | |
| JP6300781B2 (ja) | 蛍光観察装置 | |
| JP2009008739A (ja) | 生体観察装置 | |
| JP5142564B2 (ja) | 蛍光内視鏡装置 | |
| JP2011229625A (ja) | 内視鏡装置 | |
| JP6357377B2 (ja) | 観察装置 | |
| JP2012020053A (ja) | 歯牙観察装置 | |
| JP2012000132A (ja) | う蝕観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180227 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6300781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |