JP6696912B2 - マルチスペクトルイメージングのための方法及び手段 - Google Patents

マルチスペクトルイメージングのための方法及び手段 Download PDF

Info

Publication number
JP6696912B2
JP6696912B2 JP2016571099A JP2016571099A JP6696912B2 JP 6696912 B2 JP6696912 B2 JP 6696912B2 JP 2016571099 A JP2016571099 A JP 2016571099A JP 2016571099 A JP2016571099 A JP 2016571099A JP 6696912 B2 JP6696912 B2 JP 6696912B2
Authority
JP
Japan
Prior art keywords
light
intensity
image
substance
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016571099A
Other languages
English (en)
Other versions
JP2017526899A (ja
Inventor
ニコラス ディミトリアディス
ニコラス ディミトリアディス
ニコラオス デリオラニス
ニコラオス デリオラニス
Original Assignee
ウニベルジテート ハイデルベルク
ウニベルジテート ハイデルベルク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウニベルジテート ハイデルベルク, ウニベルジテート ハイデルベルク filed Critical ウニベルジテート ハイデルベルク
Publication of JP2017526899A publication Critical patent/JP2017526899A/ja
Application granted granted Critical
Publication of JP6696912B2 publication Critical patent/JP6696912B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32Investigating bands of a spectrum in sequence by a single detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/91Investigating the presence of flaws or contamination using penetration of dyes, e.g. fluorescent ink
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102Plural sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102Plural sources
    • G01J2003/106Plural sources the two sources being alternating or selectable, e.g. in two ranges or line:continuum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • G01N21/80Indicating pH value

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Plasma & Fusion (AREA)
  • Ophthalmology & Optometry (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)

Description

本発明は、サンプル、特に生物組織のマルチスペクトルイメージングに関する。
組織を画像化(結像)するとき、照明光が吸収又は散乱される。上記組織が蛍光分子(fluorescence molecules)を含んでいる場合、吸収エネルギーは、上記分子を励起状態(excited state)にすることによって、一時的に蓄積され、また、より長い波長の光子(photon)として部分的に放出される。蛍光として放出された光の強度は、通常、反射された上記励起光(excitation light)よりも大きさが数オーダー小さい。このため、上記蛍光として放出された光から、上記反射光を分離するか又は上記反射光をブロックすることが、必要である。
最も実際的な方法は、上記光線の励起パス及び放出(発光)パス(the excitation and the emission paths)においてバンドパスフィルタを用いて、上記記録される放出パスにおいて反射励起(reflected excitation)が漏れ出すことを防ぐために、光のスペクトル域(spectral range)を制限することである。この方法の直接的な結果として、同じ検出パスにおいて上記反射励起画像と同時には上記蛍光画像を取得することはできない。
上記蛍光画像及び上記反射画像の両方を取得するために、フィルタの使用不使用に関わらず、2つの取得モード間で切り替えることが必要である。静的な物質(static object)、つまり、上記蛍光画像及び上記反射(反射率)画像を取得している間に、ほとんど変化しない物質に関しては、フィルタを切り替えて連続的に上記2つの画像を取得することに問題は無い。しかしながら、視野内の上記物質が変化する場合、記録された画像群は一致せず、集中的な画像処理の後でさえ
さらに、生じうる他の問題は、異なる励起特性及び放出特性を持つ複数の蛍光剤(multiple fluorescent agents)を同時に画像化することである。この場合、上記異なる複数の蛍光色素(different fluorochromes)を画像化するために、励起及び放出のための画像フィルタの異なるセットを用いる必要があり、結果として、複雑性及び得られる画像の数が増大してしまう。さらに、変化する物質群を画像化する場合、より高速なビデオフレームレートで、物質の上記放出された蛍光及び上記反射された励起の両方を記録することが必要である。そして、複数のフィルタの切替も高速に行われる必要がある。
マルチスペクトルの画像化を実現するために用いられるいくつかのアプローチが存在する。これらは、a)使用されるセンサの数、b)フィルタの切替の使用、c)異なる複数の照明光の切替、又は、d)複数のマルチバンドパスフィルタの使用、複数のビームスプリッタの使用等によって、おおよそ特徴づけることができる。[Y. Garini, I. T. Young, and G. McNamara, "Spectral imaging: Principles and applications," Cytometry Part A 69A, 735-747 (2006) ]
これらの従来技術は、以下で詳細に記述される。
[複数のフィルタの切替]
いくつかのマルチスペクトル画像化システムは、単一の画像センサを有し、反射率画像モード(reflectance imaging mode)と蛍光画像モード(fluorescence imaging mode)との間での高速切替メカニズムを実行する。これは、バンドパス励起フィルタ(bandpass excitation filter)及びバンドパス発光フィルタ(bandpass emission filter)の複数のセットを用いることによって実現されうる。上記バンドパス励起フィルタ及びバンドパス発光フィルタは、反射率画像及び蛍光画像を高周波数で交互に記録するために、高速で交換される、フィルタ輪(filter wheels)又はフィルタキューブ(filter cubes)に取り付けられている。このアプローチは、容易で光の最も高いスループットを可能とするが、フィルタ輪のような機械的に動くパーツを必要とする。さらに、フィルタの構成に基づいて、一度に1つの蛍光色素分子(fluorophore)だけの強度を記録することができる。近い複数のビデオレート周波数で複数のフィルタを切り替えることは、技術的に複雑であり、カメラのフレーム取り込みシーケンスとの正確な機械的同期を必要とする。
機械的部品を避けるために、スペクトル的に調節可能な複数のフィルタ、例えば調節可能な液晶フィルタを用いてもよい。上記調節可能な複数のフィルタの透過スループットは制限されるが、異なる複数の蛍光色素分子に適した複数のスペクトル設定の間での切替は、かなり高速(<1ms)にすることができる。さらに、上記調節可能な複数のフィルタは、光透過角度(light transmission angles)及び光偏光(light polarization)に対して感度が高く、むしろコストが高くなる。
[ビームスプリッタ]
マルチスペクトル画像化に対する代わりのアプローチは、複数のセンサを用いることである。各センサの前には、対応する発光フィルタを配設する。上記光は、単一の対物レンズを通過することにより又は各センサに上記光を供給するために光学的なビームスプリッタ配置を用いることにより、各センサに到達する。又は、各センサは、分離した対物レンズを有していてもよい。いずれの場合も、各センサは、励起波長(excitation wavelengths)をブロックすることができ且つ1つの蛍光色素分子から上記放出を記録することができる、フィルタとペアになっている[Lucia M.A. Crane et al., et al. J Vis Exp. 2010; (44): 2225]。追加的なセンサは、異なるイメージングパス(imaging path)の上記反射像(reflection image)を記録することができる。このコンセプトはシンプルであるが、複数のセンサ、複数のビームスプリッタ、及び複数の対物レンズを用いるので、デザインのサイズ及び複雑性並びにコストが増大する。
[照明の高速切替]
マルチスペクトル画像化のための他の解決方法は、異なる複数の励起光の間の切替を用いる。そこでは、上記物質は、複数のフィルタによって1つ又は複数のカメラに入ることをブロックされる特定の励起スペクトルを有する複数の励起ビームで交互に照らされる。米国特許出願公開第20130286176号明細書において、単一カラーセンサ、蛍光を励起するためのレーザ励起、及び、オンオフで切り替わるブロードバンド照明光源(broadband illumination source)が用いられる。上記レーザ励起光源がオンのときだけ、上記センサは、上記放出された蛍光を捕らえることができ、上記ブロードバンド照明がオンのとき、上記センサは、上記反射像(reflected image)を捕らえることができる。このシステムは、反射率画像(reflectance image)及び蛍光画像を生成するが、観測者は、異なる複数の光源のオンオフ切替に起因した邪魔なちらつきを視覚的に体験する可能性がある。
[複数のマルチバンドパス画像のブロック]
また、他のアプローチは、モノクロのセンサと組み合わせて、複数のマルチバンドパス領域を持つ複数のフィルタを用いる。このアプローチでは、モノクロセンサの前のフィルタは、上記複数の励起波長が上記モノクロセンサに入ることをブロックする。異なる複数の蛍光色素分子は、励起スキャンによって個別に画像化される。代わりに、フィルタ処理した多成分蛍光の光(multi-component fluorescent light)は、波長に依存した複数のパスへ分配されてもよい。上記複数のパスは、モノクロセンサの異なる空間領域に結像される。このアプローチでは、モノクロセンサで一度に複数のチャネルを記録することができる。
代わりのアプローチでは、マルチチャネルの(且つこのためカラーの)センサによって上記多成分蛍光の光を記録するために、カラーセンサを用いることができる。上記マルチチャネルセンサの出力は、個別の複数の蛍光成分を得るために、処理されてもよい。
追加的なセンサが、上記反射された励起光を、上記センサに上記光を結像する個別の光学的パスへ分配することによって、上記反射率画像を記録するために、用いられてもよい。このことは、上記反射率と共に複数の蛍光結像バンド(multiple fluorescence imaging bands)を提供するが、観測者は、間違った色の提示に視覚的に気づく可能性がある。上記特定の励起波長にもよるが、間違った提示は、デジタル的にでさえ訂正することができない可能性がある。
上記反射率及び上記蛍光を複数の追加的なカラーセンサ上に分配して、スペクトルチャネルの数を増加させることも可能である。各チャネルは、上記センサの前に狭いバンドパスフィルタを有しており、各個別の狭いフィルタバンドにおける強度が算出される[米国特許出願公開第20120085932号明細書]。
用いられるフィルタのセットは、上記特殊利用で用いられる励起フィルタ及び発光フィルタの正確な組み合わせに従った、「Pinkel」、「Sedat」、又は「Full-multiband」として知られている。
本発明は、上記従来技術の問題を防止すると共に、シンプルで、素早く、且つ、コスト面で効果的な、マルチスペクトルイメージングの方法及び手段を提供する。
この問題は、請求項15の内視鏡又は外科用顕微鏡及び請求項16のそれらの使用だけでなく、請求項1の方法及び請求項9の装置によって解決される。有利な改良が各従属請求項によって提供される。
本発明によれば、物質の蛍光画像及び反射率画像を取得するための方法が提供される。この進歩的な方法において、物質は、2つの異なる光で交互に照らされる。これら少なくとも2つの異なる光は、上記物質に対して交互に向けられる、少なくとも第1光及び第2光を有している。上記第1光は、高強度のいくつかのスペクトル範囲及び低強度の少なくとも1つのスペクトル範囲を有しており、この低強度のスペクトル範囲は、高強度のスペクトル範囲よりも波長が長い。そして、上記第2光は、高強度の少なくとも1つのスペクトル範囲を有している。
これらの2つの光で上記物質を交互に照らしている間、共通センサ配列(common sensor array)が画像を記録する。上記第1光及び上記第2光で上記物質を照らしている間、上記照らされた物質の別々の複数の画像が記録される。さらに、上記記録された光、つまり、上記複数のスペクトル範囲のうちの少なくとも1つ範囲でありここでは上記第1光が高強度を有している範囲において上記物質によって放出され且つ上記共通センサ配列に向けられた光は、弱められる。
上記第1光及び上記第2光で上記物質を交互に照らすことにより、上記第1光で照らしている間に上記物質の蛍光画像を記録することができ、第2光で照らしている間に上記物質の反射率画像を記録することができる。
第1の有利な改良においては、上記蛍光画像及び上記反射率画像を記録するために共通である上記センサ配置は、マルチチャネル配列(multichannel array)、好ましくは、カラーセンサ配列(color sensor array)である。そのようなマルチチャネル配列は、チャネル画像空間、例えば、カラーセンサのカラー画像空間において上記複数の画像を記録する。これらの画像データは、成分画像空間(component image space)の値に変換される。この成分画像空間では、好ましくは、複数の成分空間が、複数の蛍光色素、複数の吸収体、これらから導き出される値、又は、ノイズの、上記空間的な複数の分布に対応する。このように、本発明においては、第1画像群は、チャネル画像空間において、例えば、上記カラー画像空間において、記録され、1つの画像に変換される。この1つの画像は、例えば、特定の複数の蛍光色素、複数の吸収体等の、横分布(lateral distribution)を表示する。
上記の通り、上記第1光及び/又は上記第2光は、高強度の複数のスペクトル領域及び低強度の複数のスペクトル領域を有していてもよい。上記の複数の蛍光画像及び複数の反射率画像を記録するためには、最も波長の短い高強度の領域とこれに隣接するより波長の長い低強度の領域との間の光強度割合は、少なくとも1×10、好ましくは1×10以上であると、有利である。
さらに、上記の通り、上記センサ配列によって記録された光は、上記第1光が高強度を持っている少なくとも1つの上記スペクトル領域において、弱められる。上記弱められないスペクトル領域及び上記弱められるスペクトル領域の強度間の減衰割合(attenuation ratio)は、少なくとも1×10、好ましくは、少なくとも1×10、さらに好ましくは少なくとも1×10である。代わりの実施形態では、上記複数のスペクトル領域のうちの上記第1光が高強度を有している少なくとも1つにおいて上記センサ配列によって記録された光の減衰量は、好ましくは、減衰されないスペクトル領域群において記録された光の強度が上記減衰された第2のスペクトル領域群の全体において記録された光の強度よりも高くなるように、されている。
特に、上記センサ配列によって記録された光は、マルチバンドパスフィルタによってフィルタリングされてもよい。
本発明の好ましい配置(arrangement)において、上記第1光及び/又は上記第2光は、ブロードバンドライトから生成される。このブロードバンドライトは、上記第1光及び上記第2光を生成するために、個別の複数のマルチバンドパスフィルタによってフィルタリングされる。これを実現するために、上記第1光及び上記第2光のための上記複数のマルチバンドパスフィルタは、上記第1光の高光強度の領域群が第2光の高光強度の領域群と交互に生じるように、優遇フィルタ領域群(complimentary filter regions)を有していてもよい。
上記第1光及び上記第2光に関する類似の光分配は、上記第1光及び上記第2光のための複数のナローバンド光源(narrowband light sources)を用いることによっても達成されうる。ここでは、上記第1光のために用いられる光源の放出ピーク群及び上記第2光のために用いられる光源の放出ピーク群は、スペクトル波長軸に沿って、交互に生じている。
また、上記第1光及び上記第2光を生成するための上記複数のコンセプトを組み合わせることも可能である。
そのような配置によって、上記共通センサ配列の前の上記複数のマルチバンドパスフィルタによって送出された同一のスペクトル領域群において、蛍光画像群と反射率画像群とを交互に記録することができる。好ましいシナリオにおいては、上記共通センサ配列の前の上記複数のマルチバンドパスフィルタによる記録から除外されている上記波長領域群は、上記記録された複数のスペクトル部分がカラー画像を再構成するために用いられるので、上記反射率画像の視覚化について重要でない可能性がある。
多数の成分(つまり、蛍光色素分子)が画像化されるので、個別の複数の画像は、多数の個別の第1光群を用いることによって、記録されうる。混ぜられていない複数の成分(複数の蛍光素子)の数は、主に、複数のカラーチャネルの数に依存する。例えば、RGBセンサを用いることにより、3つまでの蛍光素子が混ざらないようにすることができる。例えば、同じRGBセンサで1つの追加的な第1光を用いることによって、6つまでの蛍光素子が混ざらないようにすることができる。上記第1光群は、好ましくは、上記蛍光色素分子の励起スペクトル(excitation spectrum)に適用されるのに対して、上記記録された光は、興味のある全ての蛍光色素分子の放出スペクトル(emission spectrum)に応じて、選択される必要がある。蛍光画像群を測定することに関して、画像記録の間、蛍光でない光を減らすために、上記画像装置の周辺環境を暗くしたままにする必要がある可能性がある。しかしながら、特に医療的な応用においては、手術者が周囲を見ることができるように、追加的な周囲の光を提供する必要があるかもしれない。この目的のために、少なくとも1つの第1光及び少なくとも1つの第2光で上記物質を交互に照らし、さらに別の期間において別の光のパルス群で上記物質を照らすことが提案されている。ここで、上記別の光のパルス継続時間は、上記少なくとも1つの第1光及び上記少なくとも1つの第2光で上記物質を照らすために用いられる上記照明期間群に比べて短い。また、上記別の光は、上記少なくとも1つの第1光又は上記第2光が適用されている間に適用されてもよいが、上記別の光が照射されている間では、上記第1画像及び上記第2画像の記録は停止される。好ましくは、上記別の光の光パルス群は、上記第1光及び上記第2光の継続期間に比べて、相応に短い。
上記別の光は、上記進歩的なイメージング装置の周辺で仕事をしている人に、この周辺を観察するために十分な光を提供するために、十分に強くてもよい。上記別の光の複数部分の周波数が十分に高い場合、上記周辺で働く人は、連続視覚効果が提供されうる。
進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。 進歩的な実施例を示す図である。
以下において、本発明の異なる複数の実施例が、提示されている。そこでは、類似又は同一の要素には、類似又は同一の参照番号が用いられている。以下の複数の実施例において、本発明の本質的又はオプションの特徴の組み合わせは、組み合わせて記述されうる。しかしながら、そのような組み合わせで記述されたオプションの各特徴は、本複数の請求項において記述されているように、個別に単独で本発明を改良するために、用いられてもよい。
その複数の実施例は、進歩的な複数の実施例の態様をすべて示す、図1から35の組み合わせで示される。
<実施例1>
図1は、本発明の大まかなコンセプトを示す図である。上記進歩的なシステムは、図示されたシステム100を有する。システム100は、物質400を照らすために、スペクトル及び時間の多重化特性を有する光を生成して案内する。物質400から生じる光は、イメージングシステム200によって、収集され、検出され、又は、画像化される。イメージングシステム200は、レンズ群、フィルタ群、及び、光センサ/ディテクタ配列(例えばカメラ)等のような要素群を有している。上記照明システム100及び上記検出システム200の両方は、制御処理ユニット(300)に接続されている。制御処理ユニット300は、照明システム100の働きを制御し、その働きを同期させ、検出システム200から上記複数の画像を取り込む。そして、制御処理ユニット300は、さらに評価、表示、及び記憶するために、その画像を処理する。最後に、表示/視覚化システム500は、上記分解された複数の画像を、個別に、又は、同時に/重ねて、表示する。
照明システム100は、図2に示すように、2つ(又は2つ以上)の順番に入れ代わるフェーズで動作する。図2Aは、異なるフェーズ群の時間経過を示す。図2Bは、上記第1光のスペクトルを示す。図2Cは、上記第2光のスペクトルを示す。図2Dは、検出対象の光の透過(transmission)を示している。フェーズ1では、照明システム100は、図2Bに示すような高強度及び低強度の領域群を有するスペクトル形状を示している光で、上記物質400を照らす。種々のスペクトル形状が可能であるが、上記光が上記高強度の領域群よりも長波長の位置にかなり低強度である複数のスペクトル領域を有していることが重要である。これらの複数の領域では、上記第1光での励起時に物質400によって放出された蛍光の光を、反射光をそれほど検出することなく、イメージングシステム200によって検出することができる。フェーズ2では、図2Cに示すように、物質400は、ブロードバンドライトで照らされる。
イメージングシステム200は、1つのイメージングチャネル/パスを有している。上記イメージングチャネルは、上記異なるフェーズで、蛍光画像及び反射率画像を検出及び記録するためにセットアップされた、イメージセンサ配列(image sensor array)を有している。上記イメージセンサに到達する上記光は、スペクトル的に弱められるため、概して、フェーズ1の照明光は、図2Dにおいて上記減衰器の透過スペクトルによって示されているように、上記イメージセンサに到達する前に、弱められる。
物質400に対する上記照明を順番に入れ代えることにより、同じ複数のスペクトル領域で同じセンサによって、互いに補う反射率画像及び蛍光画像を交互に記録することができる。照明のフェーズ1では、物質400から反射された光の上記複数のスペクトルバンドは、弱められ、本質的には、蛍光発光だけが、透過されて、蛍光画像を形成する上記センサ配列によって検出される。これに対して、フェーズ2では、物質400から反射された光は、部分的に透過され、反射率画像を形成するセンサによって記録される。
上記光が上記センサに到達する前に弱められる上記複数のスペクトル領域における減衰量は、おおよそ見積もることができる。このため、好ましくは上記センサが蛍光を検出するために用いられる場合、検出された蛍光信号は、好ましくは、上記励起光の漏れよりも大きくするべきである。
<実施例2>
図3には、より好ましい実施形態の1つが示されている。ここでは、2つのブロードバンド白色光源(111,121)が用いられ、これらは、交互にオンオフを切り替えることができる。1つは、マルチバンドパスフィルタ122によってフィルタリングされる。2つの光源111,121から発せられた2つのビームは、マルチバンドパスポリクロイックミラー(multiple bandpass polychroic mirror)101によって、混ぜ合わされる。これらの要素間には、画像化されるべきエリアへより多くの光を導くために、複数のコリメータレンズがオプションとして配設されてもよい。物質400から放出された光は、検出システム200において対物レンズ201(又は、対物レンズとして機能するレンズ群のシステム)で、収集される。直視下手術で用いられる対物レンズ201(又は、対物レンズとして機能するレンズ群のシステム)は、好ましくは、200mmのフォーカス距離を有している。上記フィルタ122を補完するマルチバンドパスフィルタ213は、上記ビームを減衰させる。そして、減衰された光は、マルチチャネル又はマルチカラーのセンサ配列211によって画像化される。上記の処理/制御ユニット300は、複数の画像501,…,507…を生成するために、フレーム取り込み部(frame grabber)301、制御ユニット302、及び処理ユニット303を有している。オプションの複数のレンズ212,214は、上記センサへ上記画像を中継するために、上記種々の要素間において用いることができる。上記のマルチバンドパスフィルタ213は、好ましくは、光学的無限遠補正画像空間(optically infinity corrected imaging space)に配置される。
上記複数のマルチバンドパスフィルタ及び上記ポリクロイックフィルタは、「Sedat」、「Pinkel」又は「full multiband」のセットとして蛍光顕微鏡検査において用いられる、通常、励起フィルタ/発光(emission)フィルタ/ミラーフィルタの複数のセットとして、製造される。図4には、4つの蛍光色素を画像化するために構成された4バンドフィルタセットの透過スペクトルの一例が示されている。上記「励起フィルタ」は、位置122で用いられ、上記「ポリクロイックフィルタ」は、位置101で用いられ、上記「発光フィルタ」は、位置213で用いられる。種々の蛍光の応用のために、フィルタ群の種々の組み合わせ及び種々のフィルタセットを用いることができる。通常、クロストーク(図を参照)を防止するために、複数のフィルタ透過バンドの間には小さなギャップが存在する。そのバンドの幅は、現実的条件の環境で実行するための上記フィルタセットの要求と結びついた入射角の下で働く上記フィルタの特性に依存する。
上記2つの照明モードのためにそのようなフィルタセットを用いることは、フェーズ1において、上記セットの上記励起フィルタは、光源111からの白色光をフィルタリングするために用いられ、上記ポリクロイックフィルタは、光源111,121からのビームを混ぜ合わせるために要素101として用いられ、上記発光フィルタは、光源111からの励起光をブロックするために、122でフィルタ213として用いられることを意味している。実際の問題として、組織における蛍光色素のノーマルな濃度(1M=1mol/literとして、通常、100×10−9Mと1×10−3Mの間)を仮定すると、6次の大きさの光学濃度(O.D.:optical density)の干渉マルチバンドフィルタ群(interference multiple bandpass filters)の拒絶バンド群(rejection bands)における通常の減衰割合は、十分であるが、多くのケースにおいて、2O.D.又は3O.D.の減衰で十分となりうる。
フェーズ1において、物質400は、光源111からのスペクトル的に成形された光で照らされる。この光は、少なくとも部分的に反射され、透過され、物質400によって吸収されて蛍光を励起する。フェーズ1において物質400によって反射された励起光は、センサ211の前の発光フィルタ213によって減衰される。これにより、センサ211は、蛍光発光だけを記録することができる。フェーズ2において、物質400は、光源121からのブロードバンドライトで照らされる。このブロードバンドライトは、反射光及び蛍光を放出する物質400によって、部分的に反射される。フィルタ213は、上記反射光及び蛍光発光のいくつかのバンドのみを透過する。蛍光の光強度は、通常、反射光よりも数オーダー低いので、実際上、反射率画像だけが記録されると見なすことができる。まとめると、フィルタ213が十分な透過性を示す上記複数のスペクトル領域において、センサ211が、フェーズ1では物質400の蛍光を記録し、フェーズ2では物質400の反射率画像を記録する。通常、蛍光画像は、反射率画像よりもかなり強度が低い。異なるダイナミックレンジに応じるために、蛍光画像にはより長い露光時間が用いられる。図5には、そのような複数のフェーズ及び複数の画像のシーケンスが示されている。ここで、図5Aは、照明フェーズ1及び照明フェーズ2の時間的なシーケンスを示しており、フェーズ1はフェーズ2よりも長い。図5Bは、検出フェーズ1及び検出フェーズ2の時間的なシーケンスを示しており、発光画像を検出するためのフェーズ1は、反射率画像を検出するためのフェーズ2よりも長い。
物質400に対する照明及び上記センサの露光に関する制御は、処理制御ユニット300における信号によって行われる。2つのブロードバンド光源111,121は、白熱灯、(水銀、キセノン、又は混合物のような)ガスランプ、発光ダイオード(LEDs)、又は、多のブロードバンド光源であってもよい。LED光源は、100ミリ秒より速い立ち上がり時間及び立ち下がり時間を持っており、高周波数レートでオンオフを切り替えることができる。そのようなシステムは、ビデオレート、つまり、おおよそ25fps(frames per second)でフェーズを切り替えて、物質400を照明することができる。このレート及びより高い照明レートで、照明フィールドの視覚感知は均一となり、ここでは、ちらつき効果がほとんど観測されない。
センサ211は、好ましくは、マルチチャネルで画像を記録することができるマルチチャネル(マルチカラー)センサである。各スペクトルエリアは、異なるスペクトル感度を有しており、物質400における種々の反射物質及び蛍光物質の光学的に多重された上記反射光を記録することができる。マルチチャネルカラーセンサ配列の例としては、RGB(red-green-blue)パターンセンサ又はCMYG(cyan-magenta-yellow-green)パターンセンサである。図6には、異なるタイプのカラーセンサのカラー感度が示されている。図6Aには、RGBセンサのレッド、グリーン、及びブルーのセンサ要素の感度が示されている。図6Bには、CMYGセンサのシアン、マゼンタ、イエロー、及びグリーンのセンサ要素の感度が示されている。このように、これらのセンサによって記録されるデータは、個別の色空間(color space)、つまり、個別の色、例えばRGB又はCMYGによる空間におけるデータである。
図7は、フルオレセインイソチオシアネート(図7A)、ATTO647(図7B)、及びインドシアニングリーン−ICG(図7C)のような、典型的な蛍光発光スペクトルの典型的な蛍光色素分子の、励起スペクトル及び蛍光発光スペクトルを示している。
そして、記録された上記複数の画像は、実演(demonstrating)、記憶、ノイズフィルタリング、バックグランドダークノイズ減算(background dark noise subtraction)、複数のカラーフレームに対する色補正、及び、スペクトル分離(spectral unmixing)のような、一連の画像処理操作のために、センサ211から処理ユニット300へ転送される。特に、最もシンプルな形の上記スペクトル分離は、上記カメラで生成された上記複数のカラーチャネル画像と上記成分空間との間の線形変換(linear transformation)でありうる。複数の成分は、上記光が情報を引き出せるいかなるものであってもよく、例えば、材料、濃度若しくは性質、又はそれらの成分から導き出せる量のようなものである。それら複数の成分は、物質400の要素401,402…に対応する特別な空間分布を有している。上記複数の成分401,402等の空間分布の複数の画像501,…、507を算出した後に、それらの画像は、疑似カラーのようなカラーマップを使って、記憶され、表示され、又は、他の画像と重ねられてもよい。
これに限定されるものではないが、スペクトル分離後の画像のいくつかの例を以下に示す。
a)吸収分布(Absorber distribution):上記反射光のスペクトルは、物質400の組織における上記吸収スペクトル及び上記透過スペクトルによって形成され、これは、上記カラーセンサ信号に記録される。組織吸収のシステム及び組織モデリング、及び/又は、既知の濃度の吸収体についてのシステムキャリブレーションによって、含酸素ヘモグロビン、非酸素ヘモグロビン、メラニン等のような固有の組織の吸収体の濃度、又は、例えばメチレンブルーのような外部から投与された吸収造影剤の濃度を導き出すことができる。
b)酸素飽和度(Oxygen saturation):含酸素ヘモグロビンの分布及び非酸素ヘモグロビンの分布のマップから、酸素飽和度マップ、及び、関連する生理的パラメータ又は病理学パラメータを算出することができる。
c)蛍光色素分布(Fluorochrome distribution):蛍光は、内生の蛍光色素によって、又は、外部から投与された蛍光造影剤によって、生じる。上記蛍光信号は、上記カラーセンサによって記録され、システム及び組織モデリング、及び/又は、システムキャリブレーションによって、上記蛍光分布を導き出すことができる。さらに、複数の蛍光マップ間の割合を算出することができ、これは、癌についてのより詳しい情報を与える。以下では、上記複数の蛍光成分を算出するための画像処理の基本を記述する。反射率吸収分布(reflectance absorption distribution)のような値及び微分値(derivative values)が同様にモデル化され算出される。
本発明においては、上記カメラは、異なる複数のカラーチャネルの信号強度を計測する。この信号は、全ての成分の総和の光強度によって生成される。これら全ての成分は、上記複数の透過フィルタによって、追加的には、センサ211の空間感度(spectral sensitivity)と結びつくセンサ211のRGBカラーフィルタによって、スペクトル的にフィルタリングされる。上記検出器の応答が線形であると仮定すると、上記生成される信号は、次の式で表される。
ここで、Sは、結びつく全てのカラーセンサ画像のうちの特定のスペクトルカラーcの上記信号である。例えば、{カラー}={R,G,B}である。また、Iλ(λ,f)は、スペクトル蛍光チャネル強度密度(spectral fluorescence channel intensity density)である。これは、上記波長及び蛍光チャネルに依存する。各蛍光チャネルは、特定のスペクトル光特性(spectral light characteristic)によって特徴づけられる。最もシンプルなケースでは、上記イメージングシステムの蛍光チャネルの上記スペクトル光特性は、蛍光色素分子に対応する。この場合、Iλ(λ,f)は、上記蛍光色素分子の上記スペクトルの放出スペクトルに対応する。この場合、Iλ(λ,f)の正確な値は、上記蛍光色素分子の濃度、上記蛍光量子収率(fluorophores quantum yield)、及び、上記スペクトル照明光強度(spectral illumination light intensity)を考慮することにより、決定することができる。T(λ,c)は、上記特定の空間カラーセンサ又はピクセルの上記トータルの透過特性であり、またこれは、上記発光フィルタに含まれる上記光学的システムの放出特性を示している。上記蛍光発光スペクトルプロファイル及び強度が組織の固有吸収によって殆ど影響を受けないため上記蛍光活性(fluorescence activity)が組織表面近傍に位置しており、且つ、消光のような他の非線形効果が無視できると仮定すると、上記スペクトル蛍光強度Iλ(λ,f)は、Iλ(λ,f)=c(f)×Φλ(λ,f)のように表すことができる。すなわち、上記式は、次のように表すことができる。
ここで、c(f)は、蛍光色素分子fの濃度である。この場合、蛍光チャネルfは、反射率イメージングのために用いられ、c(f)は、上記強度ファクタである。濃度のためのシンボルcは、上記カラーチャネルインデックスと同じである。Φλ(λ,f)は、上記モルのスペクトル蛍光強度密度であり、蛍光色素分子fの放出の上記スペクトルプロファイルを表している。上記強度は、蛍光色素分子の濃度c(f)によって計られる。この場合、fは、反射率チャネルであり、Φλ(λ,f)は、スペクトル分布を持つチャネルの上記正規化されたスペクトル反射率強度である。一例として、Φλ(λ,f)は、目の赤受容体(red receptor)のスペクトル応答でありうる。このことは、この赤チャネルについての自然な色彩印象(color impression)につながる。上記式を再整理すると、次のような式になる。
この式は、次の式のように、蛍光色素分子濃度とセンサの計測チャネル強度との間の線形関係につながる。
この線形関係によって、全ての蛍光及び反射率のチャネル強度c(f)を算出することができる。ここでは、赤、緑、及び青のチャネル群を持つセンサと色素蛍光標識(FITC)、ATTO647、及びインドシアニングリーン(ICG)についての行列Mの算出例を示している。図7には、上記蛍光色素分子の励起スペクトル及び発光スペクトル(emission spectra)が示されている。それらの複数の信号式は、次の通りである。
FITC及び赤検出チャネルの組み合わせについて係数Mを例示的に書き表すと、次の式のようになる。
上記複数の蛍光強度は、次の式のように、上記係数行列Mを反転することにより得られる。
好ましい実施形態において、上記検出カラーチャネルの数が分解対象の上記蛍光チャネルの数と等しい場合、上記方程式系(equation system)は、複数の方程式の線形系として解決されうる。変数Sは、上記イメージングシステムによって計測される。c(f)の複数の値は、上記システムの他のパラメータ(Φλ(λ,f)及びT(λ,c))が既知である場合、算出可能である。これら複数のファクタ及び上記行列M(f,c)は、キャリブレーションプロセスにおいて前もって、決定することができる。c(f)を算出するために、上記行列M(f,c)は反転される必要がある。計測されたチャネルの数が蛍光チャネルの数よりも多い場合、上記システムは、過剰決定(over-determined)となる。この好ましい状況に対処する1つのオプションは、M(f,c)の疑似逆行列(pseudo-inverse)を計算することであり、疑似逆行列は正方行列(square matrix)ではない。上記算出結果を改善するために、例えば、上記センサ群における計測から生じるノイズを最小化するために、種々のアルゴリズムが用いられてもよい。
上記行列Mは、システムモデリング及び/又はシステムキャリブレーションによって算出されてもよい。システムモデリングでは、上記光パスのスペクトル成分は、上記光源から上記カラーセンサ配列ピクセル群まで、モデル化されてもよい。パラメータ群は、照明源スペクトル分布、上記励起フィルタ群のスペクトル透過、又は、上記照明光のスペクトルプロファイルに限定されるものではなく、上記蛍光励起スペクトル及び蛍光放出スペクトル及び上記蛍光量子収率、組織における上記複数の成分のおおよその深さ、組織の光学的特性、イメージングシステム(レンズ群、ビームスプリッタ群、フィルタ群、ミラー群等)の透過特性、及び/又は、上記センサ配列のスペクトル感度を含む。上記モデリングは、上記濃度情報を上記記録された信号と結びつける上記行列Mを算出する(順問題(forward problem))。上記成分分布は、上記逆問題(inverse problem)の上記解から導き出すことができる。代わりに、システムキャリブレーションは、組成、濃度、及び位置が既知の複数の成分の信号群を記録して未知の行列Mを解くことで、又は、主成分分解(PCA:Principle Component Analysis)、独立成分分解(ICA:Independent Component Analysis)又は類似の統計アルゴリズムのような、分離アルゴリズムを持つブラインド分解(blind decomposition)によって、行われてもよい。最後に、モデリング又は概して先の情報の使用は、計測されたチャネルの数よりも多くの未知のパラメータを決定するために、用いられうる。
代わりに、上記の線形モデリングに対して、上記システムは、非線形記述(non-linear description)を用いて、より詳細にモデル化されうる。この方法では、上記検出器又は高蛍光色素密度の消光効果のような、非線形のポテンシャルを考慮することができる。最後に、劣決定系であっても、モデリング及び/又は先の情報を用いて、利用可能なチャネルの数よりも多くの成分群から上記情報をリカバーする行列を算出することができる。
[スペクトルバンド群の数]
最後に、前述のように、分離された成分群の数は、センサで利用可能なチャネル群(例えば、複数の色)の数、又は、結びついた画像群(combined images,)の場合には上記結びついた画像群のカラーチャネルの数に関連する。しかしながら、上記照明及び/又は上記透過におけるスペクトルバンド群の数は、上記チャネル群(複数の色)の数及び分離された成分群の数に依存しない。概して、対象の領域において利用可能なバンドが多くなるほど、特定成分のスペクトル特性が記録されない可能性は低くなる。このため、多くの「狭」スペクトルバンド群は、上記反射率画像のより正確な色表現、及び、種々の成分群のより正確な分離を提供する。けれども、種々の成分群のスペクトル分離は、上記チャネル群の数よりも少ないスペクトルバンド群の数で、実行可能である。
マルチバンドパスフィルタ群のスペクトルバンド群の数が、分離対象の蛍光色素分子の数についての関連する数学的条件ではない、ことを強調することが、重要である。代わりに、カメラチャネルの数は、数学的に重要な条件である。
<実施例3>
以下では、本発明に好適な基本的な光源及びその代替手段について記述する。
上記の内容及び図8に示されるように、最も基本的な光源100は、2つの独立した光源111,121を有しており、これらは、好ましくは、ハロゲンランプ又はキセノンランプのような従来の光源に比べてより高速なスイッチングが可能な、ブロードバンドLED111,121である。オプションとして、光束は、コリメータレンズ119,129によって平行にされる。光源121から発せられた光は、バンドパスフィルタ122によってフィルタリングされ、それから、ポリクロイックミラー101を用いて、光源121が発した光と混ぜ合わされる。
図9Aは、上記ブロードバンドLEDのスペクトルを示している。このスペクトルは、光源111,121と同じであってもよいし異なっていてもよい。上記スペクトルは、白色光LEDについて典型的なものである。図9Bは、マルチバンド励起フィルタ122の透過スペクトルを示す。図9Cは、LED光源121から発せられ且つフィルタ122によってフィルタリングされた光の強度スペクトル(intensity spectrum)を示す。好ましい実施形態においては、最大スペクトルパワー強度での上記2つのブロードバンドハイパワーLED光源の発光スペクトル(emission spectrum)は、30mW/nmより大きい。上記放射された光は、図9Bに示すように、マルチバンドパスフィルタによってフィルタリングされる。このフィルタは、複数の透過バンド(420−460nm、510.5−531.5nm,590−624nm,677.5−722.5nm)を有しており、各透過バンドでは、最大透過率がおおよそ90%である。上記複数の減衰領域(blocking regions)における上記フィルタの減衰特性は、典型的には、少なくとも、光学濃度2(O.D.2)である。通常、フィルタのバンド拒絶/減衰特性(band rejection/attenuation characteristics)は、O.D.6程度である。
図9Cには、上記個別のマルチバンドフィルタでフィルタリングされた後の上記光源の効果的な放射光が示されている。上記第1光(光源121)のスペクトルは、この照明フェーズの間に上記フィルタによって成形され、上記第2光(光源111)のスペクトルは、図9Aに示したような又はこれに類似したブロードバンドのような、固有のブロードバンド発光プロファイルである。このため、全ての導き出された光のスペクトルは、個別のフェーズの期間で累算されたスペクトルである。
この基本的な光線の1つの潜在的な不利な点は、強度及びスペクトル成分(spectral content)に関して観測者の視覚感知にとって上記照明フィールドが最適でない可能性があることである。上記2つの光は、異なる全体強度及びスペクトル成分を有しており、それらが交互に入れ代わる場合、強度又は色に視覚的なちらつきが生じる可能性がある。さらに、上記スペクトル成分はバランスがとれていなくて、上記顕色(color appearance)が自然でない可能性がある。
代わりの照明源は、上記基本的な光源のバリエーションであり、図10Aに示すように、上記第2光もフィルタ112によってフィルタリングされる点が異なっている。上記第2光をフィルタリングする基本的に有利な点は、上記全体の色知覚(color perception)の最適化を容易にすること及び上記ちらつきを最小化することである。また、上記フィルタ112は、マルチバンドパスフィルタであってもよい。そのスペクトル透過特性は、上記フィルタ122のスペクトル透過特性を補うものであってもよいし、上記センサ配列211の前の上記蛍光発光フィルタ213のスペクトル透過特性と同じか又は類似していてもよい。図10Bは、上記光源121によって発光されてフィルタ122によってフィルタリングされた後の、第1フェーズにおける上記第1励起光のスペクトルを示す。図10Cは、上記光源111によって発光されてフィルタ112によってフィルタリングされた後の、第2フェーズにおける上記第2励起光のスペクトルを示す。相補のフィルタ112,122は、全体として、上記原型のブロードバンド光源によるブロードバンド照明と殆ど等しい、スペクトル的に連続した照明を提供するので、これにより、自然な色知覚を実現することができる。さらに、上記強度及び色のちらつき効果を低減することができる。それでもなお、上記第2光(フェーズ2)の照明のスペクトル形状は、最適な色知覚及び最小の強度ちらつきを達成するために、自由に変更されてもよい。
さらに、上記光源100の出力は、ファイバカップリングレンズシステムによる光ガイド(light guide)へ連結されてもよい。この光ガイドは、単一の光ファイバ、ファイババンドル、又は、液体ライトガイドであってもよい。
図11に示すように、照明システムの代わりの実装においては、上記マルチバンドフィルタ群でフィルタリングされる1つ又は複数の上記ブロードバンド光源が、個別に制御されるナローバンド光源133,143,153のセットに置き換えられている。ナローバンド光源133,143,153は、オプションとして、それぞれ、ナローバンドフィルタ125によってフィルタリングされる。そのような光源133−153は、レーザ装置、レーザダイオード、LED等であってもよい。図11において、図10Aの上記発光モジュール111は、複数のレーザ光源133,143,153に置き換えられている。上記モジュール123から発せられた光は、フィルタ125によってフィルタリングされる。ポリクロイックミラー101,104,105,106は、レーザ装置133,143,153の放射光をレーザ装置123の放射光と混ぜ合わせる。全ての上記光は、一緒にファイバ103へ入力される。
ビームスプリッタ101は、偏光ビームスプリッタ(polarization beam splitter)であってもよい。この場合、上記異なる光源123,133,143,153は、組み合わされて、上記レンズ群を最少化してもよい。複数のレーザ装置133,143,153は、1つのブロードバンド光源、例えば、図10の光源111に取って代わってもよい。上記複数のレーザ装置133,143,153は、ナロースペクトル発光プロファイルを有していてもよく、及び/又は、調節可能であってもよい。いくつかのレーザ装置は、望んでいない増幅された自然放射を抑圧するためのクリーンアップフィルタを必要としてもよい。また、上記複数のレーザ装置は、波長及び強度において調節可能であってもよく、連続波レーザ装置(continuous wave lasers)又はパルスレーザ装置(pulsed lasers)であってもよい。上記異なる複数のレーザ光源は、ロングパスポリクロイックミラー104(カットオフ波長415nm)、ロングパスポリクロイックミラー105(カットオフ波長650nm)、ロングパスポリクロイックミラー106(785nm付近の高反射性を有するプレインミラー)と結びつけられてもよい。これら又は1つのフェーズで照射する類似の複数のナローバンド光源は、全時間で重なるか又は一部の時間で重なる状態で、いっせいに照射してもよいし、逐次的に照射してもよい。それでもなお、照明フェーズと関連する上記露光期間(exposure period)内の如何なる時間の組み合わせも、1つの照明フェーズにおいて累積する光スペクトル分布として見なされる。
好ましいスペクトルのシナリオが図12に示されている。ここでは、ブロードバンドLED光源が全スペクトル領域をカバーし、複数のナローバンドレーザ光源と組み合わされている。複数のナローバンドレーザ光源は、(切替の理由から)好ましくは、レーザダイオードであってもよい。この場合、405nmのレーザダイオードモジュール、633nmのレーザダイオードモジュール、785nmのレーザダイオードモジュールのような、一般的なモジュールが用いられる。405nmのレーザダイオードモジュールは、広く脳手術のために用いられるプロトポルフィリンIX(PPIX)を励起することができる。633nmのレーザダイオードモジュールは、蛍光プローブにおいて用いられるAlexa647のような、高安定性で且つ明るい蛍光色素分子を励起させることができる。785nmのレーザダイオードモジュールは、臨床的に関連する、インドシアニングリーン(ICG)を励起することができる。
<実施例4>
この実施例では、いくつかのLED光源で照明光を生成するために、代わりの照明システムが用いられる。図13に示すように、2つのブロードバンドLED光源を用いる代わりに、このオプションでは、ナロースペクトル発光を有する、複数のLED121,131,141,151…が用いられる。これは、より複雑な照明デバイスを必要とするが、一方で、出力パワーが劇的に増大し、異なるLEDの強度について個別にバランスをとることができる。殆どのモノクロLEDは、サイドスペクトルにテールを持つナロー発光を有している。このため、オプションとして、励起フィルタ122,132,142,152が、上記励起スペクトルを除去するために、用いられてもよい。レーザ光源と同様に、多くのナローバンド光源を有するLED光源からの光は、1つの照明光として見なされてもよい。上記複数のLEDは、全時間で又は一部の時間で重なった状態で、いっせいに照光してもよいし、又は、時間的に重なることなく逐次的に照光してもよい。それでもなお、照明フェーズと関連する上記露光期間(exposure period)内の如何なる時間の組み合わせも、1つの照明フェーズにおいて累積する光スペクトル分布として見なされる。
図13に示されるような照明サブシステムは、図14に示されるようなマルチフェーズ照明システムにおいて組み合わされうる。そこでは、2つの光源100c,100dが備えられ、それぞれが、サンプル400を照らすために、ファイバ103c,103dへそれぞれ光を放出する。
図15から図18は、それぞれ、LED光源の発光スペクトル、上記発せられたビーム内に配置されるフィルタの透過スペクトル、及び、上記発せられた光の上記フィルタを通った後の強度スペクトルを示している。4つの光源は、1つのスペクトル的なブロードバンド光源に取って代わってもよい。
この好ましい構成は、上記マルチバンドファイバ群の各バンドについて1つの励起LEDを有している。これは、4つのバンドパスフィルタについて、8つのLEDを必要とすることになるかもしれない。このような構成のスペクトルが図19に示されている。図19は、左側に、上記第1光源を構成する4つのLEDのスペクトル、対応するフィルタの透過スペクトル、及び、上記第1光の結果的な放出スペクトルを示している。右側には、上記第2光の対応するスペクトルが示されている。上記スペクトルにおいて、各LEDは、1つの光及び1つのフェーズと関連している。また、独立した4つのLEDのセットは、各LEDの前に設けられた、4つの単一バンドパスフィルタ(single bandpass filters)を用いて、フィルタリングされる。また、上記個別のLEDは、1つのフェーズと厳格に結びつけられていない。図20は、380nm、490nm、565nm、及び635nmで発光極大(emission maxima)となる、商業的に利用可能な4つのLEDの実際の放出スペクトルを示している。図21は、4つのバンドパスフィルタによってフィルタリングされた、上記4つのLEDの結果的に得られる照明スペクトルプロファイルを示している。
<実施例5>
図22に示される他の実施例において、異なる複数の光源の時間的な切替は、可変の透明度を有する光学要素168,165を用いることにより、行われる。この最もシンプルなケースにおいて、これらの可変な透明度を有する光学要素168,165は、機械的なシャッタである。また、これらは、光変調器(light modulators)又は音響光学デバイス(acousto-optical devices.)であってもよい。光源161から発せられた上記ブロードバンドライトは、ポリクロイックミラー162によって分配され、相補の励起フィルタ164,167によってフィルタリングされ、要素162と同様のポリクロイックミラー169によって再び統合される。ミラー163,166は、上記システムにおいてフィルタ165でフィルタリングされた一部のビームを平行にして導くために用いられる。更なる改良のために、上記励起光は、上記システムにおいてロスを最小限にし且つフィルタのパフォーマンスを最適化するために、平行にされるべきである。
<実施例6>
図23に示される代わりの実施形態において、上記照明システムは、上記光学的システムを通して照光するように構成されている。光学的な光ガイドは、上記マルチスペクトル照明システム100からの光を、コネクタポート204で上記イメージングデバイス200へ届ける。上記照明パスは、物質400に対する照光を最適化するために、光学レンズシステム203を含んでいてもよい。それから、上記光は、偏光フィルタ206によってフィルタリングされ、続いて、ビームスプリッタデバイス205を持つ上記イメージングパスへ結びつけられる。そのようなデバイスは、偏光ビームスプリッタキューブ205であってもよい。それから、上記光は、光が通過する時に偏光角度を回転させる、ローテイタブル半波長板(rotatable half wave plate)207を通過する。このことは、上記半波長板の位置に応じた反射光の反射を低減すること又は除去することを可能とする。最も簡単なアセンブリにおいては、半波長板207は、対物レンズ201の前に配設される。
<実施例7>
以下では、種々の代わりの検出システムについて記述する。
概要として、センサ211は、マルチチャネルカラーセンサである。このことは、上記センサが、複数の区別可能なスペクトル分布における上記光照射野(light field)を記録する、ことを意味する。このことは、次の種々のオプション:つまり、a)ベイヤRGGBマイクロフィルタパタン、又は、RG(IR)B、CMYGのようなこのパタンを修正したものに従った複数のピクセルの前に複数のマイクロフィルタを持つ複数のセンサ、b)各ピクセルが区別可能なスペクトル分布で光を記録する他のフィルタモザイクパタン、及び/又は、c)他のビームスプリッティング、カラーフィルタリング、及びモノクロセンサへのイメージングを用いて、達成することができる。図24には、これらのパタンのいくつかが示されている。
概して、RGGBパタンは、より多くの正確な色の再現を達成できる一方、CMYGは、より感度が高い。フル解像度のカラー画像は、カメラハードウェア又は後のイメージプロセッシングにおいてデモザイクすることにより得られる。上記マイクロフィルタパタンは、概して、ABCDEFGHI等のような、マルチカラー又はマルチスペクトルの透過プロファイルに拡張される。これの一例は、米国特許第6638668号明細書に開示されている、リトグラフのようにパタン化された2色性フィルタ配列(lithographically patterned dichroic filter array)である。
代わりに、上記マルチチャネルカラーセンサは、図25に示すようなFoveon X3センサ(米国特許第6632701号明細書を参照)又は類似の技術に基づいていてもよい。上記マイクロフィルタパタンと対比して、上記Foveonセンサは、x方向及びy方向において空間的に配設され且つ複数のレイヤ(レイヤ1,レイヤ2…)が仮想的に積み重なった、フォトセンサ群を有している。各レイヤは、光を受けたレイヤについてのシリコン吸収(silicon absorption)及び異なる透過深度(transmission depths)のために、異なるスペクトルエリアを感知できる。これにより、各レイヤで生成された画像は、異なる色に対応する。このため、より高い空間分解能を実現することができる。
図26Aに示される代わりの実施形態では、検出対象の光ビームは、ビームスプリッタ及び/又はミラー252,253,254,255を用いることより、3つの並列部分ビームに分けられ、フィルタ群又は2色性ミラー群(dichroic mirrors)でフィルタリングされる。さらに、図3に示したマルチチャネルセンサ211は、モノクロセンサ251に置き換えられている。各フィルタ又は各2色性ミラーは、図26B,26Cに示すように、3つの異なる色のうちの1つの光を透過する特定の透過スペクトルプロファイルを有している。このように、上記モノクロセンサにおいて、異なる複数の画像が、互いに横方向に距離を置いて形成される。各画像は、異なるスペクトルバンドを画像化している。
さらに、マルチカラーチャネルは、米国特許第3659918号明細書に開示されているプリズム3−CCD配列のような、複数の光スプリッティング及びフィルタ群によって実施される。この光スプリッティング実装又はこれに類似の実装において、各パスは、例えばRGBのような特定の色のスペクトルを持つ光を運ぶために、フィルタリングされる。このアプローチは、複数の(3つ又はそれ以上の)イメージングパスを提供する類似のマルチビームスプリッタに拡張されうる。
<実施例8>
ほとんどの蛍光の応用において、周囲の光は、避けられるか又はブロックされる必要がある。これは、その周囲の光の強度は、蛍光染料から発せられる蛍光ライトの強度よりも数オーダー大きいためである。周囲の光は、太陽光であり窓を介して物質に届くかもしれないし、ルームライトによって発せられた光かも知れない。技術システムの現在の状態では、蛍光チャネルにおいて周囲光からの強い信号を避けるために、周囲環境は暗い。代替手段として、発光フィルタをパスするような周囲光の特定の波長領域を、フィルタ群によってブロックしてもよい。残念ながら、そのようなフィルタ群は、通常とても高価であり、そのようなフィルタ群で大きな窓又はルームライトを覆うことはできないか、又は、それらはいかなるスペクトル構造にも使用不可能である。
ここに提示される技術は、蛍光を検出する状況下で部屋の周囲照明を許容する、代わりのアイデアを表している。この改良は、観血手術の間の外科用蛍光イメージングにおいて、特に重要である。2つの異なるオプションが提示される。いずれのオプションも、周囲照明として、パルス光源を利用する。第1の方法/実施形態では、フレームの記録の期間において上記イメージングパスにおける全ての上記光がブロックされる(請求項では、「記録することを保留(停止)する」として参照される)。第2の方法/実施形態は、フレームとフレームの間における上記センサ配列のデッドタイムを、周囲光のために用いる。
<実施例8A>
室内照明の照光は、人間の目の最大周波数知覚と比べて高周波数で(例えば、200Hzで)、パルス化されている。上記パルス群の継続期間(デューティサイクル)は、典型的には、図27に示すような蛍光イメージングのためにより長い露光時間を許容する全期間の小さな断片(例えば、その期間の5−20%、典型的には、0.1−5ms)である。イメージング蛍光信号のための光パスは、上記周囲照明の光のパルスの期間では、ブロックされる。図27は、上記イメージングシステムの複数のフェーズと、周囲照明を許容するシャッタデバイスのそれぞれのタイミングとを示している。
図28に示される実施形態において、部屋照明/周囲照明光源902が設けられ、その光は、上記励起光パスに結びつけられている。さらに、追加的なシャッタ900が、上記イメージングパスに設けられている。この実施形態では、上記シャッタは、単純な理由のために、上記光学システム200の上記対物レンズの前に配設されている。それでもなお、上記シャッタは上記パスの他の位置に配設されてもよい。代わりに、シャッタ装置900が上記センサ配列の直前の上記イメージングパスに含められてもよい。シャッタ900及び部屋照明902の両方とも制御/処理ユニット300によって制御されている。
シャッタ900が閉じると、シャッタ900は上記イメージング/検出パスに進入した全ての光をブロックする。それゆえ、光は、センサシステム200の上記センサ配列に到達しない。光源902からの周囲照明の動作周波数は、上記蛍光イメージングシステムの動作周波数に適合される必要はない。好ましくは、上記イメージングシステムは、人間の目にとってゆっくりとした蛍光及び反射率の画像のストリームを生成するために、30−60Hzで動作する。周囲照明902は、好ましくは、人間の目が部屋環境において如何なるちらつきにも気づかない程より高い周波数で動作する。
好ましくは、周囲照明システム902の動作周波数は、画像の周波数を何倍かしたものになっている。この場合、連続的に撮られる各像は、上記閉じたイメージングパスによって等しく影響される。しかし、上記周囲照明のタイミングを検出すること、及び、必要であれば、細切れにシャッタされるイメージングパスの影響について上記イメージングデータをデジタル的に修正することも可能である。
シャッタ900は、上記ビームパスに沿って伝播する光を許容又はブロックすることができる、如何なる電気機械デバイスであってもよい。好ましい実施形態において、上記周囲光及び上記光学的なイメージングパス903は、図29に示すようなビームチョッパ輪(beam chopper wheel)901によって遮られる。ビームチョッパ輪901は、上記シャッタ効果の半分の周波数で回転する。
チョッパ輪901は、イメージングパスを或る周波数で遮断するために良い選択であり、通常、光学的シャッタと比べて高周波数で動作する。代わりとして、チョッパ輪は、上記パスを不透明にすることによって上記画像の記録を保留(停止)するために、電気光学変調器(electro optical modulator)、SLM、又は、音響光学変調器(acousto-optical modulators)のような、異なるデバイスに置き換えられてもよい。他の代替手段においては、偏光フィルタ群を用い且つ種々の光の偏光感受透過(polarization sensitive transmission)を持つ電子デバイスを用いて、上記パスを閉じてもよい。これは、また、上記イメージングパスを効果的にブロックすることを可能にする。
上記光源は、短いパルスで動作できる如何なるタイプの周囲光源であってもよい。光源902は、好ましくは、電気的にパルス状のLEDから構成される。そのようなLEDは、手術室の周囲照明に適しており、とても正確で且つ人間の目の上記周波数に比べてかなり高周波数で、パルス化されうる。
<実施例8B>
図30に示される代わりの実施形態は、上記イメージングのフェーズ1とフェーズ2との間に常に位置し且つ周囲照明のために設定された、異なる光源からの照明光の追加的なフェーズ(第3のフェーズ)を用いる。このフェーズは、フェーズ1及びフェーズ2の周波数の2倍の周波数で出現する。上記光源は、光源902と同様に独立していてもよいし、上記照明システムの光源100に含まれていてもよい。この光源から発せられた光は、イメージングのために用いられる必要はなく、主に、上記物質及び/又は周辺環境における人間の目の視覚感知を改善するために用いられてもよい。
上記基本的な実施形態において、イメージングエリアの照明は、イメージ成分の検出及びイメージ処理のため、及び、特に、異なる蛍光色素分子の分離のためだけに、最適化される。典型的には、そのような照明は、外科医の視覚的印象にとって、最適ではなく、映像コントラストが低く自然でない視覚的印象となる可能性がある。しかしながら、上記第3の照明フェーズのスペクトル分布及び強度は、自由であり、全ての照明フェーズに関して累積されて理解されるので、ユーザ(手術室における外科医及び医療関係者)にとっての全体の視覚感知及び明るさを最適化することができる。
上記第3のフェーズの照明パルスは、図30に示された上記2つのフェーズの間の上記イメージングセンサのデッドタイムにフィットするのに、十分に短い。通常、デッドタイムは、センサ200から制御ユニット300へデータを転送するときに生じる。このため、周囲光の高精度で短いパルスが必要とされる。上記イメージングシステムが30Hzの周波数で動く場合、パルス化された周囲照明は、この倍の周波数、つまり、60Hzで動いてもよい。上記周囲照明が1%のデューティサイクルを使う場合、パルスのパルス幅は、170μsのオーダーであるべきである。上記周囲照明が5%デューティサイクルを使う場合、上記追加的な照明フェーズは、より明るいフィールドを提供し、パルス化された周囲照明の持続期間は800μsである。
<実施例9>
以上の記述においては、2つの異なるフェーズで物質に対して照光する、スペクトル多重及び時間多重が組み合わされたシステムが記述されている。それでもなお、本発明は、より複雑なイメージングシナリオにおける更に多くのフェーズに対しても拡張することができる。例えば、これらによれば、上記反射率画像及び/又は蛍光画像についての、追加的なスペクトルの情報を取得することができる。以下では、マルチフェーズシステムの追加的な例が詳細に記述される。
<実施例9A>
図31には、4つの光源を用いた4つのフェーズで動く方法が記述される。この例は、4つの異なる光源110,120,130,140と、複数のバンドで光を透過するイメージングシステム200とを有する。図32には、イメージング(検出)システム200における、光透過のスペクトルと共に上記光源の発光スペクトルの個別の例が示されている。4つの光の上記スペクトルプロファイルは、それぞれ、複数のスペクトルバンドからなっている。光1,2の複数のスペクトルバンドは、上記イメージングシステムの複数のスペクトル減衰バンドと一致する一方、光3,4の複数のスペクトルバンドは、上記イメージングシステムの複数の透過バンドと一致する。図33(照明の時間方向)に示すように、上記サンプルは、4つの光源110,120,130,140によって、4つのフェーズで連続して照らされる。各フェーズにおいて、1つの光が物質400を照らす。この特定の例では、光1及び光2は、後に、蛍光を励起する。上記イメージングシステムのフィルタは、反射された励起光を減衰する一方で、蛍光発光を透過する。そして、上記第1光及び上記第2光の照光による複数の蛍光発光画像が形成される。次いで、物質400は、光3,4によって照らされる。光3,4は、物質400によって反射され、上記イメージングシステムによって透過され、上記反射率画像を形成する。トータルで、4つの画像が記録され、各画像は、各照明フェーズに由来している。(光1,2で照らしたときの)上記2つの蛍光画像は、上記複数の蛍光成分をスペクトル的に分離して処理されている、合成蛍光画像を形成するために、上記処理ユニット300によって組み合わせられる。そして、(光3,4で照らしたときの)上記2つの反射率画像は、上記複数の反射成分をスペクトル的に分離して処理されている、合成反射率画像を形成するために、上記処理ユニット300によって組み合わせられる。
各センサが3つの検出チャネルを有していると仮定すると(例えば、スタンダードのRGBカメラ)、4つのフェーズが終わった後には、上記システムは、6チャネルの組み合わせ対象の反射率画像、及び、6チャネルの組み合わせ対象の蛍光画像を記録している。
ここに、上記マルチフェーズスペクトル多重方法の、種々の代替手段が存在する。各光のスペクトルプロファイルは、隣のものからスペクトル的に分離される必要はなく、同一ではないがスペクトル的に一部が重なっていてもよい。必要とされる唯一の条件は、蛍光を励起する上記複数の光が、イメージングシステム200の透過バンド内にスペクトル成分を有していない、ことである。さらに、それらは連続的に行われる必要はなく、どんな順序であってもよい。他の代替手段は、励起のための複数の光の異なる組み合わせを有していてもよい。例えば、1つの光を蛍光のために用い、3つの光を反射率のためにRGBセンサと共に用いる場合、上記蛍光画像を組み合わせること、及び、それらを分解して3つの蛍光成分と9つの反射成分とにすること、が可能である。又は、2つの光を蛍光のために用い、1つの光を反射率のために用いる場合、上記複数の画像を組み合わせること、及び、それを分離して6つの蛍光成分と3つの反射成分とにすること、が可能である。
<実施例10>
上記マルチスペクトルイメージング方法及びシステムは、種々のイメージング機器に組み入れることで実施されうる。図34Aに示される第1の実施形態では、マルチスペクトルイメージングシステムは、カメラアダプタによってディテクタ200に取り付けることで、対物レンズとしてのズームレンズ291と共に用いられる。照明システム100は、ライトガイドで上記物質へ光を運ぶ。図34Bに示される他の実施形態は、検出システム200は、外科用顕微鏡292のビデオポートに接続され、照明システム100は、上記顕微鏡の対物レンズを介して上記物質を照らすために、照明ポートに繋がるライトガイドに接続されている。
図34Cに示される他の実施形態では、検出システム200は、オプションとしてアダプタを用いて硬性内視鏡の接眼レンズポートに接続され、照明システム100は、上記照明ポートのライトガイドに接続されている。図34Dに示される他の実施形態では、検出システム200は、小型化されて、フレキシブル内視鏡の先端に組み入れられる一方、照明システム100は、その内視鏡の照明ポートに取り付けられている。
図34Eに示される他の実施形態では、検出システム200は、フレキシブルファイババンドルを用いて画像を先端から末端まで伝えるフレキシブルファイバスコープのカメラポートに接続され、照明システム100は、上記照明ポートに接続されている。
<実施例11>
以下では、本発明の進歩的な方法のいくつかの可能な応用が記述されている。
a)アプリケーションシナリオ:血液酸素化のイメージング:
以下の例では、組織における含酸素ヘモグロビンの非酸素ヘモグロビン(HbO及びHb)に対する相対的な濃度を算定することにより、酸素飽和度が、画像化される。図35に示すように、HbOとHbとは区別可能な吸収スペクトルを有しているので、上記反射光は、上記システムで記録されうるスペクトルプロファイル情報を伝える。複数の反射成分を光学的に分離することにより、a)視覚化システムにおいて表示されるRGB画像、b)HbO成分及びHb成分の生体内分布の追加的なマップを生成することができる。上記酸素飽和度のマップは、トータルのヘモグロビン飽和度に対するHbOの割合によって算出する。
b)アプリケーションシナリオ:がん病巣、解剖学的特徴、又は機能的条件の検出:
他の想定されるアプリケーションは、体内の臨床診断イメージングのための注射可能な蛍光造影剤の生体内分布を視覚化するために、上記システムを用いることである。このような蛍光造影剤は、フルオレシン又はインドシアニングリーンのように非標的であり、血管新生、血液かん流等を強調してもよいし、又は、組織において関係のある機能的活性又は病的な活性と関係している分子部位へ結合することによって、癌のような蛍光発光する病気、炎症のような医学的状態、又は、神経節若しくはリンパ節のような解剖学的特徴を強調できるという意味で標的であってもよい。1つの例は、癌細胞におけるプロトポルフィリンの生成を誘発する化合物である、5−ALAを用いた、脳手術中の星細胞系腫瘍(glioblastoma tumors)のイメージングである。これらのアプリケーションは、外科用顕微鏡、内視鏡、腹腔鏡、胃カメラ、気管支鏡、検眼鏡、眼底カメラ等の医学的イメージングシステムに対しての上記進歩的な方法の統合を引き起こす可能性がある。
c)アプリケーションシナリオ:マルチリポーターイメージング(multi reporter imaging):
特に興味深いのは、デュアルレポーターアプローチ(dual reporter diagnostic approaches)を用いた病床治療アプリケーションにおける上記進歩的なリアルタイムマルチスペクトルイメージング技術である。2つ以上の蛍光プローブを用いることにより、組織の病状又は機能状態にアクセスするための異なる生体指標についての多様な情報が得られる。異なる複数のエージェントの複数の生体内分布の組み合わせは、病気の特徴の検出感度及び特異度を増す。これは、分離後の複数の画像成分が、画像化ターゲット、つまり病変(lesion)の画像化を高めることができるからである。
d)アプリケーションシナリオ:機械検査(Machine inspection):
リアルタイムマルチスペクトル蛍光イメージングの追加的な想定されるアプリケーションシナリオは、機械検査についてである。内部で封入されているために視覚的に検査することが難しい、ギヤのようなエンジン部品又は機械部品は、小さなクラックのような損傷を有している可能性がある。このような構造欠陥は、エンジン内を蛍光溶液で流して、蛍光液を留めるクラックの位置を内部で検査するための内視鏡を用いた後に、画像化されうる。リアルタイムマルチスペクトルイメージングは、カラー反射率画像及びカラー蛍光画像を同時に提供することができる。
e)アプリケーションシナリオ:感pH色素(pH sensitive dyes):
化学的環境は、蛍光色素の上記発光又は励起に影響を与える可能性がある。上記色素の吸収特性及び発光特性を変えるパラメータの1つは、pH値である。
発光感受性色素(emission sensitive dyes)の場合:
pH値の変化に対してスペクトル的に感受性があるシグナルを検出するように最適化された上記個別のフィルタ群の上記複数の透過バンドを有していることが好ましい。また、他の検出チャネルは主にpH値の変化に対する感受性があるのに対して、最大限にpH値に依存する複数の検出チャネルを有していることが好ましい。
これは、例えば、それぞれ測定対象の複数の蛍光バンドの中心が、pH値の変化に対して色素発光スペクトルが極大となるスペクトルポイントに一致するように、又は、色素発光スペクトルがほとんどpH値に依存しないスペクトルポイントに一致するように、複数の透過フィルタバンドを調整することによって、実現することができる。
励起感受性色素(excitation sensitive dyes)の場合:
pH値の変化に対してスペクトル的に感受性があるシグナルを検出するように最適化された上記個別のフィルタ群及び光源群の複数の励起バンドを有することが好ましい。また、他の検出チャネルは主にpH値の変化に対する感受性があるのに対して、検出チャネルのいくつかが最大限にpH値に依存するような、複数の励起バンドを有することが好ましい。
上記複数の励起フィルタバンドは、上記個別のバンド群の中心が、pH値の変化に対して色素励起スペクトルが極大となるスペクトルポイントに一致するように、又は、色素励起スペクトルがほとんどpH値に依存しないスペクトルポイントに一致するように、調整されるべきである。
上記記録された画像群は、マルチスペクトルで記録され、スペクトル的に分離され、pH値の空間分布を可視化するように処理される。
f)アプリケーションシナリオ:PPIX発光スペクトルにおける違いによる、腫瘍浸潤ゾーン(tumor infiltration zone)と固形腫瘍塊(solid tumor mass)との識別
腫瘍診断法に関して、腫瘍組織におけるプロトポルフィリンIX(PPIX)の蓄積を導き出す、5−ALAが、患者に投与される。PPIXは、蛍光色素であり、また、光線力学的療法のエージェントでもある。
PPIXの蛍光発光スペクトルは、場所及び腫瘍内の微少環境に基づいて変化する。さらに詳細には、上記浸潤ゾーンは、上記固形腫瘍塊と比べて、異なる蛍光発光スペクトルを呈する。このスペクトル的な相違は、上記腫瘍塊と上記浸潤ゾーンとを識別するために、用いることができる。
620nm及び635nmで極大となる2つの異なるピークのPPIXスペクトルが、上記進歩的なシステムで、記録され、分離されうる。
さらに、他の蛍光色素分子と自己蛍光も記録されうる。
g)アプリケーションシナリオ:自己蛍光:
興味深いアプリケーションは、内在組織の自己発光、つまり、蛍光造影剤(例えば、蛍光色素分子)を投与することなしに通常発光される蛍光のスペクトル的な検出である。上記内在組織の自己発光は、NADPH、フラビン(flavins)、コラーゲン(collagen)、エラスチン(elastin)等のような、組織内に存在する又は組織で作り出された、種々の分子に起因する。この存在、生成、蓄積、又は他の濃度特性は、解剖学の特性、機能特性、及び病理学の特性のような、種々の組織特性とリンクしている。本発明に従った、組織自己発光のマルチスペクトルイメージング及び上記関連する複数の成分のスペクトル分離は、病状の判断及び診断を助ける、組織の特徴又は特性を明らかにすることができる。自己発光のマルチスペクトルイメージング及び分離は、前進的に投与された蛍光分子と共に行われる。
h)アプリケーションシナリオ:網膜イメージング(Retina imaging):
網膜は、目を通して画像化されうる。現在、このイメージングモダリティは、網膜自体の診断目的のために、臨床診療において、用いられている。
目は、網膜血管をダイレクトに見る、体の血管に対して、クリアな窓を提供する。本発明に従った、網膜のマルチスペクトルイメージング及びスペクトル分離を用いると、網膜内に存在しているか又は血管内を循環する、蛍光分子を特定することができる。これらの蛍光分子は、自由に循環するか、又は、細胞(可能性としては転移性の癌細胞)、微生物、ウイルス、若しくは、分子へ向かうために、全身的に投与されていてもよい。マルチスペクトルイメージング及び分離は、これらの物質を特定することができ、このことは、「病人」の機能状態若しくは病状にアクセスする助けとなる、一般的には血液循環についての情報、又は、ターゲットの循環についての情報を提供することができる。それゆえ、網膜自体についての情報を得るために、及び、血液内を循環している成分についての情報を得るために、網膜イメージングを用いることができる。
i)アプリケーションシナリオ:ロボット外科手術:
上記マルチスペクトルイメージング及びシステムの興味深いアプリケーションは、それを外科手術ロボットシステムと組み合わせることである。最初に、それは、手術を行う外科医に対して、反射カラードメインにおけるか、又は、(自己)発光ドメインにおける、組織の生体構造、機能、又は病気についての、ビジュアルマルチスペクトル情報を提供することができる。2番目のレベルでは、ロボット手術の安全性を向上させる入力を提供することができ、例えば、医師がうっかり組織(例えば、神経)にダメージを与えてしまうこと(つまり、カットしてしまうこと)を防ぐことができる。三番目のレベルでは、それは、人間の制御を減らした又は最少化した、自動ロボット外科手術手順に対して、直接的にインプット又はフィードバックを提供することができる。

Claims (16)

  1. 物質(400)の蛍光画像及び反射画像を取得するための装置の作動方法であって、
    前記物質(400)を第1光と第2光とで交互に照らし、前記第1光は、前記物質からの蛍光のいくつかの領域の励起のための、高い強度の少なくとも2つのスペクトル領域を含み、且つ、高い強度の領域よりも波長が長い、低い強度の複数の領域を含み、前記蛍光の各領域は、前記第1光の高い強度の前記少なくとも2つのスペクトル領域のうちの1つよりも長い波長であり、前記第2光は、前記物質の反射光の生成のための高い強度のスペクトル領域を少なくとも1つ含み、前記第1光に関して、短い波長で高い強度の領域における光強度と長い波長で低い強度の領域における光強度との間の強度割合は、1×10以上であり、
    共通のセンサアレイ(200)を用いて、前記第1光によって前記物質を照らしている期間の前記物質の第1画像を記録して前記物質からの蛍光の前記いくつかの領域を同時に記録すると共に、前記第2光によって前記物質を照らしている期間の前記物質の第2画像を記録し、
    前記第1画像として前記センサアレイによって記録される光及び前記第2画像として前記センサアレイによって記録される光は、前記第1光が高い強度を有している少なくとも前記2つのスペクトル領域において、減衰され、
    前記センサアレイは、各チャネルが異なるスペクトル感度を有するマルチチャネルアレイであり、
    前記第1画像として前記センサアレイによって記録される光及び前記第2画像として前記センサアレイによって記録される光は、前記物質と前記センサアレイとの間に配設された、マルチバンドパスフィルタ(213)によって、減衰される、
    方法。
  2. 請求項1記載の方法であって、
    前記センサアレイ(200)は、カラーセンサアレイである、
    方法。
  3. 請求項1又は2記載の方法であって、前記記録された画像のチャネル画像空間、例えば、カラーセンサのカラー画像空間において得られたデータは、成分画像空間の値に変換され、
    前記成分画像空間では、好ましくは、複数の成分が、複数の蛍光色素、複数の吸収体、これらから導き出される値、又は、ノイズの、複数の空間的な分布に対応する、
    方法。
  4. 請求項1から3のいずれか1項に記載の方法であって、
    前記第1光及び前記第2光の少なくとも1つに関して、短い波長で高い強度の少なくとも1つの領域における強度と長い波長で低い強度の少なくとも1つの領域における強度との間の強度割合は、1×10以上、さらに好ましくは1×10以上であり、
    及び/又は、
    減衰されるスペクトル領域の強度に対する、減衰されないスペクトル領域の強度の、減衰割合は、1×10以上、好ましくは、1×10以上、さらに好ましくは1×10以上であり、
    及び/又は、
    前記第1光が高い強度を有する前記複数のスペクトル領域のうちの少なくとも1つにおいて前記センサアレイによって記録された光の減衰量は、好ましくは、減衰されない複数のスペクトル領域において記録された光の強度が、減衰された1つ又は複数のスペクトル領域の全体において記録された光の強度よりも高くなるように、されている、
    方法。
  5. 請求項1から4のいずれか1項に記載の方法であって、
    前記第1光及び/又は前記第2光は、a)2つのブロードバンド光源(111)からのブロードバンドライト、例えば、白色光によって、生成され、前記ブロードバンドライトは、前記第1光及び前記第2光を生成するために、マルチバンドパスフィルタ(112)によってフィルタリングされ、
    又は、
    b)複数のナローバンド光源(121)、好ましくは、複数の発光ダイオードによって生成され、前記複数のナローバンド光源(121)から発せられた光は、オプションとして、光パスにおいてマルチバンドフィルタによってフィルタリングされ、
    又は、
    c)前記a)に従ったブロードバンド光源と前記b)に従ったナローバンド光源との組み合わせによって、生成される、
    方法。
  6. 請求項1から5のいずれか1項に記載の方法であって、
    前記第2光によって前記物質(400)を照らしている間に記録された前記第2画像は、弱められたスペクトル領域に関して前記第2画像を補正するために、処理される、
    方法。
  7. 請求項1から6のいずれか1項に記載の方法であって、
    前記物質(400)は、前記物質(400)で反射された第1反射光を生成するために第2光によって照らされ、且つ、前記物質によって発光されたスペクトルが異なる2つ以上の蛍光の励起のために、スペクトルが異なる2つ以上の第1光によって照らされ、
    前記第2光と前記2つ以上の第1光のそれぞれとの間で切り替え、前記2つ以上の第1光に関して、短い波長で高い強度の領域における光強度と長い波長で低い強度の領域における光強度との間の強度割合は、1×10以上であり、
    各第1光によって前記物質が照らされている間の前記物質の複数の第1画像、及び、前記第2光によって前記物質が照らされている間の前記物質の第2画像を、共通のセンサアレイ(200)を用いて記録し、
    前記複数の第1画像として前記センサアレイ(200)によって記録された前記光及び前記第2画像として前記センサアレイによって記録された前記光は、すべての第1光のうちの、1つの、いくつかの、又はすべてのスペクトル領域において、減衰されており、前記1つの、いくつかの、又はすべてのスペクトル領域では、前記第1光は、弱められないスペクトル領域で記録された光の強度が、弱められたスペクトル領域で記録された光の強度よりも高くなるように、高い強度を有しており、
    前記第1画像として前記センサアレイによって記録される光及び前記第2画像として前記センサアレイによって記録される光は、前記物質と前記センサアレイとの間に配設された、バンドパスフィルタ(213)によって、フィルタリングされる、
    方法。
  8. 請求項1から7のいずれか1項に記載の方法であって、
    第1照明期間を有する前記第1光と第2照明期間を有する前記第2光とで、交互に前記物質(400)を照らし、
    他の光のパルス群で前記物質(400)を照らし、前記他の光のパルス継続期間は、前記第1照明期間よりも短く、且つ、前記第2照明期間よりも短く、
    前記他の光による照明期間において、前記第1画像及び前記第2画像の記録を保留するか、
    又は、
    第1照明期間を有する前記第1光と、第2照明期間を有する前記第2光と、第3照明期間を有する第3光とで、順々に、前記物質(400)を照らす、
    方法。
  9. 物質(400)の蛍光画像及び反射画像を取得するイメージング装置であって、
    第1光源(121)及び第2光源(111)と、
    センサアレイ(200)と、
    減衰器(213)と、を有し、
    前記第1光源は、前記物質からの蛍光のいくつかの領域の励起のための、高い強度の少なくとも2つのスペクトル領域を含み、且つ、高い強度の領域よりも波長が長い、低い強度の複数の領域を含む、第1光を供給し、前記蛍光の各領域は、前記第1光の高い強度の前記少なくとも2つのスペクトル領域のうちの1つよりも長い波長であり、
    前記第2光源は、前記物質の反射光の生成のための高い強度のスペクトル領域を少なくとも1つ含む第2光を供給し、
    前記第1光に関して、短い波長で高い強度の領域における光強度と長い波長で低い強度の領域における光強度との間の強度割合は、1×10以上であり、
    前記第1光源及び前記第2光源は、前記第1光と前記第2光とで前記物質(400)を交互に照らすように構成され、
    前記センサアレイは、前記第1光によって前記物質を照らしている期間の前記物質の第1画像を記録して前記物質からの蛍光の前記いくつかの領域を同時に記録すると共に、前記第2光によって前記物質を照らしている期間の前記物質の第2画像を記録するように構成され、
    前記減衰器は、前記第1画像として前記センサアレイによって記録される光及び前記第2画像として前記センサアレイによって記録される光を、前記第1光が高い強度を有している少なくとも前記2つのスペクトル領域において、減衰し、
    前記センサアレイは、各チャネルが異なるスペクトル感度を有するマルチチャネルアレイであり、
    前記第1画像として前記センサアレイによって記録される光及び前記第2画像として前記センサアレイによって記録される光は、前記物質と前記センサアレイとの間に配設された、前記減衰器としてのマルチバンドパスフィルタ(213)によって、減衰される、
    装置。
  10. 請求項9記載のイメージング装置であって、
    前記センサアレイ(200)は、カラーセンサアレイである、
    装置。
  11. 請求項9又は10記載のイメージング装置であって、
    前記記録された画像のチャネル画像空間、例えば、カラーセンサのカラー画像空間において得られたデータを、成分画像空間の値に変換するように構成され、
    前記成分画像空間では、好ましくは、複数の成分が、複数の蛍光色素、複数の吸収体、これらから導き出される値、又は、ノイズの、複数の空間的な分布に対応する、
    装置。
  12. 請求項9から11のいずれか1項に記載のイメージング装置であって、
    前記第1光及び前記第2光の少なくとも1つに関して、短い波長で高い強度の少なくとも1つの領域における強度と長い波長で低い強度の少なくとも1つの領域における強度との間の強度割合は、1×10以上、さらに好ましくは1×10以上であり、
    及び/又は、
    減衰されたスペクトル領域の強度に対する、減衰されないスペクトル領域の強度の、減衰割合は、1×10以上、好ましくは、1×10以上、さらに好ましくは1×10以上であり、
    及び/又は、
    前記第1光が高い強度を有する前記複数のスペクトル領域のうちの少なくとも1つにおいて前記センサアレイによって記録される光の減衰量は、好ましくは、減衰されない複数のスペクトル領域において前記センサアレイによって記録された光の強度が、減衰された1つ又は複数のスペクトル領域の全体において前記センサアレイによって記録された強度よりも高くなるように、されている、
    装置。
  13. 請求項9から12のいずれか1項に記載のイメージング装置であって、
    前記第2光によって前記物質(400)を照らしている間に記録された前記第2画像は、弱められたスペクトル領域に関して前記第2画像を補正するために、処理される、
    装置。
  14. 請求項9から13のいずれか1項に記載のイメージング装置を有する、内視鏡又は外科用顕微鏡。
  15. 請求項1から請求項のいずれか1項に記載の方法、請求項9から請求項13のいずれか1項に記載の装置、又は請求項14に記載の内視鏡、反射画像及び/又は蛍光画像を記録するため使用する方法
  16. 請求項1から請求項8のいずれか1項に記載の方法、請求項9から請求項13のいずれか1項に記載の装置、又は請求項14に記載の内視鏡を、自動車用途、化学分析、及び物理分析のうちの1つにおける内部検査のために使用する請求項15に記載の方法
JP2016571099A 2014-06-05 2015-06-03 マルチスペクトルイメージングのための方法及び手段 Active JP6696912B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14171378.4 2014-06-05
EP14171378 2014-06-05
EP15160630 2015-03-24
EP15160630.8 2015-03-24
PCT/EP2015/062447 WO2015185661A1 (en) 2014-06-05 2015-06-03 Methods and means for multispectral imaging

Publications (2)

Publication Number Publication Date
JP2017526899A JP2017526899A (ja) 2017-09-14
JP6696912B2 true JP6696912B2 (ja) 2020-05-20

Family

ID=53269508

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016571115A Active JP6728070B2 (ja) 2014-06-05 2015-06-03 マルチスペクトルイメージングのための方法及び手段
JP2016571099A Active JP6696912B2 (ja) 2014-06-05 2015-06-03 マルチスペクトルイメージングのための方法及び手段

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016571115A Active JP6728070B2 (ja) 2014-06-05 2015-06-03 マルチスペクトルイメージングのための方法及び手段

Country Status (9)

Country Link
US (2) US10481095B2 (ja)
EP (3) EP3152548B1 (ja)
JP (2) JP6728070B2 (ja)
CN (2) CN106999021B (ja)
CA (2) CA2951086A1 (ja)
DK (1) DK3940371T3 (ja)
ES (2) ES2964016T3 (ja)
FI (1) FI3940371T3 (ja)
WO (2) WO2015185661A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230071469A (ko) * 2021-11-16 2023-05-23 한국광기술원 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치 및 그 제어방법

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
BRPI0906187A2 (pt) 2008-03-18 2020-07-14 Novadaq Technologies Inc. método e sistema de representação de imagens para aquisição de imagens nir e imagens em cor total
US9674920B2 (en) * 2014-12-01 2017-06-06 Industrial Technology Research Institute Illumination system and method for developing target visual perception of an object
US10356334B2 (en) 2015-11-13 2019-07-16 Novadaq Technologies ULC Systems and methods for illumination and imaging of a target
JP6671653B2 (ja) * 2015-12-11 2020-03-25 大学共同利用機関法人情報・システム研究機構 画像処理装置、画像処理方法及びプログラム
US11012643B2 (en) * 2015-12-15 2021-05-18 Applied Spectral Imaging Ltd. System and method for spectral imaging
EP4155716A1 (en) 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly
CN108474733B (zh) * 2016-01-28 2022-08-30 西门子医疗保健诊断公司 用于表征样品容器和样品的方法和装置
JP2017131559A (ja) * 2016-01-29 2017-08-03 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、医療用画像取得システム及び内視鏡装置
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
US10869645B2 (en) 2016-06-14 2020-12-22 Stryker European Operations Limited Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
TWI586957B (zh) * 2016-06-24 2017-06-11 諾貝爾生物有限公司 多通道螢光檢測系統及其方法
JP6570484B2 (ja) * 2016-07-04 2019-09-04 Hoya株式会社 分析装置
US10371626B2 (en) * 2016-08-17 2019-08-06 Kla-Tencor Corporation System and method for generating multi-channel tunable illumination from a broadband source
US20210278648A1 (en) * 2016-08-26 2021-09-09 Huron Technologies International Inc. Scanning microscope using a mosaic scan filter
US10490160B2 (en) 2016-09-22 2019-11-26 Apple Inc. Light sensor with spectral sensing and color matching function channels
EP3330685A1 (de) * 2016-12-05 2018-06-06 Sick Ag Messvorrichtung für absorptionsspektroskopie
DE102016125524A1 (de) 2016-12-22 2018-06-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
JP6726859B2 (ja) * 2017-02-20 2020-07-22 パナソニックIpマネジメント株式会社 蛍光検出器及びその制御方法
JP6939000B2 (ja) * 2017-03-23 2021-09-22 株式会社Jvcケンウッド 撮像装置及び撮像方法
US11246197B2 (en) * 2017-03-28 2022-02-08 Signify Holding B.V. Light source and method for augmenting color perception for color deficient persons
JP6977287B2 (ja) * 2017-03-29 2021-12-08 東ソー株式会社 複数の蛍光物質を用いた標識方法
WO2018193465A1 (en) * 2017-04-20 2018-10-25 Irillic Pvt Ltd System for extending dynamic range and contrast of a video under fluorescence imaging
CA3099238A1 (en) * 2017-05-04 2018-11-08 Junebrain. Inc. Brain monitoring system
DE102018204426B4 (de) * 2017-05-11 2024-02-29 Carl Zeiss Meditec Ag Mikroskopiesystem
CN108937849A (zh) * 2017-05-29 2018-12-07 王虎 一种用于肿瘤纳米靶向探针荧光成像及手术导航指示系统
CN107301639B (zh) * 2017-06-02 2019-10-29 清华大学 利用数字图像技术改善色度检测线性范围的方法以及装置
WO2018225122A1 (ja) * 2017-06-05 2018-12-13 オリンパス株式会社 内視鏡装置
EP3417763A1 (en) * 2017-06-22 2018-12-26 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) System for endoscopic imaging
DE102017117428A1 (de) * 2017-08-01 2019-02-07 Schölly Fiberoptic GmbH Bildgebendes Verfahren unter Ausnutzung von Fluoreszenz sowie zugehörige Bildaufnahmevorrichtung
DE102017121483B3 (de) 2017-09-15 2019-03-07 Leica Microsystems Cms Gmbh Verfahren zur Untersuchung einer multispektralen Probe, Steuereinheit hierfür und Mikroskop-Anordnung
CN111373413B (zh) * 2017-11-07 2021-11-09 眼验股份有限公司 用于产生图像的表示的方法和成像系统
WO2019131586A1 (ja) 2017-12-27 2019-07-04 カシオ計算機株式会社 撮像装置及び撮像方法
JP7000933B2 (ja) 2017-12-27 2022-01-19 カシオ計算機株式会社 撮像装置及び撮像方法
BR112020012682A2 (pt) 2017-12-27 2020-11-24 Ethicon Llc imageamento hiperespectral em um ambiente com deficiência de luz
WO2019151029A1 (ja) * 2018-02-05 2019-08-08 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
EP3755994B1 (en) 2018-02-21 2021-05-26 Optotek d.o.o. Image-processing apparatus and image-processing method for detection of irregularities in tissue
US11382487B2 (en) * 2018-04-03 2022-07-12 Curadel, LLC Micro CMOS scopes for medical imaging
CN108956564B (zh) * 2018-06-21 2020-12-29 深圳市优迈医学科技有限公司 光敏剂浓度检测装置、系统以及方法
WO2020006129A1 (en) * 2018-06-28 2020-01-02 The Regents Of The University Of California Producing a composite image of a stained tissue sample by combining image data
KR102599207B1 (ko) 2018-07-20 2023-12-15 삼성전자 주식회사 전자 디바이스의 표면 측정 장치 및 방법
WO2020039520A1 (ja) * 2018-08-22 2020-02-27 オリンパス株式会社 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
CN112840643B (zh) * 2018-10-09 2022-01-14 富士胶片株式会社 摄像装置
WO2020101575A1 (en) * 2018-11-15 2020-05-22 Ams Sensors Singapore Pte. Ltd. Measurements using systems having multiple spectrometers
BR112021011113A2 (pt) 2018-12-14 2021-08-31 Spectral Md, Inc. Sistema e método para formação de imagem espectral de múltiplas aberturas de alta precisão
EP3669743B1 (en) * 2018-12-20 2024-04-03 Leica Instruments (Singapore) Pte. Ltd. System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore
JP2020130538A (ja) * 2019-02-18 2020-08-31 ソニー・オリンパスメディカルソリューションズ株式会社 医療用光源装置及び医療用観察システム
US11747205B2 (en) * 2019-02-27 2023-09-05 Deep Smart Light Ltd. Noninvasive, multispectral-fluorescence characterization of biological tissues with machine/deep learning
WO2020197497A1 (en) * 2019-03-27 2020-10-01 Ams Sensors Singapore Pte. Ltd. Self-calibrating spectral sensor modules
US10878548B2 (en) 2019-03-28 2020-12-29 Advanced New Technologies Co., Ltd. Specular reflection reduction using polarized light sources
CN110236694B (zh) * 2019-06-04 2021-09-10 广东欧谱曼迪科技有限公司 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11686847B2 (en) 2019-06-20 2023-06-27 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11291358B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11700995B2 (en) 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11012599B2 (en) * 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US20200397270A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11172810B2 (en) * 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US11284785B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system
US11141052B2 (en) 2019-06-20 2021-10-12 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11624830B2 (en) 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11788963B2 (en) 2019-06-20 2023-10-17 Cilag Gmbh International Minimizing image sensor input/output in a pulsed fluorescence imaging system
US11412152B2 (en) * 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11412920B2 (en) * 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11096565B2 (en) 2019-06-20 2021-08-24 Cilag Gmbh International Driving light emissions according to a jitter specification in a hyperspectral, fluorescence, and laser mapping imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11457154B2 (en) 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US20200397239A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
JP7358817B2 (ja) * 2019-07-24 2023-10-11 ソニーグループ株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20210404951A1 (en) * 2019-08-01 2021-12-30 Viavi Solutions Inc. Sensor device
JP7430778B2 (ja) 2019-08-05 2024-02-13 ジャイラス エーシーエムアイ インク ディー/ビー/エー オリンパス サージカル テクノロジーズ アメリカ レーザ療法の信号調整送達
EP3779554B1 (en) * 2019-08-14 2024-01-17 Leica Instruments (Singapore) Pte. Ltd. Optical beam splitter assembly, camera head, and microscope assembly
US20210052161A1 (en) * 2019-08-23 2021-02-25 Rebound Therapeutics Corporation Fluorescence imaging system
DE102019123053A1 (de) * 2019-08-28 2021-03-04 Olympus Winter & Ibe Gmbh Endoskop mit optischer Filteranordnung und Verwendung
US11808703B2 (en) * 2019-10-03 2023-11-07 The Regents Of The University Of California Fluorescence imitating brightfield imaging
KR102351249B1 (ko) * 2020-01-03 2022-01-14 한국과학기술원 분자 다중 이미징 방법 및 장치
US20210275039A1 (en) * 2020-03-04 2021-09-09 Cardiac Pacemakers, Inc. Body vibration analysis systems and methods
EP3882681A1 (en) * 2020-03-10 2021-09-22 Leica Instruments (Singapore) Pte. Ltd. A concept for a microscope system with an led-based illumination system
KR102404070B1 (ko) * 2020-09-25 2022-06-02 고려대학교 산학협력단 광섬유 번들을 이용하는 반사 내시현미경 및 이를 이용한 이미지 획득 방법
DE102021106836A1 (de) * 2020-10-02 2022-04-07 Karl Storz Se & Co. Kg Optisches Filtersystem für ein Video-Endoskop, Anzeigesystem und Video-Endoskop
DE102020131374B4 (de) 2020-11-26 2024-02-08 Dionex Softron Gmbh Fluoreszenzdetektion
DE102020132978A1 (de) * 2020-12-10 2022-06-15 Karl Storz Se & Co. Kg Erfassung von Bildern eines medizinischen Objekts in Weißlicht und Fluoreszenzlicht
DE102020132982A1 (de) 2020-12-10 2022-06-15 Karl Storz Se & Co. Kg Erfassung von Bildern eines medizinischen Objekts in Weißlicht und Fluoreszenzlicht
DE102020132951A1 (de) 2020-12-10 2022-06-15 Karl Storz Se & Co. Kg Erfassung von Bildern eines medizinischen Situs in Weißlicht und Fluoreszenzlicht
WO2022131224A1 (ja) * 2020-12-14 2022-06-23 国立大学法人徳島大学 内視鏡システム
CN113030038A (zh) * 2021-02-23 2021-06-25 北京理工大学 多波长荧光检测装置及方法
CN113456067B (zh) * 2021-06-24 2023-06-23 江西科莱富健康科技有限公司 体外血红蛋白浓度测量方法、系统及计算机设备
US20230351551A1 (en) * 2022-04-29 2023-11-02 Wisconsin Alumni Research Foundation Low-Light Video System
WO2024011209A2 (en) * 2022-07-08 2024-01-11 Blaze Bioscience, Inc. Engineered liquid crystal shutter as a dynamic long-pass optical filter
CN116725467B (zh) * 2023-03-31 2024-03-01 苏州宇懋医学科技有限公司 内窥镜装置、内窥镜医疗辅助系统及内窥镜图像处理方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3659918A (en) 1970-03-24 1972-05-02 Philips Corp Color separating prism system
JPH07163572A (ja) * 1993-12-16 1995-06-27 Matsushita Electric Ind Co Ltd 光化学診断装置
DE19612536A1 (de) * 1996-03-29 1997-10-02 Freitag Lutz Dr Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung
AU752829B2 (en) * 1998-01-26 2002-10-03 Brigham And Women's Hospital Fluorescence imaging endoscope
US6110106A (en) * 1998-06-24 2000-08-29 Biomax Technologies, Inc. Endoscopes and methods relating to direct viewing of a target tissue
US6727521B2 (en) 2000-09-25 2004-04-27 Foveon, Inc. Vertical color filter detector group and array
US7904139B2 (en) * 1999-08-26 2011-03-08 Non-Invasive Technology Inc. Optical examination of biological tissue using non-contact irradiation and detection
US6638668B2 (en) 2000-05-12 2003-10-28 Ocean Optics, Inc. Method for making monolithic patterned dichroic filter detector arrays for spectroscopic imaging
JP4896301B2 (ja) 2001-03-22 2012-03-14 オリンパス株式会社 走査型光学顕微鏡
JP3695340B2 (ja) * 2001-03-30 2005-09-14 株式会社日立製作所 Dna検査方法及びその装置並びに蛍光検出方法
US7352892B2 (en) * 2003-03-20 2008-04-01 Micron Technology, Inc. System and method for shape reconstruction from optical images
US20040225222A1 (en) 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
EP1859239B1 (en) * 2005-02-08 2017-09-06 Northrop Grumman Systems Corporation System and methods for use in detecting harmful aerosol particles
FR2882147B1 (fr) * 2005-02-14 2007-10-05 Commissariat Energie Atomique Dispositif d'imagerie de fluorescence par reflexion a deux longueurs d'onde
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
WO2007081410A2 (en) 2005-09-13 2007-07-19 True Materials Incorporated Encoded microparticles
US20130191368A1 (en) 2005-10-26 2013-07-25 c/o Cortica, Ltd. System and method for using multimedia content as search queries
EP1952106B1 (en) 2005-11-04 2014-08-27 George Themelis System for multispectral imaging
JP4679375B2 (ja) * 2006-01-25 2011-04-27 株式会社日立ハイテクノロジーズ キャピラリ電気泳動装置
US8270689B2 (en) 2006-09-12 2012-09-18 Carestream Health, Inc. Apparatus for caries detection
US20080062429A1 (en) * 2006-09-12 2008-03-13 Rongguang Liang Low coherence dental oct imaging
US8447087B2 (en) * 2006-09-12 2013-05-21 Carestream Health, Inc. Apparatus and method for caries detection
US20080104352A1 (en) * 2006-10-31 2008-05-01 Advanced Micro Devices, Inc. Memory system including a high-speed serial buffer
DE102006056429B3 (de) * 2006-11-28 2008-02-14 Leica Microsystems Cms Gmbh Lasermikroskop mit räumlich trennendem Strahlteiler
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
JP4954699B2 (ja) * 2006-12-28 2012-06-20 オリンパス株式会社 蛍光内視鏡システム
WO2009005748A1 (en) * 2007-06-29 2009-01-08 The Trustees Of Columbia University In The City Ofnew York Optical imaging or spectroscopy systems and methods
JP4993195B2 (ja) 2007-07-02 2012-08-08 株式会社イノアックコーポレーション ブロー成形品の穿孔方法とブロー成形用金型
US8098375B2 (en) * 2007-08-06 2012-01-17 Lumencor, Inc. Light emitting diode illumination system
JP2009122203A (ja) * 2007-11-12 2009-06-04 Shimadzu Corp 光学フィルタ、蛍光分析用フィルタセット及びその光学フィルタを用いた蛍光測定装置
US8849380B2 (en) * 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging
WO2013109966A1 (en) * 2012-01-20 2013-07-25 The Trustees Of Dartmouth College Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance
US8406859B2 (en) * 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP5342869B2 (ja) * 2008-12-22 2013-11-13 Hoya株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
JP2010273301A (ja) * 2009-05-25 2010-12-02 Pfu Ltd 画像読取装置
US9749607B2 (en) * 2009-07-16 2017-08-29 Digimarc Corporation Coordinated illumination and image signal capture for enhanced signal detection
WO2011048886A1 (ja) * 2009-10-20 2011-04-28 オリンパスメディカルシステムズ株式会社 蛍光観察装置
JP5562683B2 (ja) * 2010-03-03 2014-07-30 オリンパス株式会社 蛍光観察装置
EP2547992A4 (en) * 2010-03-17 2014-06-18 Haishan Zeng METHODS AND APPARATUS FOR QUICK MULTISPECTRAL IMAGING AND CANCER DETECTION AND LOCATION APPLICATIONS
JP5538072B2 (ja) * 2010-06-03 2014-07-02 株式会社日立ハイテクノロジーズ 欠陥検査方法およびその装置
JP5707758B2 (ja) 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
DE102010060121C5 (de) * 2010-10-22 2023-09-28 Leica Microsystems Cms Gmbh SPIM-Mikroskop mit sequenziellem Lightsheet
WO2012081618A1 (ja) 2010-12-14 2012-06-21 オリンパスメディカルシステムズ株式会社 撮像装置
WO2013148360A1 (en) * 2012-03-30 2013-10-03 Trustees Of Boston University Phase contrast microscopy with oblique back-illumination
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP5996287B2 (ja) * 2012-06-12 2016-09-21 オリンパス株式会社 撮像装置、顕微鏡装置、内視鏡装置
US10376148B2 (en) * 2012-12-05 2019-08-13 Accuvein, Inc. System and method for laser imaging and ablation of cancer cells using fluorescence
US9068949B2 (en) * 2013-02-04 2015-06-30 Purdue Research Foundation System and method for multiplex spectroscopic imaging
US9155474B2 (en) * 2013-08-14 2015-10-13 Omega Optical, Inc. System for multispectral imaging of fluorescence
EP4155716A1 (en) * 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230071469A (ko) * 2021-11-16 2023-05-23 한국광기술원 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치 및 그 제어방법
KR102624004B1 (ko) 2021-11-16 2024-01-11 한국광기술원 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치 및 그 제어방법

Also Published As

Publication number Publication date
CN106999021A (zh) 2017-08-01
US10684224B2 (en) 2020-06-16
WO2015185662A2 (en) 2015-12-10
EP3940371B1 (en) 2023-08-30
JP2017526899A (ja) 2017-09-14
CN106572792B (zh) 2020-03-06
US20170176336A1 (en) 2017-06-22
US10481095B2 (en) 2019-11-19
JP6728070B2 (ja) 2020-07-22
CA2951086A1 (en) 2015-12-10
FI3940371T3 (fi) 2023-11-20
CA2951075A1 (en) 2015-12-10
ES2964016T3 (es) 2024-04-03
EP3152549B1 (en) 2023-06-07
CN106999021B (zh) 2021-06-04
EP3152548A1 (en) 2017-04-12
WO2015185662A3 (en) 2016-07-21
DK3940371T3 (da) 2023-11-27
JP2017529514A (ja) 2017-10-05
WO2015185661A1 (en) 2015-12-10
EP3152549A2 (en) 2017-04-12
EP3940371A1 (en) 2022-01-19
CN106572792A (zh) 2017-04-19
EP3152548B1 (en) 2021-05-19
EP3152549C0 (en) 2023-06-07
US20170167980A1 (en) 2017-06-15
ES2883220T3 (es) 2021-12-07

Similar Documents

Publication Publication Date Title
JP6696912B2 (ja) マルチスペクトルイメージングのための方法及び手段
CN102036599B (zh) 用于组合的全色反射和近红外成像的成像系统
US20160262602A1 (en) Laparoscopic Cholecystectomy With Fluorescence Cholangiography
CN101744611B (zh) 用于光动力治疗和摄影检测的装置
JP5229723B2 (ja) 蛍光画像取得装置
EP2108943B1 (de) Vorrichtung und Verfahren zur Fluoreszenz-Bildgebung
US20110270092A1 (en) Combined apparatus for detection of multispectral optical image emitted from living body and for light therapy
US20070213593A1 (en) Endoscope system
US20120248333A1 (en) Device For Fluorescence Diagnosis
JP2006263044A (ja) 蛍光検出システム
JP2014087661A (ja) 画像化内視鏡と共に使用するフィルター
IL173288A (en) A device for detecting and characterizing biological tissue
JP2009039510A (ja) 撮像装置
CN104274146A (zh) 内窥镜系统及其工作方法
JP5489785B2 (ja) 蛍光内視鏡装置
KR102372602B1 (ko) 다파장 광원을 이용한 내시경 시스템
KR20210051192A (ko) 기능영상 제공 의료 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180523

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200423

R150 Certificate of patent or registration of utility model

Ref document number: 6696912

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250