KR20230162959A - 휴대용 초분광 시스템 - Google Patents
휴대용 초분광 시스템 Download PDFInfo
- Publication number
- KR20230162959A KR20230162959A KR1020237036771A KR20237036771A KR20230162959A KR 20230162959 A KR20230162959 A KR 20230162959A KR 1020237036771 A KR1020237036771 A KR 1020237036771A KR 20237036771 A KR20237036771 A KR 20237036771A KR 20230162959 A KR20230162959 A KR 20230162959A
- Authority
- KR
- South Korea
- Prior art keywords
- target
- hyperspectral
- capsule
- pixel
- imaging
- Prior art date
Links
- 239000002775 capsule Substances 0.000 claims abstract description 262
- 238000003384 imaging method Methods 0.000 claims abstract description 200
- 238000005286 illumination Methods 0.000 claims abstract description 149
- 238000012545 processing Methods 0.000 claims abstract description 122
- 238000000701 chemical imaging Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims description 109
- 238000001228 spectrum Methods 0.000 claims description 73
- 230000003287 optical effect Effects 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 31
- 239000012925 reference material Substances 0.000 claims description 24
- 230000005670 electromagnetic radiation Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 21
- 230000003595 spectral effect Effects 0.000 claims description 20
- 239000003086 colorant Substances 0.000 claims description 18
- 230000005855 radiation Effects 0.000 claims description 18
- 230000002262 irrigation Effects 0.000 claims description 11
- 238000003973 irrigation Methods 0.000 claims description 11
- 230000009747 swallowing Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 201000010099 disease Diseases 0.000 claims description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 27
- 210000003238 esophagus Anatomy 0.000 description 27
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000012216 screening Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 9
- 208000028299 esophageal disease Diseases 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 208000023514 Barrett esophagus Diseases 0.000 description 7
- 208000023665 Barrett oesophagus Diseases 0.000 description 7
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 7
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 7
- 201000004101 esophageal cancer Diseases 0.000 description 7
- 230000002496 gastric effect Effects 0.000 description 6
- 208000021302 gastroesophageal reflux disease Diseases 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 238000001839 endoscopy Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 208000019423 liver disease Diseases 0.000 description 4
- 206010058314 Dysplasia Diseases 0.000 description 3
- 208000000624 Esophageal and Gastric Varices Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 206010056091 Varices oesophageal Diseases 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000024170 esophageal varices Diseases 0.000 description 3
- 201000010120 esophageal varix Diseases 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 238000005755 formation reaction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000000813 small intestine Anatomy 0.000 description 3
- 210000005070 sphincter Anatomy 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 208000019505 Deglutition disease Diseases 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 206010039897 Sedation Diseases 0.000 description 2
- 208000036765 Squamous cell carcinoma of the esophagus Diseases 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 208000007276 esophageal squamous cell carcinoma Diseases 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011503 in vivo imaging Methods 0.000 description 2
- 238000007373 indentation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229920001296 polysiloxane Polymers 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000036280 sedation Effects 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000036764 Adenocarcinoma of the esophagus Diseases 0.000 description 1
- 241000239290 Araneae Species 0.000 description 1
- 229920002261 Corn starch Polymers 0.000 description 1
- 239000004593 Epoxy Substances 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 206010030137 Oesophageal adenocarcinoma Diseases 0.000 description 1
- 206010050171 Oesophageal dysplasia Diseases 0.000 description 1
- 208000008469 Peptic Ulcer Diseases 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 1
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 230000000202 analgesic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000008120 corn starch Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 208000028653 esophageal adenocarcinoma Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000011906 peptic ulcer disease Diseases 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 201000004193 respiratory failure Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000004094 surface-active agent Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00177—Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/01—Guiding arrangements therefore
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0615—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for radial illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0623—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
- A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
- A61B5/6861—Capsules, e.g. for swallowing or implanting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0256—Compact construction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0291—Housings; Spectrometer accessories; Spatial arrangement of elements, e.g. folded path arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/02—Mechanical
- G01N2201/022—Casings
- G01N2201/0221—Portable; cableless; compact; hand-held
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/062—LED's
- G01N2201/0627—Use of several LED's for spectral resolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/126—Microprocessor processing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Endoscopes (AREA)
Abstract
캡슐 초분광 시스템은 이미징 캡슐 - 이미징 캡슐은 이미징 캡슐로부터 복수의 상이한 라이팅 조명들을 방출하도록 구성된 복수의 광 방출기들을 갖는 조명 시스템, 및 적어도 하나의 이미징 센서를 갖는 초분광 이미징 시스템을 갖고, 조명 시스템 및 초분광 이미징 시스템은 상이한 라이팅 조명들의 시퀀스로 타겟을 조명하고 시퀀스에서의 상이한 라이팅 조명들 각각 동안 타겟을 이미징하도록 협력적으로 구성됨 -, 및 적어도 하나의 프로세서를 갖는 초분광 처리 시스템을 포함할 수 있고, 초분광 처리 시스템은 초분광 이미징 시스템과 동작가능하게 결합되고, 그로부터 타겟의 이미지들을 수신하고 타겟의 수신된 이미지들로부터 타겟의 다중스펙트럼 반사율 데이터 큐브를 생성하도록 구성된다.
Description
본 개시내용은 휴대용 초분광 시스템(portable hyperspectral system)에 관한 것이다. 본 개시내용은 또한 캡슐 초분광 시스템(capsule hyperspectral system)에 관한 것이다. 본 개시내용은 또한 테더링된 이미징 캡슐(tethered imaging capsule) 및 초분광 이미징 시스템(hyperspectral imaging system)을 갖는 캡슐 초분광 시스템에 관한 것이다.
이전에, 객체들, 샘플들 또는 특징들의 검사, 특성화 및 분류가 다양한 분야들에서 수행되었다. 빈번하게, 이러한 액션은 사람 눈 가시 스펙트럼 범위(human-eye visible spectral range)에서 적색, 녹색 및 청색(RGB) 채널들을 갖는 컬러 카메라를 이용하는 타겟의 이미징을 통해 수행될 수 있다. 다수의 애플리케이션들은 너무 유사한 RGB 값들을 갖는 특징들의 구별을 요구할 수 있다. 초분광 이미징 시스템들은, 이미징을 RGB 한계를 넘어 다수의 스펙트럼 채널들로 확장한다. 이러한 추가된 치수는 객체들을 검사, 특성화 및 분류하는 능력들을 확장한다.
전형적인 초분광 이미징 시스템은, (예를 들어, 종종 2020년에 US $40,000으로부터 시작하는) 비싼 이미징 디바이스를 요구하며, 전형적으로, (예를 들어, 1 세제곱 인치로부터 시작하는) 더 큰 풋프린트(footprint)는 긴 분석(예를 들어, 이미지당 수 분(minutes per image)) 및 큰 계산 능력들과 결합된다. 그러한 시스템들은 높은 전력, 긴 처리 시간 및 상당한 공간 요건들을 가질 수 있다. 한편, 휴대용 실시간 동작을 가능하게 하는 저전력 디바이스는 응용들의 범위를 다수의 응용들로 증가시킬 수 있다.
초분광 이미징 시스템에 대한 일부 예시적인 이용 사례는 다음을 포함한다. 초분광 이미징 시스템들은 현장의 제품들의 건강, 성숙 또는 품질을 평가할 수 있는 농업 검사들을 수행하는 데 이용될 수 있다. 초분광 이미징 시스템들을 이용하는 풍경 매핑 및 측량 디바이스들(landscape mapping and survey devices)은 실시간 초분광 평가를 위해 무인 항공기들(unmanned air vehicles)에 장착될 수 있다. 환경 모니터링을 위해 구성된 초분광 이미징 시스템들은 연속적인 저에너지 분석을 위해 정적 어셈블리 상에 장착될 수 있다. 공중 및 건강 안전(public and health safety)을 연구하기 위해, 초분광 이미징 시스템이 자동화된 또는 수동 스크리닝 디바이스들 상에 조립될 수 있다. 포렌식(forensics)은 초분광 이미징 시스템을 이용하여 지폐와 같은 물품의 진위(authenticity)를 검출할 수 있다. 로보틱스(robotics)는 비전을 요구하는 자동화된 동작들에서 정확도를 증가시키기 위해 초분광 이미징 시스템들을 이용한다. 자율 차량들은 초분광 이미징 시스템들을 이용함으로써 가깝게 매칭되는 컬러들을 갖는 도로들, 거리들, 객체들의 검출을 개선시킬 수 있다. 헤드업 디스플레이들은 초분광 이미징을 갖는 저광 조건들에서 향상된 고속, 고감도 비전을 가능하게 할 수 있다. 의료 진단들은 질병의 초기 스테이지들을 검출하여 환자 결과를 개선시키기 위해 초분광 이미징 시스템들을 이용할 수 있다.
암 검출을 위한 초분광 이미징 시스템들의 이용은 건강 관리에 상당한 영향을 미칠 수 있다. 예를 들어, 남성의 경우 17.9의 그리고 여성의 경우 6.8의 (100,000명 당) 식도암(Esophageal cancer)(EC) 발생률을 갖는 동아시아가 암 검출을 위해 초분광 이미징 시스템들을 이용할 수 있는 가장 큰 시장일 수 있다. 식도 스크리닝(esophageal screening)는 중국에서 이미 테스트되었고, 스크리닝되지 않은 환자들에 비해 스크리닝된 환자들에 대해 사망 위험률(mortality risk rate)의 47% 감소를 나타내었다. 덜 침습적이고, 신속하고, 저렴한 스크리닝 디바이스는 조기 검출의 가능성을 증가시켜, 더 양호한 환자 결과들 및 제공자들에 대한 더 낮은 비용을 야기할 수 있는 것으로 생각된다.
식도 질병의 예로서, EC는 종종 질병 과정에서 늦을 때까지 증상 없이(asymptomatic) 유지되어, 효율적인 스크리닝 절차의 중요성을 강조한다. 내시경 검사(endoscopy)는 개인들이 높은 위험에 처하거나 증상을 입지 않는 한 의사들에 의해 종종 추천되지 않는다. 오늘날 이용되는 가장 흔한 스크리닝 절차는 상부 위장(gastro-intestinal)(GI) 내시경 검사이다. 절차는 카메라 및 광을 포함하는 두껍고 유연한 튜브를 환자의 목 아래에 삽입하는 것을 포함한다. FDA 승인된 내시경 검사는 대략 US $40,000(2015년)과 이미지 프로세서 유닛에 대한 추가 US $25,000의 비용이 든다. 의사들은 이후 식도의 라이닝(lining)을 검사하고, 추가의 테스팅이 필요한지의 여부를 평가할 수 있다. 내시경의 크고 침습적인 성질로 인해, 스크리닝 전체 동안 깊은 진정(deep sedation)이 요구되고, 따라서 이러한 절차를 스크리닝에 불편하게 한다. 부분적으로, 이는 깊은 진정이 호흡 부전(respiratory failure)의 위험을 수반하여, 훈련된 인력에 의한 사전 및 사후 절차적 작업 및 관찰을 요구하기 때문이다. 따라서, 이러한 절차는 장비 비용들 및 요구되는 진정 절차의 관점에서 비용이 많이 든다.
또한, 예시적인 저해상도 하드웨어가 PCT 출원 WO/2015/157727에 개시되어 있으며, 본 개시의 내용은 그 전체가 본 명세서에 포함된다.
앞의 내용에 비추어, 식도 및/또는 간 질병의 진단 뿐만 아니라 기타의 이용을 위한 저렴하고 효율적인 방법들을 제공할 수 있는 본 개시내용의 초분광 이미징 시스템들을 갖는 것이 유익할 수 있다.
일부 실시예들에서, 본 개시내용은 내시경 시스템(endoscopy system)에 관한 것이다. 일부 양태들에서, 내시경 시스템은 캡슐 초분광 시스템에 관한 것이다. 일부 양태들에서, 캡슐 초분광 시스템은 테더링된 이미징 캡슐 및 초분광 이미징 시스템을 포함할 수 있다.
일부 실시예들에서, 캡슐 초분광 시스템은 이미징 캡슐 - 이미징 캡슐은 이미징 캡슐로부터 복수의 상이한 라이팅 조명들(lighting illuminations)을 방출하도록 구성된 복수의 광 방출기들(light emitters)을 갖는 조명 시스템(illumination system), 및 적어도 하나의 이미징 센서를 갖는 초분광 이미징 시스템을 갖고, 조명 시스템 및 초분광 이미징 시스템은 상이한 라이팅 조명들의 시퀀스로 타겟을 조명하고 시퀀스에서의 상이한 라이팅 조명들 각각 동안 타겟을 이미징하도록 협력적으로 구성됨 -, 및 적어도 하나의 프로세서를 갖는 초분광 처리 시스템 - 초분광 처리 시스템은 초분광 이미징 시스템과 동작가능하게 결합되고, 그로부터 타겟의 이미지들을 수신하고 타겟의 수신된 이미지들로부터 타겟의 다중스펙트럼 반사율 데이터 큐브(multispectral reflectance data cube)를 생성하도록 구성됨 - 을 포함할 수 있다. 일부 양태들에서, 테더(tether)는 이미징 캡슐에 결합된 캡슐 단부 및 초분광 처리 시스템에 결합된 시스템 단부를 갖는다. 테더는 초분광 이미징 시스템 및 초분광 처리 시스템과 통신가능하게 결합되어 이들 사이에서 데이터를 전달할 수 있다. 일부 양태들에서, 조명 시스템은 적어도 하나의 LED는 백색 광 LED이고/이거나, 적어도 2개의 LED는 상이한 컬러 대역들을 갖는 컬러 LED들인 것과 같은, 적어도 3개의 상이한 컬러 대역을 갖는 적어도 3개의 LED를 포함한다. 이것은 적어도 2개의 백색 광 LED 및 적어도 2개의 상이한 컬러 대역을 갖는 적어도 4개의 컬러 LED를 포함하는 적어도 6개의 LED와 같은, 복수의 LED들의 균일하게 배열된 어레이를 포함할 수 있다.
일부 실시예들에서, 각각의 LED의 방출 파장은 건강한 조직 상의 백색 및/또는 분홍색을 띤(pinkish) 표면 및 건강하지 않은 조직 상의 적색 표면이 가시적으로 식별되고 서로 구별될 수 있도록 선택된다.
일부 실시예들에서, 적어도 하나의 이미징 센서 및 복수의 광 방출기들은 플레이트 상에 배열되고 동일한 방향으로 배향된다.
일부 실시예들에서, 초분광 이미징 시스템은 고정된 렌즈 시스템, 분리가능한 렌즈 시스템, 교체가능한 렌즈 시스템 또는 교환가능한 렌즈 시스템인 렌즈 시스템을 포함한다. 일부 양태들에서, 렌즈 시스템은 적어도 약 90도 및 약 360도 미만 또는 약 120도 내지 약 180도의 범위의 시야(field of view)(FOV)를 갖는 적어도 하나의 렌즈를 갖는다. 일부 양태들에서, 초분광 이미징 시스템은 광학 렌즈, 광학 필터, 분산 광학계 시스템(dispersive optic system), 또는 이들의 조합을 포함한다. 일부 양태들에서, 초분광 이미징 시스템은 제1 광학 렌즈, 제2 광학 렌즈, 및 이색 미러/빔 스플리터(dichroic mirror/beam splitter)를 포함한다. 일부 양태들에서, 초분광 이미징 시스템은 광학 렌즈, 분산 광학계를 포함하고, 적어도 하나의 이미징 센서는 광학 검출기 어레이이다.
일부 실시예들에서, 적어도 하나의 이미징 센서는 이미징 캡슐의 중심 축에 대해 중심을 벗어난 위치(off-centered position)에 위치된다. 일부 양태들에서, 적어도 하나의 이미징 센서는 중심 축에서 약 10도 내지 약 35도 벗어나 위치된다. 일부 양태들에서, 초분광 이미징 시스템은 캡슐의 광학 유입구(optical inlet)와 적어도 하나의 이미징 센서 사이에 배치된 광학 필터링 시스템을 추가로 포함한다. 일부 양태들에서, 광학 필터링 시스템은 중간값 필터(median filter)와 같은 잡음제거 필터(denoising filter)를 포함한다.
일부 실시예들에서, 이미징 캡슐은 캡슐 커버를 포함하고, 캡슐 커버는 외부 표면 상에 텍스처(texture)를 갖는다. 일부 양태들에서, 텍스처는 적어도 하나의 딤플(dimple)을 포함하고, 적어도 하나의 딤플은 환자가 테더링된 이미징 캡슐을 쉽게 삼킬 수 있도록 구성된다. 일부 양태들에서, 텍스처는 적어도 하나의 채널을 포함하고, 적어도 하나의 채널은 환자가 테더링된 이미징 캡슐을 쉽게 삼킬 수 있도록 구성된다.
일부 실시예들에서, 디스플레이는 초분광 처리 시스템과 동작가능하게 결합되고, 여기서, 조명 시스템은 적어도 하나의 이미징 센서가 이미징된 타겟을 디스플레이 상에 디스플레이하도록 교정된다.
일부 실시예들에서, 캡슐은 적어도 하나의 이미징 센서의 이미징 및 상이한 라이팅 조명들의 시퀀스를 제어하도록 구성된 (예를 들어, 조명 시스템 또는 초분광 이미징 시스템에서의) 제어 시스템을 포함한다.
일부 실시예들에서, 초분광 처리 시스템은 제어 시스템, 메모리 및 디스플레이를 포함하고, 여기서, 제어 시스템은, 다중스펙트럼 반사율 데이터 큐브의 생성, 다중스펙트럼 반사율 데이터 큐브의 메모리로의 저장을 야기하고, 다중스펙트럼 반사율 데이터 큐브 또는 그 이미지 표현을 디스플레이 상에 디스플레이하도록 구성된다.
일부 실시예들에서, 적어도 하나의 광학 검출기는, 타겟 상의 적어도 하나의 물리적 포인트에 의해 흡수, 송신, 굴절, 반사, 및/또는 방출되는 타겟 전자기 방사(target electromagnetic radiation)를 검출하고 - 타겟 방사는 적어도 2개의 타겟 파(target wave)를 포함하고, 각각의 타겟 파는 강도 및 고유 파장을 가짐 -; 각각의 타겟 파의 강도 및 파장을 검출하고; 검출된 타겟 전자기 방사, 및 각각의 타겟 파의 검출된 강도 및 파장을 초분광 처리 시스템에 송신하는 구성을 갖는다. 일부 양태들에서, 초분광 처리 시스템은, 검출된 타겟 전자기 방사를 이용하여 타겟의 타겟 이미지를 형성하고 - 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 타겟 상의 하나의 물리적 포인트에 대응함 -; 각각의 타겟 파의 검출된 강도 및 파장을 이용하여 각각의 픽셀에 대한 적어도 하나의 강도 스펙트럼을 형성하고; 각각의 픽셀에 대한 적어도 하나의 강도 스펙트럼으로부터 다중스펙트럼 반사율 데이터 큐브를 생성하는 구성을 갖는다. 일부 양태들에서, 초분광 처리 시스템은, 푸리에 변환을 이용하여 각각의 픽셀의 형성된 강도 스펙트럼을 각각의 픽셀의 강도 스펙트럼에 기초한 복소수 값 함수(complex-valued function)로 변환하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -; 각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 실수 성분 및 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하고; 각각의 픽셀의 잡음제거된 허수 값에 대해 잡음제거된 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면(phasor plane) 상에 하나의 페이저 포인트를 형성하고; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 페이저 포인트를 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 대응하는 픽셀에 할당하고; 할당된 임의의 컬러에 기초하여 타겟의 혼합되지 않은 컬러 이미지를 생성하는 구성을 갖는다. 일부 양태들에서, 초분광 처리 시스템은, 타겟의 혼합되지 않은 컬러 이미지를 초분광 처리 시스템의 디스플레이 상에 디스플레이하는 구성을 갖는다. 일부 양태들에서, 초분광 처리 시스템은 푸리에 변환의 제1 고조파만 또는 제2 고조파만을 이용하여 타겟의 혼합되지 않은 컬러 이미지를 생성한다. 일부 양태들에서, 초분광 처리 시스템은 푸리에 변환의 제1 고조파 및 제2 고조파만을 이용하여 타겟의 혼합되지 않은 컬러 이미지를 생성한다. 일부 양태들에서, 타겟 방사는 형광 파장들(fluorescent wavelengths); 또는 적어도 4개의 파장 중 적어도 하나를 포함한다. 일부 양태들에서, 초분광 처리 시스템은 1.2 내지 50 범위 내의 적어도 하나의 스펙트럼의 신호 대 잡음비에서 타겟의 혼합되지 않은 컬러 이미지를 형성하도록 구성된다. 일부 양태들에서, 초분광 처리 시스템은 2 내지 50의 범위 내의 적어도 하나의 스펙트럼의 신호 대 잡음비에서 타겟의 혼합되지 않은 컬러 이미지를 형성한다. 일부 양태들에서, 초분광 처리 시스템은 참조 재료(reference material)를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 갖는다.
일부 실시예들에서, 초분광 처리 시스템은 참조 재료를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 가지며, 여기서, 참조 재료의 혼합되지 않은 컬러 이미지는 타겟의 혼합되지 않은 컬러 이미지의 생성 이전에 생성된다. 일부 양태들에서, 초분광 처리 시스템은 참조 재료를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 가지며, 여기서, 참조 재료의 혼합되지 않은 컬러 이미지는 타겟의 혼합되지 않은 컬러 이미지의 생성 이전에 생성되고, 참조 재료는, 물리적 구조, 화학적 분자, 생물학적 분자, 질병에 의해 야기된 물리적 변화 및/또는 생물학적 변화, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 조명 시스템 및 초분광 이미징 시스템은 제1 라이팅 조명으로 참조 타겟을 조명하고; 제1 라이팅 조명 동안 참조 타겟을 이미징하고; 제1 라이팅 조명과 상이한 제2 라이팅 조명으로 참조 타겟을 조명하고; 제2 라이팅 조명 동안 참조 타겟을 이미징하고; 제1 라이팅 조명 및 제2 라이팅 조명과 상이한 제3 라이팅 조명으로 참조 타겟을 조명하고; 제3 라이팅 조명 동안 참조 타겟을 이미징하도록 협력적으로 구성된다. 일부 양태들에서, 제3 라이팅 조명은 백색 광 조명이다. 일부 양태들에서, 참조 타겟은 컬러 표준 이미지를 포함한다. 일부 양태들에서, 제1 라이팅 조명, 제2 라이팅 조명, 및 제3 라이팅 조명 각각은 적어도 2개의 LED에 의한 조명을 포함한다.
일부 실시예들에서, 초분광 처리 시스템은 이미지들의 각각의 픽셀에 대한 스펙트럼을 획득하고; 각각의 픽셀의 스펙트럼으로부터 변환 행렬을 생성하는 구성을 갖는다.
일부 실시예들에서, 조명 시스템 및 초분광 이미징 시스템은 제1 라이팅 조명으로 타겟을 조명하고; 제1 라이팅 조명 동안 타겟을 이미징하고; 제2 라이팅 조명으로 타겟을 조명하고; 제2 라이팅 조명 동안 타겟을 이미징하고; 제3 라이팅 조명으로 타겟을 조명하고; 제3 라이팅 조명 동안 참조 타겟을 이미징하도록 협력적으로 구성된다. 일부 양태들에서, 초분광 처리 시스템은, 변환 행렬 및 제1 라이팅 조명, 제2 라이팅 조명, 및 제3 라이팅 조명 동안에 획득된 타겟의 이미지들로부터 다중스펙트럼 반사율 데이터 큐브를 생성하는 구성을 갖는다. 일부 양태들에서, 다중스펙트럼 반사율 데이터 큐브는 타겟의 이미지들을 이용한 의사-역 방법(pseudo-inverse method)으로부터 획득된다.
일부 실시예들에서, 컴퓨터 방법은 이미징 캡슐의 조명 시스템으로 타겟의 조명을 야기하는 단계; 이미징 캡슐의 적어도 하나의 이미징 센서로부터 타겟 상의 적어도 하나의 물리적 포인트에 의해 흡수, 송신, 굴절, 반사 및/또는 방출되는 검출된 타겟 전자기 방사를 수신하는 단계 - 타겟 방사는 적어도 2개의 타겟 파를 포함하고, 각각의 타겟 파는 강도 및 고유 파장을 가짐 -; 및 이미징 캡슐로부터의 검출된 타겟 전자기 방사 및 각각의 타겟 파의 검출된 강도 및 파장을 초분광 처리 시스템에 송신하는 단계를 포함할 수 있다.
일부 실시예들에서, 컴퓨터 방법은 초분광 처리 시스템이, 검출된 타겟 전자기 방사를 이용하여 타겟의 타겟 이미지를 형성하는 것 - 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 타겟 상의 하나의 물리적 포인트에 대응함 -; 각각의 타겟 파의 검출된 강도 및 파장을 이용하여 각각의 픽셀에 대한 적어도 하나의 강도 스펙트럼을 형성하는 것; 및 각각의 픽셀에 대한 적어도 하나의 강도 스펙트럼으로부터 다중스펙트럼 반사율 데이터 큐브를 생성하는 것을 수행하는 단계를 포함할 수 있다.
일부 실시예들에서, 컴퓨터 방법은 초분광 처리 시스템이, 푸리에 변환을 이용하여 각각의 픽셀의 형성된 강도 스펙트럼을 각각의 픽셀의 강도 스펙트럼에 기초한 복소수 값 함수로 변환하는 것 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -; 각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 실수 성분 및 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하는 것; 각각의 픽셀의 잡음제거된 허수 값에 대해 잡음제거된 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하는 것; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 페이저 포인트를 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하는 것; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 대응하는 픽셀에 할당하는 것; 및 할당된 임의의 컬러에 기초하여 타겟의 혼합되지 않은 컬러 이미지를 생성하는 것을 수행하는 단계를 포함한다. 일부 양태들에서, 초분광 처리 시스템은 타겟의 혼합되지 않은 컬러 이미지를 초분광 처리 시스템의 디스플레이 상에 디스플레이하게 하도록 구성된다.
일부 실시예들에서, 컴퓨터 방법은 이미징 캡슐로부터 방출된 제1 라이팅 조명으로 참조 타겟의 조명을 야기하는 단계; 제1 라이팅 조명 동안 이미징 캡슐로 참조 타겟의 이미지를 획득하는 단계; 이미징 캡슐로부터 방출된 제2 라이팅 조명으로 참조 타겟의 조명을 야기하는 단계; 제2 라이팅 조명 동안 이미징 캡슐로 참조 타겟의 이미지를 획득하는 단계; 이미징 캡슐로부터 방출된 제3 라이팅 조명으로 참조 타겟의 조명을 야기하는 단계; 및 제3 라이팅 조명 동안 이미징 캡슐로 참조 타겟의 이미지를 획득하는 단계를 포함할 수 있다. 일부 양태들에서, 컴퓨터 방법은 이미지들의 각각의 픽셀에 대한 스펙트럼을 획득하는 단계; 및 각각의 픽셀의 스펙트럼으로부터 변환 행렬을 생성하는 단계를 포함할 수 있다. 일부 양태들에서, 컴퓨터 방법은 이미징 캡슐로부터의 제1 라이팅 조명으로 타겟의 조명을 야기하는 단계; 제1 라이팅 조명 동안 이미징 캡슐로 타겟의 이미지를 획득하는 단계; 이미징 캡슐로부터의 제2 라이팅 조명으로 타겟의 조명을 야기하는 단계; 제2 라이팅 조명 동안 이미징 캡슐로 타겟의 이미지를 획득하는 단계; 이미징 캡슐로부터의 제3 라이팅 조명으로 타겟의 조명을 야기하는 단계; 및 제3 라이팅 조명 동안 이미징 캡슐로 참조 타겟의 이미지를 획득하는 단계를 포함할 수 있다. 일부 양태들에서, 초분광 처리 시스템은 변환 행렬 및 제1 라이팅 조명, 제2 라이팅 조명, 및 제3 라이팅 조명 동안에 획득된 타겟의 이미지들로부터 다중스펙트럼 반사율 데이터 큐브를 생성하는 구성을 갖는다. 일부 양태들에서, 다중스펙트럼 반사율 데이터 큐브는 타겟의 이미지들을 이용한 의사-역 방법으로부터 획득된다.
전술한 개요는 예시적일 뿐이며, 어떠한 방식으로든 제한하는 것으로 의도되지 않는다. 전술한 예시적인 양태들, 실시예들, 및 특징들에 부가하여, 추가의 양태들, 실시예들, 및 특징들이 도면들 및 이하의 상세한 설명을 참조함으로써 명백하게 될 것이다.
본 개시내용의 전술한 및 다음의 정보뿐만 아니라 다른 특징들은 첨부 도면들과 관련하여 취해진 다음의 설명 및 첨부된 청구항들로부터 더 완전히 명백해질 것이다. 이들 도면들은 본 개시내용에 따른 수 개의 실시예들만을 도시하므로, 본 개시내용의 범위를 제한하는 것으로 간주되어서는 안 된다는 것을 이해하면서, 본 개시내용은 첨부된 도면들의 이용을 통해 추가의 구체성 및 상세사항과 함께 설명될 것이다.
도 1a는 이미징 캡슐 및 초분광 처리 시스템을 포함하는 캡슐 초분광 시스템의 개략도를 포함한다.
도 1b는 이미징 캡슐의 실시예의 개략적인 단면도를 포함한다.
도 1c는 이미징 캡슐의 실시예의 개략적인 단면도를 포함한다.
도 1d는 드론에 테더링된 이미징 캡슐의 예시를 포함한다.
도 1e는 지상 차량으로서 구성된 이미징 캡슐의 예시를 포함한다.
도 1f는 소형 크레인에 테더링된 이미징 캡슐의 예시를 포함한다.
도 2a는 이미징 센서 및 LED들의 어레이를 갖는 캡슐의 프론트 엔드 플레이트의 개략도를 포함한다.
도 2b는 2개의 이미징 센서 및 LED들의 어레이를 갖는 캡슐의 프론트 엔드 플레이트의 개략도를 포함한다.
도 2c는 이미징 센서들 및 LED들의 어레이를 갖는 캡슐의 테더링된 엔드 플레이트의 개략도를 포함한다.
도 2d는 2개의 이미징 센서들 및 LED들의 어레이를 갖는 캡슐의 테더링된 엔드 플레이트의 개략도를 포함한다.
도 3a는 이미징 센서 및 LED들의 어레이를 갖는 캡슐의 측면 플레이트의 개략도를 포함한다.
도 3b는 2개의 이미징 센서들 및 LED들의 어레이를 갖는 캡슐의 측면 플레이트의 개략도를 포함한다.
도 4a는 텍스처 커버에 만입부(indentation)를 갖는 캡슐의 실시예의 테더 단부도를 포함한다.
도 4b는 텍스처 커버에 만입부를 갖는 캡슐의 실시예의 측면도를 포함한다.
도 4c는 텍스처 커버에 채널들을 갖는 캡슐의 실시예의 테더 단부도를 포함한다.
도 4d는 텍스처 커버에 채널들을 갖는 캡슐의 실시예의 측면도를 포함한다.
도 5는 이미징 캡슐 및 초분광 처리 시스템을 이용하여 이미지들을 초분광 혼합되지 않은 컬러 이미지로 변환하기 위한 프로토콜의 흐름도를 포함한다.
도 6은 다중스펙트럼 반사율 데이터 큐브를 생성하기 위한 작업 흐름의 개략도를 포함한다.
도 7a는 정상 백색 광 조명 하에서의 식도를 보여주는 이미지(예를 들어, 다중스펙트럼 반사율 데이터 큐브의 표현)를 포함한다.
도 7b는 거짓 컬러(false-color) 초분광 페이저 이미지에서의 식도를 보여주는 이미지를 포함한다.
도 7c는 식도의 대응하는 G-S 히스토그램(예를 들어, 페이저 플롯)을 보여주는 그래프를 포함한다.
도 8a는 정상 백색 광 조명 하에서의 장(intestine)을 보여주는 이미지(예를 들어, 다중스펙트럼 반사율 데이터 큐브의 표현)를 포함한다.
도 8b는 거짓 컬러 초분광 페이저 이미지에서의 장을 보여주는 이미지를 포함한다.
도 8c는 장의 대응하는 G-S 히스토그램(예를 들어, 페이저 플롯)을 보여주는 그래프를 포함한다.
도 9는 본 발명의 시스템들 및 방법들에서 이용될 수 있는 컴퓨팅 디바이스의 개략도를 포함한다.
도면들 내의 요소들 및 컴포넌트들은 본 명세서에 설명된 실시예들 중 적어도 하나에 따라 배열될 수 있고, 그 배열은 본 기술분야의 통상의 기술자에 의해 본 명세서에 제공된 개시내용에 따라 수정될 수 있다.
도 1a는 이미징 캡슐 및 초분광 처리 시스템을 포함하는 캡슐 초분광 시스템의 개략도를 포함한다.
도 1b는 이미징 캡슐의 실시예의 개략적인 단면도를 포함한다.
도 1c는 이미징 캡슐의 실시예의 개략적인 단면도를 포함한다.
도 1d는 드론에 테더링된 이미징 캡슐의 예시를 포함한다.
도 1e는 지상 차량으로서 구성된 이미징 캡슐의 예시를 포함한다.
도 1f는 소형 크레인에 테더링된 이미징 캡슐의 예시를 포함한다.
도 2a는 이미징 센서 및 LED들의 어레이를 갖는 캡슐의 프론트 엔드 플레이트의 개략도를 포함한다.
도 2b는 2개의 이미징 센서 및 LED들의 어레이를 갖는 캡슐의 프론트 엔드 플레이트의 개략도를 포함한다.
도 2c는 이미징 센서들 및 LED들의 어레이를 갖는 캡슐의 테더링된 엔드 플레이트의 개략도를 포함한다.
도 2d는 2개의 이미징 센서들 및 LED들의 어레이를 갖는 캡슐의 테더링된 엔드 플레이트의 개략도를 포함한다.
도 3a는 이미징 센서 및 LED들의 어레이를 갖는 캡슐의 측면 플레이트의 개략도를 포함한다.
도 3b는 2개의 이미징 센서들 및 LED들의 어레이를 갖는 캡슐의 측면 플레이트의 개략도를 포함한다.
도 4a는 텍스처 커버에 만입부(indentation)를 갖는 캡슐의 실시예의 테더 단부도를 포함한다.
도 4b는 텍스처 커버에 만입부를 갖는 캡슐의 실시예의 측면도를 포함한다.
도 4c는 텍스처 커버에 채널들을 갖는 캡슐의 실시예의 테더 단부도를 포함한다.
도 4d는 텍스처 커버에 채널들을 갖는 캡슐의 실시예의 측면도를 포함한다.
도 5는 이미징 캡슐 및 초분광 처리 시스템을 이용하여 이미지들을 초분광 혼합되지 않은 컬러 이미지로 변환하기 위한 프로토콜의 흐름도를 포함한다.
도 6은 다중스펙트럼 반사율 데이터 큐브를 생성하기 위한 작업 흐름의 개략도를 포함한다.
도 7a는 정상 백색 광 조명 하에서의 식도를 보여주는 이미지(예를 들어, 다중스펙트럼 반사율 데이터 큐브의 표현)를 포함한다.
도 7b는 거짓 컬러(false-color) 초분광 페이저 이미지에서의 식도를 보여주는 이미지를 포함한다.
도 7c는 식도의 대응하는 G-S 히스토그램(예를 들어, 페이저 플롯)을 보여주는 그래프를 포함한다.
도 8a는 정상 백색 광 조명 하에서의 장(intestine)을 보여주는 이미지(예를 들어, 다중스펙트럼 반사율 데이터 큐브의 표현)를 포함한다.
도 8b는 거짓 컬러 초분광 페이저 이미지에서의 장을 보여주는 이미지를 포함한다.
도 8c는 장의 대응하는 G-S 히스토그램(예를 들어, 페이저 플롯)을 보여주는 그래프를 포함한다.
도 9는 본 발명의 시스템들 및 방법들에서 이용될 수 있는 컴퓨팅 디바이스의 개략도를 포함한다.
도면들 내의 요소들 및 컴포넌트들은 본 명세서에 설명된 실시예들 중 적어도 하나에 따라 배열될 수 있고, 그 배열은 본 기술분야의 통상의 기술자에 의해 본 명세서에 제공된 개시내용에 따라 수정될 수 있다.
이하의 상세한 설명에서는, 본 명세서의 일부를 형성하는 첨부 도면들을 참조한다. 도면들에서, 문맥이 달리 지시하지 않는 한, 유사한 기호들은 전형적으로 유사한 컴포넌트들을 식별한다. 상세한 설명, 도면들, 및 청구항들에서 설명된 예시적인 실시예들은 제한하려는 것이 아니다. 본 명세서에 제시된 주제의 사상 또는 범위를 벗어나지 않고, 다른 실시예들이 이용될 수 있고, 다른 변경들이 이루어질 수 있다. 본 명세서에서 일반적으로 설명되고 도면들에 도시된 바와 같은 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리 및 설계될 수 있으며, 이들 모두는 본 명세서에서 명시적으로 고려된다는 것을 쉽게 이해할 것이다.
본 발명은 컬러 광 및 백색 광 및 목구멍 조직들(throat tissues)과 같은 조직들의 초분광 기반 스크리닝(hyperspectral-based screening)을 위해 개발된 소형, 저비용, 테더링된 내시경에 관한 것이다. 테더링된 내시경은 식도 질병들을 시각화 및 진단하기 위해 이용될 수 있도록 삼켜질 수 있다. 단일 이용 또는 제한된 수의 이용을 위해 설계될 수 있는 이 테더링된 이미징 캡슐은 전문가(예를 들어, 위장 전문의에 의한 식도 내시경 검사)를 참조하기 전에 일차 건강 관리 상황들에서 의료 보조원들, 간호사들 또는 의사들에 의한 이용을 위해 의도될 수 있다. 이 설계의 기술적 이점은 식도 질병들에 대한 스크리닝 프로세스의 개선된 전체 효능을 제공한다. 그러나, 이미징 캡슐은 테더링되지 않을 수 있거나, 드론, 지상 차량, 또는 크레인과 같은 머신뿐만 아니라 다른 것들과 결합될 수 있다. 캡슐의 크기는 삼켜질 정도로 충분히 작고, 그에 의해 머신들의 크기는 작은 공간들에 맞도록 동일하게 작을 수 있다.
예시적인 캡슐 초분광 시스템은 테더링된 이미징 캡슐, 테더, 광 조명 시스템(예를 들어, 컬러 및 백색 광들), 초분광 이미징 시스템, 및 초분광 처리 시스템을 포함할 수 있다. 예시적인 광 조명 시스템은 LED 조명 시스템을 포함할 수 있다. 일부 양태들에서, 캡슐은 타겟("조명 소스")을 조명하기 위해 적어도 3개의 광 소스를 포함할 수 있는데, 여기서 2개는 컬러일 수 있고, 3번째는 백색이며, 조명 소스는 3개의 광 소스 각각에 대해 적어도 하나의 파("조명 파") 또는 대역을 포함하는 전자기 방사("조명 소스 방사")를 생성한다. 캡슐 초분광 시스템은 이미징 센서(예를 들어, 카메라) 및 디스플레이를 더 포함할 수 있다.
본 이미징 캡슐은 저해상도(400 x 400 픽셀)를 갖는 제1 생성 디바이스에 비해 상당한 개선을 제공한다. 저해상도 카메라는 식도의 편평 세포 암종(squamous cell carcinoma)과 같은 식도 질병들의 의심되는 영역들을 이미징하기 위해 해상도 및 정밀한 위치결정 능력이 부족한 것으로 밝혀졌다. Barrett의 식도로 알려진 상태는 이러한 저해상도에서 명확히 보이지 않을 수 있다. 그에 의해, 본 이미징 캡슐은 초분광 이미지 처리로부터 고해상도를 허용하는 개선을 제공한다. 이제, 개선된 이미징 캡슐은 식도의 편평 세포 암종과 같은 식도 질병들의 의심되는 영역들을 이미징하기 위해 고해상도 및 정밀한 위치결정 능력을 제공할 수 있다. Barrett의 식도로 알려진 상태는 이제 고해상도 이미징 캡슐로 명확하게 보일 수 있다.
초분광 처리를 갖는 본 고선명 이미징 캡슐은 3개의 순차적 단계에서 시각화 및 이미징을 위해 적어도 3개의 LED를 이용할 수 있는 통합된 맞춤형 하드웨어 조명 시스템을 제공할 수 있으며, 바람직하게는 2개의 컬러 조명 및 이어서 백색 광 조명을 이용할 수 있다. LED들 중 적어도 하나는 백색이다. 캡슐 내의 LED들의 수는 3개의 LED 내지 6개의 LED 또는 그 이상의 범위일 수 있으며, 이는 특수화되지 않은 CMOS 기반 이미징 센서를 이용하여 고해상도 이미지들(예를 들어, 60Hz 프레임 레이트들에서 최대 1280 x 1080 픽셀까지)의 소프트웨어 기반 초분광 분해를 가능하게 할 수 있다. 스크린 캡처 동안 모션 아티팩트들을 최소화하기 위해 60Hz 프레임 레이트 이상이 이용된다. 이미징은 약 410nm 내지 약 750nm의 가시 파장 범위, 또는 디바이스에 대한 유효 스펙트럼 범위에 걸쳐, 대략 10nm의 파장 대역폭들의 유효 필터링을 가질 수 있다. 예를 들어, 6개의 LED는 가시광 스펙트럼의 32개의 스펙트럼 대역의 식별을 가능하게 할 수 있다.
이미징 센서는 위장(GI) 검사를 위한 기존의 탑-오브-더-라인(top-of-the-line) FDA 승인된 내시경(예를 들어, 1080p 해상도를 갖는 올림푸스(Olympus) 내시경)에 필적하는 해상도를 갖는 고선명 카메라로서 구성될 수 있다. 높은 프레임 레이트(60+ fps)는 자동화된 머신 비전 소프트웨어 프로그램들 또는 의료 전문가들에 의한 상세한 분석을 위해 스크린 캡처된 이미지들에서 모션 아티팩트들을 상당히 감소시킬 수 있다.
테더(예를 들어, 와이어, 가이드와이어, 코드, 데이터 코드 등)가 캡슐에 결합될 수 있다. 테더는 적당히 경험 있는 사용자가 의심되는 질병 영역들의 개선된 이미징을 위해 식도 내의 카메라 위치를 수동으로 그리고 정밀하게 회전시키는 것을 가능하게 할 수 있다. 이 테더는 캡슐에 전력 및 데이터 전송 링크를 공급할 수 있을 뿐만 아니라, 사용자가 나중의 후속 검사를 위해 식도 내의 의심되는 질병 영역들의 위치를 정확하게 측정할 수 있도록 규칙적인 간격으로 가시적인 마킹으로 그 표면 상에 마킹될 수 있다.
캡슐의 케이싱의 표면은 디바이스의 전방 부분으로부터 유체를 제거할 수 있는 텍스처(예를 들어, 표면 딤플들, 및 캡슐의 종축에 평행하지 않은 홈들 또는 채널들)를 가질 수 있고, 스크리닝 검사 후에 삼켜지고 복원하는 것을 용이하게 할 수 있다.
캡슐 초분광 시스템은, 예를 들어, 테더에 부착된 캡슐을 삼킨 후에 위장관 내의 조직들의 스크리닝을 위해 이용되도록 의도될 수 있다. 조직들은 식도 질병을 식별하는 데 유용할 수 있는 식도 조직들과 같은 임의의 위장관 조직일 수 있다. 테더링된 캡슐은 2차 또는 3차 GI 전문가들에 대한 제한된 액세스를 갖는 1차 치료 시설에서 이용될 수 있다.
캡슐 초분광 시스템은 이 시스템으로 진단될 수 있는 식도 질병들 및 상태들을 시각화하는 데 이용될 수 있다. 제한 없이 일부 예들은 Barrett의 식도, 식도암(EC), 위(stomach)/위(gastric) 암, 위식도 역류 질환(gastroesophageal reflux disease)(GERD), 소화성 궤양 질환(peptic ulcer disease), 삼키는 장애(swallowing disorders), 및 식도 정맥류(esophageal varices)를 포함한다. 식도 정맥류가 간 질병과 흔히 연관된 상태이기 때문에, 이 캡슐 초분광 시스템은 간 질병을 진단하는 데 이용될 수 있다.
일부 실시예들에서, 캡슐 초분광 시스템은 저가의 이용하기 쉬운 HD-TIC 시스템으로서 구성될 수 있다. HD-TIC 시스템은 식도암(선암종(adenocarcinoma) 및 편평 세포 암종) 및 간 질병들의 관련 증상들(예를 들어, 식도 정맥류, 관문의 다른 징후들)로 인한 이형성증(dysplasia)에 대한 식도의 연간 또는 규칙적인 주기적 건강 관리 스크리닝을 위해 의도될 수 있다.
그러나, 캡슐 초분광 시스템은 다른 환경에서, 예컨대, 크레바스들(crevasses), 웰들(wells), 소형 터널들 또는 도관들, 공기 흐름 경로들, 환기 시스템들에서, 자연에서, 또는 임의의 다른 장소 또는 이용에서 이용될 수 있다. 타겟은 조명 및 이미징을 위한 임의의 타겟 객체일 수 있다.
본 명세서에서 제공되는 캡슐 초분광 시스템의 설명은 설명된 바와 같은 조명 및 이미징을 위한 임의의 환경에 적용될 수 있다.
도 1a는 캡슐 초분광 시스템(100)의 실시예를 도시한다. 캡슐 초분광 시스템(100)은 단부에서 테더(104)에 부착된 테더링된 이미징 캡슐(102)을 포함하는 것으로 도시된다. 캡슐(102)은 백색 광뿐만 아니라 다양한 컬러들(예를 들어, 적색, 청색, 녹색, 황색, 오렌지색, 자주색 등)을 방출하도록 구성된 적어도 3개의 광 방출기(107)를 갖는 광 조명 시스템(106)을 포함한다. 캡슐 초분광 시스템(100)은 적어도 하나의 이미징 센서(109)를 갖는 초분광 이미징 시스템(108)을 갖는 이미징 캡슐(102)을 포함할 수 있다. 테더(104)는, 도 9에 도시된 바와 같은, 하나 이상의 컴퓨터의 적어도 일부일 수 있는, 적어도 하나의 프로세서(111)를 갖는 초분광 처리 시스템(110)과 동작가능하게 결합된다.
캡슐(102)이 초분광 처리 시스템(100)에 테더링될 수 있지만, 이는 또한 결합해제되거나 테더링되지 않을 수 있다. 이 경우에, 캡슐(102)은 초분광 처리 시스템(100)에 플러그인할 수 있는 메모리 카드를 포함할 수 있거나, 캡슐(102)은 초분광 처리 시스템(100)에 직접 플러그인할 수 있다.
조명 시스템(106)은 광 방출기들(107)로서 3개 이상의 LED들을 포함하는 LED 조명 시스템을 포함할 수 있다. LED는 이미징 캡슐(102)의 카메라(예를 들어, 이미징 센서(109))에 대해 교정될 수 있다. 또한, LED들은 조명된 조직(예를 들어, 식도)의 이미지가 디스플레이(112)를 갖는 임의의 디스플레이 시스템 상에 자유롭게 디스플레이될 수 있도록 디스플레이(112)에 맞춰질 수 있다. 일부 양태들에서, 이미징 센서(109)는 (예를 들어, 도 2a에) 도시된 바와 같이 테더링된 이미징 캡슐(102)의 축에 중심을 둔다. 일부 양태들에서, 이미징 센서(109)는 테더링된 이미징 캡슐의 축(114)에 대해 중심을 벗어난 위치를 가질 수 있다(예를 들어, 도 2b). 예를 들어, 이미징 센서(109)는 테더링된 이미징 캡슐의 축에 대해 각도(116)로 중심을 벗어나 배치될 수 있으며, 카메라는 축으로부터 35도, +/- 1%, 2%, 5%, 10%, 또는 20% 떨어져 배치된다. 즉, 이미징 센서(109)로부터 지향된 광은 축(114)으로부터 각도(116)에 있을 수 있다.
일부 실시예들에서, 캡슐 초분광 시스템(100)은 복수의 LED들의 균일하게 배열된 어레이를 추가로 포함할 수 있다. 예를 들어, 설계는 이미징 센서(들) 주위에 위치하는 것과 같은 균일한 조명을 위한 적어도 또는 최대 6개의 LED(예를 들어, 3개의 쌍들)를 포함할 수 있다. LED들의 방출 파장은 건강한 식도 상의 백색/분홍색을 띤 표면 및 건강하지 않은 식도 상의 적색 표면이 쉽게 식별될 수 있도록 선택될 수 있다. 그러나, 적어도 3개의 LED가 3개의 상이한 라이팅 조건들로 본 명세서에 설명된 액션들을 수행할 수 있다는 것을 인식해야 한다. 3개의 상이한 라이팅 조건들은 각각의 조건에 대해 2개의 광을 이용할 수 있고, 그로써 6개의 광을 이용할 수 있다. 각각의 라이팅 조건에 대한 광들의 쌍은 개선된 이미징을 위해 광 커버리지로 개선될 수 있다. 3쌍의 LED가 양호한 예이지만, 6개의 상이한 광 컬러가 있을 수 있다. 대안적으로, 한 쌍의 동일한 컬러(양쪽 모두 녹색) 또는 한 쌍의 상이한 컬러(예를 들어, 적색 및 청색)를 포함할 수 있는 한 쌍의 백색 광 및 적어도 2개의 상이한 쌍의 컬러 광이 존재할 수 있다. LED들의 수 및 상이한 컬러들은 본 명세서에서 제한되지 않는다.
일부 실시예들에서, 캡슐(102)은 임의의 타입의 디스플레이 시스템에 컬러 이미지를 제공할 수 있다. 광 방출기들은, 변경될 수 있고 디스플레이될 수 있는, 이미징 동안 임의의 광 컬러 조합으로 조명할 수 있다.
도 1a는 또한 부위(site)를 세정하기 위해 이미징되는 부위에 관개 유체(irrigation fluid)(예를 들어, 물)를 공급하는 펌프를 포함할 수 있는 관개 시스템(160)을 도시한다. 세정은 이미징을 개선하기 위해 잔해물 또는 신체 재료를 제거할 수 있다. 관개 시스템(160)은 캡슐(102) 주위에 유체를 방출하기 위해 캡슐(102)에 또는 그 부근에 개구를 갖는 관개 도관(162)을 포함할 수 있다. 도관(162)은 테더(104) 주위에 있거나 달리 그것과 연관될 수 있다.
도 1b 및 도 1c는, 광학계 시스템(118)을 포함할 수 있는 초분광 이미징 시스템(108)을 도시한다. 광학계 시스템(118)은 적어도 하나의 광학 컴포넌트를 포함할 수 있다. 적어도 하나의 광학 컴포넌트는 이미징 센서(109)와 같은 적어도 하나의 광학 검출기 및 옵션으로서 이미징 센서(109)와 광학적으로 결합된 렌즈 시스템(120)(예를 들어, 하나 이상)을 포함할 수 있다. 광학 검출기는 포토다이오드 또는 다른 이미징 센서일 수 있는 임의의 광학 검출기일 수 있다. 카메라 이미징 디바이스(예를 들어, 광전자 증배관(photomultiplier tube), 광전자 증배관 어레이, 디지털 카메라, 초분광 카메라, 전자 증배 전하 결합 디바이스, sci-CMOS, 또는 이들의 조합 등)가 검출기에 이용될 수 있다. 광학 검출기는, 타겟 상의 적어도 하나의 물리적 포인트에 의해 흡수, 송신, 굴절, 반사 및/또는 방출되는 타겟 전자기 방사("타겟 방사")를 검출하고 - 타겟 방사는 적어도 2개의 타겟 파("타겟 파")를 포함하고, 각각의 파는 강도 및 상이한 파장을 가짐 -; 각각의 타겟 파의 강도 및 파장을 검출하고; 검출된 타겟 방사, 및 각각의 타겟 파의 검출된 강도 및 파장을 초분광 처리 시스템(110)에 송신하는 구성을 가질 수 있다. 초분광 처리 시스템(110)은 이하에서 더 상세히 설명된다.
적어도 하나의 광학 컴포넌트는 광학 렌즈(122), 광학 필터(124), 분산 광학계(130), 또는 이들의 조합을 포함할 수 있다. 적어도 하나의 광학 컴포넌트는, 이색 미러/빔 스플리터로서 구성될 수 있는, 제1 광학 렌즈(126), 제2 광학 렌즈(128), 및 광학 필터(124)를 더 포함할 수 있다. 적어도 하나의 광학 컴포넌트는 광학 렌즈(122), 분산 광학계(130)를 더 포함할 수 있고, 적어도 하나의 이미징 센서(109)는 광학 검출기 어레이(109a)이다.
일부 실시예들에서, 적어도 하나의 광학 컴포넌트는 이미징될 타겟과 적어도 하나의 이미징 센서(109) 사이에 배치된 적어도 하나의 광학 필터(124)를 갖는 광학 필터링 시스템을 포함할 수 있다. 타겟으로부터 방출된 타겟 방사는 타겟에 의해 방출된 전자기 방사를 포함할 수 있다. 일부 양태들에서, 타겟에 의해 방출된 전자기 방사는 형광을 포함한다. 일부 양태들에서, 광학 필터(124)의 잡음제거 필터는 중앙값 필터를 포함할 수 있다.
도 1c에 도시된 바와 같이, 캡슐 초분광 시스템(100)은 렌즈 시스템을 더 포함할 수 있다. 하나 이상의 렌즈의 렌즈 시스템은 약 120도 내지 180도 초과의 범위, 또는 약 120도 내지 약 190도의 범위, 또는 약 120도 내지 약 180도의 범위의 시야(FOV)를 갖는 렌즈(122)를 포함할 수 있다. 렌즈 시스템은 위식도 괄약근(gastroesophageal sphincter)의 후면을 이미징하도록 구성될 수 있다. 일부 양태들에서, 렌즈 시스템은 교체가능 렌즈 시스템 또는 교환가능 렌즈 시스템으로서 구성될 수 있다. 또한, 렌즈 시스템은 캡슐 초분광 시스템의 원위 단부에, 예컨대, 캡슐에 배치될 수 있다. 렌즈 시스템은 하나보다 많은 렌즈를 포함할 수 있다.
캡슐(102)은 WO 2018/089383에 기술된 것과 같은 조명 시스템 및 검출 시스템을 포함할 수 있으며, 이는 도 14 내지 도 21에서와 같이, 그 전체가 본 명세서에 특정 참조로 포함된다.
도 1d는 드론(140)(예를 들어, 무인 항공기)으로부터 이용되도록 구성된 이미징 캡슐(102a)을 도시한다. 드론(140)은 테더(104a) 상의 캡슐(102a)을 상승 또는 하강시키기 위한 기계적 부분(144)(예를 들어, 당김(pully), 스핀들(spindle), 윈치(winch) 등)을 갖는 테더링 시스템(142)을 포함한다. 테더(104a)는 이미징에 이용하기 위해 필요하거나 원하는 대로 길어지거나 짧아질 수 있다. 예를 들어, 드론(140)은 하강할 수 없지만, 기계적 부분(144)은 테더(104a)를 하강시켜 캡슐(102a)을 하강시킬 수 있다. 캡슐(102a) 및/또는 드론(140)은 이미징 목적들을 위하여 드론(140) 및 캡슐(102a)을 동작시킬 수 있는 본 명세서에서 설명된 바와 같은 제어기(예를 들어, 컴퓨터)를 포함할 수 있다. 드론(140) 및/또는 캡슐(102a)은, 무선 데이터 송신과 같은, 데이터를 초분광 처리 시스템(110)에 송신할 수 있는 트랜시버를 포함할 수 있다. 테더(104a)는 드론(140)과 캡슐(102a) 사이의 데이터 통신을 위한 데이터 라인을 제공할 수 있거나, 각각은 무선 데이터 통신을 위한 트랜시버를 포함할 수 있다. 또한, 원격 제어기(146)는 또한 드론(140)을 제어하는 데 이용될 수 있으며, 여기서 원격 제어기(146)는 드론(140)의 동작을 무선으로 제어할 수 있다. 원격 제어기(146)는 드론(140)과 직접 또는 제어 모듈을 통해 통신할 수 있으며, 제어 모듈은 초분광 처리 시스템(110)의 컴퓨터의 일부일 수 있다.
도 1e는 지상 차량(148)(예를 들어, 무인 지상 차량, 원격 제어)으로부터 이용되도록 구성된 이미징 캡슐(102b)을 도시한다. 캡슐(102b)은 임의의 방식으로 차량(148)에 장착되고, 차량의 본체로서 역할할 수 있다. 차량(148)은 정상 RC 자동차의 크기, 또는 삼킬 수 있는 크기일 수 있는 캡슐(102b)의 작은 크기를 이용하기 위한 소형일 수 있다. 작은 지상 차량(148)은 사람 또는 더 큰 장비에 의해 액세스될 수 없는 작은 장소들에 액세스하는 데 이용될 수 있다. 캡슐(102b) 및/또는 차량(148)은 이미징 목적으로 차량(148) 및 캡슐(102b)을 동작시킬 수 있는 본 명세서에서 설명되는 바와 같은 제어기(예를 들어, 컴퓨터)를 포함할 수 있다. 차량(148) 및/또는 캡슐(102b)은, 무선 데이터 송신과 같은, 데이터를 초분광 처리 시스템(110)에게 송신할 수 있는 트랜시버를 포함할 수 있다. 또한, 원격 제어기(146)는 또한 차량(148)을 제어하는 데 이용될 수 있고, 여기서 원격 제어기(146)는 차량(148)의 동작을 무선으로 제어할 수 있다. 원격 제어기(146)는 차량(148)과 직접 또는, 초분광 처리 시스템(110)의 컴퓨터의 일부일 수 있는, 제어 모듈을 통해 통신할 수 있다. 대안적으로, 지상 차량은 탱크, 개, 곤충, 또는 거미로서 구성될 수 있고, 여기서 바퀴들, 트레드들, 다리들, 및 다른 이동 부재들이 차량을 추진시킬 수 있다.
도 1f는 작은 크레인(150)(예를 들어, 윈치)으로부터 이용되도록 구성된 이미징 캡슐(102a)을 도시한다. 크레인(150)은 테더(104b) 상에서 캡슐(102c)을 상승 또는 하강시키기 위한 기계적 부분(154)(예를 들어, 윈치 등)을 갖는 테더링 시스템(152)을 포함한다. 테더(104b)는 이미징에 이용하기 위해 필요하거나 원한다면 길어지거나 짧아질 수 있다. 예를 들어, 크레인(150)은 이용을 위한 위치에 배치될 때(예를 들어, 웰에 장착될 때) 하강할 수 없을 수도 있지만, 이어서 기계적 부분(154)은 테더(104b)를 하강시켜 캡슐(102c)을 하강시킬 수 있다. 캡슐(102c) 및/또는 크레인(150)은 이미징 목적으로 크레인(150) 및 캡슐(102c)을 동작시킬 수 있는 본 명세서에 설명된 바와 같은 제어기(예를 들어, 컴퓨터)를 포함할 수 있다. 크레인(150) 및/또는 캡슐(102c)은, 무선 데이터 송신과 같은, 데이터를 초분광 처리 시스템(110)에게 송신할 수 있는 트랜시버를 포함할 수 있다. 테더(104b)는 크레인(150)과 캡슐(102c) 사이의 데이터 통신을 위한 데이터 라인을 제공할 수 있거나, 각각은 무선 데이터 통신을 위한 트랜시버를 포함할 수 있다. 또한, 원격 제어기(146)는 크레인(150)을 제어하는 데 이용될 수 있으며, 원격 제어기(146)는 크레인(150)의 동작을 무선으로 제어할 수 있다. 원격 제어기(146)는 크레인(150)과 직접, 또는 초분광 처리 시스템(110)의 컴퓨터의 일부일 수 있는 제어 모듈을 통해 통신할 수 있다.
도 2a는 이미징 센서(109) 및 그 주위에 배열된 6개의 LED 조명기(예를 들어, 광 방출기들(107))를 갖는 이미징 캡슐(102)의 정면도를 도시한다. 이 예에서, 정면도는 캡슐(102)의 축(114)을 내려다본다. 광 방출기들(107)은 패터닝된 플레이트(130) 상에 배열되고, 여기서 광 방출기들(107)은 본 명세서에 설명된 바와 같은 컬러들 및 조합들 중 임의의 것일 수 있다. 광 방출기들(107)은 백색 광 LED들 및 협대역 컬러 LED들의 특정 조합을 포함할 수 있다. 제조 동안, 플레이트(130) 상의 이미징 센서(109) 및 광 방출기들(107)의 배열은 고선명 이미징 캡슐의 특정 변형들(예를 들어, 백색 광 이미징 및/또는 초분광 이미징을 위한 것)이 가능하도록 변경될 수 있다. 이 플레이트(130)의 핀아웃(pin-out) 정렬은 와이어링을 테더 및/또는 캡슐에 매칭시킨다. 광 방출기들(107)은 소프트웨어 설정들 및 전자-제어 스위칭에서 사용자에 의해 선택된 바와 같이, 모두 한번에, 쌍들로, 또는 순차적으로(예를 들어, 쌍들의 시퀀스로) 조명될 수 있다. 백색 광 조명을 위해, 백색 LED들은 모두 한번에 조명된다. 초분광 이미징을 위해, 컬러 LED들 및 옵션으로서 백색 LED들은 이미징 센서(109)의 프레임 레이트와 동기화되는 시퀀스로 조명된다. 예에서, 이 배열은 초분광 분해 방법에 의한 후처리 후에, 컬러 차이들(예를 들어, 가능한 전암성 또는 암성 병변들을 표시하는 식도의 조명된 영역들의 응답 파장의 시프트들 또는 차이들)을 통해 식도에서의 이형성증의 영역들을 식별하기 위해 이용될 수 있는 초분광 데이터 큐브의 생성을 가능하게 한다. 그러나, 조직 또는 임의의 다른 객체 또는 환경의 임의의 이미징 이용이 수행될 수 있다는 것을 인식해야 한다. 도 2a에서의 이미저(imager) 및 LED들의 개략도는 단일 이미징 센서(109)를 도시한다. 도 2b에서의 이미저 및 LED의 개략도는 중심 축으로부터 중심을 벗어난 한 쌍의 이미징 센서들(109)을 도시한다.
광 방출기들(107)은 각각 간섭성 전자기 방사 소스(coherent electromagnetic radiation source)를 포함할 수 있다. 간섭성 전자기 방사 소스는 레이저, 다이오드, 2-광자 여기 소스, 3-광자 여기 소스, 또는 이들의 조합을 포함할 수 있다. 광 방출기 방사는 300nm 내지 1,300nm 범위의 파장을 갖는 조명파를 포함할 수 있다. 조명 소스 방사는 300nm 내지 700nm 범위의 파장을 갖는 조명 파를 포함할 수 있다. 조명 소스 방사는 690nm 내지 1,300nm 범위의 파장을 갖는 조명 파를 포함할 수 있다.
예에서, LED 1은 청색일 수 있고, LED 2는 오렌지색일 수 있고, LED 3은 녹색일 수 있고, LED 4는 적색일 수 있고, LED 5 및 LED 6은 둘 다 백색이다. 이미징 동안, 2개의 컬러 광이 조명되며, 이는 이러한 2개의 광의 임의의 조합일 수 있다. 이어서, 다음 이미징에서, 2개의 상이한 광이 조명된다. 이어서, 제3 이미징에서, 2개의 백색 LED가 이용된다. 이것은 상이한 광들로 광 스펙트럼의 각각의 부분을 분석하는 것을 돕는다. 이것은 타겟의 컬러들을 구성하는 것을 돕는다. 다른 예에서, 3개의 LED만이 이용된다. 2개의 컬러 LED 및 하나의 백색 LED가 존재할 수 있다.
도 2b는 플레이트(130) 상의 어레이 내의 광 방출기들(107)에 의해 둘러싸인 다수의 이미징 센서(109)를 갖는 테더링된 이미징 캡슐(102)의 실시예의 정면도를 도시한다. 이미징 센서들(109)은 중심 축으로부터 중심을 벗어난다. 이미징 센서들(109)은 평행하게 배향될 수 있거나, 그들의 표면들은 그들이 중심 축 상의 공통 포인트를 모두 가리키도록 비스듬할 수 있다.
도 2c는 LED 조명기들인 광 방출기들(107)에 의해 둘러싸인 이미징 센서(109)를 갖는 테더링된 이미징 캡슐(102)의 단면도를 도시한다. 광 방출기들(107)은 패터닝된 플레이트(130) 상에 배열되고, 백색 광 LED들 또는 협대역 컬러 LED들의 조합들을 포함할 수 있다. 제조 동안, 플레이트(130) 상의 이미징 센서(들)(109) 및 광 방출기들(107)의 구성 또는 패턴/배열은 (예를 들어, 백색 광 이미징을 위해 또는 초분광 이미징을 위해) 고선명 이미징 캡슐의 특정 변형들이 가능하도록 변경될 수 있다. 이러한 LED 플레이트(130)의 핀아웃 정렬은 와이어링을 캡슐(102)로부터 테더(104)에 매칭시킨다. 광 방출기들(107)은 소프트웨어 설정들 및 전자 제어 스위칭에서 사용자에 의해 선택되는 바와 같이, 모두 한 번에, 쌍으로 또는 순차적으로 조명될 수 있다. 백색 광 조명을 위해, 백색 LED들은 모두 한번에 조명된다. 초분광 이미징을 위해, LED들은 이미징 센서(109)의 프레임 레이트와 동기화되는 시퀀스로 조명된다. 이것은 초분광 분해 방법에 의한 후처리 후에, 컬러 차이들(예를 들어, 가능한 전암성 또는 암성 병변들을 표시하는 식도의 조명된 영역들의 응답 파장의 시프트들 또는 차이들)을 통해, 식도 내의 이형성증의 영역들을 식별하는 것과 같이, 객체들을 특성화할 수 있는 초분광 데이터 큐브의 생성을 허용한다. 도 2c에서의 이미저 및 LED들의 개략도는 테더(104)로부터 오프셋된 단일 이미징 센서(109)를 도시한다.
도 2d는 테더(104)로부터 오프셋되고 이미징 센서들(109)에 의해 둘러싸인 다수의 이미징 센서들(107)을 갖는 플레이트(130)를 도시한다.
도 3a는 LED 조명기들인 광 방출기들(107)에 의해 둘러싸인 이미징 센서(109)를 갖는 테더링된 이미징 캡슐(102)의 측면도를 도시한다. 광 방출기들(107)은 패터닝된 플레이트(130) 상에 배열되고, 백색 광 LED들 및 협대역 컬러 LED들의 특정 조합을 갖는 것과 같이, 본 명세서에 설명된 컬러들 또는 컬러 조합들 중 임의의 것일 수 있다. 제조 동안, 이 플레이트(130)는 고선명 이미징 캡슐의 특정 변형들이 가능하도록 변경될 수 있다. (예를 들어, 백색광 이미징 또는 초분광 이미징). 이 LED 플레이트(130)의 핀아웃 정렬은 와이어링을 캡슐로부터의 테더에 매칭시킨다. 광 방출기들(107)은 소프트웨어 설정들 및 전자 제어 스위칭에서 사용자에 의해 선택된 바와 같이, 모두 한번에, 쌍으로, 또는 순차적으로 조명될 수 있다. 백색 광 조명을 위해, 백색 LED들은 모두 한번에 조명된다. 초분광 이미징을 위해, LED들은 이미징 카메라의 프레임 레이트와 동기화된 시퀀스로 조명된다. 도 3a에서의 이미저 및 LED들의 개략도는 단일 이미징 센서(109)를 도시하고, 도 3b는 다수의 이미징 센서들(109)을 도시한다.
일부 실시예들에서, 테더(104)는 캡슐 디바이스(102)를 시스템의 나머지에 부착하기 위한 임의의 타입의 적절한 테더일 수 있다. 테더(104)는 일부 실시예들에서 임의의 단면 형상을 가질 수 있다. 도 2c는 정사각형 단면 프로파일을 도시하고, 도 2d는 원형 단면 프로파일을 도시하지만; 다른 단면 형상들이 이용될 수 있다. 테더(104)는 본체 내의 캡슐의 위치에 대한 참조를 제공하는 것을 돕는 단면 형상을 가질 수 있다. 예를 들어, 형상의 각각의 표면은 캡슐(102) 및 그의 카메라의 배향을 알기 위해 관찰되고 추적될 수 있는 식별자를 가질 수 있다. 테더(104)의 다음 본체 표면이 위로 회전하는 것은 측면들의 수에 기초한 회전각, 예를 들어, 정사각형에 대한 90도를 제공할 수 있다. 일부 양태들에서, 테더는 삼각형, 직사각형, 정사각형, 오각형 또는 다른 다각형과 같은 다각형일 수 있는 비-원형 테더(104)일 수 있으며, 여기서는 정사각형 단면 프로파일이 예시된다. 비-원형 테더(104)는 캡슐이 어디에 있는지를 알기 위해 이용 중에 사용자를 위한 각도 참조를 생성하도록 구성될 수 있는데, 예를 들어, 각각의 표면은 상향 표면을 추적하고 관찰하기 위해 라벨링된다. 그 다음, 그 각도 참조는 사용자가 카메라를 동일한 위치에 배치하기 위해 후속 연구를 위해 카메라를 정밀하게 회전시킬 수 있도록 이용될 수 있다. 테더(104)는 테더링된 이미징 캡슐이 배치될 때 테더링된 이미징 캡슐(102)의 위치를 결정하도록 구성된 그의 표면 상의 마킹들(104a)(예를 들어, 눈금선, 인치, 센티미터 등)을 포함할 수 있다. 비-원형 테더(104)는 식도의 측벽들에 대한 캡슐의 정밀한 수동 회전 및 배치를 가능하게 한다.
일부 실시예들에서, 테더(104)는 캡슐(102)에 테더링된다. 캡슐(102)에 대한 테더(104)의 결합은 기계적 결합을 이루기 위한 기계적 부분을 포함할 수 있고, 캡슐로부터 시스템으로의 또는 그 반대로의 데이터 송신을 위한 광학적 및/또는 전자적 결합을 포함할 수 있다. 캡슐 초분광 시스템(100)은 캡슐을 배치하기 위한 수동 조작을 견딜 수 있도록 테더(104)와 테더링된 이미징 캡슐(102) 사이에 반-강성(semi-rigid) 접속(132)을 형성하는 기계적 결합을 포함할 수 있다. 반-강성 접속은 결합하는 경우 에폭시 또는 다른 재료를 통해 이루어질 수 있다. 또한, 반-강성 접속을 제공하기 위해 실리콘 접속이 이용될 수 있다. 반-강성은 테더가 캡슐(102)로부터 파손되지 않도록 유연성을 제공한다.
일부 실시예들에서, 이미징 캡슐은 캡슐 커버(예를 들어, 실리콘)를 포함할 수 있다. 일부 양태들에서, 캡슐 커버는 그의 표면 상에 텍스처를 갖는다. 일부 예들에서, 텍스처는 딤플 및/또는 채널 또는 다른 특징부를 포함한다. 텍스처는 환자가 테더링된 이미징 캡슐을 쉽게 삼킬 수 있도록 구성될 수 있다. 즉, 텍스처는 환자가 캡슐을 삼키는 데 도움을 줄 수 있다. 커버는 환자에 의해 삼키도록 적응된 캡슐들에 도포될 수 있지만; 환경 또는 객체 이미징을 위한 다른 타입들의 캡슐들이 또한 커버를 가질 수 있다.
도 4a는 캡슐(102)의 테더링된 단부의 저면도를 도시하고, 도 4b는 테더링된 캡슐(102)의 측면도를 도시하며, 여기서 캡슐(102)은 텍스처화된 표면(162)을 갖는 커버(160)를 갖는다. 캡슐 커버(160)의 텍스처화된 표면(162)은 삼키는 것을 용이하게 하고 캡슐(102)의 이미저 단부로부터 멀어지게 액체 배수(liquid drainage)를 지향시키는 데 이용될 수 있다. 텍스처화된 표면 구조들의 전략적 배치에 의해, 이는 캡슐 커버(160) 상에 친수성 영역들을 효과적으로 생성하여 액적 축적을 촉진시킨다. 이는 캡슐(102)의 이미저 부분의 렌즈 또는 렌즈들의 방향으로부터 멀리 물을 효과적으로 흡입하도록 작용한다. 이 도면은 예시적인 텍스처: 작은 딤플들(164) 및 큰 딤플들(166)의 어레이를 도시한다.
도 4c는 캡슐(102)의 테더링된 단부의 저면도를 도시하고, 도 4d는 테더링된 캡슐(102)의 측면도를 도시하며, 여기서 캡슐(102)은 텍스처화된 표면(162)을 갖는 커버(160)를 갖는다. 캡슐 커버(160)의 텍스처화된 표면(162)은 삼키는 것을 용이하게 하고 캡슐(102)의 이미저 단부로부터 멀어지게 액체 배수를 지향시키기 위해 제공된다. 텍스처화된 표면(162) 구조들의 전략적 배치에 의해, 이는 캡슐 커버(160) 상에 친수성 영역을 효과적으로 생성하여 액적 축적을 촉진시킨다. 이는 이미저의 렌즈 또는 렌즈들의 방향으로부터 멀리 물을 효과적으로 흡입하도록 작용한다. 이 도면은 예시적인 텍스처: 긴 채널들(166) 및 짧은 상승된 채널들(164)의 어레이를 도시한다.
캡슐 시스템들은 통합된 하드웨어 및 소프트웨어 컴포넌트들을 가질 수 있다. 하드웨어는, 예를 들어, 맞춤형 조명(예를 들어, LED와 같은 광 방출기들)을 갖는 소형 고선명 카메라(예를 들어, 이미징 센서)를 포함할 수 있다. 이 조명은 식도 질병의 징후들의 조기 검출에서 비-GI-의료 전문가(non-GI-medical specialist)를 돕기 위해 초분광 후처리 기법의 이용을 가능하게 할 수 있다.
캡슐 시스템들은 다음의 설계된 기능들 및 이점들을 가질 수 있다. 캡슐 이미징 시스템은 100배 이상의 비용이 드는 올림푸스(Olympus) 및 펜타스(Pentax) 내시경의 최신 세대에 필적하는 이미지 해상도들을 갖는 고선명 비디오를 제공할 수 있다. 테더는 원형 또는 비원형 테더(예를 들어, 평평한 직사각형과 같은 다각형)이든 강하고 유연할 수 있다. 구성은 테더가 (i) 환자가 캡슐을 삼키는 것을 용이하게 하고, (ii) 이용(예를 들어, 보조자 없이, 단지 한 명의 간호사에 의한 검사) 후에 캡슐을 쉽게 검색하게 하고, (iii) 의료 전문가가 상위 GI 관(예를 들어, 식도 및 상부 위)에서의 정확한 위치들에 캡슐을 회전 및 위치시키기 위해, 수동으로, 제어된 기계적 및 아날로그 방식으로, 할 수 있게 할 수 있다. 캡슐 이미징 시스템은 액세스하기 어려운 이미징 객체들 또는 환경들에 대해서뿐만 아니라 상이한 타입들의 암들에 대해서와 같이, 목 조직들을 최적으로 스크리닝하기 위해 상이한 렌즈들(예를 들어, 120도 FOV 내지 +170도 FOV 또는 상이한 배율로 약 140도 FOV)에 대한 옵션들을 가질 수 있다. 상이한 렌즈 시스템들은 상이한 요구들이 상이한 렌즈 시스템들을 이용할 수 있도록 교환가능할 수 있다. 캡슐 조명 시스템들은 정상 조명을 위한 광대역 백색 광을 방출하기 위한 적절한 광 방출기들로 또는 초분광 분석에 적합한 조명을 위한 맞춤형 LED 구성들로 구성될 수 있다. 이것은 비디오 이미지들을 기존의 초분광 분석 소프트웨어와 호환가능하게 만들 수 있다(예를 들어, 포함된 참조문헌들을 참조).
일부 실시예들에서, 캡슐의 삼킬 수 있는 버전은 캡슐을 맛있게 만들기 위해 추가적인 옥수수 전분 기반 팔레탄트(corn starch-based palatant)를 요구하거나 이용하지 않는다. 삼킬 수 있는 캡슐은 삼키는 것을 더 쉽게 하기 위해 외부 캡슐 케이싱 상에 텍스처화된 커버를 포함할 수 있다. 캡슐은 팔라탄트 없이 캡슐을 삼키는 것을 더 용이하게 하기 위해 커버에 딤플들 또는 채널들 및 옵션으로서 부가 텍스처를 추가하면서 증가된 직경을 가질 수 있다.
초분광 처리 시스템은 테더 또는 무선 데이터 통신을 통해 이미징 캡슐에 동작가능하게 결합될 수 있다. 따라서, 테더는, 광학 및/또는 전기와 같은 데이터 송신 라인들을 포함할 수 있다. 그러나, 일 양태에서, 초분광 이미징 시스템은 캡슐에서의 컴포넌트들을 동작시키는 배터리를 포함할 수 있고, 초분광 처리 시스템으로 데이터를 송신 및 수신하기 위한 트랜시버를 포함할 수 있다. 또한, 캡슐은 이용 동안 획득되고 이어서 초분광 처리 시스템으로 다운로드될 수 있는 이미지들 또는 비디오를 저장하는 메모리를 가질 수 있다.
초분광 처리 시스템은, 본 명세서에 설명된 이미징을 수행할 수 있는 전문화된 소프트웨어를 갖춘 컴퓨터이거나 이를 포함할 수 있다. 따라서, 도 9는 초분광 처리 시스템의 하드웨어 컴포넌트들의 예를 도시한다. 초분광 처리 시스템의 메모리 디바이스들은 캡슐 초분광 시스템으로 조직을 이미징하기 위해 본 명세서에 설명되는 방법들을 수행하게 하는 컴퓨터 실행가능 코드를 포함할 수 있다.
캡슐 시스템들의 하드웨어는 의료 보조원 또는 의료 전문가에 의해 분석될 수 있는 고품질 이미지들을 생성하기 위해 최적화될 수 있다. 이미징 하드웨어는 또한, 초분광 이미징 및 연관된 자동화된 머신 학습 알고리즘들과 호환되도록 최적화될 수 있다. 그에 따라, 이 하드웨어는 "A Hyperspectral Imaging System"이라는 제목의 PCT 출원(WO2018/089383)에 개시된 초분광 시스템들 및 방법들과 함께 이용될 수 있다. 이 출원의 내용은 그 전체가 본 명세서에 포함된다. 간략하게, 본 개시내용의 초분광 내시경 시스템과 함께 이용될 수 있는 초분광 분해 시스템들 및 방법들이 본 명세서에서 개요화된다.
초분광 이미징 시스템의 또 다른 예가 도 5에 개략적으로 도시되어 있다. 이 예에서, 초분광 이미징 시스템은 적어도 하나의 검출기(109) 또는 검출기 어레이(109a)를 더 포함한다. 이러한 이미징 시스템은 검출기 또는 검출기 어레이를 이용함으로써 타겟(401)의 이미지를 형성(타겟 이미지를 형성)할 수 있다. 이미지는 적어도 2개의 파(wave) 및 적어도 2개의 픽셀을 포함할 수 있다. 시스템은 각각의 파의 강도들("강도 스펙트럼")(402)(스펙트럼 형성)을 이용하여 타겟의 이미지를 형성할 수 있다. 시스템은 푸리에 변환(403)을 이용함으로써 각각의 픽셀의 강도 스펙트럼을 변환할 수 있으며, 그에 의해 각각의 픽셀의 검출된 강도 스펙트럼에 기초하여 복소수 값 함수를 형성한다. 각각의 복소수 값 함수는 적어도 하나의 실수 성분(404) 및 적어도 하나의 허수 성분(405)을 가질 수 있다. 시스템은 각각의 복소수 값 함수의 실수 성분 및 허수 성분 모두에 대해 적어도 한 번 잡음제거 필터(406)를 적용할 수 있다. 이로써 시스템은 각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 획득할 수 있다. 시스템은, 각각의 픽셀에 대한 잡음제거된 허수 값에 대해 잡음제거된 실수 값을 플롯팅할 수 있고, 이로써 시스템은 페이저 평면(407) 상에 포인트를 형성할 수 있다(페이저 평면 상에 플롯팅). 시스템은 이미지의 적어도 하나의 추가 픽셀을 이용함으로써 페이저 평면 상에 적어도 하나의 추가 포인트를 형성할 수 있다. 시스템은, 페이저 평면 상의 그 기하학적 위치에 기초하여, 페이저 평면 상의 적어도 하나의 포인트를 선택할 수 있다. 시스템은 페이저 평면 상의 선택된 포인트를 타겟의 이미지 상의 대응하는 픽셀에 다시 매핑할 수 있고(408), 대응하는 픽셀에 컬러를 할당할 수 있으며, 여기서, 컬러는 페이저 평면 상의 포인트의 기하학적 위치에 기초하여 할당된다. 그 결과, 시스템은 이로써 타겟(409)의 혼합되지 않은 컬러 이미지를 생성할 수 있다.
이미지 형성 시스템은, 광학 검출기로 하여금 타겟 방사를 검출하고 각각의 타겟 파의 검출된 강도 및 파장을 이미지 형성 시스템에 송신하게 하고; 적어도 2개의 타겟 파를 포함하는 검출된 타겟 방사를 획득하게 하고; 검출된 타겟 방사를 이용하여 타겟의 이미지("타겟 이미지")를 형성하게 하고 - 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 타겟 상의 하나의 물리적 포인트에 대응함 -; 각각의 타겟 파의 검출된 강도 및 파장을 이용하여 각각의 픽셀에 대한 적어도 하나의 스펙트럼을 형성하게 하고("강도 스펙트럼"); 푸리에 변환을 이용하여 각각의 픽셀의 형성된 강도 스펙트럼을 각각의 픽셀의 강도 스펙트럼에 기초한 복소수 값 함수로 변환하게 하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -; 각각의 복소수 값 함수의 실수 성분 및 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하여 각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하게 하고; 각각의 픽셀의 잡음제거된 허수 값에 대해 잡음제거된 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상의 하나의 포인트("페이저 포인트")를 형성하게 하고; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 페이저 포인트를 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하게 하고; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 대응하는 픽셀에 임의의 컬러를 할당하게 하고; 할당된 임의의 컬러에 기초하여 타겟의 혼합되지 않은 컬러 이미지를 생성하게 하는 구성을 가질 수 있다. 이미지 형성 시스템은 또한 타겟의 혼합되지 않은 컬러 이미지를 이미지 형성 시스템의 디스플레이 상에 디스플레이하는 구성을 가질 수 있다.
이미지 형성 시스템은 푸리에 변환의 적어도 하나의 고조파를 이용하여 타겟의 혼합되지 않은 컬러 이미지를 생성하는 구성을 가질 수 있다. 이미지 형성 시스템은 푸리에 변환의 적어도 제1 고조파를 이용하여 타겟의 혼합되지 않은 컬러 이미지를 생성하도록 구성될 수 있다. 이미지 형성 시스템은 푸리에 변환의 적어도 제2 고조파를 이용하여 타겟의 혼합되지 않은 컬러 이미지를 생성하도록 구성될 수 있다. 이미지 형성 시스템은 푸리에 변환의 적어도 제1 고조파 및 제2 고조파를 이용하여 타겟의 혼합되지 않은 컬러 이미지를 생성하도록 구성될 수 있다.
동작 방법들은 본 명세서에 기재된 방법들을 포함할 수 있다. 이미징 캡슐은 테더를 통해 또는 무선으로 초분광 처리 시스템에 링크될 수 있다. 일부 실시예들에서, 이미징 캡슐은 그 후 환자의 목의 이미징을 위해 환자에 의해 삼켜질 수 있다. 초분광 처리 시스템은 조명 시스템으로 하여금 식도를 조명하기 위해 복수의 광 방출기들을 활성화시키게 할 수 있다. 초분광 처리 시스템은 초분광 이미징 시스템으로 하여금 적어도 하나의 센서로 하여금 식도를 이미징하게 하고 이미지 데이터를 초분광 처리 시스템에 송신하게 할 수 있다. 초분광 처리 시스템은 이어서 조직의 이미지들을 생성하기 위해 본 명세서에 그리고 포함된 참조문헌들에 설명된 바와 같이 이미지 데이터를 처리할 수 있다. 이미지 데이터는 일련의 이미지들로부터 다중스펙트럼 반사율 데이터 큐브를 생성하기 위해 이용될 수 있다.
일부 실시예들에서, 이미징 캡슐은 그 다음에 인간들에 의해 액세스가능하지 않은 영역들에서 이미징을 위해 크레바스 또는 웰 또는 다른 작은 개방 환경으로 하강될 수 있다. 초분광 처리 시스템은 조명 시스템으로 하여금 환경 또는 그의 객체들을 조명하기 위해 복수의 광 방출기들을 활성화시키게 할 수 있다. 초분광 처리 시스템은, 초분광 이미징 시스템으로 하여금 적어도 하나의 센서로 하여금 환경을 이미징하고 이미지 데이터를 초분광 처리 시스템에 송신하게 할 수 있다. 그 다음, 초분광 처리 시스템은 환경 및 그 내부의 객체들의 이미지들을 생성하기 위해 본 명세서에 그리고 포함된 참조문헌들에 설명된 바와 같이 이미지 데이터를 처리할 수 있다. 이미지 데이터는 일련의 이미지들로부터 다중스펙트럼 반사율 데이터 큐브를 생성하기 위해 이용될 수 있다.
타겟의 혼합되지 않은 컬러 이미지는 1.2 내지 50의 범위 내의 적어도 하나의 스펙트럼의 신호 대 잡음비로 형성될 수 있다. 타겟의 혼합되지 않은 컬러 이미지는 2 내지 50의 범위 내의 적어도 하나의 스펙트럼의 신호 대 잡음비로 형성될 수 있다.
타겟은 임의의 타겟일 수 있고, 환경은, 살아있는 피험자에 있든 무생물 환경에 있든, 임의의 환경일 수 있다. 타겟은 컬러의 특정 스펙트럼을 갖는 임의의 타겟일 수 있다. 예를 들어, 타겟은 조직, 형광 유전 라벨(fluorescent genetic label), 무기 타겟(inorganic target), 또는 이들의 조합일 수 있다. 환경에서, 타겟은 식물의 건강 또는 재배를 위한 작물의 준비를 확인하기 위한 식물 또는 잎일 수 있다.
초분광 이미징 시스템은, 참조 재료를 이용하여 임의의 컬러를 각각의 픽셀에 할당함으로써 교정될 수 있다. 참조 재료는 임의의 알려진 참조 재료일 수 있다. 예를 들어, 참조는 임의의 참조 재료일 수 있으며, 참조 재료의 혼합되지 않은 컬러 이미지는 타겟의 혼합되지 않은 컬러 이미지의 생성 전에 결정된다. 예를 들어, 참조 재료는 물리적 구조, 화학적 분자, 생물학적 분자, 물리적 구조적 변화 및/또는 질병의 결과로서의 생물학적 활동(예를 들어, 생리학적 변화)일 수 있다.
도 6은 이미징 프로토콜의 2개의 스테이지를 도시한다. 스테이지 1은 동일하거나 상이할 수 있는 적어도 2개의 컬러 표준(502a, 502b)(예를 들어, 표준에서 상이한 컬러들)을 이미징하는 것을 포함한다. 각각의 컬러 표준(502a, 502b)은 청색(504), 녹색(506) 및 적색(508)으로 도시된 일련의 컬러들로 조명되지만, 예를 들어, 적색(508)이 백색 광 조명으로 대체되는 것과 같은 다른 컬러들이 이용될 수 있다. 컬러 표준(502a, 502b) 둘 다는 동일한 컬러 시퀀스에서 동일한 컬러들로 이미징된다. 각각의 컬러 조명은 단일 컬러 또는 단일 LED일 수 있지만, 둘 다 동일한 컬러 또는 컬러 쌍(예를 들어, 적색 및 청색)일 수 있는 한 쌍의 LED들에 의해 더 양호한 조명이 획득될 수 있다. 조명하는 동안, 3개의 연속 이미지들은 2개의 LED를 조명하고, 그 후 이미지를 취하고, 그 후 2개의 LED를 조명하고, 그 후 이미지를 취하고, 그 후 2개의 LED를 조명하고, 그 후 이미지를 취하는 것과 같이, 3개의 연속 조명들과 매칭하도록 획득된다.
조명당 적어도 한 쌍의 LED들의 이용은 LED의 스펙트럼 특성 때문에 도움이 될 수 있다. 이미지 획득마다 적어도 한 쌍의 LED들의 이용은 샘플링의 범위를 확장할 수 있다. 예를 들어, 청색 LED만이 청색 영역만을 샘플링할 것이고, 황색 영역 또는 다른 컬러 영역들 중 많은 것은 샘플링하지 않을 것이다. 조명이 황색 LED를 갖는 청색 LED를 비춘다면, 정보는 청색 LED 및 황색 LED로부터 나오며, 이는 더 양호하다. 제2 조명 및 이미징 단계는 이미징을 위해 적색 LED 및 녹색 LED를 이용한다. 제3 단계는 한 쌍의 백색 LED들을 이용한다. 이제, 데이터는 상이한 조명들에 대한 타겟의 컬러 스펙트럼을 갖는다. 시스템은 위치 타겟들(예를 들어, 픽셀) 각각에 대해 스펙트럼이 무엇인지를 알고 있다. 이미지 내의 모든 픽셀에 대해, 데이터는 3 세트의 조명 및 이미징으로부터의 3 세트의 인코딩 정보를 포함한다. 이어서, 인코딩 데이터의 3개의 상이한 조명 이미징 세트를 이용하여, 시스템은 특정 픽셀이 타겟의 컬러 내의 하나의 포인트에 대응하고, 타겟의 컬러 내의 하나의 포인트가 컬러 표준들 상의 고유 컬러 타겟에 대한 각각의 그래프와 같은 픽셀 스펙트럼 그래프들(510)에 의해 보여지는 바와 같은 특정 스펙트럼을 갖는 것으로 결정할 수 있다. 그 후, 취해지는 이미지 세트들의 수가 무엇이든 3의 행렬이 있다.
변환 행렬(512)을 획득하기 위해 데이터가 제공된다. 프로토콜은 변환 행렬을 찾아내고, 이어서 어떤 데이터가 수집되든 그 데이터를 곱함으로써 변환 행렬을 최대화할 수 있다. 이것은 1의 스펙트럼 또는 타겟의 컬러에 가장 가까운 것이다. 타겟들의 컬러(컬러 표준들)에는 많은 상이한 컬러가 존재하며, 이는 많은 상이한 스펙트럼(510)을 제공한다. 프로세스는 획득되는 스펙트럼들(510)의 대부분에 대해 충분히 잘 동작하는 행렬을 찾을 때까지 모든 상이한 컬러들에 대해 동일한 동작을 반복한다. 기본적으로, 행렬은 LED들로부터의 3개의 상이한 조명들로부터의 보정 행렬이다. 일단 프로토콜이 그 행렬을 발견하면, 그 행렬은 기구를 변경할 필요가 없는 한 고정된다. 이것은 변환 행렬을 갖는 데 이용되는 기구들로 시스템을 효과적으로 교정한다. 변환 행렬은 이미징된 타겟을 재구성하는 것을 허용한다.
예에서, 시스템이 일련의 이미지들을 가지면, 시스템은 스펙트럼들을 안다. 컬러 표준들(502a, 502b) 내의 픽셀들은 이러한 스펙트럼 그래프들(510)에 대응하고, 그 후에 프로토콜은 변환 행렬을 찾는다. 시스템은 3개의 이미지 획득마다 시각적으로 변환 행렬을 결정하고, 프로토콜은 이미지 픽셀 파장 데이터를 변환 행렬과 곱하여 초분광 큐브를 획득한다. 초분광 큐브는 X-Y를 포함하고, 제3 차원은 파장이다. 따라서, 모든 픽셀에 대해, 프로토콜은 변환으로부터 시각적으로 이용가능한 스펙트럼들을 획득한다.
스테이지 1은 디지털 이미지들로부터 초분광 큐브를 재구성하기 위해 의사-역 방법을 이용할 수 있다. 스테이지 1에서, CMOS 카메라는 ColorChecker® 표준(502a, 502b; X-Rite Passport Model# MSCCP, USA)의 이미지들을 캡처하는 데 이용된다. 변환 행렬 는 특이값 분해(singular value decomposition)(SVD)에 기초한 일반화된 의사역 방법에 의해 구성되고, 여기서:
행렬 R이 교정 샘플들의 스펙트럼 반사율 인자들을 포함하는 경우, PINV(D)는 의사 역함수이고, 행렬 D는 교정 샘플들의 대응하는 카메라 신호들이다.
그 다음, 예측된 스펙트럼 반사율 인자 R은 (이하에서 논의되는) 교정(스테이지 1) 및 검증(스테이지 2) 타겟들 양쪽 모두에 대한 행렬 곱셈을 이용하여 계산될 수 있다.
스테이지 2에 대한 이러한 접근법은 카메라 스펙트럼 감도가 선험적으로 알려질 필요가 없다는 이점을 가질 수 있다.
변환 행렬은 검출된 강도를 이용하여 각각의 픽셀에 대해 적어도 하나의 스펙트럼을 형성하는 부분이다.
스테이지 2는 손으로 도시된 타겟 객체가 3개의 조명 및 이미징의 조명 시퀀스에서 저품질 이미징(514a)(또는 신호들의 평균) 및/또는 고품질 이미징(514b)으로 이미징되는 것을 도시한다. 프로토콜은 신호들의 평균을 구하여 결국 데이터의 신호 대 잡음비를 증가시킬 수 있다. 프로토콜은 다시 타겟을 조명하는 2개의 LED들로 하나의 이미지를 획득하고, 이후 2개의 LED들(예를 들어, LED들의 상이한 조합)로 제2 이미지를 획득하고, 이후 백색 LED들과 같은 LED들의 제3 조명 패턴으로 제3 이미지를 획득하는 것을 포함할 수 있다. 그 다음, 프로토콜은 이들 3개의 이미지를 행렬로서 곱하고, 이 행렬은 이전에 획득된 변환 행렬과 곱해져 다중스펙트럼 반사율 데이터 큐브를 생성한다. 이 동작은 초분광 데이터 큐브로 변환되기를 원하는 모든 이미지에 대해 반복된다.
도 5의 주제 중 일부는 도 6의 스테이지 2에 매핑된다는 것을 인식해야 한다.
푸리에 변환은 도 5에 따른 스펙트럼 형성 후에 수행된다. 이하의 공보들에 개시된 초분광 분해 시스템들 및 방법들이 이용될 수 있다: F. Cutrale, V. Trivedi, L.A. Trinh, C.L. Chiu, J.M. Choi, M.S. Artiga, S.E. Fraser, "Hyperspectral phasor analysis enables multiplexed 5D in vivo imaging," Nature Methods 14, 149-152 (2017); 및 W. Shi, E.S. Koo, M. Kitano, H.J. Chiang, L.A. Trinh, G. Turcatel, B. Steventon, C. Arnesano, D. Warburton, S.E. Fraser, F. Cutrale, "Pre-processing visualization of hyperspectral fluorescent data with Spectrally Encoded Enhanced Representations" Nature Communications 11, 726 (2020). 이들 공보들의 내용은 그 전체가 본 명세서에 포함된다. 초분광 데이터는 다음의 수학식들을 이용하여, 정규화된 스펙트럼들의 푸리에 계수들의 G-S 플롯들을 통해 신속하게 분석될 수 있다:
z(n) = G(n) + iS(n)
여기서, λs 및 λf는 각각 관심 대역들의 시작 및 종료 파장들이다; I는 강도이고, ω = 2π/τs이고, 여기서 τs는 스펙트럼 채널(우리의 경우 32개)의 수이고, n은 고조파(보통 n = 1 또는 2로, 일관되게 선택됨)이다.
도 6은 일련의 카메라 이미지들로부터 다중스펙트럼 반사율 데이터 큐브를 재구성하는 데 이용되는 2 스테이지 "의사-역(pseudo-inverse)" 방법의 개략도를 제공한다. 스테이지 1에서, 컬러 표준은 그들의 스펙트럼 반사율 인자들을 획득하기 위해 상이한 조명 조건들의 시퀀스 하에서 이미징되고, 스펙트럼 반사율 인자들은 변환 행렬 T에 대한 해를 구하는 데 이용된다. 스테이지 2에서, 변환 행렬 T는 동일한 라이팅 시퀀스 하에서 타겟 객체(예를 들어, 인간의 손)로부터 스펙트럼 정보를 복구하기 위해 이용된다. 그 다음, 다중스펙트럼 반사율 데이터 큐브는 설명된 바와 같이 생성된다.
이제, 본 발명은 변환 행렬의 관점에서 타겟 객체로부터의 광의 반사율을 이용한다. 반사된 광의 추가는 상이한 타입의 신호이고, 이것은 이제 다중스펙트럼 반사율 데이터 큐브를 생성하기 위한 초분광 시스템에서 이용될 수 있다. 예를 들어, 프로토콜은 다중스펙트럼 반사율 데이터 큐브를 생성하기 위해 각각의 타겟 파의 검출된 강도 및 파장("강도 스펙트럼")을 이용하여 각각의 픽셀에 대한 적어도 하나의 스펙트럼을 형성함으로써 다중스펙트럼 반사율 데이터 큐브를 획득한다. 따라서, 도 5에서 스펙트럼 형성 단계(402)는 다중스펙트럼 반사율 데이터 큐브를 제공한다.
그 다음, 도 5의 데이터 처리는, 푸리에 변환(403)을 수행하는 등에 의해, 다중스펙트럼 반사율 데이터 큐브로부터 동작한다. 처리는 실시간으로 데이터 추출을 허용한다.
도 7a 내지 도 7c는 식도를 갖는 예를 도시한다. 도 7a는 정상 백색 광 조명(예를 들어, 다중스펙트럼 반사율 데이터 큐브의 표현) 하에서의 식도를 도시한다. 도 7b는 거짓-컬러 초분광 페이저 이미지에서의 식도를 도시한다. 도 7c는 대응하는 G-S 히스토그램(예를 들어, 페이저 플롯)을 도시한다. 일단 스테이지 2로부터 다중스펙트럼 반사율 데이터 큐브가 획득되고 나면, 프로토콜은 실수 및 허수 성분을 생성할 수 있다. 이 프로토콜은, 푸리에 변환을 이용하여 각 픽셀의 형성된 강도 스펙트럼(예를 들어, 다중스펙트럼 반사율 데이터 큐브)을 각 픽셀의 강도 스펙트럼에 기초한 복소수 값 함수로 변환하며, 여기서, 각각의 복소수 값 함수는 적어도 하나의 실수 성분(404) 및 적어도 하나의 허수 성분(405)을 갖는다(예를 들어, 도 5 참조). 이들은 기본적으로 실수 및 허수 이미지들이며, 이들은 그 후 히스토그램에 넣어진다. 그 다음, 다중스펙트럼 반사율 데이터 큐브에 대해 숫자 또는 인코딩이 획득된다. 프로세스는 고조파 및 푸리에 변환을 이용하여 스펙트럼 신호의 인코딩을 수행한다. 이 예에서, 프로토콜은 제2 고조파를 이용하고, 따라서 2개의 값들 - 하나의 특정 고조파에서 하나의 실수 및 하나의 허수 - 을 얻는다. 그 다음, 프로토콜은 도 7c에서와 같은 히스토그램을 생성한다. 프로토콜은 각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 실수 성분 및 허수 성분 모두에 대해 적어도 한번 잡음제거 필터를 적용한다.
그 다음, 프로토콜은, 각각의 픽셀의 잡음제거된 허수 값에 대해 잡음제거된 실수 값을 플롯팅함으로써 각각의 픽셀에 대해 페이저 평면 상에 하나의 포인트("페이저 포인트")를 형성하고, 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 페이저 포인트를 타겟 이미지 상의 대응하는 픽셀에 다시 매핑한다. 프로토콜은 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 대응하는 픽셀에 임의의 컬러를 할당하고; 할당된 임의의 컬러에 기초하여 타겟의 혼합되지 않은 컬러 이미지를 생성하며, 이 혼합되지 않은 컬러 이미지는 도 7b이다. 혼합되지 않은 컬러 이미지가 획득되고 나면, 프로토콜은 타겟의 혼합되지 않은 컬러 이미지를 이미지 형성 시스템의 디스플레이 상에 디스플레이한다.
도 8a 내지 도 8c는 소장 모방(small intestine mimic)을 갖는 예를 도시한다. 도 8a는 정상 백색 광 조명 하의 소장을 도시한다(예를 들어, 다중스펙트럼 반사율 데이터 큐브의 표현). 도 8b는 거짓-컬러 초분광 페이저 이미지의 표현을 도시한다. 도 8c는 대응하는 G-S 히스토그램(예를 들어, 페이저 플롯)을 도시한다. 도 8b는 도 7b와 관련하여 설명된 바와 같은 처리에 의해 얻어진다.
도 7a 내지 도 7c 및 도 8a 내지 도 8c에 도시된 바와 같이, 식도 및 소장에 대한 조직 모방은 시각적으로 유사하게 보이고, 임의의 변색은 비훈련된 의료 보조인에 의해 조명의 그림자 또는 불균일성에 기인할 수 있다. 그러나, 이미지들이 초분광 처리되고 G-S 차트에서 그래프화될 때, 스펙트럼 분포들은 분명히 상이하였다. 그러므로, 이 차이는 이형성증이 발생하고 있는 식도의 영역들을 신속하게 식별하기 위해 자동화된 파장 인식 소프트웨어 알고리즘(예를 들어, "컬러"의 스펙트럼적으로 잘 정의된 변화들을 찾는 것) 내로 프로그래밍될 수 있다. 따라서, 이것은 Barrett의 식도의 신속한 스크리닝 및 조기 검출을 용이하게 할 것이다. 이 경우에 Barrett의 식도의 검출의 중요성은 그것이 식도 선암에 대한 위험의 초기 지표라는 것이다.
도 5를 참조하면, 단계들이 상이한 순서로 수행될 수 있다는 것을 인식해야만 한다. 예를 들어, 잡음제거 필터(406)는 401과 402 사이 또는 402와 403 사이에 도포될 수 있다. 따라서, 도 5는 그에 따라 수정될 수 있다.
일부 실시예들에서, 초분광 처리 시스템은, 푸리에 변환을 이용하여 각각의 픽셀의 형성된 강도 스펙트럼을 각각의 픽셀의 강도 스펙트럼에 기초한 복소수 값 함수로 변환하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -; 각각의 픽셀의 허수 값에 대해 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 페이저 포인트를 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 대응하는 픽셀에 임의의 컬러를 할당하고; 할당된 임의의 컬러에 기초하여 타겟의 혼합되지 않은 컬러 이미지를 생성하는 구성을 갖는다.
일부 실시예들에서, 초분광 처리 시스템은, 각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 실수 성분 및 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하는 것 - 잡음제거된 실수 값 및 잡음제거된 허수 값은 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하는 데 이용됨 -; 강도 스펙트럼을 형성하기 전에 타겟 이미지에 잡음제거 필터를 적용하는 것; 또는 각각의 픽셀의 형성된 강도 스펙트럼이 변환되기 전에 잡음제거 필터를 적용하는 것 중 적어도 하나를 더 포함하는 구성을 갖는다.
일부 실시예들에서, 초분광 처리 시스템은 검출된 타겟 전자기 방사를 이용하여 타겟의 타겟 이미지를 형성하고 - 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 타겟 상의 하나의 물리적 포인트에 대응함 -;
푸리에 변환을 이용하여 복소수 값 함수를 생성하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -; 각각의 픽셀의 허수 값에 대해 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 페이저 포인트를 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고; 페이저 평면 상의 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 대응하는 픽셀에 할당하고; 할당된 임의의 컬러에 기초하여 타겟의 혼합되지 않은 컬러 이미지를 생성하는 구성을 갖는다.
일부 실시예들에서, 방법들은 머신 학습 프로토콜을 이용하여 다중스펙트럼 반사율 데이터 큐브를 획득하는 단계를 포함할 수 있다.
시스템은, 예를 들어, 다음과 같은 방식으로 이용될 수 있다. 환자는 그의 연간 건강 검사 동안 의자에 앉을 수 있다. 의료 보조원 또는 간호사는 게그 리플렉스(gag reflex)를 억제하고 환자에 대한 불편을 최소화하기 위해 환자의 목의 뒤쪽에 국소 진통제(local analgesic)를 스프레이할 수 있다. 테더링된 캡슐은 물 한 모금으로(sip of water)으로 환자에 의해 삼켜질 수 있는 캡슐에 링크된 코일링된(coiled) 테더를 투여받을 수 있다. 식도 내의 기포 형성을 최소화하기 위해 물이 흔한 소화성 계면 활성제와 혼합될 수 있다. 중력은 테더를 언코일링(uncoil)할 수 있고, 캡슐은 3초 내지 5초 내에 위식도(GE) 괄약근에 도달할 수도 있다. 의료 보조원은 위의 상단에 있는 GE 괄약근으로부터 캡슐을 수동으로 후퇴시키기 시작할 수 있고, 캡슐로부터 목에 있는 조직들의 실시간 이미지들을 디스플레이할 수 있는 외부 디스플레이 스크린(예를 들어, LCD)을 볼 수 있다. 의료 보조원이 식도의 라이닝에서 임의의 특이한 형성들을 인지하는 경우, 의료 보조원은 테더 상의 거리 마킹들에 대해 비디오 상에서 그것에 주석을 달 수 있다. 교환가능 렌즈 구성에 따라, 더 넓은 시야(FOV)를 갖는 저배율 렌즈는 위식도 역류 질환(GERD) 및 Barrett의 식도와 연관된 식도에 대한 변화를 명확하게 보여줄 수 있다. 또한, 보다 큰 FOV 또는 보다 높은 배율을 갖는 특수 렌즈를 이용할 때, 의료 보조원은 초기 EC의 의심스러운 영역들을 검사하기 위해 캡슐을 수동으로 회전시키고 식도의 벽들에 보다 가깝게 위치시킬 수 있다. 테더의 비-원형 형상은 회전을 위해 이용될 수 있다. 예를 들어, 정사각형 테더 단면 프로파일은 테더의 각각의 측면에 대해 90도 회전될 수 있다. 렌즈들 및 이미징 센서들의 수에 따라, 조직을 명확히 보여주는 다수의 뷰, 즉 정면, 측면 및/또는 배면 뷰가 병렬로 획득될 수 있으며, 따라서 위식도 역류 질환(GERD) 및 Barrett의 식도와 연관된 식도에 대한 변화들이 시각화될 수 있다. 이러한 전체 스크리닝 프로세스는 환자당 5분 미만이 걸릴 수 있다. 테더를 통한 캡슐의 인출 후에, 기록된 HD 비디오 이미지들은 전문의 의사에 의해 또는 각각의 비디오 프레임의 상세한 분석을 위한 초분광 분석 방법들을 이용하는 자동화된 머신 비전 소프트웨어에 의해 검토될 수 있다.
다른 예에서, 드론은 자연 환경 위에서 비행할 수 있고, 본 명세서에 설명된 바와 같이 이미징 및 초분광 처리를 위해 캡슐을 더 낮출 수 있다. 지상 차량은 작은 경로를 통해 이동하여 사람들이 맞출 수 없는 영역에 도달할 수 있고, 이어서 이미징 및 초분광 처리가 수행될 수 있다. 이것은 무덤들 또는 다른 인공 건물들은 물론 자연 동굴들을 탐색하는 데 유용할 수 있다. 마이크로스케일 크레인이 테더를 통해 캡슐을 하강시키기 위해 웰에 부착될 수 있고, 그 후 웰의 벽들, 바닥, 또는 다른 객체들 또는 내용물들을 이미징할 수 있다.
본 기술분야의 통상의 기술자라면, 본 명세서에 개시된 프로세스들 및 방법들에 대해, 프로세스들 및 방법들에서 수행되는 기능들이 상이한 순서로 구현될 수 있다는 것을 잘 알 것이다. 또한, 개요화된 단계들 및 동작들은 단지 예들로서 제공되고, 단계들 및 동작들 중 일부는 선택적일 수 있거나, 더 적은 단계들 및 동작들로 조합될 수 있거나, 개시된 실시예들의 본질을 손상시키지 않고 추가적인 단계들 및 동작들로 확장될 수 있다.
일 실시예에서, 본 방법들은 컴퓨팅 시스템 상에서 수행되는 양태들을 포함할 수 있다. 이와 같이, 컴퓨팅 시스템은 방법들을 수행하기 위한 컴퓨터 실행가능 명령어들을 갖는 메모리 디바이스를 포함할 수 있다. 컴퓨터 실행가능 명령어들은 청구항들 중 임의의 것의 방법들 중 임의의 것을 수행하기 위한 하나 이상의 알고리즘을 포함하는 컴퓨터 프로그램 제품의 일부일 수 있다.
일 실시예에서, 본 명세서에 설명된 동작들, 프로세스들 또는 방법들 중 임의의 것은 컴퓨터 판독가능 매체 상에 저장되고 하나 이상의 프로세서에 의해 실행가능한 컴퓨터 판독가능 명령어들의 실행에 응답하여 수행되거나 수행되게 할 수 있다. 컴퓨터 판독가능 명령어들은 데스크톱 컴퓨팅 시스템들, 휴대용 컴퓨팅 시스템들, 태블릿 컴퓨팅 시스템들, 핸드헬드 컴퓨팅 시스템들뿐만 아니라 네트워크 요소들, 및/또는 임의의 다른 컴퓨팅 디바이스로부터의 광범위한 컴퓨팅 시스템들의 프로세서에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 일시적이지 않다. 컴퓨터 판독가능 매체는 컴퓨터/프로세서에 의해 물리적 매체로부터 물리적으로 판독가능하도록 컴퓨터 판독가능 명령어들이 저장되어 있는 물리적 매체이다.
본 명세서에 설명된 프로세스들 및/또는 시스템들 및/또는 다른 기술들이 실시될 수 있는 다양한 차량들(예를 들어, 하드웨어, 소프트웨어, 및/또는 펌웨어)이 있고, 바람직한 차량은 프로세스들 및/또는 시스템들 및/또는 다른 기술들이 배치되는 컨텍스트에 따라 달라질 수 있다. 예를 들어, 구현자가 속도와 정확도가 가장 중요하다고 결정하면, 구현자는 주로 하드웨어 및/또는 펌웨어 차량을 선택할 수 있고; 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수 있고; 또는, 역시 대안으로서, 구현자는 하드웨어, 소프트웨어, 및/또는 펌웨어의 일부 조합을 선택할 수 있다.
본 명세서에서 설명되는 다양한 동작들은 광범위한 하드웨어, 소프트웨어, 펌웨어 또는 사실상 이들의 임의의 조합에 의해 개별적으로 및/또는 집합적으로 구현될 수 있다. 일 실시예에서, 본 명세서에서 설명되는 주제의 몇몇 부분들은 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP) 또는 다른 집적 포맷을 통해 구현될 수 있다. 그러나, 본 명세서에 개시된 실시예들의 일부 양태들은, 전체적으로 또는 부분적으로, 집적 회로들에서, 하나 이상의 컴퓨터 상에서 실행되는 하나 이상의 컴퓨터 프로그램으로서(예를 들어, 하나 이상의 컴퓨터 시스템 상에서 실행되는 하나 이상의 프로그램으로서), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램으로서(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램으로서), 펌웨어로서, 또는 사실상 이들의 임의의 조합으로서 동등하게 구현될 수 있고, 본 개시내용에 비추어 회로를 설계하는 것 및/또는 소프트웨어 및/또는 펌웨어에 대한 코드를 기입하는 것이 가능하다. 그에 부가하여, 본 명세서에 설명된 주제의 메커니즘들은 다양한 형태들로 프로그램 제품으로서 배포될 수 있고, 본 명세서에 설명된 주제의 예시적인 실시예는 배포를 실제로 수행하는 데 이용되는 특정 타입의 신호 베어링 매체(signal bearing medium)에 관계없이 적용된다. 물리적 신호 베어링 매체의 예들은, 이에 제한되는 것은 아니지만, 플로피 디스크, HDD(hard disk drive), CD(compact disc), DVD(digital versatile disc), 디지털 테이프, 컴퓨터 메모리, 또는 일시적 또는 송신이 아닌 임의의 다른 물리적 매체와 같은 기록가능 타입 매체를 포함한다. 컴퓨터 판독가능 명령어들을 갖는 물리적 매체의 예들은 디지털 및/또는 아날로그 통신 매체(예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같은 일시적 또는 송신 타입 매체를 생략한다.
본 명세서에 개시된 방식으로 디바이스들 및/또는 프로세스들을 설명하고, 그 후에 이러한 설명된 디바이스들 및/또는 프로세스들을 데이터 처리 시스템들에 통합하기 위해 엔지니어링 관행들을 이용하는 것이 일반적이다. 즉, 본 명세서에 설명된 디바이스들 및/또는 프로세스들의 적어도 일부는 합리적인 양의 실험을 통해 데이터 처리 시스템에 통합될 수 있다. 전형적인 데이터 처리 시스템은 일반적으로 시스템 유닛 하우징, 비디오 디스플레이 디바이스, 휘발성 및 비휘발성 메모리와 같은 메모리, 마이크로프로세서들 및 디지털 신호 프로세서들과 같은 프로세서들, 운영 체제들, 드라이버들, 그래픽 사용자 인터페이스들, 및 애플리케이션 프로그램들과 같은 계산 엔티티들, 터치 패드 또는 스크린과 같은 하나 이상의 상호작용 디바이스들, 및/또는 피드백 루프들 및 제어 모터들(예를 들어, 위치 및/또는 속도를 감지하기 위한 피드백; 컴포넌트들 및/또는 양들을 이동 및/또는 조정하기 위한 제어 모터들)을 포함하는 제어 시스템들 중 하나 이상을 포함한다. 전형적인 데이터 처리 시스템은 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템들에서 일반적으로 발견되는 것들과 같은 임의의 적절한 상업적으로 이용가능한 컴포넌트들을 이용하여 구현될 수 있다.
본 명세서에 설명된 주제는 때때로 상이한 다른 컴포넌트들 내에 포함되거나 상이한 다른 컴포넌트들과 접속된 상이한 컴포넌트들을 예시한다. 그러한 도시된 아키텍처들은 단지 예시적이며, 실제로, 동일한 기능성을 달성하는 많은 다른 아키텍처들이 구현될 수 있다. 개념적 의미에서, 동일한 기능성을 달성하기 위한 컴포넌트들의 임의의 배열은 원하는 기능성이 달성되도록 효과적으로 "연관"된다. 따라서, 본 명세서에서 특정 기능성을 달성하도록 결합된 임의의 2개의 컴포넌트는 아키텍처들 또는 중간 컴포넌트들에 관계없이 원하는 기능이 달성되도록 서로 "연관된" 것으로 볼 수 있다. 마찬가지로, 그렇게 연관된 임의의 2개의 컴포넌트는 또한 원하는 기능성을 달성하기 위해 서로 "동작가능하게 접속" 또는 "동작가능하게 결합"되는 것으로 볼 수 있고, 그렇게 연관될 수 있는 임의의 2개의 컴포넌트는 또한 원하는 기능성을 달성하기 위해 서로 "동작가능하게 결합"되는 것으로 볼 수 있다. 동작가능하게 결합가능한 것의 특정 예들은, 물리적으로 짝을 이룰 수 있는/있거나 물리적으로 상호작용하는 컴포넌트들 및/또는 무선으로 상호작용가능한 및/또는 무선으로 상호작용하는 컴포넌트들 및/또는 논리적으로 상호작용하는 및/또는 논리적으로 상호작용가능한 컴포넌트들을 포함하지만, 이들로 제한되지 않는다.
도 9는 일부 실시예들에서 본 명세서에서 설명되는 방법들(또는 그의 부분들)을 수행하도록 배열될 수 있는 예시적인 컴퓨팅 디바이스(600)(예를 들어, 컴퓨터)를 도시한다. 매우 기본적인 구성(602)에서, 컴퓨팅 디바이스(600)는 일반적으로 하나 이상의 프로세서(604) 및 시스템 메모리(606)를 포함한다. 메모리 버스(608)는 프로세서(604)와 시스템 메모리(606) 사이의 통신을 위해 이용될 수 있다.
원하는 구성에 따라, 프로세서(604)는 마이크로프로세서(μP), 마이크로제어기(μC), 디지털 신호 프로세서(DSP) 또는 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 임의의 타입일 수 있다. 프로세서(604)는 레벨 1 캐시(610) 및 레벨 2 캐시(612), 프로세서 코어(614) 및 레지스터들(616)과 같은 하나 이상의 레벨의 캐싱을 포함할 수 있다. 예시적인 프로세서 코어(614)는 ALU(arithmetic logic unit), FPU(floating point unit), DSP 코어(digital signal processing core), 또는 이들의 임의의 조합을 포함할 수 있다. 예시적인 메모리 제어기(618)가 또한 프로세서(604)와 함께 이용될 수 있거나, 일부 구현들에서, 메모리 제어기(618)는 프로세서(604)의 내부 부분일 수 있다.
원하는 구성에 따라, 시스템 메모리(606)는 휘발성 메모리(예컨대, RAM), 비휘발성 메모리(예컨대, ROM, 플래시 메모리 등), 또는 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 임의의 타입일 수 있다. 시스템 메모리(606)는 운영 체제(620), 하나 이상의 애플리케이션(622), 및 프로그램 데이터(624)를 포함할 수 있다. 애플리케이션(622)은 본 명세서에 설명된 방법들과 관련하여 설명된 것들을 포함하여, 본 명세서에 설명된 동작들을 수행하도록 배열된 결정 애플리케이션(626)을 포함할 수 있다. 결정 애플리케이션(626)은 압력, 유량, 및/또는 온도와 같은 데이터를 획득한 다음, 압력, 유량, 및/또는 온도를 변경하기 위한 시스템에 대한 변화를 결정할 수 있다.
컴퓨팅 디바이스(600)는 추가적인 특징들 또는 기능성, 및 기본 구성(602)과 임의의 필요한 디바이스들 및 인터페이스들 간의 통신을 용이하게 하기 위한 추가적인 인터페이스들을 가질 수 있다. 예를 들어, 버스/인터페이스 제어기(630)는 저장 인터페이스 버스(634)를 통해 기본 구성(602)과 하나 이상의 데이터 저장 디바이스(632) 사이의 통신을 용이하게 하는 데 이용될 수 있다. 데이터 저장 디바이스(632)는 이동식 저장 디바이스들(636), 비이동식 저장 디바이스들(638), 또는 이들의 조합일 수 있다. 이동식 저장 및 비이동식 저장 디바이스들의 예들은, 몇 가지 예를 들자면, 플렉시블 디스크 드라이브 및 하드 디스크 드라이브(HDD)와 같은 자기 디스크 디바이스, 컴팩트 디스크(CD) 드라이브 또는 디지털 다기능 디스크(DVD) 드라이브와 같은 광학 디스크 드라이브, 고체 상태 드라이브(SSD) 및 테이프 드라이브를 포함한다. 예시적인 컴퓨터 저장 매체들은 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체들을 포함할 수 있다.
시스템 메모리(606), 이동식 저장 디바이스(636) 및 비이동식 저장 디바이스(638)는 컴퓨터 저장 매체들의 예이다. 컴퓨터 저장 매체들은 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 기타 자기 저장 디바이스, 또는 원하는 정보를 저장하는 데 이용될 수 있고 컴퓨팅 디바이스(600)에 의해 액세스될 수 있는 임의의 기타 매체를 포함하지만 이에 제한되는 것은 아니다. 임의의 그러한 컴퓨터 저장 매체들은 컴퓨팅 디바이스(600)의 일부일 수 있다.
컴퓨팅 디바이스(600)는 또한 버스/인터페이스 제어기(630)를 통해 다양한 인터페이스 디바이스들(예를 들어, 출력 디바이스들(642), 주변기기 인터페이스들(644), 및 통신 디바이스들(646))로부터 기본 구성(602)으로의 통신을 용이하게 하기 위한 인터페이스 버스(640)를 포함할 수 있다. 예시적인 출력 디바이스들(642)은 그래픽 처리 유닛(648) 및 오디오 처리 유닛(650)을 포함하며, 이들은 하나 이상의 A/V 포트(652)를 통해 디스플레이 또는 스피커들과 같은 다양한 외부 디바이스들과 통신하도록 구성될 수 있다. 예시적인 주변기기 인터페이스들(644)은 직렬 인터페이스 제어기(654) 또는 병렬 인터페이스 제어기(656)를 포함하며, 이들은 하나 이상의 I/O 포트(658)를 통해 입력 디바이스들(예를 들어, 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등) 또는 다른 주변기기 디바이스들(예를 들어, 프린터, 스캐너 등)과 같은 외부 디바이스들과 통신하도록 구성될 수 있다. 예시적인 통신 디바이스(646)는 하나 이상의 통신 포트(664)를 통한 네트워크 통신 링크를 통해 하나 이상의 다른 컴퓨팅 디바이스(662)와의 통신을 용이하게 하도록 배열될 수 있는 네트워크 제어기(660)를 포함한다.
네트워크 통신 링크는 통신 매체들의 일례일 수 있다. 통신 매체들은 일반적으로 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 다른 데이터에 의해 구현될 수 있고, 임의의 정보 전달 매체들을 포함할 수 있다. "변조된 데이터 신호"는 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정 또는 변경된 신호일 수 있다. 제한이 아닌 예로서, 통신 매체들은 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체들, 및 음향, 라디오 주파수(RF), 마이크로파, 적외선(IR) 및 다른 무선 매체들과 같은 무선 매체들을 포함할 수 있다. 컴퓨터 판독가능 매체들이라는 용어는, 본 명세서에서 이용되는 바와 같이, 저장 매체들 및 통신 매체들 모두를 포함할 수 있다.
컴퓨팅 디바이스(600)는 셀 폰(cell phone), PDA(personal data assistant), 개인용 미디어 플레이어 디바이스, 무선 웹-워치 디바이스, 개인용 헤드셋 디바이스, 애플리케이션 특정 디바이스, 또는 상기의 기능들 중 임의의 것을 포함하는 하이브리드 디바이스와 같은 소형-폼 팩터(small-form factor) 휴대용(또는 모바일) 전자 디바이스의 일부로서 구현될 수 있다. 컴퓨팅 디바이스(600)는 랩탑 컴퓨터 및 논-랩탑 컴퓨터 구성들 양자를 포함하는 개인용 컴퓨터로서 구현될 수도 있다. 컴퓨팅 디바이스(600)는 또한 임의의 타입의 네트워크 컴퓨팅 디바이스일 수 있다. 컴퓨팅 디바이스(600)는 또한 본 명세서에 설명된 바와 같은 자동화된 시스템일 수 있다.
본 명세서에 설명된 실시예들은 다양한 컴퓨터 하드웨어 또는 소프트웨어 모듈들을 포함하는 특수 목적 또는 범용 컴퓨터의 이용을 포함할 수 있다.
본 발명의 범위 내의 실시예들은 또한 컴퓨터 실행가능 명령어들 또는 데이터 구조들을 전달하거나 저장하는 컴퓨터 판독가능 매체들을 포함한다. 그러한 컴퓨터 판독가능 매체들은 범용 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장소, 자기 디스크 저장소 또는 기타 자기 저장 디바이스들, 또는 원하는 프로그램 코드 수단을 컴퓨터 실행가능 명령어들 또는 데이터 구조들의 형태로 전달 또는 저장하는 데 이용될 수 있고 범용 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 정보가 네트워크 또는 다른 통신 접속(하드와이어드, 무선, 또는 하드와이어드 또는 무선의 조합)을 통해 컴퓨터에 전송되거나 제공될 때, 컴퓨터는 적절하게 그 접속을 컴퓨터 판독가능 매체로서 본다. 따라서, 임의의 그러한 접속은 컴퓨터 판독가능 매체로 적절히 지칭된다. 상기의 조합들은 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
컴퓨터 실행가능 명령어들은, 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터 또는 특수 목적 처리 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하는 명령어들 및 데이터를 포함한다. 발명의 주제가 구조적 특징들 및/또는 방법론적 동작들에 특정적인 언어로 설명되었지만, 첨부된 청구항들에 정의된 주제가 반드시 전술한 특정의 특징들 또는 동작들로 제한되는 것은 아니라는 것을 잘 알 것이다. 오히려, 전술한 특정 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시된다.
일부 실시예들에서, 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때, 객체에 대한 객체 데이터 및 조건에 대한 조건 데이터를 갖는 데이터세트를 제공하는 단계; 데이터세트의 객체 데이터를 처리하여 잠재적 객체 데이터 및 잠재적 객체-조건 데이터를 객체 인코더에 의해 획득하는 단계; 데이터세트의 조건 데이터를 처리하여 잠재적 조건 데이터 및 잠재적 조건-객체 데이터를 조건 인코더에 의해 획득하는 단계; 잠재적 객체 데이터 및 잠재적 객체-조건 데이터를 처리하여 생성된 객체 데이터를 객체 디코더에 의해 획득하는 단계; 잠재적 조건 데이터 및 잠재적 조건-객체 데이터를 처리하여 생성된 조건 데이터를 조건 디코더에 의해 획득하는 단계; 잠재적 객체-조건 데이터를 잠재적 조건 데이터와 비교하여 차이를 결정하는 단계; 잠재적 객체 데이터 및 잠재적 조건 데이터와, 잠재적 객체-조건 데이터 또는 잠재 조건 객체 데이터 중 하나를 판별기에 의해 처리하여 판별기 값을 획득하는 단계; 생성된 오브젝트 데이터, 생성된 조건 데이터, 및 잠재적 객체-조건 데이터와 잠재적 조건 객체 데이터 사이의 차이에 기초하여 생성된 객체 데이터로부터 선택된 객체를 선택하는 단계; 및 객체의 물리적 형태의 검증을 위한 추천을 갖는 보고에서 선택된 객체를 제공하는 단계를 포함할 수 있는 방법의 수행을 야기하는 컴퓨터 실행가능 명령어들을 갖는 비일시적 유형의 메모리 디바이스를 포함할 수 있다. 비일시적 유형의 메모리 디바이스는 또한 본 명세서에 설명된 방법들 또는 방법 단계들 중 임의의 것에 대한 다른 실행가능 명령어들을 가질 수 있다. 또한, 명령어들은 비-컴퓨팅 작업, 예컨대, 분자의 합성 및/또는 분자를 확인하기 위한 실험 프로토콜을 수행하기 위한 명령어들일 수 있다. 다른 실행가능 명령어들이 또한 제공될 수 있다.
본 개시내용은, 다양한 양태들의 예시들로서 의도되는, 본 출원에 설명된 특정 실시예들에 관하여 제한되지 않아야 한다. 많은 수정들 및 변형들이, 본 기술분야의 통상의 기술자들에게 분명한 바와 같이, 그것의 사상 및 범위에서 벗어나지 않고서 이루어질 수 있다. 본 명세서에 열거된 것들에 더하여, 본 개시내용의 범위 내의 기능적으로 동등한 방법들 및 장치들은 전술한 설명들로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 그러한 수정들 및 변형들은 첨부된 청구항들의 범위 내에 속하는 것으로 의도된다. 본 개시내용은 첨부된 청구항들과 함께, 그러한 청구항들에 부여되는 등가물들의 전체 범위에 의해서만 제한되어야 한다. 본 개시내용은, 물론 달라질 수 있는, 특정한 방법들, 시약들, 화합물 조성들 또는 생물학적 시스템들로 제한되지 않는다는 것을 이해해야 한다. 또한, 본 명세서에서 이용된 용어는 단지 특정 실시예들을 설명하기 위한 것이며, 제한하려는 의도는 아니라는 것을 이해해야 한다.
본 명세서에서의 실질적으로 임의의 복수 및/또는 단수 용어들의 이용과 관련하여, 본 기술분야의 통상의 기술자는 맥락 및/또는 응용에 적절한 바와 같이 복수로부터 단수로 및/또는 단수로부터 복수로 변환할 수 있다. 다양한 단수/복수 치환들은 명료함을 위하여 본 명세서에서 명시적으로 개시될 수 있다.
본 기술분야의 통상의 기술자라면, 일반적으로, 본 명세서에서, 및 특히 첨부된 청구항들(예를 들어, 첨부된 청구항들의 본문)에서 이용되는 용어들은 일반적으로 "개방형" 용어로서 의도된다는 것을 이해할 것이다(예를 들어, 용어 "포함하는(including)"은 "포함하지만 이것으로 제한되지 않는"으로서 해석되어야 하고, 용어 "갖는(having)"은 "적어도 갖는"으로서 해석되어야 하며, 용어 "포함한다(includes)"는 "포함하지만 이것으로 제한되지 않는다"로서 해석되어야 하는 등으로 된다). 특정 수의 도입된 청구항 기재가 의도되는 경우, 그러한 의도는 청구항에서 명시적으로 기재될 것이고, 그러한 기재의 부재 시에, 그러한 의도는 존재하지 않는다는 것이 본 기술분야의 통상의 기술자들에 의해 추가로 이해될 것이다. 예를 들어, 이해를 돕기 위해, 이하의 첨부된 청구항들은 청구항 기재들을 소개하기 위해 도입 문구들 "적어도 하나" 및 "하나 이상"의 이용을 포함할 수 있다. 그러나, 그러한 문구들의 이용은, 동일한 청구항이 도입 문구들 "하나 이상" 또는 "적어도 하나" 및 부정 관사들 예컨대 "a" 또는 "an"을 포함할 때에도, 부정 관사들 "a" 또는 "an"에 의한 청구항 인용의 도입이 그러한 도입된 청구항 인용을 포함하는 임의의 특정 청구항을 하나의 그러한 기재만을 포함하는 실시예들로 제한하는 것을 암시하는 것으로 해석되지 않아야 하며(예를 들어, "a" 및/또는 "an"은 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 해석되어야 함); 청구항 기재들을 도입하기 위해 이용되는 정관사들의 이용에 대해서도 마찬가지이다. 또한, 특정 수의 도입된 청구항 기재가 명시적으로 기재되더라도, 본 기술분야의 통상의 기술자들은 이러한 기재가 적어도 기재된 수를 의미하는 것으로 해석되어야 한다는 것을 인식할 것이다(예를 들어, 다른 수식어들이 없는 "2개의 기재"의 완전한 기재는 적어도 2개의 기재, 또는 2개 이상의 기재를 의미한다). 또한, "A, B, 및 C 등 중 적어도 하나"와 유사한 관례가 이용되는 경우, 일반적으로 그러한 구성은 본 기술분야의 통상의 기술자가 관례를 이해한다는 의미에서 의도된다(예를 들어, "A, B, 및 C 중 적어도 하나를 갖는 시스템"은, A 단독, B 단독, C 단독, A와 B 함께, A와 C 함께, B와 C 함께, 및/또는 A, B, 및 C 함께 등을 갖는 시스템을 포함하지만 이것으로 제한되지 않는다). "A, B, 또는 C 등 중 적어도 하나"와 유사한 관례가 이용되는 그러한 경우들에서, 일반적으로 그러한 구성은 본 기술분야의 통상의 기술자가 관례를 이해한다는 의미에서 의도된다(예를 들어, "A, B, 또는 C 중 적어도 하나를 갖는 시스템"은 A 단독, B 단독, C 단독, A와 B 함께, A와 C 함께, B와 C 함께, 및/또는 A, B, 및 C 함께 등을 갖는 시스템들을 포함하지만 이에 제한되지 않을 것이다). 설명, 청구항들, 또는 도면들에서든지 간에, 2개 이상의 대안적인 용어들을 제시하는 사실상 임의의 분리적 단어 및/또는 어구는 용어들 중의 하나, 용어들 중의 어느 하나, 또는 양자의 용어들을 포함할 가능성들을 고려하도록 이해되어야 한다는 것이 본 기술분야의 통상의 기술자들에 의해 추가로 이해될 것이다. 예를 들어, 문구 "A 또는 B"는 "A" 또는 "B" 또는 "A 및 B"의 가능성들을 포함하는 것으로 이해될 것이다.
또한, 본 개시내용의 특징들 또는 양태들이 마쿠쉬 그룹들(Markush groups)의 관점에서 설명되는 경우, 본 기술분야의 통상의 기술자는 본 개시내용이 또한 마쿠쉬 그룹의 임의의 개별 멤버 또는 멤버들의 서브그룹의 관점에서 설명된다는 것을 인식할 것이다.
본 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 임의의 및 모든 목적을 위해, 예컨대 기재된 설명을 제공하는 관점에서, 본 명세서에 개시된 모든 범위는 또한 임의의 및 모든 가능한 하위범위들 및 그의 하위범위들의 조합들을 포괄한다. 임의의 열거된 범위는 동일한 범위가 적어도 동등한 절반들, 1/3, 1/4, 1/5, 1/10 등으로 분해되는 것을 충분히 설명하고 가능하게 하는 것으로서 쉽게 인식될 수 있다. 비-제한적인 예로서, 본 명세서에서 논의된 각각의 범위는 하부 1/3, 중간 1/3 및 상부 1/3 등으로 용이하게 분해될 수 있다. 본 기술분야의 통상의 기술자에 의해 또한 이해될 바와 같이, "최대", "적어도" 등과 같은 모든 언어는 인용된 수를 포함하고, 위에서 논의된 바와 같이 하위범위들로 후속적으로 분할될 수 있는 범위들을 지칭한다. 마지막으로, 본 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 범위는 각각의 개별 멤버를 포함한다. 따라서, 예를 들어, 1-3개의 셀을 갖는 그룹은 1, 2, 또는 3개의 셀을 갖는 그룹들을 지칭한다. 유사하게, 1-5개의 셀을 갖는 그룹은 1, 2, 3, 4 또는 5개의 셀을 갖는 그룹 등을 지칭한다.
상기로부터, 본 개시내용의 다양한 실시예들이 예시의 목적들을 위해 본 명세서에 설명되었고, 다양한 수정들이 본 개시내용의 범위 및 사상으로부터 벗어나지 않고서 이루어질 수 있다는 점이 이해될 것이다. 따라서, 본 명세서에 개시된 다양한 실시예들은 제한적인 것으로 의도되지 않으며, 진정한 범위 및 사상은 이하의 청구항들에 의해 표시된다.
본 명세서에 인용된 모든 참조문헌들은 그 전체가 특정 참조문헌으로 본 명세서에 포함된다.
참조문헌들: PCT/US 2015/025468; F. Cutrale, V. Trivedi, L.A. Trinh, C.L. Chiu, J.M. Choi, M.S. Artiga, S.E. Fraser, "Hyperspectral phasor analysis enables multiplexed 5D in vivo imaging," Nature Methods 14, 149-152 (2017); W. Shi, E.S. Koo, M. Kitano, H.J. Chiang, L.A. Trinh, G. Turcatel, B. Steventon, C. Arnesano, D. Warburton, S.E. Fraser, F. Cutrale, "Pre-processing visualization of hyperspectral fluorescent data with Spectrally Encoded Enhanced Representations" Nature Communications 11, 726 (2020).
Claims (84)
- 캡슐 초분광 시스템으로서,
이미징 캡슐 - 상기 이미징 캡슐은,
상기 이미징 캡슐로부터 복수의 상이한 라이팅 조명들을 방출하도록 구성된 복수의 광 방출기들을 갖는 조명 시스템, 및
적어도 하나의 이미징 센서를 갖는 초분광 이미징 시스템을 포함하고,
상기 조명 시스템 및 초분광 이미징 시스템은 상이한 라이팅 조명들의 시퀀스로 타겟을 조명하고 상기 시퀀스에서의 상기 상이한 라이팅 조명들 각각 동안 상기 타겟을 이미징하도록 협력적으로 구성됨 -, 및
적어도 하나의 프로세서를 갖는 초분광 처리 시스템
을 포함하고, 상기 초분광 처리 시스템은 상기 초분광 이미징 시스템과 동작가능하게 결합되고, 그로부터 상기 타겟의 이미지들을 수신하고 상기 타겟의 수신된 이미지들로부터 상기 타겟의 다중스펙트럼 반사율 데이터 큐브를 생성하도록 구성되는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 이미징 캡슐에 결합된 캡슐 단부 및 상기 초분광 처리 시스템에 결합된 시스템 단부를 갖는 테더를 더 포함하는, 캡슐 초분광 시스템. - 제2항에 있어서,
상기 테더는 상기 초분광 이미징 시스템 및 초분광 처리 시스템과 통신가능하게 결합되어 이들 사이에서 데이터를 전달하는, 캡슐 초분광 시스템. - 제2항에 있어서,
상기 테더와 상기 이미징 캡슐 사이의 반-강성 접속을 더 포함하고, 상기 반-강성 접속은 상기 이미징 캡슐로부터의 상기 테더의 분리 없이 상기 캡슐을 위치시키기 위한 수동 조작을 견딜 수 있도록 구성되는, 캡슐 초분광 시스템. - 제2항에 있어서,
상기 테더는 비-원형 단면 프로파일을 갖는, 캡슐 초분광 시스템. - 제2항에 있어서,
상기 테더는 마킹들을 갖는 외부 표면을 포함하고, 상기 마킹들은 배치될 때 상기 이미징 캡슐로부터의 거리를 나타내도록 구성되는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 조명 시스템은 적어도 3개의 상이한 컬러 대역을 갖는 적어도 3개의 LED를 포함하는, 캡슐 초분광 시스템. - 제7항에 있어서,
적어도 하나의 LED는 백색 광 LED인, 캡슐 초분광 시스템. - 제8항에 있어서,
적어도 2개의 LED는 상이한 컬러 대역들을 갖는 컬러 LED들인, 캡슐 초분광 시스템. - 제7항에 있어서,
상기 조명 시스템은 복수의 LED들의 균일하게 배열된 어레이를 포함하는, 캡슐 초분광 시스템. - 제10항에 있어서,
상기 조명 시스템은 적어도 2개의 백색 광 LED 및 적어도 2개의 상이한 컬러 대역을 갖는 적어도 4개의 컬러 LED를 포함하는 적어도 6개의 LED를 포함하는, 캡슐 초분광 시스템. - 제7항에 있어서,
각각의 LED의 방출 파장은 건강한 조직 상의 백색 및/또는 분홍색 띤 표면 및 건강하지 않은 조직 상의 적색 표면이 가시적으로 식별되고 서로 구별될 수 있도록 선택되는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 적어도 하나의 이미징 센서 및 복수의 광 방출기들은 플레이트 상에 배열되고 동일한 방향으로 배향되는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 초분광 이미징 시스템은 고정 렌즈 시스템, 분리가능한 렌즈 시스템, 교체가능한 렌즈 시스템 또는 교환가능한 렌즈 시스템인 렌즈 시스템을 더 포함하는, 캡슐 초분광 시스템. - 제14항에 있어서,
상기 렌즈 시스템은 적어도 약 90도 및 약 360도 미만의 범위의 시야(FOV)를 갖는 적어도 하나의 렌즈를 갖는, 캡슐 초분광 시스템. - 제14항에 있어서,
상기 렌즈 시스템은 약 120도 내지 약 180도의 범위의 시야(FOV)를 갖는 적어도 하나의 렌즈를 갖는, 캡슐 초분광 시스템. - 제14항에 있어서,
상기 초분광 이미징 시스템은 광학 렌즈, 광학 필터, 분산 광학계 시스템, 또는 이들의 조합을 포함하는, 캡슐 초분광 시스템. - 제14항에 있어서,
상기 초분광 이미징 시스템은 제1 광학 렌즈, 제2 광학 렌즈, 및 이색 미러/빔 스플리터를 포함하는, 캡슐 초분광 시스템. - 제14항에 있어서,
상기 초분광 이미징 시스템은 광학 렌즈, 분산 광학계를 포함하고, 상기 적어도 하나의 이미징 센서는 광학 검출기 어레이인, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 적어도 하나의 이미징 센서는 상기 이미징 캡슐의 중심 축에 대해 중심을 벗어난 위치에 위치되는, 캡슐 초분광 시스템. - 제20항에 있어서,
상기 적어도 하나의 이미징 센서는 중심 축에서 약 10도 내지 약 35도 벗어나 위치되는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 초분광 이미징 시스템은 상기 캡슐의 광학 유입구와 상기 적어도 하나의 이미징 센서 사이에 배치된 광학 필터링 시스템을 더 포함하는, 캡슐 초분광 시스템. - 제22항에 있어서,
상기 광학 필터링 시스템은 잡음제거 필터를 포함하는, 캡슐 초분광 시스템. - 제23항에 있어서,
상기 잡음제거 필터는 중간값 필터를 포함하는, 캡슐 초분광 시스템. - 제2항에 있어서,
상기 이미징 캡슐은 캡슐 커버를 포함하고, 상기 캡슐 커버는 외부 표면 상에 텍스처를 갖는, 캡슐 초분광 시스템. - 제25항에 있어서,
상기 텍스처는 적어도 하나의 딤플을 포함하고, 상기 적어도 하나의 딤플은 환자가 상기 테더링된 이미징 캡슐을 쉽게 삼킬 수 있도록 구성되는, 캡슐 초분광 시스템. - 제25항에 있어서,
상기 텍스처는 적어도 하나의 채널을 포함하고, 상기 적어도 하나의 채널은 환자가 상기 테더링된 이미징 캡슐을 쉽게 삼킬 수 있도록 구성되는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 초분광 처리 시스템과 동작 가능하게 결합된 디스플레이를 더 포함하고, 상기 조명 시스템은 상기 적어도 하나의 이미징 센서가 상기 이미징된 타겟을 상기 디스플레이 상에 디스플레이하도록 교정되는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 캡슐은 상기 적어도 하나의 이미징 센서의 이미징 및 상이한 라이팅 조명들의 시퀀스를 제어하도록 구성된 제어 시스템을 포함하는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 초분광 처리 시스템은 제어 시스템, 메모리 및 디스플레이를 포함하고, 상기 제어 시스템은, 상기 다중스펙트럼 반사율 데이터 큐브의 생성, 상기 다중스펙트럼 반사율 데이터 큐브의 상기 메모리로의 저장을 야기하고, 상기 다중스펙트럼 반사율 데이터 큐브 또는 그 이미지 표현을 상기 디스플레이 상에 디스플레이하도록 구성되는, 캡슐 초분광 시스템. - 제1항에 있어서, 적어도 하나의 광학 검출기는,
상기 타겟 상의 적어도 하나의 물리적 포인트에 의해 흡수, 송신, 굴절, 반사, 및/또는 방출되는 타겟 전자기 방사를 검출하고 - 상기 타겟 방사는 적어도 2개의 타겟 파를 포함하고, 각각의 타겟 파는 강도 및 고유 파장을 가짐 -;
각각의 타겟 파의 강도 및 파장을 검출하고;
상기 검출된 타겟 전자기 방사, 및 각각의 타겟 파의 검출된 강도 및 파장을 상기 초분광 처리 시스템에 송신하는
구성을 갖는, 캡슐 초분광 시스템. - 제31항에 있어서, 상기 초분광 처리 시스템은,
상기 검출된 타겟 전자기 방사를 이용하여 상기 타겟의 타겟 이미지를 형성하고 - 상기 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 상기 타겟 상의 하나의 물리적 포인트에 대응함 -;
각각의 타겟 파의 검출된 강도 및 파장을 이용하여 각각의 픽셀에 대한 적어도 하나의 강도 스펙트럼을 형성하고;
각각의 픽셀에 대한 적어도 하나의 강도 스펙트럼으로부터 상기 다중스펙트럼 반사율 데이터 큐브를 생성하는
구성을 갖는, 캡슐 초분광 시스템. - 제32항에 있어서, 상기 초분광 처리 시스템은,
푸리에 변환을 이용하여 각각의 픽셀의 형성된 강도 스펙트럼을 각각의 픽셀의 강도 스펙트럼에 기초한 복소수 값 함수로 변환하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -;
각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 상기 실수 성분 및 상기 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하고;
각각의 픽셀의 상기 잡음제거된 허수 값에 대해 상기 잡음제거된 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 상기 페이저 포인트를 상기 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 상기 대응하는 픽셀에 할당하고;
상기 할당된 임의의 컬러에 기초하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는
구성을 갖는, 캡슐 초분광 시스템. - 제33항에 있어서, 상기 초분광 처리 시스템은,
상기 타겟의 혼합되지 않은 컬러 이미지를 상기 초분광 처리 시스템의 디스플레이 상에 디스플레이하는 구성을 갖는, 캡슐 초분광 시스템. - 제33항에 있어서,
상기 초분광 처리 시스템은 푸리에 변환의 제1 고조파만 또는 제2 고조파만을 이용하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는, 캡슐 초분광 시스템. - 제33항에 있어서,
상기 초분광 처리 시스템은 푸리에 변환의 제1 고조파 및 제2 고조파만을 이용하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는, 캡슐 초분광 시스템. - 제33항에 있어서, 상기 타겟 방사는,
형광 파장들; 또는
적어도 4개의 파장
중 적어도 하나를 포함하는, 캡슐 초분광 시스템. - 제33항에 있어서,
상기 초분광 처리 시스템은 1.2 내지 50 범위 내의 적어도 하나의 스펙트럼의 신호 대 잡음비에서 상기 타겟의 혼합되지 않은 컬러 이미지를 형성하도록 구성되는, 캡슐 초분광 시스템. - 제33항에 있어서,
상기 초분광 처리 시스템은 2 내지 50의 범위 내의 적어도 하나의 스펙트럼의 신호 대 잡음비에서 상기 타겟의 혼합되지 않은 컬러 이미지를 형성하도록 구성되는, 캡슐 초분광 시스템. - 제33항에 있어서,
상기 초분광 처리 시스템은 참조 재료를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 갖는, 캡슐 초분광 시스템. - 제33항에 있어서,
상기 초분광 처리 시스템은 참조 재료를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 갖고, 상기 참조 재료의 혼합되지 않은 컬러 이미지는 상기 타겟의 혼합되지 않은 컬러 이미지의 생성 이전에 생성되는, 캡슐 초분광 시스템. - 제33항에 있어서,
상기 초분광 처리 시스템은 참조 재료를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 갖고, 상기 참조 재료의 혼합되지 않은 컬러 이미지는 상기 타겟의 혼합되지 않은 컬러 이미지의 생성 이전에 생성되고, 상기 참조 재료는, 물리적 구조, 화학적 분자, 생물학적 분자, 질병에 의해 야기된 물리적 변화 및/또는 생물학적 변화, 또는 이들의 임의의 조합을 포함하는, 캡슐 초분광 시스템. - 제1항에 있어서, 상기 조명 시스템 및 초분광 이미징 시스템은,
제1 라이팅 조명으로 참조 타겟을 조명하고;
상기 제1 라이팅 조명 동안 상기 참조 타겟을 이미징하고;
제1 라이팅 조명과 상이한 제2 라이팅 조명으로 상기 참조 타겟을 조명하고;
상기 제2 라이팅 조명 동안 상기 참조 타겟을 이미징하고;
상기 제1 라이팅 조명 및 제2 라이팅 조명과 상이한 제3 라이팅 조명으로 상기 참조 타겟을 조명하고;
상기 제3 라이팅 조명 동안 상기 참조 타겟을 이미징하도록
협력적으로 구성되는, 캡슐 초분광 시스템. - 제43항에 있어서,
상기 제3 라이팅 조명은 백색 광 조명인, 캡슐 초분광 시스템. - 제43항에 있어서,
상기 참조 타겟은 컬러 표준 이미지를 포함하는, 캡슐 초분광 시스템. - 제43항에 있어서,
상기 제1 라이팅 조명, 제2 라이팅 조명, 및 제3 라이팅 조명 각각은 적어도 2개의 LED에 의한 조명을 포함하는, 캡슐 초분광 시스템. - 제43항에 있어서, 상기 초분광 처리 시스템은,
상기 이미지들의 각각의 픽셀에 대한 스펙트럼을 획득하고;
각각의 픽셀의 상기 스펙트럼으로부터 변환 행렬을 생성하는
구성을 갖는, 캡슐 초분광 시스템. - 제47항에 있어서, 상기 조명 시스템 및 초분광 이미징 시스템은,
상기 제1 라이팅 조명으로 상기 타겟을 조명하고;
상기 제1 라이팅 조명 동안 상기 타겟을 이미징하고;
상기 제2 라이팅 조명으로 상기 타겟을 조명하고;
상기 제2 라이팅 조명 동안 상기 타겟을 이미징하고;
상기 제3 라이팅 조명으로 상기 타겟을 조명하고;
상기 제3 라이팅 조명 동안 상기 참조 타겟을 이미징하도록
협력적으로 구성되는, 캡슐 초분광 시스템. - 제48항에 있어서, 상기 초분광 처리 시스템은,
상기 변환 행렬 및 상기 제1 라이팅 조명, 제2 라이팅 조명, 및 제3 라이팅 조명 동안에 획득된 상기 타겟의 이미지들로부터 다중스펙트럼 반사율 데이터 큐브를 생성하는 구성을 갖는, 캡슐 초분광 시스템. - 제49항에 있어서,
상기 다중스펙트럼 반사율 데이터 큐브는 상기 타겟의 이미지들을 이용한 의사-역 방법으로부터 획득되는, 캡슐 초분광 시스템. - 제1항에 있어서,
관개 소스 및 관개 도관을 갖는 관개 시스템을 더 포함하고, 상기 관개 도관은 상기 캡슐에 개구를 갖는, 캡슐 초분광 시스템. - 제1항에 있어서,
상기 테더는 관개 시스템에 결합된 관개 도관을 포함하고, 상기 관개 도관은 상기 캡슐에 개구를 갖는, 캡슐 초분광 시스템. - 제32항에 있어서, 상기 초분광 처리 시스템은,
푸리에 변환을 이용하여 각각의 픽셀의 형성된 강도 스펙트럼을 각각의 픽셀의 강도 스펙트럼에 기초한 복소수 값 함수로 변환하고- 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -;
각각의 픽셀의 상기 허수 값에 대해 상기 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 상기 페이저 포인트를 상기 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 상기 대응하는 픽셀에 할당하고;
상기 할당된 임의의 컬러에 기초하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는
구성을 갖는, 캡슐 초분광 시스템. - 제53항에 있어서, 상기 초분광 처리 시스템은,
각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 상기 실수 성분 및 상기 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하는 것 - 상기 잡음제거된 실수 값 및 잡음제거된 허수 값은 각각의 픽셀에 대한 상기 페이저 평면 상에 하나의 페이저 포인트를 형성하는 데 이용됨 -;
상기 강도 스펙트럼을 형성하기 전에 상기 타겟 이미지에 잡음제거 필터를 적용하는 것; 또는
각각의 픽셀의 상기 형성된 강도 스펙트럼이 변환되기 전에 잡음제거 필터를 적용하는 것
중 적어도 하나를 더 포함하는 구성을 갖는, 캡슐 초분광 시스템. - 제31항에 있어서, 상기 초분광 처리 시스템은,
상기 검출된 타겟 전자기 방사를 이용하여 상기 타겟의 타겟 이미지를 형성하고 - 상기 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 상기 타겟 상의 하나의 물리적 포인트에 대응함 -;
푸리에 변환을 이용하여 복소수 값 함수를 생성하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -;
각각의 픽셀의 상기 허수 값에 대해 상기 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 상기 페이저 포인트를 상기 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 상기 대응하는 픽셀에 할당하고;
상기 할당된 임의의 컬러에 기초하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는
구성을 갖는, 캡슐 초분광 시스템. - 제31항에 있어서,
머신 학습 프로토콜을 이용하여 다중스펙트럼 반사율 데이터 큐브를 획득하는 것을 더 포함하는, 캡슐 초분광 시스템. - 컴퓨터 방법으로서,
이미징 캡슐의 조명 시스템으로 타겟의 조명을 야기하는 단계;
상기 이미징 캡슐의 적어도 하나의 이미징 센서로부터 상기 타겟 상의 적어도 하나의 물리적 포인트에 의해 흡수, 송신, 굴절, 반사 및/또는 방출되는 검출된 타겟 전자기 방사를 수신하는 단계 - 상기 타겟 방사는 적어도 2개의 타겟 파를 포함하고, 각각의 타겟 파는 강도 및 고유 파장을 가짐 -; 및
상기 이미징 캡슐로부터의 상기 검출된 타겟 전자기 방사 및 각각의 타겟 파의 검출된 강도 및 파장을 초분광 처리 시스템에 송신하는 단계
를 포함하는, 컴퓨터 방법. - 제57항에 있어서, 상기 초분광 처리 시스템이,
상기 검출된 타겟 전자기 방사를 이용하여 상기 타겟의 타겟 이미지를 형성하는 것 - 상기 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 상기 타겟 상의 하나의 물리적 포인트에 대응함 -;
각각의 타겟 파의 상기 검출된 강도 및 파장을 이용하여 각각의 픽셀에 대한 적어도 하나의 강도 스펙트럼을 형성하는 것; 및
각각의 픽셀에 대한 상기 적어도 하나의 강도 스펙트럼으로부터 상기 다중스펙트럼 반사율 데이터 큐브를 생성하는 것
을 수행하는 단계를 더 포함하는, 컴퓨터 방법. - 제58항에 있어서, 상기 초분광 처리 시스템이,
푸리에 변환을 이용하여 각각의 픽셀의 상기 형성된 강도 스펙트럼을 각각의 픽셀의 상기 강도 스펙트럼에 기초한 복소수 값 함수로 변환하는 것 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -;
각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 상기 실수 성분 및 상기 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하는 것;
각각의 픽셀의 상기 잡음제거된 허수 값에 대해 상기 잡음제거된 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하는 것;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 상기 페이저 포인트를 상기 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하는 것;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 상기 대응하는 픽셀에 할당하는 것; 및
상기 할당된 임의의 컬러에 기초하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는 것
을 수행하는 단계를 더 포함하는, 컴퓨터 방법. - 제59항에 있어서,
상기 초분광 처리 시스템이 상기 타겟의 혼합되지 않은 컬러 이미지를 상기 초분광 처리 시스템의 디스플레이 상에 디스플레이하는 단계를 더 포함하는, 컴퓨터 방법. - 제59항에 있어서,
상기 초분광 처리 시스템은 상기 푸리에 변환의 제1 고조파만 또는 제2 고조파만을 이용하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는, 컴퓨터 방법. - 제59항에 있어서,
상기 초분광 처리 시스템은 상기 푸리에 변환의 제1 고조파 및 제2 고조파만을 이용하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는, 컴퓨터 방법. - 제59항에 있어서, 상기 타겟 방사는,
형광 파장들; 또는
적어도 4개의 파장
중 적어도 하나를 포함하는, 컴퓨터 방법. - 제59항에 있어서,
상기 초분광 이미징 시스템은 1.2 내지 50 범위 내의 적어도 하나의 스펙트럼의 신호 대 잡음비에서 상기 타겟의 혼합되지 않은 컬러 이미지를 형성하도록 구성되는, 컴퓨터 방법. - 제59항에 있어서,
상기 초분광 이미징 시스템은 2 내지 50의 범위 내의 적어도 하나의 스펙트럼의 신호 대 잡음비에서 상기 타겟의 혼합되지 않은 컬러 이미지를 형성하는, 컴퓨터 방법. - 제59항에 있어서,
상기 초분광 처리 시스템은 참조 재료를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 갖는, 컴퓨터 방법. - 제59항에 있어서,
상기 초분광 처리 시스템은 참조 재료를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 갖고, 상기 참조 재료의 혼합되지 않은 컬러 이미지는 상기 타겟의 혼합되지 않은 컬러 이미지의 생성 이전에 생성되는, 컴퓨터 방법. - 제59항에 있어서,
상기 초분광 처리 시스템은 참조 재료를 이용하여 각각의 픽셀에 임의의 컬러를 할당하는 구성을 갖고, 상기 참조 재료의 혼합되지 않은 컬러 이미지는 상기 타겟의 혼합되지 않은 컬러 이미지의 생성 이전에 생성되고, 상기 참조 재료는, 물리적 구조, 화학적 분자, 생물학적 분자, 질병에 의해 야기된 물리적 변화 및/또는 생물학적 변화, 또는 이들의 임의의 조합을 포함하는, 컴퓨터 방법. - 제58항에 있어서, 상기 초분광 처리 시스템은,
푸리에 변환을 이용하여 각각의 픽셀의 상기 형성된 강도 스펙트럼을 각각의 픽셀의 상기 강도 스펙트럼에 기초한 복소수 값 함수로 변환하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -;
각각의 픽셀의 상기 허수 값에 대해 상기 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 상기 페이저 포인트를 상기 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 상기 대응하는 픽셀에 할당하고;
상기 할당된 임의의 컬러에 기초하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는
구성을 갖는, 컴퓨터 방법. - 제69항에 있어서, 상기 초분광 처리 시스템은,
각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 상기 실수 성분 및 상기 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하는 것 - 상기 잡음제거된 실수 값 및 잡음제거된 허수 값은 각각의 픽셀에 대한 상기 페이저 평면 상에 하나의 페이저 포인트를 형성하는 데 이용됨 -;
상기 강도 스펙트럼을 형성하기 전에 상기 타겟 이미지에 잡음제거 필터를 적용하는 것; 또는
각각의 픽셀의 상기 형성된 강도 스펙트럼이 변환되기 전에 잡음제거 필터를 적용하는 것
중 적어도 하나를 더 포함하는 구성을 갖는, 컴퓨터 방법. - 제58항에 있어서, 상기 초분광 처리 시스템은,
상기 검출된 타겟 전자기 방사를 이용하여 상기 타겟의 타겟 이미지를 형성하고 - 상기 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 상기 타겟 상의 하나의 물리적 포인트에 대응함 -;
푸리에 변환을 이용하여 복소수 값 함수를 생성하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -;
각각의 픽셀의 상기 허수 값에 대해 상기 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 상기 페이저 포인트를 상기 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 상기 대응하는 픽셀에 할당하고;
상기 할당된 임의의 컬러에 기초하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는
구성을 갖는, 컴퓨터 방법. - 제58항에 있어서,
머신 학습 프로토콜을 이용하여 다중스펙트럼 반사율 데이터 큐브를 획득하는 것을 더 포함하는, 캡슐 초분광 시스템. - 컴퓨터 방법으로서,
이미징 캡슐로부터 방출된 제1 라이팅 조명으로 참조 타겟의 조명을 야기하는 단계;
상기 제1 라이팅 조명 동안 상기 참조 타겟의 이미지를 획득하는 단계;
상기 이미징 캡슐로부터 방출된 제2 라이팅 조명으로 상기 참조 타겟의 조명을 야기하는 단계;
상기 제2 라이팅 조명 동안 상기 참조 타겟의 이미지를 획득하는 단계;
상기 이미징 캡슐로부터 방출된 제3 라이팅 조명으로 상기 참조 타겟의 조명을 야기하는 단계; 및
상기 제3 라이팅 조명 동안 상기 참조 타겟의 이미지를 획득하는 단계
를 포함하는, 컴퓨터 방법. - 제73항에 있어서,
상기 제3 라이팅 조명은 백색 광 조명인, 컴퓨터 방법. - 제73항에 있어서,
상기 참조 타겟은 컬러 표준 이미지를 포함하는, 컴퓨터 방법. - 제73항에 있어서,
상기 제1 라이팅 조명, 상기 제2 라이팅 조명, 및 상기 제3 라이팅 조명 각각은 적어도 2개의 LED에 의한 조명을 포함하는, 컴퓨터 방법. - 제73항에 있어서,
상기 이미지들의 각각의 픽셀에 대한 스펙트럼을 획득하는 단계; 및
각각의 픽셀의 상기 스펙트럼으로부터 변환 행렬을 생성하는 단계
를 더 포함하는, 컴퓨터 방법. - 제77항에 있어서,
상기 제1 라이팅 조명으로 상기 타겟의 조명을 야기하는 단계;
상기 제1 라이팅 조명 동안 상기 타겟의 이미지를 획득하는 단계;
상기 제2 라이팅 조명으로 상기 타겟의 조명을 야기하는 단계;
상기 제2 라이팅 조명 동안 상기 타겟의 이미지를 획득하는 단계;
상기 제3 라이팅 조명으로 상기 타겟의 조명을 야기하는 단계; 및
상기 제3 라이팅 조명 동안 상기 참조 타겟의 이미지를 획득하는 단계
를 더 포함하는, 컴퓨터 방법. - 제78항에 있어서,
초분광 처리 시스템은 상기 제1 라이팅 조명, 제2 라이팅 조명, 및 제3 라이팅 조명 동안 획득된 상기 타겟의 이미지들로부터 다중스펙트럼 반사율 데이터 큐브를 생성하는, 컴퓨터 방법. - 제79항에 있어서,
상기 다중스펙트럼 반사율 데이터 큐브는 상기 타겟의 이미지들에 의한 의사-역 방법으로부터 획득되는, 캡슐 초분광 시스템. - 제79항에 있어서, 상기 초분광 처리 시스템은,
푸리에 변환을 이용하여 각각의 픽셀의 상기 형성된 강도 스펙트럼을 각각의 픽셀의 상기 강도 스펙트럼에 기초한 복소수 값 함수로 변환하고- 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -;
각각의 픽셀의 상기 허수 값에 대해 상기 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 상기 페이저 포인트를 상기 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 상기 대응하는 픽셀에 할당하고;
상기 할당된 임의의 컬러에 기초하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는
구성을 갖는, 컴퓨터 방법. - 제81항에 있어서, 상기 초분광 처리 시스템은,
각각의 픽셀에 대한 잡음제거된 실수 값 및 잡음제거된 허수 값을 생성하기 위해 각각의 복소수 값 함수의 상기 실수 성분 및 상기 허수 성분 양쪽 모두에 적어도 한번 잡음제거 필터를 적용하는 것 - 상기 잡음제거된 실수 값 및 잡음제거된 허수 값은 각각의 픽셀에 대한 상기 페이저 평면 상에 하나의 페이저 포인트를 형성하는 데 이용됨 -;
상기 강도 스펙트럼을 형성하기 전에 상기 타겟 이미지에 잡음제거 필터를 적용하는 것; 또는
각각의 픽셀의 상기 형성된 강도 스펙트럼이 변환되기 전에 잡음제거 필터를 적용하는 것
중 적어도 하나를 더 포함하는 구성을 갖는, 컴퓨터 방법. - 제79항에 있어서, 상기 초분광 처리 시스템은,
상기 검출된 타겟 전자기 방사를 이용하여 상기 타겟의 타겟 이미지를 형성하고 - 상기 타겟 이미지는 적어도 2개의 픽셀을 포함하고, 각각의 픽셀은 상기 타겟 상의 하나의 물리적 포인트에 대응함 -;
푸리에 변환을 이용하여 복소수 값 함수를 생성하고 - 각각의 복소수 값 함수는 적어도 하나의 실수 성분 및 적어도 하나의 허수 성분을 가짐 -;
각각의 픽셀의 상기 허수 값에 대해 상기 실수 값을 플롯팅함으로써 각각의 픽셀에 대한 페이저 평면 상에 하나의 페이저 포인트를 형성하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 상기 페이저 포인트를 상기 타겟 이미지 상의 대응하는 픽셀에 다시 매핑하고;
상기 페이저 평면 상의 상기 페이저 포인트의 기하학적 위치에 기초하여 임의의 컬러를 상기 대응하는 픽셀에 할당하고;
상기 할당된 임의의 컬러에 기초하여 상기 타겟의 혼합되지 않은 컬러 이미지를 생성하는
구성을 갖는, 컴퓨터 방법. - 제79항에 있어서,
머신 학습 프로토콜을 이용하여 다중스펙트럼 반사율 데이터 큐브를 획득하는 것을 더 포함하는, 캡슐 초분광 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163169075P | 2021-03-31 | 2021-03-31 | |
| US63/169,075 | 2021-03-31 | ||
| PCT/US2021/025660 WO2022211820A1 (en) | 2021-03-31 | 2021-04-02 | Portable hyperspectral system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230162959A true KR20230162959A (ko) | 2023-11-29 |
Family
ID=83405303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237036771A KR20230162959A (ko) | 2021-03-31 | 2021-04-02 | 휴대용 초분광 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240210310A1 (ko) |
| EP (1) | EP4314738A1 (ko) |
| JP (1) | JP2024512973A (ko) |
| KR (1) | KR20230162959A (ko) |
| CN (1) | CN115144340A (ko) |
| WO (1) | WO2022211820A1 (ko) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10646109B1 (en) * | 2004-07-19 | 2020-05-12 | Hypermed Imaging, Inc. | Device and method of balloon endoscopy |
| RU2616653C2 (ru) * | 2012-06-05 | 2017-04-18 | Хайпермед Имэджинг, Инк. | Способы и устройство для соосного формирования изображения с множеством длин волн |
| AU2015230939B2 (en) * | 2014-03-21 | 2019-05-02 | Hypermed Imaging, Inc. | Compact light sensor |
| US11147503B2 (en) * | 2015-09-30 | 2021-10-19 | The General Hospital Corporation | Systems and methods for an actively controlled optical imaging device |
| EP3538877A4 (en) * | 2016-11-08 | 2020-07-15 | University of Southern California | HYPERSPECTRAL IMAGING SYSTEM |
| AU2017378398B2 (en) * | 2016-12-14 | 2023-02-02 | Biora Therapeutics, Inc. | Treatment of a disease of the gastrointestinal tract with a JAK inhibitor and devices |
-
2021
- 2021-04-02 KR KR1020237036771A patent/KR20230162959A/ko active Search and Examination
- 2021-04-02 WO PCT/US2021/025660 patent/WO2022211820A1/en active Application Filing
- 2021-04-02 JP JP2023558980A patent/JP2024512973A/ja active Pending
- 2021-04-02 US US18/553,730 patent/US20240210310A1/en active Pending
- 2021-04-02 EP EP21935401.6A patent/EP4314738A1/en active Pending
- 2021-05-12 CN CN202110516145.7A patent/CN115144340A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4314738A1 (en) | 2024-02-07 |
| US20240210310A1 (en) | 2024-06-27 |
| WO2022211820A1 (en) | 2022-10-06 |
| CN115144340A (zh) | 2022-10-04 |
| JP2024512973A (ja) | 2024-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6657480B2 (ja) | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム | |
| Huang et al. | Integrated Raman spectroscopy and trimodal wide-field imaging techniques for real-time in vivo tissue Raman measurements at endoscopy | |
| CN111526777A (zh) | 缺光环境中的荧光成像 | |
| JP6177458B2 (ja) | 画像処理装置及び内視鏡システム | |
| CN106029000A (zh) | 用于引导医疗干预的成像和显示系统 | |
| Renkoski et al. | Wide-field spectral imaging of human ovary autofluorescence and oncologic diagnosis via previously collected probe data | |
| US9129384B2 (en) | Medical image processing device | |
| WO2020008834A1 (ja) | 画像処理装置、方法及び内視鏡システム | |
| US20210366593A1 (en) | Medical image processing apparatus and medical image processing method | |
| JPWO2019220801A1 (ja) | 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム | |
| Waterhouse et al. | First-in-human pilot study of snapshot multispectral endoscopy for early detection of Barrett’s-related neoplasia | |
| CN117958731A (zh) | 一种多模态成像的胶囊内窥镜系统 | |
| Raj et al. | Enhanced vascular features in porcine gastrointestinal endoscopy using multispectral imaging | |
| Gounella et al. | Endoscope capsules: the present situation and future outlooks | |
| KR20230162959A (ko) | 휴대용 초분광 시스템 | |
| KR101124269B1 (ko) | 객체간 알지비 색상차이를 최대화하는 내시경용 엘이디 최적 조명장치 | |
| Mat Lazim et al. | Autofluorescence image-guided endoscopy in the management of upper aerodigestive tract tumors | |
| JP7092888B2 (ja) | 医療画像処理システム及び学習方法 | |
| Raj et al. | Multispectral image analysis of vasculatures in sublingual mucosa | |
| CN114376491A (zh) | 内窥镜成像装置及其方法、系统以及电子设备 | |
| Seibel et al. | Multimodal flexible cystoscopy for creating co-registered panoramas of the bladder urothelium | |
| CN214231268U (zh) | 内窥镜成像装置和电子设备 | |
| CN202408823U (zh) | 具有夜视功能的胶囊小肠镜系统 | |
| Spreafico et al. | Endoluminal Procedures and Devices for Esophageal Tract Investigation: A Critical Review | |
| WO2023205631A2 (en) | Multimodal capsule-based light delivery, collection, and detection systems and methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |