KR20200104379A - 광 결핍 환경에서의 초분광 이미징 - Google Patents
광 결핍 환경에서의 초분광 이미징 Download PDFInfo
- Publication number
- KR20200104379A KR20200104379A KR1020207021878A KR20207021878A KR20200104379A KR 20200104379 A KR20200104379 A KR 20200104379A KR 1020207021878 A KR1020207021878 A KR 1020207021878A KR 20207021878 A KR20207021878 A KR 20207021878A KR 20200104379 A KR20200104379 A KR 20200104379A
- Authority
- KR
- South Korea
- Prior art keywords
- bit
- electromagnetic radiation
- image
- pulse
- display
- Prior art date
Links
- 230000002950 deficient Effects 0.000 title claims abstract description 41
- 238000000701 chemical imaging Methods 0.000 title description 56
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 162
- 238000003384 imaging method Methods 0.000 claims abstract description 83
- 230000003287 optical effect Effects 0.000 claims abstract description 47
- 238000005286 illumination Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 110
- 238000001839 endoscopy Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 description 110
- 210000001519 tissue Anatomy 0.000 description 62
- 238000005192 partition Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 44
- 230000003595 spectral effect Effects 0.000 description 39
- 239000000975 dye Substances 0.000 description 36
- 239000003153 chemical reaction reagent Substances 0.000 description 34
- 239000000463 material Substances 0.000 description 28
- 230000008569 process Effects 0.000 description 25
- 239000000835 fiber Substances 0.000 description 24
- 230000004044 response Effects 0.000 description 23
- 239000000758 substrate Substances 0.000 description 22
- 230000035945 sensitivity Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 238000003491 array Methods 0.000 description 17
- 238000012937 correction Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 230000008901 benefit Effects 0.000 description 13
- 230000010354 integration Effects 0.000 description 11
- 238000002156 mixing Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 9
- 239000013307 optical fiber Substances 0.000 description 8
- 238000001429 visible spectrum Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000005284 excitation Effects 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000001311 chemical methods and process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 239000004033 plastic Substances 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 210000000683 abdominal cavity Anatomy 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000031018 biological processes and functions Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000000799 fluorescence microscopy Methods 0.000 description 3
- 239000007850 fluorescent dye Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002211 ultraviolet spectrum Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001428800 Cell fusing agent virus Species 0.000 description 1
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000012976 endoscopic surgical procedure Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 238000012977 invasive surgical procedure Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000009416 shuttering Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003530 single readout Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- -1 tissues Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000001635 urinary tract Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00066—Proximal part of endoscope body, e.g. handles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
- A61B1/051—Details of CCD assembly
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0232—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using shutters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0235—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using means for replacing an element by another, for replacing a filter or a grating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0264—Electrical interface; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/32—Investigating bands of a spectrum in sequence by a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
- G01J3/433—Modulation spectrometry; Derivative spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
- G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/125—Colour sequential image capture, e.g. using a colour wheel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H04N5/2256—
-
- H04N5/2258—
-
- H04N5/2354—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
- G01J2003/102—Plural sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1213—Filters in general, e.g. dichroic, band
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
- G01J3/433—Modulation spectrometry; Derivative spectrometry
- G01J2003/4334—Modulation spectrometry; Derivative spectrometry by modulation of source, e.g. current modulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
광 결핍 환경에서 사용하기 위한 내시경 이미징 시스템은, 튜브, 하나 이상의 이미지 센서, 및 하나 이상의 이미지 센서에 대응하는 적어도 하나의 광학 요소를 포함하는 렌즈 조립체를 갖는 이미징 장치를 포함한다. 내시경 시스템은 사용자가 장면을 시각화하기 위한 디스플레이 및 이미지 신호 처리 제어기를 포함한다. 내시경 시스템은, 전자기 방사선의 하나 이상의 펄스를 생성하는 조명원 및 전자기 방사선의 하나 이상의 펄스를 내시경의 원위 팁으로 전송하는 루멘을 갖는 광 엔진을 포함한다.
Description
기술의 발전은 의료 용도를 위한 이미징 능력(imaging capability)의 발전을 제공하였다. 내시경(endoscope)은, 신체 내부를 보고 신체의 기관 또는 공동의 내부를 검사하는 데 사용될 수 있다. 내시경은 환자의 증상을 조사하거나 진단을 확인하거나 의료 치료를 제공하기 위해 사용될 수 있다. 의료용 내시경은, 예를 들어, 위장관, 기도, 요로, 작은 절개부에 의한 복강 등을 포함하여, 다양한 신체 계통 및 부위를 관찰하기 위해 사용될 수 있다. 내시경은 성형 수술 절차, 관절 또는 골에 수행되는 절차, 신경계에 수행되는 절차, 복강 내에 수행되는 절차 등과 같은 수술 절차를 위해 추가로 사용될 수 있다.
내시경은 접근할 수 없거나 보기 어려울 수 있는 공간을 관찰하고 검사하기 위해 비-의료 분야에서 또한 사용되어 왔다. 예를 들어, 내시경은 제안된 건물 또는 도시의 축척 모형(scale model)을 시각화하기 위해 설계자 또는 건축가에 의해 사용될 수 있다. 내시경은 컴퓨터와 같은 복잡한 시스템의 내부 공간을 시각화하기 위해 사용될 수 있다. 내시경은 심지어, 좁은 공간에서 감시를 수행하거나 폭발 장치를 검사하기 위해 법 집행 기관 또는 군인에 의해 사용될 수 있다.
내시경에 대한 다양한 용도 중에서, 공간을 컬러로 관찰하는 것이 유익할 수 있다. 디지털 컬러 이미지는 이미지의 각각의 픽셀에 대해 적어도 3개의 층, 또는 "컬러 채널(color channel)"을 포함할 수 있다. 컬러 채널들 각각은 스펙트럼 대역에 대한 광의 세기 및 색차(chrominance)를 측정한다. 통상적으로, 디지털 컬러 이미지는 광의 적색, 녹색, 및 청색 스펙트럼 대역에 대한 컬러 채널을 포함한다(이는 RGB 이미지로 지칭될 수 있음). 적색, 녹색, 및 청색 컬러 채널들 각각은 광의 적색, 녹색, 또는 청색 스펙트럼 대역에 대한 밝기 정보를 포함한다. 별개의 적색, 녹색, 및 청색 층에 대한 밝기 정보는 조합되어 디지털 컬러 이미지를 생성할 수 있다. 컬러 이미지가 별개의 층으로 구성되기 때문에, 디지털 카메라 이미지 센서는 통상적으로, 적색, 녹색, 및 청색 가시 광 파장이 선택된 픽셀 센서에 닿도록 허용하는 컬러 필터 어레이(color filter array)를 포함한다. 각각의 개별 픽셀 센서 요소는 적색, 녹색, 또는 청색 파장에 민감하게 만들어지며, 단지 그러한 파장에 대한 이미지 데이터를 반환할 것이다. 픽셀 센서의 전체 어레이로부터의 이미지 데이터는 조합되어 RGB 이미지를 생성한다.
의료 진단 또는 의료 절차를 위한 내시경 이미징의 경우에, 컬러 이미지로 체강을 관찰하는 것이 유익하거나 심지어 필요할 수 있다. 예를 들어, 내시경이 신체의 복강을 관찰하는 데 사용되는 경우, 컬러 이미지는, 복부 내의 상이한 기관 또는 조직을 식별하는 데 도움을 주거나 공간 내의 소정 상태 또는 질병을 식별하기 위한 유익한 정보를 제공할 수 있다. 위에서 논의된 바와 같이, 컬러 이미지를 캡처할 수 있는 디지털 카메라는 컬러 이미지의 적색, 녹색, 및 청색 층을 개별적으로 캡처하기 위해 적어도 3개의 별개의 유형의 픽셀 센서를 가질 수 있다. 적어도 3개의 별개의 유형의 픽셀 센서는 (컬러-애그노스틱(color-agnostic) 픽셀 어레이와 비교할 때) 상대적으로 상당한 물리적 공간을 소비할 수 있어서, 완전한 픽셀 어레이가 신체 내로 삽입되는 내시경의 작은 원위 단부 상에 맞춰질 수 없게 한다. 컬러 디지털 카메라가 적어도 3개의 별개의 유형의 픽셀 센서를 포함할 수 있기 때문에, 전체 픽셀 어레이(즉, 이미지 센서)는 통상적으로, 내시경 조작자에 의해 보유되고 체강 내에 배치되지 않는 내시경의 핸드-피스 유닛(hand-piece unit) 내에 위치된다. 그러한 내시경의 경우, 광은 핸드-피스 유닛으로부터 체강 내에 배치되는 내시경의 원위 단부로 내시경의 길이를 따라 전송된다. 이러한 내시경 구성은 상당한 제한을 갖는다. 이러한 구성을 갖는 내시경은 연약하고, 통상의 사용 동안 부딪치거나 충격을 받을 때 쉽게 오정렬되거나 손상될 수 있다. 이는 내시경에 의해 생성되는 이미지의 품질을 현저히 저하시킬 수 있고, 내시경이 자주 수리되거나 교체될 것을 필요로 할 수 있다.
일부 경우에, 특히 의료 이미징 또는 의료 절차의 경우에, 컬러 이미지 이상을 보는 것이 유익할 수 있다. 컬러 이미지는 환경을 볼 때 사람의 눈이 검출하는 것을 반영한다. 그러나, 사람의 눈은 가시 광만 관찰하는 것으로 제한되며, 전자기 스펙트럼의 다른 파장을 검출할 수 없다. "가시 광" 파장을 넘어서는 전자기 스펙트럼의 다른 파장에서, 환경에 관한 추가의 정보가 획득될 수 있다. 사람의 눈이 검출할 수 있는 것을 넘어서, 환경에 관한 추가의 정보를 검출하는 하나의 방법은 초분광 이미징(hyperspectral imaging)이다. 의료 목적을 위한 이미징의 경우에, 초분광 이미징은 사람의 눈 또는 디지털 컬러 카메라가 검출할 수 있는 것을 넘어서는 추가의 정보를 제공하는 체강의 특유의 뷰(unique view)를 제공할 수 있다.
초분광 이미징은 상이한 재료 또는 물체를 식별하는 데 그리고 상이한 과정을 식별하는 데 사용될 수 있다. 사람의 눈은 적색, 녹색, 및 청색의 조합으로서 인식되는 대부분 3개의 파장 대역의 가시 광의 컬러를 본다. 전형적인 사람의 눈은 약 350 nm 내지 약 750 nm의 전자기 방사선의 파장에 응답할 것이고, 이러한 파장 대역은 "가시 스펙트럼"으로 지칭될 수 있다. 초분광 이미징은 그것이 광 파장의 스펙트럼을 조직, 물체 또는 재료의 반사에 기초하여 더욱 많은 대역으로 분할한다는 점에서 상이하다. 이는 초분광 이미징이 사람의 눈에 가시적인 것을 넘어서는 정보를 제공할 수 있게 한다. 초분광 이미징은 사람의 눈 또는 컴퓨터가 특정 재료, 물체, 또는 과정을 식별하는 것이 어렵거나 불가능한 다양한 응용에서 유익한 정보를 제공할 수 있다. 초분광 이미징은 소정의 경우에 특히 효과적일 수 있는데, 그 이유는 일부 물체가 스펙트럼 시그니처(spectral signature)로 지칭될 수 있는 특유의 "핑거프린트(fingerprint)"를 전자기 스펙트럼에 남기기 때문이다. 이들 스펙트럼 시그니처는 사람의 눈 또는 컴퓨터로 보일 수 없는 소정 재료, 물체, 또는 과정의 식별을 가능하게 한다.
초분광 이미징은 원래 광업 및 지질학에서의 적용을 위해 개발되었다. 사람의 눈에 제한된 정보를 제공하는 보통의 카메라 이미지와 달리, 초분광 이미징은 상이한 광물의 스펙트럼 시그니처에 기초하여 특정 광물을 식별할 수 있다. 초분광 이미징은 에어리얼 이미지(aerial image)로 캡처될 때에도 유용할 수 있고, 예를 들어, 파이프라인 또는 자연 정호(natural well)로부터의 오일 또는 가스 누출 및 인근 초목에 대한 그들의 영향에 관한 정보를 제공할 수 있다. 이러한 정보는 초분광 이미징에 의해 식별될 수 있는 소정 재료, 물체, 또는 과정의 스펙트럼 시그니처에 기초하여 수집된다.
그러나, 초분광 이미징은 극히 복잡하고, 고속 컴퓨터 처리 용량, 민감성 검출기, 및 큰 데이터 저장 용량을 필요로 할 수 있다. 추가적으로, 초분광 이미지가 의사에게 콘텍스트(context)를 제공하기 위해 흑백 또는 컬러 이미지 상에 오버레이되는(overlaid) 경우, 오버레이된 이미지를 생성할 수 있는 카메라(또는 다수의 카메라)가 전자기 방사선의 별개의 범위에 민감한 많은 별개의 유형의 픽셀 센서를 가질 수 있다. 이는 전자기 스펙트럼의 상이한 파장에서 초분광 이미지 데이터를 생성하기 위한 추가의 픽셀 센서와 함께, 종래의 방법에 의해 RGB 컬러 이미지를 생성하기 위한 3개의 별개의 유형의 픽셀 센서를 포함할 수 있다. 이는 비교적 큰 물리적 공간을 소비할 수 있고, 이미지 해상도가 만족스럽도록 보장하기 위해 큰 픽셀 어레이를 필요로 할 수 있다. 내시경 이미징의 경우에, 카메라 또는 카메라들은 내시경 핸드-유닛 또는 로봇-유닛 내에 배치될 수 있는데, 그 이유는 다수의 파장-민감성 픽셀 센서가 너무 많은 물리적 공간을 필요로 하고, 너무 큰 픽셀 어레이가 체강 내에서 내시경의 원위 단부에 배치될 것을 필요로 하기 때문이다. 이는 위에 언급된 동일한 단점을 도입하며, 내시경이 매우 연약해지게 할 수 있어서, 사용 동안 내시경이 부딪치거나 충격을 받을 때 이미지 품질이 현저히 저하되게 한다.
본 개시는 전반적으로, 내시경 이미징에 적용가능할 수 있는 전자기 감지 및 센서에 관한 것이다. 본 개시는 또한 저 에너지 전자기 입력 조건 및 저 에너지 전자기 처리 조건에 관한 것이다. 본 개시는 반드시 전적으로는 아니지만 더욱 상세하게는, 광 결핍 환경에서 이미지를 생성하기 위한 시스템 및 관련 구조, 방법 및 특징에 관한 것이며, 이는 지속시간, 세기 또는 둘 모두를 통해 광원을 제어하는 것, 이미지 센서의 블랭킹 기간(blanking period) 동안 구성요소 제어 광원을 펄싱하는(pulsing) 것, 최적의 광을 허용하기 위해 블랭킹 기간을 최대화하는 것, 및 컬러 밸런스(color balance)를 유지시키는 것을 포함할 수 있다.
본 개시의 특징 및 이점이 하기 설명에 기재될 것이며, 부분적으로 설명으로부터 명백할 것이고, 또는 과도한 실험 없이 본 개시의 실시에 의해 알게 될 수 있다. 본 개시의 특징 및 이점은 첨부된 청구범위에 특정하게 언급되는 기구 및 조합에 의해 실현되고 획득될 수 있다.
본 개시의 비제한적이고 비포괄적인 구현예가 하기 도면을 참조하여 기술되며, 여기에서 달리 명시되지 않는 한, 동일한 도면 부호는 다양한 도면 전체에 걸쳐 동일한 부분을 지칭한다. 본 개시의 이점이 하기 설명 및 첨부 도면과 관련하여 더 잘 이해될 것이다:
도 1은 일 실시예에 따른, 광 결핍 환경에서 이미지를 생성하는 데 사용하기 위한 작동 중인 쌍을 이룬 센서 및 전자기 방출기(electromagnetic emitter)의 시스템의 일 실시예의 개략도.
도 2는 상보적인 시스템 하드웨어의 개략도.
도 2a 내지 도 2d는 본 개시의 실시예에 따른, 하나의 이미지 프레임(image frame)을 구성하는 데 사용되는 센서의 작동 사이클의 예시.
도 3은 일 실시예에 따른, 전자기 방출기의 일 실시예의 작동의 그래픽 표현.
도 4는 일 실시예에 따른, 노출 제어를 제공하기 위해 방출된 전자기 펄스의 지속시간 및 크기를 변화시키는 것의 그래픽 표현.
도 5는 일 실시예에 따른, 작동 동안의 이미징 시스템을 보여주는, 도 2a 내지 도 4의 센서의 작동 사이클, 전자기 방출기 및 방출된 전자기 펄스를 조합한 본 개시의 일 실시예의 그래픽 표현.
도 6은 일 실시예에 따른, 전체 스펙트럼 광 및 분할 스펙트럼 광에 대한 비디오 프레임을 기록하기 위한 t(0) 내지 t(1)의 기간에 걸친 2개의 별개의 프로세스의 개략도.
도 7a 내지 도 7e는 본 개시의 원리 및 교시에 따라 전체 스펙트럼 광 및 분할 스펙트럼 광 둘 모두에 대한 비디오 프레임을 기록하기 위한 시간 구간에 걸친 프로세스의 개략도.
도 8 내지 도 12는 전자기 방출기 및 센서 둘 모두의 조절을 예시하는 도면으로서, 여기에서 그러한 조절은 본 개시의 원리 및 교시에 따라 일부 실시예에서 동시에 이루어질 수 있음.
도 13 내지 도 21은 본 개시의 실시예에 따른, 분할 광 시스템과 함께 사용하기 위한 센서 보정 방법 및 하드웨어 개략도를 예시하는 도면.
도 22 및 도 23은 본 개시의 실시예에 따른, 폐쇄된 또는 제한된 광 환경 내에서 동적 범위를 증가시키기 위한 방법 및 하드웨어 개략도를 예시하는 도면.
도 24는 컬러 보정이 없는 경우와 비교하여 전형적인 베이어(Bayer)-기반 센서에 대한 컬러 보정의 신호 대 잡음비에 대한 영향을 예시하는 도면.
도 25는 sRGB 색역(gamut)과 비교하여 3개의 단색 레이저의 색도(chromaticity)를 예시하는 도면.
도 26 내지 도 27b는 본 개시의 실시예에 따른, 폐쇄된 또는 제한된 광 환경 내에서 동적 범위를 증가시키기 위한 방법 및 하드웨어 개략도를 예시하는 도면.
도 28a 내지 도 28c는 본 개시의 실시예에 따른, 대응하는 컬러 센서와 동기화되고/되거나 펄싱되는 백색 광 방출의 사용을 예시하는 도면.
도 29a 및 도 29b는 본 개시의 실시예에 따른, 3차원 이미지를 생성하기 위한 복수의 픽셀 어레이를 갖는 구현예를 예시하는 도면.
도 30a 및 도 30b는 복수의 기판(substrate) 상에 형성된 이미징 센서의 구현예의 사시도 및 측면도를 각각 예시하는 도면으로서, 여기에서 픽셀 어레이를 형성하는 복수의 픽셀 열(pixel column)이 제1 기판 상에 위치되고, 복수의 회로 열(circuit column)이 제2 기판 상에 위치되며, 회로부의 그의 관련 또는 대응하는 열에 대한 픽셀들의 하나의 열 사이의 전기적 연결 및 통신을 도시함.
도 31a 및 도 31b는 3차원 이미지를 생성하기 위한 복수의 픽셀 어레이를 갖는 이미징 센서의 구현예의 사시도 및 측면도를 각각 예시하는 도면으로서, 여기에서 복수의 픽셀 어레이 및 이미지 센서는 복수의 기판 상에 형성됨.
도 32 내지 도 36은 본 개시의 실시예에 따른, 다양한 기계식 필터 및 셔터(shutter) 구성을 포함하는 방출기의 실시예를 예시하는 도면.
도 37은 일 실시예에 따른, 광 결핍 환경에 조명을 제공하기 위한 시스템을 예시하는 개략도.
도 38은 일 실시예에 따른, 복수의 방출기를 갖는 광원을 예시하는 개략적인 블록도.
도 39는 다른 실시예에 따른, 복수의 방출기를 갖는 광원을 예시하는 개략적인 블록도.
도 40은 또 다른 실시예에 따른, 복수의 방출기를 갖는 광원을 예시하는 개략적인 블록도.
도 41은 일 실시예에 따른, 장면(scene)을 조명하기 위해 출력부에서 확산기를 통해 출력하는 단일 광섬유를 예시하는 개략도.
도 42는 일 실시예에 따른, 필터를 사용하여 필터링된 이미지를 생성하는 것을 예시하는 블록도.
도 43은 일 실시예에 따른, 광원의 방출기에 의해 방출될 수 있는 복수의 상이한 서브-스펙트럼으로 분할된 전자기 스펙트럼의 일부분을 예시하는 도면.
도 44는 일 실시예에 따른, 다중분광(multispectral) 또는 초분광 이미지를 생성하기 위한 방출 및 판독을 위한 타이밍 다이어그램(timing diagram)을 예시하는 개략도.
도 45는 일 실시예에 따른, 필터를 사용하여 필터링된 이미지를 생성하는 것을 예시하는 블록도.
도 46은 일 실시예에 따른, 복수의 필터를 사용하여 필터링된 이미지를 생성하는 것을 예시하는 블록도.
도 47은 일 실시예에 따른, 물체 및/또는 표면 추적을 위한 그리드 어레이(grid array)를 예시하는 개략도.
도 48은 일 실시예에 따른, 다중분광 또는 초분광 이미지를 생성하기 위한 방출 및 판독을 위한 방법을 예시하는 개략적인 흐름도.
도 49는 일 실시예에 따른, 형광 이미지(fluorescence image)를 생성하기 위한 방출 및 판독을 위한 방법을 예시하는 개략적인 흐름도.
도 1은 일 실시예에 따른, 광 결핍 환경에서 이미지를 생성하는 데 사용하기 위한 작동 중인 쌍을 이룬 센서 및 전자기 방출기(electromagnetic emitter)의 시스템의 일 실시예의 개략도.
도 2는 상보적인 시스템 하드웨어의 개략도.
도 2a 내지 도 2d는 본 개시의 실시예에 따른, 하나의 이미지 프레임(image frame)을 구성하는 데 사용되는 센서의 작동 사이클의 예시.
도 3은 일 실시예에 따른, 전자기 방출기의 일 실시예의 작동의 그래픽 표현.
도 4는 일 실시예에 따른, 노출 제어를 제공하기 위해 방출된 전자기 펄스의 지속시간 및 크기를 변화시키는 것의 그래픽 표현.
도 5는 일 실시예에 따른, 작동 동안의 이미징 시스템을 보여주는, 도 2a 내지 도 4의 센서의 작동 사이클, 전자기 방출기 및 방출된 전자기 펄스를 조합한 본 개시의 일 실시예의 그래픽 표현.
도 6은 일 실시예에 따른, 전체 스펙트럼 광 및 분할 스펙트럼 광에 대한 비디오 프레임을 기록하기 위한 t(0) 내지 t(1)의 기간에 걸친 2개의 별개의 프로세스의 개략도.
도 7a 내지 도 7e는 본 개시의 원리 및 교시에 따라 전체 스펙트럼 광 및 분할 스펙트럼 광 둘 모두에 대한 비디오 프레임을 기록하기 위한 시간 구간에 걸친 프로세스의 개략도.
도 8 내지 도 12는 전자기 방출기 및 센서 둘 모두의 조절을 예시하는 도면으로서, 여기에서 그러한 조절은 본 개시의 원리 및 교시에 따라 일부 실시예에서 동시에 이루어질 수 있음.
도 13 내지 도 21은 본 개시의 실시예에 따른, 분할 광 시스템과 함께 사용하기 위한 센서 보정 방법 및 하드웨어 개략도를 예시하는 도면.
도 22 및 도 23은 본 개시의 실시예에 따른, 폐쇄된 또는 제한된 광 환경 내에서 동적 범위를 증가시키기 위한 방법 및 하드웨어 개략도를 예시하는 도면.
도 24는 컬러 보정이 없는 경우와 비교하여 전형적인 베이어(Bayer)-기반 센서에 대한 컬러 보정의 신호 대 잡음비에 대한 영향을 예시하는 도면.
도 25는 sRGB 색역(gamut)과 비교하여 3개의 단색 레이저의 색도(chromaticity)를 예시하는 도면.
도 26 내지 도 27b는 본 개시의 실시예에 따른, 폐쇄된 또는 제한된 광 환경 내에서 동적 범위를 증가시키기 위한 방법 및 하드웨어 개략도를 예시하는 도면.
도 28a 내지 도 28c는 본 개시의 실시예에 따른, 대응하는 컬러 센서와 동기화되고/되거나 펄싱되는 백색 광 방출의 사용을 예시하는 도면.
도 29a 및 도 29b는 본 개시의 실시예에 따른, 3차원 이미지를 생성하기 위한 복수의 픽셀 어레이를 갖는 구현예를 예시하는 도면.
도 30a 및 도 30b는 복수의 기판(substrate) 상에 형성된 이미징 센서의 구현예의 사시도 및 측면도를 각각 예시하는 도면으로서, 여기에서 픽셀 어레이를 형성하는 복수의 픽셀 열(pixel column)이 제1 기판 상에 위치되고, 복수의 회로 열(circuit column)이 제2 기판 상에 위치되며, 회로부의 그의 관련 또는 대응하는 열에 대한 픽셀들의 하나의 열 사이의 전기적 연결 및 통신을 도시함.
도 31a 및 도 31b는 3차원 이미지를 생성하기 위한 복수의 픽셀 어레이를 갖는 이미징 센서의 구현예의 사시도 및 측면도를 각각 예시하는 도면으로서, 여기에서 복수의 픽셀 어레이 및 이미지 센서는 복수의 기판 상에 형성됨.
도 32 내지 도 36은 본 개시의 실시예에 따른, 다양한 기계식 필터 및 셔터(shutter) 구성을 포함하는 방출기의 실시예를 예시하는 도면.
도 37은 일 실시예에 따른, 광 결핍 환경에 조명을 제공하기 위한 시스템을 예시하는 개략도.
도 38은 일 실시예에 따른, 복수의 방출기를 갖는 광원을 예시하는 개략적인 블록도.
도 39는 다른 실시예에 따른, 복수의 방출기를 갖는 광원을 예시하는 개략적인 블록도.
도 40은 또 다른 실시예에 따른, 복수의 방출기를 갖는 광원을 예시하는 개략적인 블록도.
도 41은 일 실시예에 따른, 장면(scene)을 조명하기 위해 출력부에서 확산기를 통해 출력하는 단일 광섬유를 예시하는 개략도.
도 42는 일 실시예에 따른, 필터를 사용하여 필터링된 이미지를 생성하는 것을 예시하는 블록도.
도 43은 일 실시예에 따른, 광원의 방출기에 의해 방출될 수 있는 복수의 상이한 서브-스펙트럼으로 분할된 전자기 스펙트럼의 일부분을 예시하는 도면.
도 44는 일 실시예에 따른, 다중분광(multispectral) 또는 초분광 이미지를 생성하기 위한 방출 및 판독을 위한 타이밍 다이어그램(timing diagram)을 예시하는 개략도.
도 45는 일 실시예에 따른, 필터를 사용하여 필터링된 이미지를 생성하는 것을 예시하는 블록도.
도 46은 일 실시예에 따른, 복수의 필터를 사용하여 필터링된 이미지를 생성하는 것을 예시하는 블록도.
도 47은 일 실시예에 따른, 물체 및/또는 표면 추적을 위한 그리드 어레이(grid array)를 예시하는 개략도.
도 48은 일 실시예에 따른, 다중분광 또는 초분광 이미지를 생성하기 위한 방출 및 판독을 위한 방법을 예시하는 개략적인 흐름도.
도 49는 일 실시예에 따른, 형광 이미지(fluorescence image)를 생성하기 위한 방출 및 판독을 위한 방법을 예시하는 개략적인 흐름도.
본 개시는 의료 내시경 이미징과 같은 의료 응용에 주로 적합할 수 있는 디지털 이미징을 위한 방법, 시스템, 및 컴퓨터-기반 제품으로 확장된다. 본 명세서에 개시된 바와 같은 그러한 방법, 시스템, 및 컴퓨터-기반 제품은 이미징 절차, 수술 절차 등을 수행하기 위한 로봇의 사용과 같은 의료 로봇 응용에 사용하기 위한 이미징 또는 진단 능력을 제공할 수 있다. 본 개시의 하기 설명에서, 본 명세서의 일부를 형성하고, 본 개시가 실시될 수 있는 특정 구현예가 예시로서 도시되는 첨부 도면이 참조된다. 다른 구현예가 이용될 수 있고, 본 개시의 범주로부터 벗어남이 없이 구조적 변경이 이루어질 수 있다는 것이 이해된다.
내시경은 매우 다양한 용도를 가지며, 의료 분야에서 상당한 이점을 제공할 수 있다. 내시경 검사는 신체 내부를 보기 위해 의술에 사용되며, 일부 경우에, 그렇지 않을 경우 볼 수 없거나 침습 수술 절차를 필요로 할 이미징을 제공할 수 있다. 내시경은 의료 진단, 조사, 또는 연구에 사용될 수 있으며, 또한 최소 침습 방식으로 의료 절차를 수행하는 데 사용될 수 있다. 의료용 내시경은 고통스럽고 침습 보정 또는 탐색 수술의 필요성을 부정함으로써 환자와 의사에게 상당한 이점을 제공할 수 있다.
본 명세서에 개시된 바와 같이, 신체의 공동과 같은 광 결핍 환경에서 사용하기 위한 내시경 시스템(endoscopic system)은 이미징 장치(imaging device) 및 광 엔진(light engine)을 포함할 수 있다. 광 엔진은 전자기 방사선의 펄스를 생성하기 위한 조명원을 포함할 수 있고, 전자기 방사선의 펄스를 내시경의 원위 팁(distal tip)으로 전송하기 위한 루멘(lumen)을 추가로 포함할 수 있다. 루멘은 전자기 스펙트럼의 특정 파장 또는 파장 대역에서 전자기 방사선의 펄스를 전송할 수 있다. 루멘은 그러한 펄스를 타이밍된 시퀀스(timed sequence)로 전송할 수 있고, 이미징 데이터는 펄스들 각각 동안 센서에 의해 캡처될 수 있다. 펄스의 상이한 파장과 관련된 이미징 데이터는 적색 녹색 청색(RGB) 이미지 및/또는 다중분광 또는 초분광 이미지를 생성하는 데 사용될 수 있다. 일 실시예에서, 다중분광 또는 초분광 이미징은 흑백 또는 RGB 이미지 상에 오버레이될 수 있다.
본 명세서에 개시된 바와 같이, 내시경 이미지 시스템을 위한 시스템, 방법, 및 장치는 광 결핍 환경의 특수 이미지 데이터를 제공할 수 있다. 특수 이미지 데이터는, 다중분광 또는 초분광 이미징을 생성하고/하거나 광 결핍 환경 내에서 소정 재료, 조직, 성분, 또는 과정을 식별하는 데 사용될 수 있다. 소정 실시예에서, 다중분광 또는 초분광 이미징은 신체 내의 소정 구조체 또는 조직의 식별을 가능하게 하기 위해 의사 또는 컴퓨터-구현 프로그램에 제공될 수 있다. 그러한 다중분광 또는 초분광 이미징 데이터는 추가의 정보 및 콘텍스트를 제공하기 위해 흑백 또는 RGB 이미지 상에 오버레이될 수 있다.
또한, 내시경 이미지 시스템을 위한 그러한 시스템, 방법, 및 장치는 소정 시약(reagent) 또는 염료와 함께 사용될 수 있다. 의료 이미징 구현예에서, 소정 시약 또는 염료가 환자에게 투여될 수 있고, 그들 시약 또는 염료는 전자기 방사선의 소정 파장에 반응하거나 형광발광할(fluoresce) 수 있다. 본 명세서에 개시된 바와 같은 내시경 이미지 시스템은 특정 파장의 전자기 방사선을 전송하여 시약 또는 염료를 형광발광시킬 수 있다. 시약 또는 염료의 형광은 이미지 센서에 의해 캡처되어, 조직 또는 구조체의 식별을 돕고/돕거나 진단 또는 연구를 돕기 위한 이미징을 생성할 수 있다. 일 구현예에서, 상이한 파장에서 형광발광하고/하거나 상이한 구조체, 조직, 화학 반응, 생물학적 과정 등의 표시를 제공하도록 각각 구성되는 복수의 시약 또는 염료가 환자에게 투여될 수 있다. 그러한 구현예에서, 본 명세서에 개시된 바와 같은 내시경 시스템은 적용가능 파장들 각각을 방출하여 적용가능 시약들 또는 염료들 각각을 형광발광시킬 수 있다. 이는 복수의 시약들 또는 염료들 각각에 대해 개별적인 이미징 절차를 수행할 전통적인 필요성을 부정할 수 있다.
의료용 내시경은 내시경의 원위 단부가 삽입되는 신체의 내부 공간의 연속적인 디지털 이미지 스트림(digital image stream)을 제공할 수 있다. 다양한 구현예에서, 의사가 신체 내의 조직 및 구조체를 더 잘 구별할 수 있도록 디지털 이미지 스트림이 전체 컬러 이미징을 제공하는 것이 유익하거나 심지어 필요할 수 있다. 추가의 구현예에서, 향상된 정밀도로 구조체, 조직, 과정, 및 상태를 구별하기 위해 초분광 이미징 데이터를 제공하는 것이 유익할 수 있다. 추가적으로, 초분광 이미징은 의사 또는 컴퓨터 프로그램이, 사람의 눈에 가시적이지 않거나 RGB 컬러 이미지에서 식별가능하지 않은 인체 내의 상태에 관한 정보를 수신할 수 있게 할 수 있다.
내시경에 의해 컬러 이미지 데이터 및/또는 초분광 이미지 데이터를 생성하기 위한 시스템, 방법, 및 장치가 본 명세서에 개시된다. 본 개시의 시스템은 튜브, 하나 이상의 이미지 센서, 및 렌즈 조립체를 갖는 이미징 장치를 포함한다. 렌즈 조립체는 하나 이상의 이미지 센서들 중 적어도 하나에 대응하는 적어도 하나의 광학 요소를 포함할 수 있다. 시스템은 장면을 시각화하기 위한 디스플레이 및 이미지 신호 처리 제어기를 추가로 포함한다. 시스템은 광 엔진을 추가로 포함할 수 있다. 광 엔진은 전자기 방사선의 하나 이상의 펄스를 생성하도록 구성되는 조명원, 및 전자기 방사선의 하나 이상의 펄스를 내시경의 원위 팁으로 전송하는 루멘을 포함한다. 일 실시예에서, 전자기 방사선의 하나 이상의 펄스의 적어도 일부분은 513 nm 내지 545 nm의 전자기 방사선을 포함한다. 일 실시예에서, 전자기 방사선의 하나 이상의 펄스의 적어도 일부분은 565 nm 내지 585 nm의 전자기 방사선을 포함한다. 일 실시예에서, 전자기 방사선의 하나 이상의 펄스의 적어도 일부분은 900 nm 내지 1000 nm의 전자기 방사선을 포함한다. 본 개시의 구현예에서, 광 엔진에 의한 펄싱은 매우 짧은 지속시간을 가질 수 있고, 1 마이크로초(μs)의 온/오프(on/off) 시간보다 짧을 수 있다.
본 개시의 일 실시예에서, 내시경 시스템은 소스(source)를 조명하고, 분광 또는 초분광 이미징을 위해 전자기 방사선을 펄싱한다. 분광 이미징은 전자기 스펙트럼에 걸쳐 다수의 대역을 사용한다. 이는, 단지, RGB 이미지를 생성하기 위한 적색, 녹색, 및 청색 파장을 포함하여, 사람의 눈에 의해 식별가능한, 가시 스펙트럼에 기반한 3개의 파장에 걸쳐 광을 캡처하는 종래의 카메라와는 상이하다. 분광 이미징은 적외선 파장, 가시 스펙트럼, 자외선 스펙트럼, x선 파장, 또는 다양한 파장 대역의 임의의 적합한 조합을 포함하여, 전자기 스펙트럼 내의 임의의 파장 대역을 사용할 수 있다. 분광 이미징은 비-가시 대역(예컨대, 적외선)에 기초하여 생성된 이미징을 가시 대역에 기초한 이미징(예컨대, 표준 RGB 이미지) 위에 오버레이하여, 사람 또는 컴퓨터 알고리즘에 의해 용이하게 식별가능한 추가의 정보를 제공할 수 있다.
초분광 이미징은 분광 이미징의 서브카테고리이다. 초분광 이미징은 분광학 및 디지털 사진 촬영을 포함한다. 초분광 이미징의 일 실시예에서, 완전 스펙트럼 또는 일부 스펙트럼 정보가 이미지 평면 내의 모든 픽셀에서 수집된다. 초분광 카메라는 완전 스펙트럼으로 해석될 수 있는 각각의 픽셀에 대한 임의의 적합한 수의 파장 대역을 캡처하기 위해 특수 하드웨어를 사용할 수 있다. 초분광 이미징의 목적은 상이한 응용에 대해 다를 수 있다. 하나의 응용에서, 초분광 이미징의 목적은 이미지 장면에서 각각의 픽셀의 전체 전자기 스펙트럼을 획득하는 것이다. 이는, 그렇지 않을 경우 가시 광 파장 대역 하에서 식별가능하지 않을 수 있는 소정 물체가 발견될 수 있게 할 수 있다. 이는 소정 재료 또는 조직이 가시 광 파장 대역 하에서 식별가능하지 않을 수 있을 때 그들 재료 또는 조직이 정밀하게 식별될 수 있게 할 수 있다. 또한, 이는 전자기 스펙트럼의 모든 파장에 걸쳐 이미지를 캡처함으로써 소정 과정이 검출될 수 있게 할 수 있다.
초분광 이미징은 의료 응용에서 종래의 이미징에 비해 특정한 이점을 제공할 수 있다. 초분광 이미징에 의해 획득된 정보는 의사 및/또는 컴퓨터-구현 프로그램이, RGB 이미징과 같은 종래의 이미징을 사용하는 경우 가능하지 않을 수 있거나 덜 정확할 수 있는 진단으로 이어질 수 있는 소정 조직 또는 상태를 정밀하게 식별할 수 있게 할 수 있다. 추가적으로, 초분광 이미징은 의사가, 예를 들어, 소정 조직 또는 유체 뒤에 위치된 조직의 관찰, 전형적인 건강한 세포와 대조를 이루는 비정형 암성 세포의 식별, 소정 조직 또는 상태의 식별, 중요한 구조체의 식별 등을 할 수 있게 할 수 있는 이미지-유도 수술을 제공하기 위해 의료 절차 동안 사용될 수 있다. 초분광 이미징은 종래의 이미징으로는 생성될 수 없는 조직 생리, 형태, 및 조성에 관한 특수 진단 정보를 제공할 수 있다.
내시경 초분광 이미징은 본 개시의 다양한 응용 및 구현예에서 종래의 이미징에 비해 이점을 제공할 수 있다. 의료 구현예에서, 내시경 초분광 이미징은 의사 또는 컴퓨터-구현 프로그램이, 예를 들어, 신경 조직, 근육 조직, 다양한 혈관, 혈류의 방향 등을 식별하도록 허용할 수 있다. 초분광 이미징은 비정형 암성 조직이 전형적인 건강한 조직과 정밀하게 구별될 수 있게 할 수 있으며, 따라서 의사 또는 컴퓨터-구현 프로그램이 수술 또는 조사 이미징 동안 암성 종양의 경계를 식별할 수 있게 할 수 있다. 추가적으로, 본 명세서에 개시된 바와 같은 광 결핍 환경에서의 초분광 이미징은 시약 또는 염료의 사용과 조합되어, 소정 조직들 또는 물질들 사이의 추가의 구별을 가능하게 할 수 있다. 그러한 실시예에서, 시약 또는 염료는 전자기 스펙트럼 내의 특정 파장 대역에 의해 형광발광될 수 있으며, 따라서 그러한 시약 또는 염료의 목적에 특유한 정보를 제공할 수 있다. 본 명세서에 개시된 바와 같은 시스템, 방법, 및 장치는 하나 이상의 시약 또는 염료가 상이한 시간에 형광발광될 수 있도록 임의의 수의 파장 대역이 펄싱될 수 있게 할 수 있다. 소정 구현예에서, 이는 단일 이미징 절차 동안 다수의 의학적 상태의 식별 또는 조사를 가능하게 할 수 있다.
의료용 내시경은 초분광 이미지의 생성을 가능하게 하기 위해 가시 광 스펙트럼 외측의 파장 대역에서 전자기 방사선을 펄싱할 수 있다. 내시경 초분광 이미징은 환자가 다른 이미징 방법에서 일반적인 유해한 방사선 노출을 겪도록 요구하지 않는, 의료 이미징을 위한 비접촉식의 비-침습 수단이다.
예를 들어, 관절경 검사 및 복강경 검사와 같은 로봇 내시경 절차에 사용되는 종래의 내시경은 이미지 센서가 전형적으로, 내시경 조작자에 의해 보유되고 공동 내로 삽입되지 않는 핸드-피스 유닛 내에 배치되도록 설계된다. 그러한 구성에서, 내시경 유닛은 입사 광을 최소 손실 및 왜곡으로, 정밀하게 결합된 광학 구성요소의 복합 세트를 통해 내시경 튜브의 길이를 따라 센서를 향해 전송한다. 광학계 구성요소가 고가이고, 광학계 구성요소의 제조 공정이 노동 집약적이기 때문에, 내시경 유닛의 비용은 광학계에 의해 좌우된다. 또한, 이러한 유형의 내시경은 기계적으로 연약하고, 비교적 근소한 충격이 쉽게 구성요소를 손상시키거나 그들 구성요소의 상대 정렬을 잘못되게 만들 수 있다. 내시경 구성요소(예컨대, 정밀하게 결합된 광학 구성요소)의 근소한 오정렬도 이미지 품질의 상당한 저하를 유발하거나 내시경을 사용할 수 없게 만들 수 있다. 구성요소가 오정렬될 때, 내시경의 길이를 따라 이동하는 입사 광이 적어질 수 있어서, 내시경의 원위 단부에 광이 거의 또는 전혀 없게 되고 내시경이 사용할 수 없게 된다. 종래의 내시경이 그러한 정밀하고 복잡한 광학 구성요소를 필요로 하기 때문에, 그리고 그들 구성요소가 쉽게 오정렬될 수 있기 때문에, 그러한 종래의 내시경은 이미지 품질을 유지시키기 위해 빈번하고 고가인 수리 사이클을 필요로 한다.
이러한 문제에 대한 하나의 해법은 이미지 센서를 내시경 자체 내에서 원위 단부에 배치하는 것이다. 그러한 해법은 쉽게 오정렬 및/또는 손상될 수 있는 결합된 광학 구성요소의 복잡하고 정밀한 집합의 필요성을 제거할 수 있다. 이러한 해법은 잠재적으로, 예를 들어, 이동 전화 카메라 내에서 보편적으로 실현되는 광학적 단순성, 강건성, 및 경제성에 근접한다. 그러나, 내시경에 의해 제공되는 많은 이점이 내시경의 원위 단부의 콤팩트한 크기에 기인한다는 것이 인식되어야 한다. 내시경의 원위 단부가 종래에 컬러 이미징 또는 초분광 이미징에 사용되는 다수의 별개의 파장-민감성 픽셀 센서를 수용하기 위해 확대되는 경우, 픽셀 어레이는 너무 클 수 있고, 내시경은 더 이상 좁은 공간에 맞춰지지 않을 수 있거나, 의료 구현예에 사용될 때 폐색적이거나 침습적일 수 있다. 내시경의 원위 단부가 매우 작게 유지되어야 하기 때문에, 원위 단부에 하나 이상의 이미지 센서를 배치하는 것은 어렵다. 이러한 접근법에 대한 허용가능한 해법은 결코 사소하지 않고, 그 자체의 엔지니어링 문제의 세트를 도입하며, 그 중 가장 중요한 것은 컬러 및/또는 초분광 이미징을 위한 센서가 매우 제한된 영역 내에 맞춰져야 한다는 사실이다. 이는 종래의 카메라 내의 픽셀 어레이가 초분광 이미징에 사용되는 다른 파장 대역에 대한 추가의 픽셀 센서와 함께, 적색, 녹색, 및 청색 가시 광 대역들 각각에 대해 별개의 픽셀 센서를 포함하는 경우 특히 어렵다. 내시경의 원위 팁의 영역은 X 및 Y 치수에서 좌우로 특히 제한될 수 있는 한편, Z 치수에서 내시경 튜브의 길이를 따라 더 많은 공간이 존재한다.
내시경의 이점들 중 많은 것이 내시경의 원위 단부의 작은 크기에 기인하기 때문에, 이미지 센서가 원위 단부에 위치될 때 이미지 센서 영역에 강력한 제약(aggressive constraint)이 가해져야 한다. 센서 영역에 가해지는 이들 강력한 제약은 자연적으로 픽셀 어레이 내의 더 적고/적거나 더 작은 픽셀로 이어진다. 픽셀 수(pixel count)를 저하시키는 것은 공간 해상도에 직접 영향을 미칠 수 있는 한편, 픽셀 영역을 감소시키는 것은 이용가능한 신호 용량 및 그에 따른 픽셀의 감도를 감소시킬 수 있고, 또한 이미지 품질이 최대화되도록 하는 픽셀의 수, 최소 픽셀 해상도 및 픽셀의 고유 수(native number)를 최대 픽셀 품질 및 피치를 사용하여 최적화하면, 해상도는 문제가 되지 않을 뿐만 아니라 각각의 픽셀의 신호 대 잡음비(SNR)를 낮춘다. 신호 용량을 저하시키는 것은 동적 범위, 즉 넓은 광도(luminosity) 범위를 갖는 장면으로부터 모든 유용한 정보를 동시에 캡처하는 이미징 장치 또는 카메라의 능력을 감소시킨다. 이미징 시스템의 동적 범위를 픽셀 자체의 동적 범위를 넘어 확장시키는 다양한 방법이 있다. 그러나, 그들 모두는 (예컨대, 해상도 또는 프레임률에서) 어떤 종류의 페널티(penalty)를 가질 수 있고, 그들은 바람직하지 않은 아티팩트(artifact)를 도입할 수 있으며, 이는 극단적인 경우에 문제가 된다. 감도를 감소시키는 것은 장면의 더 어두운 영역을 허용가능한 신호 레벨에 이르게 하는 데 더 큰 광 파워(light power)가 요구되는 결과를 갖는다. F-수를 감소시키는 것(개구부를 확대시키는 것)은 감도의 손실을 보상할 수 있지만, 공간 왜곡 및 감소된 초점 심도를 희생할 수 있다.
센서 산업에서, 상보형 금속-산화물-반도체(complementary metal-oxide-semiconductor, "CMOS") 이미지 센서는 현대 카메라 응용에서 종래의 전하-결합 소자(charge-coupled device, "CCD") 이미지 센서를 크게 대체하였다. CMOS 이미지 센서는 CCD 이미지 센서에 비해, 통합 및 작동의 더 큰 용이함, 우수하거나 유사한 이미지 품질, 더 큰 다목적성 및 더 낮은 비용을 갖는다. 전형적으로, CMOS 이미지 센서는, 이미지 정보를 디지털 데이터로 변환하고 다양한 레벨의 디지털 처리가 그 후에 통합되는 데 필요한 회로부를 포함할 수 있다. 이는, 예를 들어, 증폭기 거동의 변화에 기인할 수 있는 비-이상성(non-ideality)을 보정하기 위한 기본 알고리즘으로부터, 전체 이미지 신호 처리(image signal processing, ISP) 체인(chain)까지를 포괄하여, 예를 들어 표준 적색-녹색-청색("RGB") 컬러 공간에 비디오 데이터를 제공할 수 있다(카메라-온-칩(cameras-on-chip)).
내시경 또는 이미지 센서를 위한 제어 유닛은 이미지 센서로부터 원격으로 위치될 수 있고, 이미지 센서로부터 상당한 물리적 거리를 두고 떨어져 있을 수 있다. 제어 유닛이 센서로부터 원격에 있을 때, 디지털 도메인에서 데이터를 전송하는 것이 바람직할 수 있는데, 그 이유는 그것이 아날로그 데이터 스트림을 전송하는 것과 비교할 때 간섭 잡음 및 신호 저하에 크게 영향을 받지 않기 때문이다. LVDS(저전압 차등 시그널링(low voltage differential signaling)), 서브-LVDS, SLVS(스케일가능 저전압 시그널링(scalable low voltage signaling)) 또는 다른 전기 디지털 시그널링 표준과 같은 다양한 전기 디지털 시그널링 표준이 사용될 수 있다는 것이 인식될 것이다.
센서 상의 공간을 소비하는 패드의 수를 감소시키고, 센서 제조의 복잡성 및 비용을 감소시키기 위해, 전기 도체의 수를 최소화하려는 강력한 요구가 있을 수 있다. 센서에 대한 아날로그-디지털 변환의 추가가 유리할 수 있지만, 변환 회로에 의해 점유되는 추가의 영역은 디지털 신호로의 조기 변환으로 인해 필요한 아날로그 버퍼링 파워(analog buffering power)의 현저한 감소 때문에 오프셋된다(offset).
영역 소비의 관점에서, CMOS 이미지 센서(CIS) 기술에서 이용가능한 전형적인 최소 배선폭(feature size)을 고려할 때, 일부 구현예에서, 모든 내부 논리 신호가 제어 레지스터의 세트 및 단순 명령 인터페이스를 통해 픽셀 어레이와 동일한 칩 상에 생성되는 것이 바람직할 수 있다.
본 개시의 일부 구현예는 고도로 제어된 조명 환경에서 픽셀 수가 감소된 고화질 이미징을 허용하는 조합된 센서 및 시스템 설계의 양태를 포함할 수 있다. 이는 단일-컬러 파장의 프레임별 펄싱에 의해 그리고 높은 프레임 캡처율 및 특별히 설계된 대응하는 단색 센서와 함께 제어된 광원을 사용하여 단일의 상이한 컬러 파장 사이에서 각각의 프레임을 스위칭 또는 교번시킴으로써 달성될 수 있다. 추가적으로, 가시 광 스펙트럼 외측의 전자기 방사선은 펄싱되어 초분광 이미지의 생성을 가능하게 할 수 있다. 픽셀은 각각의 픽셀이 초분광 이미징을 위해 사용될 수 있는 다른 파장과 함께 적색, 녹색, 및 청색 가시 광 파장에 대한 펄스를 포함하여, 전자기 방사선의 각각의 펄스에 대한 데이터를 생성할 수 있도록 컬러 애그노스틱일 수 있다.
본 명세서에 사용되는 바와 같이, 단색 센서는 필터링되지 않은 이미징 센서를 지칭한다. 픽셀이 컬러 애그노스틱이기 때문에, 종래의 단일-센서 카메라에서의 그들의 컬러(전형적으로 베이어-패턴 필터링된) 상대에 대해서보다 상당히 더 높다. 그들은 또한 개별 픽셀들 사이에서 훨씬 더 적은 입사 광자가 낭비되기 때문에 더 높은 양자 효율을 가질 수 있다. 또한, 베이어 기반 공간 컬러 변조는 베이어 패턴과 관련된 컬러 아티팩트를 흐릿하게 하기 위해, 수반되는 광학계의 변조 전달 함수(modulation transfer function, MTF)가 단색 변조에 비해 낮추어지도록 요구한다. 이는 컬러 센서로 실현될 수 있는 실제 공간 해상도에 불리한 영향을 미친다.
본 개시는 또한, 이미지 센서가 내시경의 원위 단부에 존재하는 내시경 응용을 위한 시스템 해법에 관한 것이다. 최소 영역 센서-기반 시스템을 위해 노력함에 있어서, 픽셀 수의 감소를 넘어 개발될 수 있는 다른 설계 양태가 있다. 칩의 디지털 부분의 영역이 최소화될 수 있다. 또한, 칩(패드)에 대한 연결부의 수가 또한 최소화될 수 있다. 본 개시는 그러한 시스템의 실현을 위해 이들 목적을 달성하는 신규한 방법을 기술한다. 이는 여러 신규한 특징을 갖는 특별 주문(full-custom) CMOS 이미지 센서의 설계를 포함한다.
본 개시에 따른 원리의 이해를 촉진시키기 위해, 도면에 예시된 실시예가 이제 참조될 것이고, 이를 기술하기 위해 특정 언어가 사용될 것이다. 그럼에도 불구하고, 본 개시의 범주의 제한이 그에 의해 의도되지 않는다는 것이 이해될 것이다. 본 개시가 속하는 관련 기술 분야의 당업자가 통상적으로 생각할 수 있을, 본 명세서에 예시된 본 발명의 특징의 임의의 변경 및 추가의 수정과, 본 명세서에 예시된 바와 같은 본 개시의 원리의 임의의 추가의 응용은 청구된 본 개시의 범주 내에서 고려되어야 한다.
광 결핍 환경에서 이미지를 생성하기 위한 구조, 시스템 및 방법이 개시되고 기술되기 전에, 본 명세서에 개시된 특정 구조, 구성, 프로세스 단계, 및 재료가 어느 정도 달라질 수 있기 때문에 본 개시가 그러한 구조, 구성, 프로세스 단계, 및 재료로 제한되지 않는다는 것이 이해되어야 한다. 또한, 본 명세서에서 채용되는 용어는 단지 특정 실시예를 기술하기 위해 사용되며, 본 개시의 범주가 단지 첨부된 청구범위 및 그의 등가물에 의해 제한될 것이기 때문에 제한되는 것으로 의도되지 않는다는 것이 이해되어야 한다.
본 개시의 발명 요지를 기술하고 청구함에 있어서, 하기 용어가 아래에 기재된 정의에 따라 사용될 것이다.
본 명세서 및 첨부된 청구범위에 사용되는 바와 같이, 단수 형태("a", "an" 및 "the")는 그 문맥이 명확하게 달리 지시하지 않는 한 복수의 지시 대상을 포함하는 것에 유의하여야 한다.
본 명세서에 사용되는 바와 같이, 용어 "포함하는", "구비하는", "함유하는", "~에 의해 특징지어지는" 및 이의 문법적 등가물은 추가의 언급되지 않은 요소 또는 방법 단계를 배제하지 않는 포괄적인 또는 개방형 용어이다.
본 명세서에 사용되는 바와 같이, 어구 "~로 구성되는" 및 이의 문법적 등가물은 청구범위에 명시되지 않은 임의의 요소 또는 단계를 배제한다.
본 명세서에 사용되는 바와 같이, 어구 "~로 본질적으로 구성되는" 및 그의 문법적 등가물은 명시된 재료 또는 단계, 및 청구된 개시의 기본적이고 신규한 특성 또는 특성들에 실질적으로 영향을 주지 않는 재료 또는 단계로 청구범위의 범주를 제한한다.
본 명세서에 사용되는 바와 같이, 용어 "근위"는 원점에 가장 가까운 부분의 개념을 광범위하게 지칭할 것이다.
본 명세서에 사용되는 바와 같이, 용어 "원위"는 일반적으로 근위의 반대편, 그에 따라 문맥에 따라, 원점으로부터 더 멀리 있는 부분, 또는 가장 멀리 있는 부분의 개념을 지칭할 것이다.
본 명세서에 사용되는 바와 같이, 컬러 센서 또는 다수의 스펙트럼 센서는 입사 전자기 방사선을 그의 별개의 성분으로 필터링하기 위한 컬러 필터 어레이(CFA)를 그 상에 갖는 것으로 알려진 그러한 센서이다. 전자기 스펙트럼의 가시 범위에서, 그러한 CFA는 광의 녹색, 적색 및 청색 스펙트럼 성분을 분리하기 위해 베이어 패턴 또는 그의 변형으로 형성될 수 있다.
이제 도 1 내지 도 5를 참조하여, 광 결핍 환경에서 이미지를 생성하기 위한 시스템 및 방법이 이제 기술될 것이다. 도 1은 광 결핍 환경에서 이미지를 생성하는 데 사용하기 위한 작동 중인 쌍을 이룬 센서 및 전자기 방출기의 개략도를 예시한다. 그러한 구성은 광 제어 또는 주변 광 결핍 환경에서의 증가된 기능성을 허용한다.
본 명세서에 사용되는 바와 같이, 용어 "광"이 입자 및 파장 둘 모두이고, 픽셀 어레이에 의해 검출가능하고 전자기 방사선의 가시 및 비-가시 스펙트럼으로부터의 파장을 포함할 수 있는 전자기 방사선을 나타내도록 의도된다는 것에 유의하여야 한다. 용어 "파티션(partition)"은 전체 스펙트럼보다 작은 전자기 스펙트럼의 파장, 또는 바꾸어 말하면, 전자기 스펙트럼의 일부 부분을 구성하는 파장의 사전결정된 범위를 의미하도록 본 명세서에 사용된다. 본 명세서에 사용되는 바와 같이, 방출기는, 방출되는 전자기 스펙트럼의 부분에 대해 제어가능할 수 있거나, 그의 구성요소의 물리적 성질(physics), 방출의 세기, 또는 방출의 지속시간, 또는 위의 모든 것에 대해 작동할 수 있는 광원이다. 방출기는 임의의 디더링된(dithered), 확산된, 또는 시준된 방출로 광을 방출할 수 있고, 디지털 방식으로 또는 아날로그 방법 또는 시스템을 통해 제어될 수 있다. 본 명세서에 사용되는 바와 같이, 전자기 방출기는 전자기 에너지의 버스트(burst)의 소스이고, 레이저, LED, 백열등, 또는 디지털 방식으로 제어될 수 있는 임의의 광원과 같은 광원을 포함한다.
이미지 센서의 픽셀 어레이는 전자적으로 방출기와 쌍을 이룰 수 있어서, 그들이 방출을 수용하기 위해서뿐만 아니라 시스템 내에서 이루어지는 조절을 위해 작동 동안 동기화되게 한다. 도 1에서 볼 수 있는 바와 같이, 방출기(100)는 물체(110)를 조명하기 위해 펄싱될 수 있는, 레이저 형태의 전자기 방사선을 방출하도록 조정될 수 있다. 방출기(100)는 픽셀 어레이(122)의 작동 및 기능성에 대응하는 구간을 두고 펄싱할 수 있다. 방출기(100)는 복수의 전자기 파티션(105)에서 광을 펄싱할 수 있어서, 픽셀 어레이가 전자기 에너지를 수용하게 하고, (시간이) 각각의 특정 전자기 파티션(105)에 대응하는 데이터 세트를 생성하게 한다. 예를 들어, 도 1은, 픽셀 어레이(흑백)(122) 및 지원 회로부(supporting circuitry)를 갖는 단색 센서(120)를 갖는 시스템을 예시하며, 이러한 픽셀 어레이(122)는 임의의 파장의 전자기 방사선에 민감하다. 도면에 예시된 광 방출기(100)는 임의의 원하는 시퀀스로 적색 전자기 파티션(105a), 청색 전자기 파티션(105b), 및 녹색 전자기 파티션(105c)을 방출할 수 있는 레이저 방출기일 수 있다. 초분광 이미지가 생성될 수 있는 실시예에서, 광 방출기(100)는 초분광 이미지가 생성될 수 있도록 전자기 스펙트럼 내의 임의의 파장에서 전자기 방사선을 펄싱할 수 있다. 디지털 또는 아날로그 기반 방출기와 같은 다른 광 방출기(100)가 본 개시의 범주로부터 벗어남이 없이 도 1에 사용될 수 있다는 것이 인식될 것이다.
작동 동안, 임의의 개별 펄스에 대해 단색 센서(120)에 의해 생성된 데이터에는 특정 컬러 또는 파장 파티션이 할당될 수 있으며, 여기에서 이러한 할당은 방출기(100)로부터의 펄싱된 컬러 또는 파장 파티션의 타이밍에 기초한다. 픽셀(122)은 컬러-전용이 아니지만, 그들에는 방출기에 관한 사전 정보(priori information)에 기초하여 임의의 주어진 데이터 세트에 대한 컬러가 할당될 수 있다.
본 개시의 예시적인 실시예에서, 방출기(100)는 특수 파장에서 전자기 방사선을 펄싱한다. 그러한 펄스는 소정 의료 또는 진단 응용에 특히 적합한 특수 초분광 이미지의 생성을 가능하게 할 수 있다. 이러한 예시적인 실시예에서, 방출기(100)는 513 nm 내지 545 nm, 및 565 nm 내지 585 nm, 및 900 nm 내지 1000 nm의 전자기 방사선을 펄싱한다.
일 실시예에서, 적색, 녹색 및 청색 전자기 펄스를 나타내는 3개의 데이터 세트가 조합되어 단일 이미지 프레임을 형성할 수 있다. 다른 파장 파티션을 나타내는 하나 이상의 추가의 데이터 세트가 적색, 녹색, 및 청색 펄스에 기초하는 단일 이미지 프레임 상에 오버레이될 수 있다. 하나 이상의 추가의 데이터 세트는, 예를 들어, 513 nm 내지 545 nm, 및 565 nm 내지 585 nm, 및 900 nm 내지 1000 nm의 펄스를 나타낼 수 있다. 하나 이상의 추가의 데이터 세트는 적색, 녹색, 및 청색 펄스에 기초하는 단일 이미지 프레임 상에 오버레이될 수 있는 초분광 이미징을 나타낼 수 있다.
본 개시가 임의의 특정 컬러 조합 또는 임의의 특정 전자기 파티션으로 제한되지 않으며, 본 개시의 범주로부터 벗어남이 없이, 모든 가시 및 비-가시 파장을 포함하여, 시안색(Cyan), 마젠타색(Magenta) 및 황색; 자외선; 적외선; 전술한 것들의 임의의 조합, 또는 임의의 다른 컬러 조합과 같은 임의의 컬러 조합 또는 임의의 전자기 파티션이 적색, 녹색 및 청색 대신에 사용될 수 있다는 것이 인식될 것이다. 도면에서, 이미징될 물체(110)는 적색 부분(110a), 녹색 부분(110b) 및 청색 부분(110c)을 포함한다. 도면에 예시된 바와 같이, 전자기 펄스로부터의 반사된 광은 펄싱된 컬러 파티션에 대응하는 특정 컬러를 갖는 물체의 부분에 대한 데이터만을 포함한다. 이어서, 그들 별개의 컬러(또는 컬러 구간(color interval)) 데이터 세트는 130에서 데이터 세트를 조합함으로써 이미지를 재구성하는 데 사용될 수 있다.
일 실시예에서, 전자기 스펙트럼을 따른 추가의 파장 파티션과 함께 적색, 녹색, 및 청색 전자기 펄스를 나타내는 복수의 데이터 세트가 조합되어, 초분광 이미지 데이터가 RGB 이미지 상에 오버레이되는 RGB 이미지를 갖는 단일 이미지 프레임을 형성할 수 있다. 응용 또는 사례에 따라, 파장 데이터 세트의 상이한 조합이 바람직할 수 있다. 예를 들어, 일부 구현예에서, 특정 파장 파티션을 나타내는 데이터 세트가 특정 의학적 상태의 진단, 소정 신체 조직의 조사 등을 위한 특수 초분광 이미지를 생성하는 데 사용될 수 있다.
도 2에 예시된 바와 같이, 본 개시의 구현예는 아래에서 더욱 상세히 논의되는 바와 같이, 예를 들어 하나 이상의 프로세서 및 시스템 메모리와 같은 컴퓨터 하드웨어를 포함하여, 특수 목적 또는 범용 컴퓨터를 포함하거나 이용할 수 있다. 본 개시의 범주 내의 구현예는 또한, 컴퓨터-실행가능 명령어 및/또는 데이터 구조를 전달 또는 저장하기 위한 물리적 및 다른 컴퓨터-판독가능 매체를 포함할 수 있다. 그러한 컴퓨터-판독가능 매체는 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 컴퓨터-실행가능 명령어를 저장하는 컴퓨터-판독가능 매체는 컴퓨터 저장 매체(장치)이다. 컴퓨터-실행가능 명령어를 전달하는 컴퓨터-판독가능 매체는 전송 매체이다. 따라서, 제한이 아닌 예로서, 본 개시의 구현예는 적어도 2가지의 명백히 상이한 종류의 컴퓨터-판독가능 매체: 컴퓨터 저장 매체(장치) 및 전송 매체를 포함할 수 있다.
컴퓨터 저장 매체(장치)는 RAM, ROM, EEPROM, CD-ROM, 솔리드 스테이트 드라이브(solid state drive, "SSD")(예컨대, RAM 기반), 플래시 메모리, 상-변화 메모리(phase-change memory, "PCM"), 다른 유형의 메모리, 다른 광학 디스크 저장장치, 자기 디스크 저장장치 또는 다른 자기 저장 장치, 또는 컴퓨터-실행가능 명령어 또는 데이터 구조의 형태로 원하는 프로그램 코드 수단을 저장하는 데 사용될 수 있고 범용 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다.
"네트워크"는 컴퓨터 시스템 및/또는 모듈 및/또는 다른 전자 장치 사이에서의 전자 데이터의 전송을 가능하게 하는 하나 이상의 데이터 링크로 정의된다. 일 구현예에서, 센서 및 카메라 제어 유닛이 서로 그리고 그들이 연결되는 네트워크를 통해 연결되는 다른 구성요소와 통신하도록 네트워크화될 수 있다. 정보가 네트워크 또는 다른 통신 연결(유선(hardwired), 무선, 또는 유선 또는 무선의 조합)을 통해 컴퓨터로 전송되거나 제공될 때, 컴퓨터는 그러한 연결을 전송 매체로 적절히 간주한다. 전송 매체는, 컴퓨터-실행가능 명령어 또는 데이터 구조의 형태로 원하는 프로그램 코드 수단을 전달하는 데 사용될 수 있고, 범용 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 네트워크 및/또는 데이터 링크를 포함할 수 있다. 위의 것들의 조합이 또한 컴퓨터-판독가능 매체의 범주 내에 포함되어야 한다.
또한, 다양한 컴퓨터 시스템 구성요소에 도달할 때, 컴퓨터-실행가능 명령어 또는 데이터 구조 형태의 프로그램 코드 수단은 전송 매체로부터 컴퓨터 저장 매체(장치)로(또는 그 반대로) 자동으로 전송될 수 있다. 예를 들어, 네트워크 또는 데이터 링크를 통해 수신된 컴퓨터-실행가능 명령어 또는 데이터 구조는 네트워크 인터페이스 모듈(예컨대, "NIC") 내의 RAM 내에 버퍼링될 수 있고, 이어서 궁극적으로 컴퓨터 시스템 RAM 및/또는 컴퓨터 시스템에 있는 덜 휘발성인 컴퓨터 저장 매체(장치)로 전송될 수 있다. RAM은 또한 솔리드 스테이트 드라이브(SSD 또는PCIx 기반 실시간 메모리 계층형 저장장치, 예컨대 FusionIO)를 포함할 수 있다. 따라서, 컴퓨터 저장 매체(장치)가, 또한(또는 심지어 주로) 전송 매체를 이용하는 컴퓨터 시스템 구성요소 내에 포함될 수 있다는 것이 이해되어야 한다.
컴퓨터-실행가능 명령어는, 예를 들어, 프로세서에서 실행될 때, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 특수 목적 처리 장치로 하여금 소정 기능 또는 기능들의 그룹을 수행하게 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들어, 2진수, 어셈블리어와 같은 중간 포맷 명령어, 또는 심지어 소스 코드일 수 있다. 발명 요지가 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 기술되었지만, 첨부된 청구범위에 한정된 발명 요지는 전술된 기술된 특징 또는 동작으로 반드시 제한되지는 않는다는 것이 이해되어야 한다. 오히려, 기술된 특징 및 동작은 청구범위를 구현하는 예시적인 형태로서 개시된다.
당업자는 본 개시가 개인용 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 메시지 프로세서, 제어 유닛, 카메라 제어 유닛, 핸드-헬드 장치, 핸드 피스, 다중-프로세서 시스템, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 이동 전화, PDA, 태블릿, 무선 호출기, 라우터, 스위치, 다양한 저장 장치 등을 포함하여, 많은 유형의 컴퓨터 시스템 구성을 갖는 네트워크 컴퓨팅 환경에서 실시될 수 있다는 것을 인식할 것이다. 위에 언급된 컴퓨팅 장치들 중 임의의 것이 오프라인 지점(brick and mortar location)에 의해 제공되거나 그 내에 위치될 수 있다는 것에 유의하여야 한다. 본 개시는 또한, 네트워크를 통해 (유선 데이터 링크, 무선 데이터 링크에 의해, 또는 유선 및 무선 데이터 링크의 조합에 의해) 링크되는 로컬 및 원격 컴퓨터 시스템들 둘 모두가 작업을 수행하는 분산 시스템 환경에서 실시될 수 있다. 분산 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치들 둘 모두 내에 위치될 수 있다.
또한, 적절한 경우, 본 명세서에 기술된 기능은 하드웨어, 소프트웨어, 펌웨어, 디지털 구성요소, 또는 아날로그 구성요소 중 하나 이상에서 수행될 수 있다. 예를 들어, 하나 이상의 주문형 집적 회로(application specific integrated circuit, ASIC) 또는 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA)가 본 명세서에 기술된 시스템들 및 절차들 중 하나 이상을 수행하도록 프로그래밍될 수 있다. 소정 용어가 하기 설명 및 청구범위 전반에 걸쳐 특정 시스템 구성요소를 지칭하기 위해 사용된다. 당업자가 인식할 바와 같이, 구성요소는 상이한 명칭으로 지칭될 수 있다. 본 명세서는 명칭은 상이하지만 기능은 그렇지 않은 구성요소들을 구별하도록 의도하지 않는다.
도 2는 예시적인 컴퓨팅 장치(150)를 예시하는 블록도이다. 컴퓨팅 장치(150)는 본 명세서에서 논의되는 것과 같은 다양한 절차를 수행하는 데 사용될 수 있다. 컴퓨팅 장치(150)는 서버, 클라이언트, 또는 임의의 다른 컴퓨팅 엔티티(computing entity)로서 기능할 수 있다. 컴퓨팅 장치(150)는 본 명세서에서 논의되는 바와 같이 다양한 모니터링 기능을 수행할 수 있고, 본 명세서에 기술된 응용 프로그램과 같은 하나 이상의 응용 프로그램을 실행할 수 있다. 컴퓨팅 장치(150)는 데스크톱 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, 핸드헬드 컴퓨터, 카메라 제어 유닛, 태블릿 컴퓨터 등과 같은 매우 다양한 컴퓨팅 장치들 중 임의의 것일 수 있다.
컴퓨팅 장치(150)는 하나 이상의 프로세서(들)(152), 하나 이상의 메모리 장치(들)(154), 하나 이상의 인터페이스(들)(156), 하나 이상의 대용량 저장 장치(들)(158), 하나 이상의 입력/출력(I/O) 장치(들)(160), 및 디스플레이 장치(180)를 포함하며, 이들 모두는 버스(162)에 결합된다. 프로세서(들)(152)는 메모리 장치(들)(154) 및/또는 대용량 저장 장치(들)(158) 내에 저장된 명령어를 실행하는 하나 이상의 프로세서 또는 제어기를 포함한다. 프로세서(들)(152)는 또한 캐시 메모리와 같은 다양한 유형의 컴퓨터-판독가능 매체를 포함할 수 있다.
메모리 장치(들)(154)는 휘발성 메모리(예컨대, 랜덤 액세스 메모리(RAM)(164)) 및/또는 비휘발성 메모리(예컨대, 판독-전용 메모리(ROM)(166))와 같은 다양한 컴퓨터-판독가능 매체를 포함한다. 메모리 장치(들)(154)는 또한 플래시 메모리와 같은 재기록가능 ROM을 포함할 수 있다.
대용량 저장 장치(들)(158)는 자기 테이프, 자기 디스크, 광학 디스크, 솔리드-스테이트 메모리(예컨대, 플래시 메모리) 등과 같은 다양한 컴퓨터 판독가능 매체를 포함한다. 도 2에 도시된 바와 같이, 특정 대용량 저장 장치는 하드 디스크 드라이브(174)이다. 다양한 컴퓨터 판독가능 매체로부터의 판독 및/또는 그에 대한 기록을 가능하게 하기 위해 다양한 드라이브가 또한 대용량 저장 장치(들)(158) 내에 포함될 수 있다. 대용량 저장 장치(들)(158)는 분리형 매체(176) 및/또는 비-분리형 매체를 포함한다.
I/O 장치(들)(160)는 데이터 및/또는 다른 정보가 컴퓨팅 장치(150)에 입력되거나 그로부터 검색되도록 허용하는 다양한 장치를 포함한다. 예시적인 I/O 장치(들)(160)는 디지털 이미징 장치, 전자기 센서 및 방출기, 커서 제어 장치, 키보드, 키패드, 마이크로폰, 모니터 또는 다른 디스플레이 장치, 스피커, 프린터, 네트워크 인터페이스 카드, 모뎀, 렌즈, CCD 또는 다른 이미지 캡처 장치 등을 포함한다.
디스플레이 장치(180)는 컴퓨팅 장치(150)의 하나 이상의 사용자에게 정보를 디스플레이할 수 있는 임의의 유형의 장치를 포함한다. 디스플레이 장치(180)의 예는 모니터, 디스플레이 단말기, 비디오 프로젝션 장치 등을 포함한다.
인터페이스(들)(106)는 컴퓨팅 장치(150)가 다른 시스템, 장치, 또는 컴퓨팅 환경과 상호작용하도록 허용하는 다양한 인터페이스를 포함한다. 예시적인 인터페이스(들)(156)는 근거리 통신망(local area network, LAN), 광역 통신망(wide area network, WAN), 무선 네트워크, 및 인터넷에 대한 인터페이스와 같은 임의의 수의 상이한 네트워크 인터페이스(170)를 포함할 수 있다. 다른 인터페이스(들)는 사용자 인터페이스(168) 및 주변 장치 인터페이스(172)를 포함한다. 인터페이스(들)(156)는 또한 하나 이상의 사용자 인터페이스 요소(168)를 포함할 수 있다. 인터페이스(들)(156)는 또한 프린터, 포인팅 장치(마우스, 트랙 패드 등), 키보드 등을 위한 인터페이스와 같은 하나 이상의 주변 인터페이스를 포함할 수 있다.
버스(162)는 프로세서(들)(152), 메모리 장치(들)(154), 인터페이스(들)(156), 대용량 저장 장치(들)(158), 및 I/O 장치(들)(160)가 서로 그리고 버스(162)에 결합된 다른 장치 또는 구성요소와 통신하도록 허용한다. 버스(162)는 시스템 버스, PCI 버스, IEEE 1394 버스, USB 버스 등과 같은 여러 유형의 버스 구조들 중 하나 이상을 나타낸다.
예시를 위해, 프로그램 및 다른 실행가능한 프로그램 구성요소는 이산 블록으로 본 명세서에 도시되어 있지만, 그러한 프로그램 및 구성요소가 컴퓨팅 장치(150)의 상이한 저장 구성요소 내에 다양한 시간에 상주할 수 있고 프로세서(들)(152)에 의해 실행된다는 것이 이해된다. 대안적으로, 본 명세서에 기술된 시스템 및 절차는 하드웨어, 또는 하드웨어, 소프트웨어, 및/또는 펌웨어의 조합으로 구현될 수 있다. 예를 들어, 하나 이상의 주문형 집적 회로(ASIC) 또는 필드 프로그래머블 게이트 어레이(FPGA)가 본 명세서에 기술된 시스템들 및 절차들 중 하나 이상을 수행하도록 프로그래밍될 수 있다.
도 2a는 롤링 판독 모드(rolling readout mode)에 또는 센서 판독(200) 동안 사용되는 센서의 작동 사이클을 예시한다. 프레임 판독은 수직선(210)에서 시작될 수 있고, 그에 의해 표현될 수 있다. 판독 기간은 대각선 또는 사선(202)에 의해 표현된다. 센서는 행 단위로 판독될 수 있으며, 하향 경사 에지의 상부는 센서 상부 행(212)이고, 하향 경사 에지의 저부는 센서 저부 행(214)이다. 마지막 행 판독과 다음 판독 사이클 사이의 시간은 블랭킹 시간(216)으로 불릴 수 있다. 센서 픽셀 행들 중 일부가 광 차폐물(예컨대, 금속 코팅 또는 다른 재료 유형의 임의의 다른 실질적으로 흑색인 층)로 덮일 수 있다는 것에 유의하여야 한다. 이들 덮인 픽셀 행은 광학 블랙 행(optical black row)(218, 220)으로 지칭될 수 있다. 광학 블랙 행(218, 220)은 보정 알고리즘을 위한 입력으로서 사용될 수 있다. 도 2a에 도시된 바와 같이, 이들 광학 블랙 행(218, 220)은 픽셀 어레이의 상부에 또는 픽셀 어레이의 저부에 또는 픽셀 어레이의 상부 및 저부에 위치될 수 있다. 도 2b는, 픽셀에 노출되어, 픽셀에 의해 통합되거나 축적되는 전자기 방사선, 예컨대 광의 양을 제어하는 프로세스를 예시한다. 광자가 전자기 방사선의 기본 입자라는 것이 인식될 것이다. 광자는 각각의 픽셀에 의해 통합, 흡수, 또는 축적되고, 전하 또는 전류로 변환된다. 전자 셔터(electronic shutter) 또는 롤링 셔터(rolling shutter)(파선(222)으로 도시됨)가 픽셀을 리셋함으로써 통합 시간(integration time)을 시작하는 데 사용될 수 있다. 이어서, 광은 다음 판독 단계까지 통합될 것이다. 전자 셔터(222)의 위치는 주어진 양의 광에 대한 픽셀 포화를 제어하기 위해 2개의 판독 사이클들(202) 사이에서 이동될 수 있다. 이러한 기법이 2개의 상이한 라인들 사이의 일정한 통합 시간을 허용하지만, 상부 행으로부터 저부 행으로 이동할 때 지연을 도입한다는 것에 유의하여야 한다. 도 2c는 전자 셔터(222)가 제거된 경우를 예시한다. 이러한 구성에서, 입사 광의 통합은 판독(202) 동안 시작될 수 있고, 다음 판독 사이클(202)에서 종료될 수 있으며, 이는 또한 다음 통합의 시작을 한정한다. 도 2d는, 전자 셔터(222)가 없지만, 블랭킹 시간(216) 동안 제어된 그리고 펄싱된 광(230)을 갖는 구성을 도시한다. 이는 모든 행이 동일한 광 펄스(230)로부터 나온 동일한 광을 보도록 보장한다. 바꾸어 말하면, 각각의 행은, 최대 광 펄스 폭에 대해 판독 프레임(m)의 광학 블랙 후방 행(220)에 있을 수 있는 어두운 환경에서 그의 통합을 시작할 것이고, 이어서 광 스트로브(light strobe)를 수용할 것이며, 최대 광 펄스 폭에 대해 다음 후속 판독 프레임(m+1)의 광학 블랙 전방 행(218)에 있을 수 있는 어두운 환경에서 그의 통합을 종료할 것이다. 도 2d의 예에서, 광 펄스로부터 생성된 이미지는 오로지, 프레임(m, m+2)과의 간섭 없이 프레임(m+1) 판독 동안 이용가능할 것이다. 광 펄스가 하나의 프레임에서만 판독되고 이웃한 프레임과 간섭되지 않게 할 조건이 주어진 광 펄스를 블랭킹 시간(216) 동안 방사하는(firing) 것이라는 것에 유의하여야 한다. 광학 블랙 행(218, 220)이 광에 둔감하기 때문에, 프레임(m)의 광학 블랙 후방 행(220) 시간 및 프레임(m+1)의 광학 블랙 전방 행(218) 시간이 블랭킹 시간(216)에 추가되어, 광 펄스(230)의 방사 시간의 최대 범위를 결정할 수 있다. 도 2a에 예시된 바와 같이, 센서는 각각의 펄싱된 컬러 또는 파장(예컨대, 적색, 녹색, 청색, 또는 전자기 스펙트럼 상의 다른 파장)에 대한 데이터를 수신하기 위해 여러 번 사이클링될 수 있다. 각각의 사이클은 타이밍될 수 있다. 일 실시예에서, 사이클은 16.67 ms의 구간 내에서 작동하도록 타이밍될 수 있다. 다른 실시예에서, 사이클은 8.3 ms의 구간 내에서 작동하도록 타이밍될 수 있다. 다른 타이밍 구간이 본 개시에 의해 고려되고, 본 개시의 범주 내에 속하도록 의도된다는 것이 인식될 것이다.
도 3은 전자기 방출기의 일 실시예의 작동을 그래픽으로 예시한다. 방출기는 센서의 사이클에 대응하도록 타이밍될 수 있어서, 전자기 방사선이 센서 작동 사이클 내에서 그리고/또는 센서 작동 사이클의 일부분 동안 방출되게 한다. 도 3은 302에서의 펄스 1, 304에서의 펄스 2, 및 306에서의 펄스 3을 예시한다. 일 실시예에서, 방출기는 센서 작동 사이클의 판독 부분(202) 동안 펄싱할 수 있다. 일 실시예에서, 방출기는 센서 작동 사이클의 블랭킹 부분(216) 동안 펄싱할 수 있다. 일 실시예에서, 방출기는 둘 이상의 센서 작동 사이클의 부분들 동안인 지속시간 동안 펄싱할 수 있다. 일 실시예에서, 방출기는 블랭킹 부분(216) 동안, 또는 판독 부분(202)의 광학 블랙 부분(220) 동안 펄스를 시작할 수 있고, 판독 부분(202) 동안, 또는 다음 후속 사이클의 판독 부분(202)의 광학 블랙 부분(218) 동안 펄스를 종료할 수 있다. 방출기의 펄스와 센서의 사이클이 대응하는 한 위의 것들의 임의의 조합이 본 개시의 범주 내에 속하도록 의도된다는 것이 이해될 것이다.
도 4는 노출을 제어하기 위해 방출된 전자기 펄스(예컨대, 402에서의 펄스 1, 404에서의 펄스 2, 및 406에서의 펄스 3)의 지속시간 및 크기를 변화시키는 것을 그래픽으로 나타낸다. 고정된 출력 크기를 갖는 방출기는 픽셀 어레이에 필요한 전자기 에너지를 제공하기 위한 구간 동안 도 2d 및 도 3과 관련하여 위에 언급된 사이클들 중 임의의 사이클 동안 펄싱될 수 있다. 고정된 출력 크기를 갖는 방출기는 더 긴 시간 구간을 두고 펄싱되어, 픽셀에 더 많은 전자기 에너지를 제공할 수 있거나, 방출기는 더 짧은 시간 구간을 두고 펄싱되어, 더 적은 전자기 에너지를 제공할 수 있다. 더 긴 시간 구간이 필요한지 또는 더 짧은 시간 구간이 필요한지는 작동 조건에 의존한다.
방출기가 고정된 출력 크기를 펄싱하는 시간 구간을 조절하는 것과는 대조적으로, 방출 자체의 크기가 증가되어 픽셀에 더 많은 전자기 에너지를 제공할 수 있다. 유사하게, 펄스의 크기를 감소시키는 것이 픽셀에 더 적은 전자기 에너지를 제공한다. 원하는 경우, 시스템의 일 실시예가 크기 및 지속시간 둘 모두를 동시에 조절하는 능력을 가질 수 있다는 것에 유의하여야 한다. 추가적으로, 센서는 최적의 이미지 품질을 위해 원하는 대로 그의 감도 및 지속시간을 증가시키도록 조절될 수 있다. 도 4는 펄스의 크기 및 지속시간을 변화시키는 것을 예시한다. 이러한 예시에서, 402에서의 펄스 1은 404에서의 펄스 2 또는 406에서의 펄스 3보다 높은 크기 또는 세기를 갖는다. 추가적으로, 402에서의 펄스 1은 404에서의 펄스 2 또는 406에서의 펄스 3보다 짧은 지속시간을 가지며, 따라서 펄스에 의해 제공되는 전자기 에너지는 이러한 예시에 도시된 펄스 아래의 영역에 의해 예시된다. 이러한 예시에서, 404에서의 펄스 2는 402에서의 펄스 1 또는 406에서의 펄스 3과 비교할 때 상대적으로 낮은 크기 또는 세기 및 더 긴 지속시간을 갖는다. 마지막으로, 이러한 예시에서, 406에서의 펄스 3은 402에서의 펄스 1 및 404에서의 펄스 2와 비교할 때 중간 크기 또는 세기 및 지속시간을 갖는다.
도 5는 본 개시의 원리 및 교시에 따른 작동 동안의 이미징 시스템을 보여주기 위해 도 2 내지 도 4의 작동 사이클, 전자기 방출기 및 방출된 전자기 펄스를 조합한 본 개시의 일 실시예의 그래픽 표현이다. 이러한 도면에서 볼 수 있는 바와 같이, 전자기 방출기는 주로 센서의 블랭킹 기간(216) 동안 방출을 펄싱하여, 픽셀이 충전되고 센서 사이클의 판독 부분(202) 동안 판독될 준비가 되게 할 것이다. (도 3으로부터의) 펄스 내의 파선 부분은 전자기 에너지를 펄싱하는 데 추가의 시간이 필요하거나 요구되는 경우, 판독 사이클(센서 사이클)(200)의 광학 블랙 부분(220, 218) 동안 전자기 에너지를 방출할 가능성 또는 능력을 예시한다.
이제 도 6 내지 도 9a를 참조하면, 도 6은 전체 스펙트럼 광 및 분할 스펙트럼 광에 대한 비디오 프레임을 기록하기 위한 t(0) 내지 t(1)의 기간에 걸친 2개의 별개의 프로세스의 개략도를 예시한다. 컬러 센서가 전체 스펙트럼 광 수용에 통상적으로 사용되는 픽셀당 소정 파장의 광을 필터링하기 위한 컬러 필터 어레이(CFA)를 갖는다는 것에 유의하여야 한다. CFA의 일례는 베이어 패턴이다. 컬러 센서가 전체 스펙트럼 내로부터의 단일 컬러에 민감하게 만들어지는 픽셀을 어레이 내에 포함할 수 있기 때문에, 감소된 해상도의 이미지가 생성되는데, 그 이유는 픽셀 어레이가 전체 스펙트럼 내에서 단일 컬러의 광에만 전용되는 픽셀 공간을 갖기 때문이다. 통상적으로, 그러한 배열은 전체 어레이에 걸쳐 체커보드(checkerboard) 유형 패턴으로 형성된다.
대조적으로, 광의 분할 스펙트럼이 사용될 때, 센서는 모든 광 에너지의 크기에 민감하거나 응답하도록 만들어질 수 있는데, 그 이유는 픽셀 어레이가 그것이 각각의 사이클에서 전자기 에너지의 전체 스펙트럼의 사전결정된 파티션으로부터 전자기 에너지를 감지하고 있다는 지시를 받을 것이기 때문이다. 따라서, 이미지를 형성하기 위해, 센서는 단지, 광의 전체 스펙트럼 내로부터의 복수의 상이한 파티션으로 사이클링된 다음에 어레이를 가로지르는 모든 픽셀에 대한 컬러 값의 사전결정된 혼합을 디스플레이하도록 이미지를 재조립하기만 하면 된다. 따라서, 더 높은 해상도의 이미지가 또한 제공되는데, 그 이유는 컬러 펄스들 각각에 대해 동일한 컬러 감도의 픽셀 중심들 사이의 거리가 베이어 센서에 비해 감소되기 때문이다. 그 결과, 형성된 컬러 이미지는 더 높은 변조 전달 함수(MTF)를 갖는다. 각각의 컬러 파티션 프레임 사이클로부터의 이미지가 더 높은 해상도를 갖기 때문에, 분할 광 프레임이 전체 컬러 프레임으로 조합될 때 생성되는 결과 이미지가 또한 더 높은 해상도를 갖는다. 바꾸어 말하면, (많아 봐야, 컬러 필터를 갖는 센서 내의 매 두 번째 픽셀 대신에) 어레이 내의 각각의 그리고 모든 픽셀이 주어진 펄스 및 주어진 장면에 대한 에너지의 크기를, 단지 시간의 일부만큼 떨어져, 감지하고 있기 때문에, 덜 파생된(덜 정확한) 데이터가 도입될 필요가 있는 각각의 장면에 대해 더 높은 해상도의 이미지가 생성된다.
예를 들어, 백색 또는 전체 스펙트럼 가시 광은 적색, 녹색 및 청색 광의 조합이다. 도 6에 도시된 실시예에서, 분할 스펙트럼 프로세스(620) 및 전체 스펙트럼 프로세스(610) 둘 모두에서, 이미지를 캡처하는 시간이 t(0) 내지 t(1)임을 볼 수 있다. 전체 스펙트럼 프로세스(610)에서, 백색 광 또는 전체 스펙트럼 전자기 에너지가 612에서 방출된다. 614에서, 백색 또는 전체 스펙트럼 전자기 에너지가 감지된다. 616에서, 이미지가 처리되고 디스플레이된다. 따라서, 시간 t(0) 내지 t(1)에서, 이미지가 처리되고 디스플레이되었다. 반대로, 분할 스펙트럼 프로세스(620)에서, 제1 파티션이 622에서 방출되고, 624에서 감지된다. 626에서, 제2 파티션이 방출되고, 이어서 628에서 감지된다. 630에서, 제3 파티션이 방출되고, 632에서 감지된다. 634에서, 이미지가 처리되고 디스플레이된다. 백색 광 사이클보다 적어도 2배 더 빠른 이미지 센서 사이클을 사용하는 임의의 시스템이 본 개시의 범주 내에 속하도록 의도된다는 것이 인식될 것이다.
시간 t(0) 내지 t(1)에서 도 6에 예시된 실시예에서 그래픽으로 볼 수 있는 바와 같이, 분할 스펙트럼 시스템(620)에 대한 센서는 전체 스펙트럼 시스템의 모두에 대해 3회 사이클링하였다. 분할 스펙트럼 시스템(620)에서, 3회의 센서 사이클들 중 첫 번째는 녹색 스펙트럼(622, 624)에 대한 것이고, 3회 중 두 번째는 적색 스펙트럼(626, 628)에 대한 것이며, 세 번째는 청색 스펙트럼(630, 632)에 대한 것이다. 따라서, 디스플레이 장치(LCD 패널)가 초당 50 내지 60 프레임으로 작동하는 실시예에서, 분할 광 시스템은 디스플레이된 비디오의 연속성 및 평활성을 유지시키기 위해 초당 150 내지 180 프레임으로 작동하여야 한다.
다른 실시예에서, 상이한 캡처율 및 디스플레이 프레임률이 있을 수 있다. 또한, 평균 캡처율은 디스플레이율의 임의의 배수일 수 있다.
일 실시예에서, 모든 파티션이 시스템 프레임률 내에서 동일하게 표현되지는 않는 것이 바람직할 수 있다. 바꾸어 말하면, 모든 광원이 사용자에 의해 원하는 대로 기록된 장면의 양태를 강조하고 강조하지 않기 위해 동일한 규칙성으로 펄싱될 필요는 없다. 전자기 스펙트럼의 비-가시 및 가시 파티션이 시스템 내에서 함께 펄싱될 수 있으며, 이때 그들 각각의 데이터 값이 사용자에게 디스플레이하기 위해 원하는 대로 비디오 출력에 스티칭된다(stitched)는 것이 또한 이해되어야 한다.
일 실시예는 하기와 같은 펄스 사이클 패턴을 포함할 수 있다:
i.
녹색 펄스;
ii.
적색 펄스;
iii.
청색 펄스;
iv.
녹색 펄스;
v.
적색 펄스;
vi.
청색 펄스;
vii.
적외선(IR) 펄스;
viii.
(반복)
이러한 예에서 볼 수 있는 바와 같이, 적외선 파티션 또는 특수 파장 파티션(예컨대, 513 내지 545 nm, 565 내지 585 nm, 및/또는 900 내지 100 nm)은 다른 파티션 펄스의 비율과는 상이한 비율로 펄싱될 수 있다. 이는 장면의 소정 양태를 강조하기 위해 수행될 수 있으며, 이때 IR 데이터는 단순히 비디오 출력 내의 다른 데이터로 오버레이되어 원하는 강조를 만든다. 적색, 녹색, 및 청색 파티션 위에 전자기 파티션을 추가하는 것이, 모든 파티션이 펄스 패턴에서 동일하게 표현될 필요가 없기 때문에, 반드시 직렬화된 시스템이 전체 스펙트럼 비-직렬 시스템의 비율의 4배로 작동하도록 요구하지는 않는다는 것에 유의하여야 한다. 이러한 실시예에서 볼 수 있는 바와 같이, 펄스 패턴에서 덜 표현되는 파티션 펄스(위의 예에서 적외선)의 추가는 불규칙한 파티션 샘플링을 수용하기 위해 센서의 사이클링 속도의 20% 미만의 증가를 가져올 것이다.
다양한 실시예에서, 펄스 사이클 패턴은 하기 파장들 중 임의의 것을 임의의 적합한 순서로 포함할 수 있다. 그러한 파장은 형광 시약 이완 방출(fluorescent reagent relaxation emission)에 기초하여 이미지 데이터를 결정하는 데 또는 다중분광 또는 초분광 이미지 데이터를 결정하는 데 특히 적합할 수 있다:
i.
465 ± 5 nm;
ii.
533 ± 4 nm;
iii.
638 ± 5 nm;
iv.
780 ± 5 nm;
v.
805 ± 5 nm;
vi.
975 ± 5 nm;
vii.
577 ± 2 nm; 또는
viii.
523 ± 4 nm.
일 실시예에서, 장면의 양태를 강조하기 위해 사용되는 염료 또는 재료에 민감한 전자기 파티션이 방출될 수 있다. 이러한 실시예에서, 고해상도의 필요 없이 염료 또는 재료의 위치를 강조하는 것으로 충분할 수 있다. 그러한 실시예에서, 염료 민감성 전자기 파티션은 강조된 데이터를 포함하기 위해 시스템의 다른 파티션보다 훨씬 덜 빈번히 사이클링될 수 있다.
파티션 사이클은 다양한 이미징 및 비디오 표준을 수용하거나 근사화하도록 분할될 수 있다. 일 실시예에서, 파티션 사이클은 도 7a 내지 도 7d에 가장 잘 예시된 바와 같이, 하기와 같이 적색, 녹색, 청색 스펙트럼에서 전자기 에너지의 펄스를 포함할 수 있다. 도 7a에서, 상이한 광 세기는 수직 회색 파선에 의해 도시된 동작 범위 내에서 광 펄스 폭 또는 지속시간을 변조함으로써 달성되었다. 도 7b에서, 상이한 광 세기는, 레이저 또는 LED 방출기일 수 있는 전자기 방출기의 광 파워 또는 파워를 변조하되, 펄스 폭 또는 지속시간을 일정하게 유지시킴으로써 달성되었다. 도 7c는 광 파워 및 광 펄스 폭 둘 모두가 변조되고 있어, 더 큰 유연성으로 이어지는 경우를 도시한다. 파티션 사이클은, 가시 펄스 소스와 혼합된 비-가시 펄스 소스, 및 현재 알려져 있거나 아직 개발되지 않은 원하는 비디오 표준을 근사화하거나 이미지를 생성하는 데 필요한 임의의 다른 컬러 공간을 사용하여 CMY, IR 및 자외선을 사용할 수 있다. 시스템이 원하는 이미지 출력 품질을 제공하기 위해 즉시(on the fly) 컬러 공간들 사이에서 스위칭할 수 있다는 것이 또한 이해되어야 한다.
(도 7d에서 볼 수 있는 바와 같은) 컬러 공간 녹색-청색-녹색-적색을 사용하는 실시예에서, 사용자가 일반적으로 광 컬러 차이보다 광 크기 차이에 더욱 민감하기 때문에, 색차 성분보다 휘도 성분을 더욱 자주 펄싱하는 것이 바람직할 수 있다. 이러한 원리는 도 7d에 예시된 바와 같이 단색 센서를 사용하여 활용될 수 있다. 도 7d에서, 대부분의 휘도 정보를 포함하는 녹색은 휘도 데이터를 획득하기 위한 (G-B-G-R-G-B-G-R…) 방식으로 더 자주 또는 더 큰 세기로 펄싱될 수 있다. 그러한 구성은 인식할 수 없는 데이터를 생성 및 전송함이 없이, 인식적으로 더욱 상세한 비디오 스트림(video stream)을 생성할 것이다.
일 실시예에서, 더 약한 파티션의 펄스를 복제하는 것은 더 약한 펄스에 대해 조절된 출력을 생성하는 데 사용될 수 있다. 예를 들어, 청색 레이저 광은 규소-기반 픽셀의 감도에 비해 약한 것으로 간주되고, 적색 또는 녹색 광에 비해 생성하기 어려우며, 따라서 그러한 광의 약함을 보상하기 위해 프레임 사이클 동안 더 자주 펄싱될 수 있다. 이들 추가의 펄스는 원하는 보상 효과를 생성하기 위해 동시에 펄싱하는 다수의 레이저를 사용함으로써 또는 시간 경과에 따라 연속적으로 수행될 수 있다. 블랭킹 기간(센서가 픽셀 어레이를 판독하지 않는 동안의 시간) 동안 펄싱함으로써, 센서가 동일한 종류의 레이저들 사이의 차이/미스매치(mismatch)에 둔감하고, 원하는 출력을 위해 단순히 광을 축적한다는 것에 유의하여야 한다. 다른 실시예에서, 최대 광 펄스 범위는 프레임마다 상이할 수 있다. 이는 광 펄스가 프레임마다 상이한 도 7e에 도시되어 있다. 센서는 2개 또는 3개 또는 4개 또는 n개의 프레임의 반복 패턴으로 상이한 블랭킹 시간을 프로그래밍할 수 있도록 형성될 수 있다. 도 7e에, 4개의 상이한 광 펄스가 예시되어 있으며, 펄스 1은 예를 들어 펄스 4 이후에 반복될 수 있고, 상이한 블랭킹 시간을 갖는 4개의 프레임의 패턴을 가질 수 있다. 이러한 기법은, 최소 블랭킹 시간에 가장 강력한 파티션을 배치하여, 그에 따라 판독 속도를 증가시킬 필요 없이 가장 약한 파티션이 다음 프레임들 중 하나에서 더 넓은 펄스를 갖도록 허용하기 위해 사용될 수 있다. 재구성된 프레임은 그것이 많은 펄싱된 프레임으로 구성되기 때문에 여전히 프레임마다 규칙적인 패턴을 가질 수 있다.
도 8에서 볼 수 있는 바와 같이, 광의 각각의 분할 스펙트럼이 상이한 에너지 값을 가질 수 있기 때문에, 센서 및/또는 광 방출기는 에너지 값의 차이를 보상하도록 조절될 수 있다. 810에서, 이전 프레임으로부터의 히스토그램(histogram)으로부터 획득된 데이터가 분석될 수 있다. 820에서, 센서가 아래에 언급되는 바와 같이 조절될 수 있다. 추가적으로, 830에서, 방출기가 조절될 수 있다. 840에서, 이미지가 센서로부터 조절된 샘플 시간으로부터 획득될 수 있거나, 이미지가 조절된(증가된 또는 감소된) 방출된 광으로 획득될 수 있거나, 위의 것들의 조합일 수 있다. 예를 들어, 적색 광 스펙트럼이 청색 광 스펙트럼보다 시스템 내의 센서에 의해 더욱 용이하게 검출되기 때문에, 센서는 청색 파티션이 규소에 대해 갖는 낮은 양자 효율로 인해 적색 파티션 사이클 동안 덜 민감하고 청색 파티션 사이클 동안 더 민감하도록 조절될 수 있다(도 9에 가장 잘 예시됨). 유사하게, 방출기는 조절된 파티션(예컨대, 더 높거나 더 낮은 세기 및 지속시간)을 제공하도록 조절될 수 있다. 또한, 센서 및 방출기 레벨 둘 모두에서 조절이 이루어질 수 있다. 방출기는 또한 하나의 특정 주파수에서 방출하도록 설계될 수 있거나, 특정 응용에 요구되는 경우, 방출되는 광의 스펙트럼을 넓히기 위해 특정 파티션의 다수의 주파수를 방출하도록 변경될 수 있다.
도 10은 비공유 4T 픽셀의 개략도를 도시한다. TX 신호는 축적된 전하를 포토다이오드(PPD)로부터 부동 확산부(floating diffusion, FD)로 전송하는 데 사용된다. 리셋 신호는 FD를 리셋 버스로 리셋하는 데 사용된다. 리셋 및 TX 신호가 동시에 "온(On)" 상태인 경우, PPD는 지속적으로 리셋되고(PPD에서 생성된 각각의 광전하가 리셋 버스에 직접 모임), PPD는 항상 비어 있다. 통상적인 픽셀 어레이 구현예는 하나의 행 내의 모든 픽셀의 리셋 신호를 부착하는 수평 리셋 라인, 및 하나의 행 내의 모든 픽셀의 TX 신호를 부착하는 수평 TX 라인을 포함한다.
일 실시예에서, 센서 감도 조절의 타이밍이 예시되고, 센서 감도 조절은 글로벌 리셋 메커니즘(global reset mechanism)(즉, 모든 픽셀 어레이 리셋 신호를 동시에 방사하는 수단) 및 글로벌 TX 메커니즘(즉, 모든 픽셀 어레이 TX 신호를 동시에 방사하는 수단)을 사용하여 달성될 수 있다. 이는 도 11에 도시된다. 이러한 경우에, 광 펄스는 지속시간 및 진폭이 일정하지만, 모든 픽셀 내에 통합된 광은 글로벌 TX의 "온"에서 "오프"로의 전이로 시작되고, 광 펄스로 종료된다. 따라서, 글로벌 TX 펄스의 하강 에지를 이동시킴으로써 변조가 달성된다.
반대로, 방출기는 정확하게 노출된 이미지를 생성하기 위해 청색 광보다 작은 세기로 적색 광을 방출할 수 있다(도 12에 가장 잘 예시됨). 1210에서, 이전 프레임으로부터의 히스토그램으로부터 획득된 데이터가 분석될 수 있다. 1220에서, 방출기가 조절될 수 있다. 1230에서, 이미지가 조절된 방출된 광으로부터 획득될 수 있다. 추가적으로, 일 실시예에서, 방출기 및 센서 둘 모두는 동시에 조절될 수 있다.
분할 스펙트럼 프레임을 추후 출력을 위해 전체 스펙트럼 프레임으로 재구성하는 것은 일부 실시예에서 어레이 내의 각각의 픽셀에 대한 감지된 값을 블렌딩하는 것만큼 간단할 수 있다. 추가적으로, 값의 블렌딩 및 혼합은 단순 평균일 수 있거나, 원하는 출력에 대한 값의 사전결정된 룩업 테이블(lookup table, LUT)로 조정될 수 있다. 분할 광 스펙트럼을 사용하는 시스템의 실시예에서, 감지된 값은 디스플레이로 출력되기 직전에 그리고 이미지 또는 2차 프로세서에 의해 센서로부터 원격으로 추가로 개선되거나 후-처리될 수 있다.
도 13은 단색 ISP의 1300에서의 기본 예, 및 G-R-G-B 광 펄스 방식의 존재 하에서 생성되는 원시 센서 데이터로부터 sRGB 이미지 시퀀스를 생성하기 위해 ISP 체인이 어떻게 조립될 수 있는지를 예시한다.
제1 단계는 원시 데이터 도메인에서 동작하는 것이 가장 적절한 센서 기술의 임의의 비-이상성을 처리하기 위해 보정을 수행하는 것(도 13의 1302, 1304 및 1306 참조)에 관한 것이다(도 21 참조).
다음 단계에서, 2개의 프레임(도 13의 1308 및 1310 참조)이, 각각의 최종 프레임이 3개의 원시 프레임으로부터 데이터를 도출하기 때문에 버퍼링될 것이다. 1314에서의 프레임 재구성은 현재 프레임 및 2개의 버퍼링된 프레임(1308 및/또는 1310)으로부터 데이터를 샘플링함으로써 진행될 것이다. 이러한 재구성 프로세스는 선형 RGB 컬러 공간에서 전체 컬러 프레임을 생성한다.
이러한 예에서, 1318에서의 화이트 밸런스 계수(white balance coefficient) 및 1320에서의 컬러 보정 행렬(color correction matrix)은 1324에서의 후속 에지 강조(edge enhancement)를 위해 1322에서 YCbCr 공간으로 변환하기 전에 적용된다. 1324에서의 에지 강조 후에, 이미지는, 해당되는 경우, 1328에서의 스케일링(scaling)을 위해 1326에서 선형 RGB로 다시 변환된다.
마지막으로, 1330에서의 감마 전달 함수(gamma transfer function)가 적용되어 1332에서 데이터를 sRGB 도메인으로 변환할 것이다.
도 14는 컬러 융합 하드웨어(color fusion hardware)의 일 실시예이다. 컬러 융합 하드웨어는 1402에서 RGBGRGBGRGBG 비디오 데이터 스트림을 취하고, 1405에서 그것을 병렬 RGB 비디오 데이터 스트림으로 변환한다. 입력측의 비트 폭은 예컨대 컬러당 12 비트일 수 있다. 그러한 예에 대한 출력 폭은 픽셀당 36 비트일 것이다. 다른 실시예는 상이한 초기 비트 폭, 및 출력 폭에 대해 그러한 수의 3배를 가질 수 있다. 메모리 라이터 블록(memory writer block)은 1402에서 RGBG 비디오 스트림을 그의 입력으로서 취하고, 1404에서 각각의 프레임을 그의 정확한 프레임 메모리 버퍼에 기록한다(메모리 라이터는 레이저 광원을 작동시키는 동일한 펄스 발생기(1410)를 작동시킴). 1404에 예시된 바와 같이, 메모리에 기록하는 것은 패턴 적색, 녹색 1, 청색, 녹색 2를 따르고, 이어서 다시 적색으로 시작한다. 1406에서, 메모리 판독기는 3개의 프레임을 동시에 판독하여 RGB 픽셀을 구성한다. 각각의 픽셀은 개별 컬러 성분의 비트 폭의 3배이다. 판독기는 또한 1410에서 레이저 펄스 발생기를 작동시킨다. 판독기는 적색, 녹색 1 및 청색 프레임이 기록될 때까지 대기하고, 이어서 라이터가 계속해서 녹색 2를 기록하고 적색에서 다시 시작하는 동안 그들을 병렬로 판독하도록 진행된다. 적색이 완료될 때, 판독기는 청색, 녹색 2 및 적색으로부터 판독하기 시작한다. 이러한 패턴은 무한정 계속된다.
이제 도 15 및 도 16을 참조하면, 도 16에 예시된 RG1BG2RG1BG2 패턴 재구성은 일 실시예에서 120 fps 입력과 함께 60 fps 출력을 허용한다. 각각의 연속 프레임은 이전 프레임으로부터의 적색 또는 청색 성분을 포함한다. 도 16에서, 각각의 컬러 성분은 8.3 ms 동안 이용가능하고, 결과적인 재구성된 프레임은 16.67 ms의 기간을 갖는다. 일반적으로, 이러한 펄싱 방식에 대해, 재구성된 프레임은 도 15에 도시된 바와 같이 입사 컬러 프레임의 기간의 2배의 기간을 갖는다. 다른 실시예에서, 상이한 펄싱 방식이 채용될 수 있다. 예를 들어, 실시예는 각각의 컬러 성분 또는 프레임의 타이밍(T1), 및 입사 컬러 프레임의 기간의 2배의 기간(2 × T1)을 갖는 재구성된 프레임에 기초할 수 있다. 시퀀스 내의 상이한 프레임은 상이한 프레임 기간을 가질 수 있고, 평균 캡처율은 최종 프레임률의 임의의 배수일 수 있다.
도 17 내지 도 20은 분할 광 시스템과 함께 사용하기 위한 컬러 보정 방법 및 하드웨어 개략도를 예시한다. 디지털 이미징에서, 이미지 데이터 내의 값을 조작하여, 사용자의 기대를 충족시키도록 출력을 보정하거나, 이미징된 물체의 소정 양태를 강조하는 것이 일반적이다. 가장 일반적으로는, 이는 하나의 데이터 유형을 다른 데이터 유형보다 강조하도록 조정 및 조절되는 위성 이미지(satellite image)에서 수행된다. 가장 흔하게는, 위성 획득 데이터에서, 광원이 제어되지 않기 때문에, 즉 태양이 광원이기 때문에, 이용가능한 전자기 에너지의 전체 스펙트럼이 있다. 대조적으로, 광이 제어되고 심지어 사용자에 의해 제공되는 이미징 조건이 있다. 그러한 상황에서, 이미지 데이터의 교정이 여전히 바람직한데, 그 이유는 교정이 없으면, 다른 데이터에 비해 소정 데이터가 부적절하게 강조될 수 있기 때문이다. 광이 사용자에 의해 제어되는 시스템에서, 사용자에게 알려져 있고 단지 전자기 스펙트럼의 일부분 또는 전체 전자기 스펙트럼의 복수의 부분일 수 있는 광의 방출을 제공하는 것이 유리하다. 교정은, 사용자의 기대를 충족시키고 시스템 내의 결함을 확인하는 데 여전히 중요하다. 하나의 교정 방법은 센서로부터의 데이터와 비교될 수 있는 주어진 이미징 조건에 대한 예상된 값의 테이블일 수 있다. 일 실시예는 이미징 장치에 의해 출력되어야 하는 알려진 값을 갖는 컬러 중립 장면을 포함할 수 있고, 장치는 장치가 컬러 중립 장면을 샘플링할 때 그들 알려진 값을 충족시키도록 조절될 수 있다.
사용 중에, 그리고 시작 시에, 시스템은 1702에서 복수의 전자기 스펙트럼 파티션의 전체 사이클을 실행함으로써 (도 17에 예시된 바와 같이) 1710에서 컬러 중립 장면을 샘플링할 수 있다. 값의 테이블(1708)이 형성되어 1704에서 프레임에 대한 히스토그램을 생성할 수 있다. 프레임의 값은 1706에서 컬러 중립 장면으로부터의 알려진 또는 예상된 값과 비교될 수 있다. 이어서, 이미징 장치는 1712에서 원하는 출력을 충족시키도록 조절될 수 있다. 도 17에 예시된 실시예에서, 시스템은 이미징 장치를 컬러 보정하도록 조절될 수 있는 이미지 신호 프로세서(image signal processor, ISP)를 포함할 수 있다.
광의 각각의 분할 스펙트럼이 상이한 에너지 값을 가질 수 있기 때문에, 센서 및/또는 광 방출기가 에너지 값의 차이를 보상하도록 조절될 수 있다는 것에 유의하여야 한다. 예를 들어, 일 실시예에서, 청색 광 스펙트럼이 규소 기반 이미저(imager)에 대해 적색 광 스펙트럼보다 낮은 양자 효율을 갖기 때문에, 이어서 센서의 응답성은 적색 사이클 동안 덜 응답하고 청색 사이클 동안 더 응답하도록 조절될 수 있다. 반대로, 방출기는, 청색 광의 더 낮은 양자 효율로 인해, 적색 광보다 높은 세기로 청색 광을 방출하여 정확하게 노출된 이미지를 생성할 수 있다.
도 18에 예시된 실시예에서, 광원 방출이 제공되고 시스템에 의해 제어가능한 경우, 1800에서 이미지를 컬러 보정하기 위해 그들 광 방출의 조절이 이루어질 수 있다. 크기, 지속시간(즉, 타임 온(time-on)), 또는 스펙트럼 파티션 내의 범위와 같은 방출된 광의 임의의 양태에 대한 조절이 이루어질 수 있다. 추가적으로, 방출기 및 센서 둘 모두는 도 19에 도시된 바와 같이 일부 실시예에서 동시에 조절될 수 있다.
출력된 이미지 스트림 또는 비디오 내의 잡음 및 아티팩트의 양을 감소시키기 위해, 도 20에서 볼 수 있는 바와 같이 시스템 내의 센서 또는 방출기에 대해 분할 조절(fractionalized adjustment)이 이루어질 수 있다. 방출기(2006) 및 센서(2008) 둘 모두가 조절될 수 있는 시스템(2000)이 도 20에 예시되지만, 방출기 또는 센서가 사용 동안 또는 사용의 일부분 동안 조절되는 이미징 장치가 또한 고려되고, 본 개시의 범주 내에 있다. 하나의 사용 부분 동안 방출기만을 조절하고 다른 사용 부분 동안 센서만을 조절하면서, 또한 추가로 사용의 일부분 동안 둘 모두를 동시에 조절하는 것이 유리할 수 있다. 위의 실시예들 중 임의의 실시예에서, 시스템이 프레임 사이클들 사이에서 수행할 수 있는 전체 조절을 제한함으로써 개선된 이미지 품질이 획득될 수 있다. 바꾸어 말하면, 일 실시예는 방출기가 프레임들 사이의 임의의 시간에 그의 작동 범위의 일부에서만 조절될 수 있도록 제한될 수 있다. 마찬가지로, 센서는 그것이 프레임들 사이의 임의의 시간에 그의 작동 범위의 일부에서만 조절될 수 있도록 제한될 수 있다. 또한, 방출기 및 센서 둘 모두는 일 실시예에서 그들이 프레임들 사이의 임의의 시간에 그들 각각의 작동 범위의 일부에서만 함께 조절될 수 있도록 제한될 수 있다.
예시적인 실시예에서, 시스템 내의 구성요소의 분할 조절은 이전 프레임의 노출을 보정하기 위해 구성요소의 작동 범위의 예를 들어 약.1 dB에서 수행될 수 있다. .1 dB은 단지 예일 뿐이며, 다른 실시예에서, 구성요소의 허용된 조절은 그들 각각의 작동 범위의 임의의 부분일 수 있다는 것에 유의하여야 한다. 시스템의 구성요소는, 일반적으로 구성요소에 의해 출력되는 비트 수(해상도)에 의해 좌우되는 세기 또는 지속시간 조절에 의해 변할 수 있다. 구성요소 해상도는 전형적으로 약 10 내지 24 비트의 범위에 있을 수 있지만, 그것이 현재 이용가능한 것들에 더하여 아직 개발되지 않은 구성요소에 대한 해상도를 포함하도록 의도되기 때문에 이러한 범위로 제한되지 않아야 한다. 예를 들어, 제1 프레임 후에, 관찰될 때 장면이 너무 파랗다고 결정되면, 방출기는 약.1 dB과 같은, 위에서 논의된 바와 같은 분할 조절에 의해 시스템의 청색 사이클 동안 청색 광의 펄스의 크기 또는 지속시간을 감소시키도록 조절될 수 있다.
이러한 예시적인 실시예에서, 10% 초과가 필요하였을 수 있지만, 시스템은 시스템 사이클당 작동 범위의.1 dB 조절로 자체적으로 제한하였다. 따라서, 다음 시스템 사이클 동안, 필요한 경우, 이어서 청색 광이 다시 조절될 수 있다. 사이클들 사이에서의 분할 조절은 출력된 이미지의 감쇠 효과를 가질 수 있고, 방출기 및 센서를 그들의 작동 극단에서 작동시킬 때 잡음 및 아티팩트를 감소시킬 것이다. 조절의 구성요소의 작동 범위의 임의의 분할량이 제한 인자로서 사용될 수 있다고 결정될 수 있거나, 시스템의 소정 실시예가 그들의 전체 작동 범위에 걸쳐 조절될 수 있는 구성요소를 포함할 수 있다고 결정될 수 있다.
추가적으로, 임의의 이미지 센서의 광학 블랙 영역은 이미지 보정 및 잡음 감소를 돕기 위해 사용될 수 있다. 일 실시예에서, 광학 블랙 영역으로부터 판독된 값은 이미지 데이터 처리에 사용될 기준점을 설정하기 위해 센서의 활성 픽셀 영역의 값과 비교될 수 있다. 도 21은 컬러 펄스 시스템(color pulsed system)에 채용될 수 있는 종류의 센서 보정 프로세스를 도시한다. CMOS 이미지 센서는 전형적으로, 특히 낮은 조명에서 이미지 품질에 불리한 영향을 미치는 다수의 비-이상성을 갖는다. 이들 중 주된 것은 고정 패턴 잡음(fixed pattern noise) 및 라인 잡음(line noise)이다. 고정 패턴 잡음은 감지 요소의 오프셋의 분산이다. 전형적으로, FPN의 대부분은, 여러 소스들 중에서도 특히, 포토다이오드들 사이에서의 암전류(dark current)의 랜덤 변화에 기인하는 픽셀간 분산이다. 이는 관찰자에게 매우 부자연스럽게 보인다. 훨씬 더 나쁜 것은 픽셀의 소정 열과 관련된 판독 체인의 오프셋에 기인하는 열 FPN이다. 이는 이미지 내의 인식된 수직 줄무늬를 야기한다.
조명을 완전히 제어하는 것은 다크 데이터(dark data)의 전체 프레임이 주기적으로 획득되고 픽셀 및 열 오프셋을 보정하는 데 사용될 수 있다는 이점을 갖는다. 예시된 예에서, 단일 프레임 버퍼가 예컨대 단순 지수 평활화를 사용하여 광 없이 전체 프레임의 이동 평균을 만드는 데 사용될 수 있다. 이러한 다크 평균 프레임은 정규 연산 동안 모든 조명된 프레임으로부터 차감될 것이다.
라인-잡음은 각각의 행 내의 픽셀의 오프셋의 확률적 시간 변화이다. 그것이 시간적이기 때문에, 보정은 각각의 라인과 각각의 프레임에 대해 새로 계산되어야 한다. 이를 위해, 통상적으로 어레이 내의 각각의 행 내에 많은 광학 블라인드(optically blind, OB) 픽셀이 있으며, 이러한 픽셀은 광 민감성 픽셀을 샘플링하기 전에 라인 오프셋을 평가하기 위해 먼저 샘플링되어야 한다. 이어서, 라인 오프셋은 라인 잡음 보정 프로세스 동안 단순히 차감된다.
도 21의 예에서, 데이터를 적절한 순서로 획득하고, 아날로그 도메인(블랙 클램프(black clamp))에서 전압 오프셋을 모니터링 및 제어하며, 개별 결함 픽셀을 식별/보정하는 것과 관련된 다른 보정이 있다.
도 22 및 도 23은 폐쇄된 또는 제한된 광 환경 내에서 동적 범위를 증가시키기 위한 방법 및 하드웨어 개략도를 예시한다. 일 실시예에서, 노출 입력은 시간 경과에 따라 상이한 레벨로 입력되고 더 큰 동적 범위를 생성하도록 조합될 수 있다. 도 22에서 볼 수 있는 바와 같이, 이미징 시스템은 2202에서 제1 사이클 동안 제1 세기로 사이클링된 다음에 후속하여 2204에서 제2 사이클 동안 제2 세기로 사이클링될 수 있으며, 이어서 2206에서 그들 제1 및 제2 사이클을 단일 프레임으로 조합함으로써, 더 큰 동적 범위가 달성될 수 있게 한다. 이미징 장치가 사용되는 제한된 공간 환경으로 인해 더 큰 동적 범위가 특히 바람직할 수 있다. 광원에 의해 제공되는 광을 제외하고는, 광이 결핍되거나 어두운 제한된 공간 환경에서, 그리고 광원이 광 방출기에 가까운 경우, 노출은 거리와 지수 관계를 갖는다. 예를 들어, 이미징 장치의 광학 개구 및 광원 부근의 물체는 과도하게 노출되는 경향이 있는 반면에, 더 멀리 떨어진 물체는 주변 광이 (있는 경우에도) 매우 적기 때문에 노출이 극히 부족한 경향이 있다.
도 23에서 볼 수 있는 바와 같이, 복수의 파티션에서 전자기 에너지의 방출을 갖는 시스템의 사이클은 2300에서 전자기 스펙트럼의 파티션에 따라 연속적으로 사이클링될 수 있다. 예를 들어, 방출기가 별개의 적색 파티션, 별개의 청색 파티션, 및 별개의 녹색 파티션에서 레이저를 방출하는 실시예에서, 조합될 2개의 사이클 데이터 세트는 하기 형태일 수 있다:
i.
2302에서의 세기 1의 적색,
ii.
2304에서의 세기 2의 적색,
iii.
2302에서의 세기 1의 청색,
iv.
2304에서의 세기 2의 청색,
v.
2302에서의 세기 1의 녹색,
vi.
2304에서의 세기 2의 녹색.
대안적으로, 시스템은 하기 형태로 사이클링될 수 있다:
i.
2302에서의 세기 1의 적색,
ii.
2302에서의 세기 1의 청색,
iii.
2302에서의 세기 1의 녹색,
iv.
2304에서의 세기 2의 적색,
v.
2304에서의 세기 2의 청색,
vi.
2304에서의 세기 2의 녹색.
그러한 실시예에서, 제1 이미지는 세기 1의 값으로부터 도출될 수 있고, 제2 이미지는 세기 2의 값으로부터 도출될 수 있으며, 이어서 그들의 성분 부분보다는 2310에서 완전 이미지 데이터 세트로서 조합되거나 처리될 수 있다.
임의의 수의 방출 파티션이 임의의 순서로 사용될 수 있다는 것이 본 개시의 범주 내에 있는 것으로 고려된다. 도 23에서 볼 수 있는 바와 같이, "n"은 전자기 파티션의 임의의 수를 나타내기 위한 변수로서 사용되고, "m"은 "n"개의 파티션에 대한 세기의 임의의 레벨을 나타내기 위해 사용된다. 그러한 시스템은 하기 형태로 사이클링될 수 있다:
i.
2306에서의 세기 m의 n,
ii.
세기 m+1의 n+1,
iii.
세기 m+2의 n+2,
iv.
2308에서의 세기 m+j의 n+i.
따라서, 직렬화된 사이클의 임의의 패턴이 원하는 이미지 보정을 생성하는 데 사용될 수 있으며, 여기에서 "i" 및 "j"는 이미징 시스템의 작동 범위 내의 추가의 값이다.
디지털 컬러 카메라는 컬러 재현의 충실도를 최대화하기 위해 이미지 처리 단계를 통합한다. 이는 컬러 보정 행렬(CCM)로 알려진 3X3 행렬에 의해 달성된다:
CCM 내의 항은 sRGB 표준 컬러 공간에 대한 최상의 전체 매치를 제공하기 위해 (예컨대, 맥베스 차트(Macbeth chart)로부터의) 일 세트의 기준 컬러를 사용하여 조정된다. 대각 항 a, e 및 i는 사실상 화이트 밸런스 이득(white balance gain)이다. 그러나, 전형적으로, 화이트 밸런스는 별도로 적용되고, CCM 자체에 의해 순 이득이 적용되지 않도록, 수평 행의 합은 1(unity)로 제한된다. 비대각(off-diagonal) 항은 입력 채널에서 컬러 크로스토크(color crosstalk)를 효과적으로 처리한다. 따라서, 컬러 필터 어레이가 채널들 사이에서 많은 응답 오버랩(response overlap)을 갖기 때문에, 베이어 센서는 3-칩 카메라보다 높은 비대각을 갖는다.
비대각 항의 크기에 의존하는 컬러 보정에 대한 신호-대-잡음비 페널티가 있다. sRGB 성분과 완벽하게 매칭되는 채널을 갖는 가상 센서는 단위 행렬 CCM을 가질 것이다:
이러한 경우에 대한 픽셀당 10,000 e-의 완벽한 백색 광신호(판독 잡음 무시)에 대해, 녹색 채널에서 평가된 신호 대 잡음비는 하기와 같을 것이다:
이로부터의 임의의 이탈은 SNR을 저하시킨다. 예컨대, 베이어 CMOS 센서에 특이하지 않을 값을 갖는 하기 CCM을 취한다:
이러한 경우에, 녹색 SNR은 하기와 같다:
도 24는 단위 행렬 대 조정된 CCM을 사용하는 경우에 대해 전형적인 베이어 센서 CCM에 대한 D65 조명을 사용한 전체 SNR 시뮬레이션의 결과를 도시한다. 휘도 성분에 대해 평가된 SNR은 컬러 보정의 결과로서 약 6 dB 더 나쁘다.
본 개시에 기술된 시스템은 복수의 이산 파장에서 단색 조명을 사용하며, 따라서 컬러 크로스토크 그 자체가 없다. 도 25의 X기호는 삼각형에 의해 표시된 sRGB 색역과 비교하여, 레이저 다이오드 소스를 통해 이용가능한 3개의 파장(465, 532 및 639 nm)의 위치를 표시한다.
CCM에 대한 비대각 항은 이러한 경우에 베이어 센서와 비교하여 급격히 감소되며, 이는 상당한 SNR 이점을 제공한다.
도 26은 이미지 센서의 픽셀 어레이의 픽셀 구성에 의해 제공되는 바와 같은 증가된 동적 범위를 갖는 이미징 시스템을 예시한다. 도면에서 볼 수 있는 바와 같이, 인접한 픽셀(2602, 2604)은 각각의 사이클이 서로에 대해 더 그리고 덜 민감한 픽셀에 의해 생성되는 데이터를 포함하도록 상이한 감도로 설정될 수 있다. 복수의 감도가 어레이의 단일 사이클에서 기록될 수 있기 때문에, 다른 실시예의 시간 의존적 직렬 특성과는 대조적으로, 병렬로 기록되는 경우 동적 범위가 증가될 수 있다.
일 실시예에서, 어레이는 그들의 감도에 기초하여 행으로 배치될 수 있는 픽셀의 행을 포함할 수 있다. 일 실시예에서, 상이한 감도의 픽셀이 그들 감도에 기초하여 어레이 전체에 걸쳐 체커보드 패턴으로부터 그의 가장 가까운 이웃한 픽셀에 대해 행 또는 열 내에서 교번할 수 있다. 상기는 임의의 픽셀 회로부 공유 배열을 통해 또는 임의의 독립형 픽셀 회로 배열로 달성될 수 있다.
각각의 TX가 픽셀의 상이한 세트에서만 방사하는 다수의 글로벌 TX를 가짐으로써 광역 동적 범위(wide dynamic range)가 달성될 수 있다. 예를 들어, 글로벌 모드에서, 글로벌 TX1 신호는 픽셀의 세트 1을 방사하고, 글로벌 TX2 신호는 픽셀의 세트 2를 방사하며,…. 글로벌 TXn 신호는 픽셀의 세트 n을 방사한다.
도 11에 기초하여, 도 27a는 픽셀 어레이에서 2개의 상이한 픽셀 감도(이중 픽셀 감도)에 대한 타이밍 예를 도시한다. 이러한 경우에, 글로벌 TX1 신호는 어레이의 픽셀의 절반을 방사하고, 글로벌 TX2는 픽셀의 나머지 절반을 방사한다. 글로벌 TX1 및 글로벌 TX2가 상이한 "온" 내지 "오프" 에지 위치를 갖기 때문에, 통합된 광은 TX1 픽셀과 TX2 픽셀 사이에서 상이하다. 도 27b는 이중 픽셀 감도에 대한 타이밍의 다른 실시예를 도시한다. 이러한 경우, 광 펄스는 2회 변조된다(펄스 지속시간 및/또는 진폭). TX1 픽셀은 P1 펄스를 통합하고, TX2 픽셀은 P1+P2 펄스를 통합한다. 글로벌 TX 신호의 분리는 많은 방식으로 수행될 수 있다. 하기는 예이다:
i.
TX 라인을 각각의 행과 구별하는 것; 및
ii.
각각이 픽셀의 상이한 세트를 어드레스하는 행당 다수의 TX 라인을 전송하는 것.
일 구현예에서, 본 개시에 기술되는 컬러 펄싱 시스템을 활용하는 광역-동적 범위 비디오를 제공하는 수단이 기술된다. 이의 기초는 동일한 프레임 내에서 상이한 지속시간 동안 입사 광을 통합할 수 있는 동일한 단색 어레이 내에, 다수의 종류의 픽셀, 또는 상이하게 조정될 수 있는 픽셀을 갖는 것이다. 그러한 센서의 어레이 내의 픽셀 배열의 일례는 2개의 독립적으로 가변적인 통합 시간을 갖는, 전체에 걸쳐 균일한 체커보드 패턴일 것이다. 그러한 경우에 대해, 동일한 프레임 내에서 적색 및 청색 정보 둘 모두를 제공하는 것이 가능하다. 실제로, 2개의 통합 시간이 프레임 단위로 조절될 수 있기 때문에, 가장 필요한 경우, 녹색 프레임에 대한 동적 범위를 확장하는 것과 동시에 이를 수행하는 것이 가능하다. 이점은 모든 데이터가 2개 대 3개의 프레임으로부터 도출되는 경우 컬러 모션 아티팩트(color motion artifact)가 그다지 문제가 되지 않는다는 것이다. 물론, 적색 및 청색 데이터에 대한 공간 해상도의 후속 손실이 있지만, 휘도 성분이 녹색 데이터에 의해 좌우되기 때문에, 그것은 녹색에 비해 이미지 품질에 덜 영향을 미친다.
단색 광역-동적 범위(WDR) 어레이의 고유 특성은 긴 통합 시간을 갖는 픽셀이 짧은 통합 시간 픽셀에 의해 보이는 광의 슈퍼세트(superset)를 통합하여야 한다는 것이다. 녹색 프레임에서의 정규 광역-동적 범위 연산의 경우, 그것은 바람직하다. 적색 및 청색 프레임의 경우, 그것은, 예컨대, 긴 노출의 시작부터 청색 광을 제공하고, 짧은 노출 픽셀이 턴온되는 시점에 적색으로 스위칭하도록, 펄싱이 노출 기간과 함께 제어되어야 함을 의미한다(두 픽셀 유형 모두는 그들의 전하가 동시에 전송됨).
컬러 융합 단계에서, 2가지 종류의 픽셀은 2개의 버퍼로 분리된다. 이어서, 빈 픽셀은 예컨대 선형 보간을 사용하여 채워진다. 이때, 하나의 버퍼는 청색 데이터의 전체 이미지를 포함하고, 다른 것은 적색+청색을 포함한다. 청색 버퍼는 제2 버퍼로부터 차감되어 순수 적색 데이터를 제공할 수 있다.
도 28a 내지 도 28c는 대응하는 컬러 센서와 동기화되고/되거나 펄싱되는, 또는 일정하게 유지되는 백색 광 방출의 사용을 예시한다. 도 28a에서 볼 수 있는 바와 같이, 백색 광 방출기는 제어된 광 환경에서 제어된 광원을 제공하기 위해 대응하는 센서의 블랭킹 기간 동안 광의 빔을 방출하도록 구성될 수 있다. 광원은 일정한 크기로 빔을 방출하고 도 28a에서 볼 수 있는 바와 같이 펄스의 지속시간을 변화시킬 수 있거나, 도 28b에 예시된 바와 같이 정확하게 노출된 데이터를 달성하기 위해 크기를 변화시키면서 펄스를 일정하게 유지시킬 수 있다. 센서에 의해 제어되고 그것과 동기화되는 변화하는 전류로 변조될 수 있는 일정한 광원의 그래픽 표현이 도 28c에 예시되어 있다.
일 실시예에서, 원하는 경우, 시스템 내에서 사용하기 위한 데이터를 제공하기 위해 백색 광 또는 다중-스펙트럼 광이 펄스로서 방출될 수 있다(도 28a 내지 도 28c에 가장 잘 예시됨). 전자기 스펙트럼의 파티션과 조합된 백색 광 방출은 장면 내의 소정 양태를 강조하고 강조하지 않는 데 유용할 수 있다. 그러한 실시예는 하기 펄싱 패턴을 사용할 수 있다:
i.
녹색 펄스;
ii.
적색 펄스;
iii.
청색 펄스;
iv.
녹색 펄스;
v.
적색 펄스;
vi.
청색 펄스;
vii.
백색 광(다중-스펙트럼) 펄스;
viii.
(반복)
백색 광 사이클보다 적어도 2배 더 빠른 이미지 센서 사이클을 사용하는 임의의 시스템이 본 개시의 범주 내에 속하도록 의도된다. 전자기 스펙트럼의 파티션의 임의의 조합이 그것이 전체 전자기 스펙트럼의 가시 스펙트럼으로부터의 것이든 또는 비-가시 스펙트럼으로부터의 것이든 간에, 본 명세서에서 고려된다는 것이 인식될 것이다.
도 29a 및 도 29b는 본 개시의 교시 및 원리에 따른, 3차원 이미지를 생성하기 위한 복수의 픽셀 어레이를 갖는 모놀리식 센서(monolithic sensor)(2900)의 구현예의 사시도 및 측면도를 각각 예시한다. 그러한 구현예는 3차원 이미지 캡처에 바람직할 수 있으며, 여기에서 2개의 픽셀 어레이(2902, 2904)는 사용 동안 오프셋될 수 있다. 다른 구현예에서, 제1 픽셀 어레이(2902) 및 제2 픽셀 어레이(2904)는 사전결정된 파장 범위의 전자기 방사선을 수용하는 데 전용될 수 있으며, 여기에서 제1 픽셀 어레이는 제2 픽셀 어레이와는 상이한 파장 범위의 전자기 방사선에 전용된다.
도 30a 및 도 30b는 복수의 기판 상에 형성된 이미징 센서(3000)의 구현예의 사시도 및 측면도를 각각 예시한다. 예시된 바와 같이, 픽셀 어레이를 형성하는 복수의 픽셀 열(3004)이 제1 기판(3002) 상에 위치되고, 복수의 회로 열(3008)이 제2 기판(3006) 상에 위치된다. 회로부의 그의 관련 또는 대응하는 열에 대한 픽셀들의 하나의 열 사이의 전기적 연결 및 통신이 또한 도면에 예시되어 있다. 일 구현예에서, 그의 픽셀 어레이 및 지원 회로부가 단일 모놀리식 기판/칩 상에 있는 상태로 달리 제조될 수 있는 이미지 센서는 픽셀 어레이가 지원 회로부의 전부 또는 대부분으로부터 분리될 수 있다. 본 개시는 3차원 적층 기술을 사용하여 함께 적층될 적어도 2개의 기판/칩을 사용할 수 있다. 2개의 기판들/칩들 중 제1 기판/칩(3002)은 이미지 CMOS 프로세스를 사용하여 처리될 수 있다. 제1 기판/칩(3002)은 전적으로 픽셀 어레이로 또는 제한된 회로부에 의해 둘러싸인 픽셀 어레이로 구성될 수 있다. 제2 또는 후속 기판/칩(3006)은 임의의 프로세스를 사용하여 처리될 수 있으며, 이미지 CMOS 프로세스로부터일 필요가 없다. 제2 기판/칩(3006)은 기판/칩 상의 매우 제한된 공간 또는 영역에서 다양한 그리고 다수의 기능을 통합하기 위한 고밀도 디지털 프로세스, 또는 예를 들어 정확한 아날로그 기능을 통합하기 위한 혼합-모드 또는 아날로그 프로세스, 또는 무선 기능을 구현하기 위한 RF 프로세스, 또는 MEMS(마이크로-전자-기계 시스템(Micro-Electro-Mechanical System)) 장치를 통합하기 위한 MEMS일 수 있지만, 이에 제한되지 않는다. 이미지 CMOS 기판/칩(3002)은 임의의 3차원 기법을 사용하여 제2 또는 후속 기판/칩(3006)과 적층될 수 있다. 제2 기판/칩(3006)은 주변 회로로서 제1 이미지 CMOS 칩(3002)(모놀리식 기판/칩 상에 구현되는 경우) 내에 달리 구현되었을 회로부의 대부분 또는 대다수를 지원할 수 있으며, 따라서 픽셀 어레이 크기를 일정하게 유지시키면서 전체 시스템 영역을 증가시켰고, 가능한 한 최대한 최적화하였다. 2개의 기판들/칩들 사이의 전기적 연결은 와이어 본드(wire bond), 범프(bump) 및/또는 TSV(규소 관통 비아(Through Silicon Via))일 수 있는 상호연결부(3003, 3005)를 통해 이루어질 수 있다.
도 31a 및 도 31b는 3차원 이미지를 생성하기 위한 복수의 픽셀 어레이를 갖는 이미징 센서(3100)의 구현예의 사시도 및 측면도를 각각 예시한다. 3차원 이미지 센서는 복수의 기판 상에 형성될 수 있고, 복수의 픽셀 어레이 및 다른 관련 회로부를 포함할 수 있으며, 여기에서 제1 픽셀 어레이를 형성하는 복수의 픽셀 열(3104a) 및 제2 픽셀 어레이를 형성하는 복수의 픽셀 열(3104b)이 각각의 기판(3102a 및 3102b) 상에 각각 위치되고, 복수의 회로 열(3108a, 3108b)이 별개의 기판(3106) 상에 위치된다. 회로부의 관련 또는 대응하는 열에 대한 픽셀의 열들 사이의 전기적 연결 및 통신이 또한 예시되어 있다.
본 개시의 교시 및 원리가 본 개시의 범주로부터 벗어남이 없이 재사용가능 장치 플랫폼, 제한적 사용 장치 플랫폼, 리-포저블(re-posable) 사용 장치 플랫폼, 또는 단일-사용(single-use)/일회용(disposable) 장치 플랫폼에 사용될 수 있다는 것이 인식될 것이다. 재사용가능 장치 플랫폼에서, 최종 사용자가 장치의 세정 및 멸균을 담당한다는 것이 인식될 것이다. 제한적 사용 장치 플랫폼에서, 장치는 작동 불능 상태가 되기 전에 어느 정도의 지정된 양의 시간 동안 사용될 수 있다. 전형적인 새로운 장치는 추가의 사용이 최종 사용자가 추가의 사용 전에 세정 및 멸균하도록 요구하면서 멸균 상태로 전달된다. 리-포저블 사용 장치 플랫폼에서, 제3자는 새로운 유닛보다 낮은 비용으로 추가의 사용을 위해 단일-사용 장치의 장치를 재처리(예컨대, 세정, 패키징 및 멸균)할 수 있다. 단일-사용/일회용 장치 플랫폼에서, 장치는 수술실에 멸균 상태로 제공되고, 폐기되기 전에 단 한 번만 사용된다.
방출기의 일 실시예는 펄싱된 컬러 광을 생성하기 위해 기계식 셔터 및 필터의 사용을 채용할 수 있다. 도 32에 예시된 바와 같이, 백색 광원과 기계식 컬러 필터 및 셔터 시스템(3200)을 사용하여 펄싱된 컬러 광을 생성하기 위한 대안적인 방법이 있다. 휠은 셔터링(shuttering)을 위해 반투명 컬러 필터 윈도우 및 불투명 섹션의 패턴을 포함할 수 있다. 불투명 섹션은 광을 통과시키지 않을 것이고, 센서 판독이 이루어질 수 있는 암흑 기간을 생성할 것이다. 백색 광원은 임의의 기술: 레이저, LED, 크세논, 할로겐, 금속 할로겐화물, 또는 다른 것에 기초할 수 있다. 백색 광은 컬러 광 펄스의 원하는 패턴의 일련의 컬러 필터(3207, 3209, 3211)를 통해 투사될 수 있다. 일 실시예 패턴은 적색 필터(3207), 녹색 필터(3209), 청색 필터(3211), 녹색 필터(3209)일 수 있다. 필터 및 셔터 시스템(3200)은 센서와 동기화되도록 필요한 주파수로 회전하는 휠 상에 배열될 수 있어서, 기계식 컬러 필터(3207, 3209, 3211) 및 셔터(3205) 시스템의 회전 속도 및 아치 길이에 관한 지식이 대응하는 단색 이미지 센서의 작동에 대한 타이밍 정보를 제공하게 할 것이다.
도 33에 예시된 실시예는 필터 휠(3300) 상에 단지 반투명 컬러 필터(3307, 3309, 3311)의 패턴을 포함할 수 있다. 본 구성에서, 상이한 셔터가 사용될 수 있다. 셔터는 기계식일 수 있고, 크기를 변화시킴으로써 "펄스" 지속시간을 동적으로 조절할 수 있다. 대안적으로, 셔터는 전자식일 수 있고, 센서 설계에 통합될 수 있다. 필터 휠(3300)을 회전시키는 모터는 기계식 컬러 필터(3307, 3309, 3311) 시스템의 회전 속도 및 아치 길이에 관한 지식이 대응하는 단색 이미지 센서의 작동에 대한 타이밍 정보를 제공하도록 센서와 통신하거나 함께 제어될 필요가 있을 것이다. 제어 시스템은 전체-컬러 이미지가 ISP에서 적절히 재구성될 수 있도록 센서에 의해 캡처된 각각의 프레임에 대한 적절한 컬러 필터를 알 필요가 있을 것이다. RGBG의 컬러 패턴이 도시되어 있지만, 유리하다면 다른 컬러 및/또는 패턴이 사용될 수 있다. 컬러 섹션의 상대 크기는 동일한 것으로 도시되어 있지만, 유리하다면 조절될 수 있다. 필터의 기계적 구조는 회전 운동하는 원으로 도시되어 있지만, 선형 이동하는 직사각형, 또는 상이한 이동 패턴을 갖는 상이한 형상일 수 있다.
도 34에 예시된 바와 같이, 컬러 광을 펄싱하기 위한 실시예는 적색, 녹색, 청색 또는 백색 LED를 위한 전자 장치 및 히트 싱크를 보유하는 기계식 휠 또는 배럴(barrel)로 구성될 수 있다. LED는 본 특허의 다른 실시예와 일관되는 광 펄싱의 타이밍을 허용하기 위해 배럴 또는 휠의 회전 또는 돌림(twist) 속도와 관련될 거리를 두고 이격될 것이다. 휠 또는 배럴은 전기 모터, 및 휠 또는 배럴을 전기 모터에 부착하는 기계식 브래킷을 사용하여 회전될 것이다. 모터는 본 특허에 기술되는 바와 같이 적절한 타이밍을 위한 제어 알고리즘을 포함할 마이크로제어기, FPGA, DSP, 또는 다른 프로그램가능 장치를 사용하여 제어될 것이다. 광섬유에 광학적으로 결합되어 본 특허에 기술되는 방법으로 섬유를 스코프(scope)의 단부로 이송할 기계식 개구가 일 측부 상에 있을 것이다. 이러한 결합은 또한, 광섬유 케이블을 따라 허용되는 광의 양을 제어하기 위해 개폐될 수 있는 기계식 개구부를 가질 수 있다. 이는 기계식 셔터 장치일 것이며, 대안적으로, CMOS 또는 CCD 유형 센서로 설계되는 전자식 셔터를 사용할 수 있다. 이러한 장치는 제조 시에 제어 및 교정하기 어려울 것이지만, 펄싱된 광을 본 시스템에 도입할 수 있는 다른 방식이다.
펄싱된 전자기 방사선을 제공하기 위해 선형 필터(3504) 및 셔터 메커니즘을 포함하는 방출기(3502)의 실시예가 도 35에 예시되어 있다. 선형 필터(3504) 및 셔터 메커니즘은 적절한 파장의 광을 필터링하기 위해 필요한 주파수로 수평으로 이동한다.
펄싱된 전자기 방사선을 제공하기 위해 프리즘 필터(3604) 및 셔터 메커니즘을 포함하는 방출기(3602)의 실시예가 도 36에 예시되어 있다. 프리즘 필터(3604)는 광을 필터링하고, 셔터를 포함할 수 있는 출력 캔(output can)을 전달한다. 프리즘 필터(3604)는 정확한 컬러 출력 패턴을 제공하기 위해 필요한 주파수로 이동한다.
추가적으로, 본 개시의 교시 및 원리는 적외선(IR), 자외선(UV), 및 X-선과 같은 가시 및 비-가시 스펙트럼을 포함하여, 전자기 에너지의 임의의 그리고 모든 파장을 포함할 수 있다.
도 37은 내시경 이미징을 위한 것과 같은, 광 결핍 환경에 조명을 제공하기 위한 시스템(3700)을 예시하는 개략도이다. 시스템(3700)은 본 명세서에 개시된 시스템들, 방법들, 또는 장치들 중 임의의 것과 조합하여 사용될 수 있다. 시스템(3700)은 광원(3702), 제어기(3704), 점퍼 도파관(jumper waveguide)(3706), 도파관 커넥터(3708), 루멘 도파관(3710), 루멘(3712), 및 광학 구성요소(예컨대, 렌즈)를 수반하는 이미지 센서(3714)를 포함한다. 광원(3702)은, 점퍼 도파관(3706) 및 루멘 도파관(3710)을 통해 이동하여 루멘(3712)의 원위 단부에서 장면을 조명하는 광을 생성한다. 광원(3700)은 가시 파장, 적외선, 자외선, 또는 다른 파장을 포함하는 임의의 파장의 전자기 에너지를 방출하는 데 사용될 수 있다. 루멘(3712)은 예컨대 절차 또는 검사 동안, 이미징을 위해 환자의 신체 내로 삽입될 수 있다. 광은 파선(3716)에 의해 예시된 바와 같이 출력된다. 광에 의해 조명된 장면은 이미지 센서(3714)를 사용하여 캡처되고 의사 또는 일부 다른 의료진에게 디스플레이될 수 있다. 제어기(3704)는 조명이 장면에 제공될 때를 제어하기 위해 광원(3702)에 제어 신호를 제공할 수 있다. 일 실시예에서, 광원(3702) 및 제어기(3704)는 내시경이 연결되는 외부 콘솔 또는 카메라 제어 유닛(camera control unit, CCU) 내에 위치된다. 이미지 센서(3714)가 CMOS 센서를 포함하는 경우, 소위 블랭킹 기간 동안 이미지 센서(3714)의 판독 기간들 사이에서 광이 일련의 조명 펄스로 장면에 주기적으로 제공될 수 있다. 따라서, 광은 이미지 센서(3714)의 픽셀 어레이 내의 이미지 픽셀의 판독 기간 내에 중첩되는 것을 회피하기 위해 제어된 방식으로 펄싱될 수 있다.
일 실시예에서, 루멘 도파관(3710)은 하나의 또는 복수의 광섬유를 포함한다. 광섬유는 루멘 도파관(3710) 및/또는 내시경의 다른 부분의 폐기를 허용하기 위해 플라스틱과 같은 저-비용 재료로 제조될 수 있다. 일 실시예에서, 500 마이크로미터의 직경을 갖는 단일 유리 섬유가 사용될 수 있다. 점퍼 도파관(3706)은 광원(3702)에 영구적으로 부착될 수 있다. 예를 들어, 점퍼 도파관(3706)은 광원(3702) 내의 방출기로부터 광을 수용하고 그러한 광을 커넥터(3708)의 위치에서 루멘 도파관(3710)에 제공할 수 있다. 일 실시예에서, 점퍼 도파관(106)은 하나 이상의 유리 섬유를 포함할 수 있다. 점퍼 도파관은 루멘 도파관(3710)으로 광을 안내하기 위한 임의의 다른 유형의 도파관을 포함할 수 있다. 커넥터(3708)는 점퍼 도파관(3706)을 루멘 도파관(3710)에 선택적으로 결합시키고 점퍼 도파관(3706) 내의 광이 루멘 도파관(3710)으로 통과하도록 허용할 수 있다. 일 실시예에서, 루멘 도파관(3710)은 임의의 개재 점퍼 도파관(3706) 없이 광원에 직접 결합될 수 있다.
도 38 내지 도 40은 복수의 방출기를 갖는 광원(3800)을 예시하는 개략적인 블록도이다. 도 38과 관련하여, 방출기는 제1 방출기(3802), 제2 방출기(3804), 및 제3 방출기(3806)를 포함한다. 아래에서 추가로 논의되는 바와 같이, 추가의 방출기가 포함될 수 있다. 방출기(3802, 3804, 3806)는 상이한 파장을 갖는 광을 방출하는 하나 이상의 레이저 방출기를 포함할 수 있다. 예를 들어, 제1 방출기(3802)는 청색 레이저와 일치하는 파장을 방출할 수 있고, 제2 방출기(3804)는 녹색 레이저와 일치하는 파장을 방출할 수 있으며, 제3 방출기(3806)는 적색 레이저와 일치하는 파장을 방출할 수 있다. 예를 들어, 제1 방출기(3802)는 하나 이상의 청색 레이저를 포함할 수 있고, 제2 방출기(3804)는 하나 이상의 녹색 레이저를 포함할 수 있으며, 제3 방출기(3806)는 하나 이상의 적색 레이저를 포함할 수 있다. 방출기(3802, 3804, 3806)는, 광을 수집하고/하거나 도 37의 점퍼 도파관(3706) 또는 루멘 도파관(3710)과 같은 도파관에 광을 제공하기 위한 도파관, 렌즈, 또는 다른 광학 구성요소의 위치일 수 있는 수집 영역(3808)을 향해 레이저 빔을 방출한다.
소정 조직, 구조체, 화학 반응, 생물학적 과정 등의 식별을 돕기 위해 환자에게 시약 또는 염료가 투여된 구현예에서, 방출기(3802, 3804, 3806)는 시약 또는 염료를 형광발광시키기 위한 파장(들)을 방출할 수 있다. 그러한 파장(들)은 환자에게 투여된 시약 또는 염료에 기초하여 결정될 수 있다. 그러한 실시예에서, 방출기는 소정 염료 또는 시약을 형광발광시키거나 활성화시키기 위해 원하는 파장(들)을 방출하는 데 매우 정밀할 필요가 있을 수 있다.
도 38의 실시예에서, 방출기(3802, 3804, 3806)는 각각 상이한 각도로 수집 영역(3808)에 레이저 광을 전달한다. 각도의 변화는 전자기 에너지가 출력 도파관 내에 위치되는 변화로 이어질 수 있다. 예를 들어, 광이 수집 영역(3808)에서 섬유 다발(유리 또는 플라스틱) 내로 즉시 통과하는 경우, 변화하는 각도는 상이한 양의 광이 상이한 섬유로 들어가게 할 수 있다. 예를 들어, 각도는 수집 영역(3808)에 걸쳐 세기 변화를 가져올 수 있다. 또한, 상이한 방출기로부터의 광은 균일하게 혼합되지 않을 수 있으며, 따라서 일부 섬유는 상이한 컬러의 상이한 양의 광을 수용할 수 있다. 상이한 섬유에서의 광의 컬러 또는 세기의 변화는 장면의 비-최적 조명으로 이어질 수 있다. 예를 들어, 전달된 광 또는 광 세기의 변화가 장면 및 캡처된 이미지에서 발생할 수 있다.
일 실시예에서, 섬유 또는 다른 도파관 내로 들어가기 전에 상이한 컬러(파장)의 광을 혼합하기 위해 개재 광학 요소가 섬유 다발과 방출기(3802, 3804, 3806) 사이에 배치될 수 있다. 예시적인 개재 광학 요소는 확산기, 혼합 로드(mixing rod), 하나 이상의 렌즈, 또는 주어진 섬유가 동일한 양의 각각의 컬러(파장)를 수용하도록 광을 혼합하는 다른 광학 구성요소를 포함한다. 예를 들어, 섬유 다발 내의 각각의 섬유는 동일한 컬러를 가질 수 있다. 이러한 혼합은 각각의 섬유에서 동일한 컬러로 이어질 수 있지만, 일부 실시예에서, 여전히, 상이한 섬유로 전달되는 상이한 총 밝기를 가져올 수 있다. 일 실시예에서, 개재 광학 요소는 또한, 각각의 섬유가 동일한 총량의 광을 전달하도록 수집 영역에 걸쳐 광을 확산시키거나 심지어 배출시킬 수 있다(예컨대, 광은 톱햇(top hat) 프로파일로 확산될 수 있음). 확산기 또는 혼합 로드는 광의 손실로 이어질 수 있다.
수집 영역(3808)이 도 38에 물리적 구성요소로 표현되어 있지만, 수집 영역(3808)은 단순히, 방출기(3802, 3804, 3806)로부터의 광이 전달되는 영역일 수 있다. 일부 경우에, 수집 영역(3808)은 확산기, 혼합 로드, 렌즈, 또는 방출기(3802, 3804, 3806)와 출력 도파관 사이의 임의의 다른 개재 광학 구성요소와 같은 광학 구성요소를 포함할 수 있다.
도 39는 동일한 또는 실질적으로 동일한 각도로 수집 영역(3808)에 광을 제공하는 방출기(3802, 3804, 3806)를 갖는 광원(3800)의 실시예를 예시한다. 광은 수집 영역(3808)에 실질적으로 수직인 각도로 제공된다. 광원(3800)은 제1 이색성 거울(dichroic mirror)(3902), 제2 이색성 거울(3904), 및 제3 이색성 거울(3906)을 포함하는 복수의 이색성 거울을 포함한다. 이색성 거울(3902, 3904, 3906)은, 제1 파장의 광을 반사하지만 제2 파장의 광을 투과시키는(또는 그에 대해 투명한) 거울을 포함한다. 예를 들어, 제3 이색성 거울(3906)은 제1 방출기(3802) 및 제2 방출기(3804)에 의해 각각 제공되는 적색 광 및 녹색 광에 대해 투명하면서, 제3 방출기에 의해 제공되는 청색 레이저 광을 반사할 수 있다. 제2 이색성 거울(3904)은 제1 방출기(3802)로부터의 적색 광에 대해 투명할 수 있지만, 제2 방출기(3804)로부터의 녹색 광에 대해 반사성일 수 있다. 다른 컬러 또는 파장이 포함되는 경우, 이색성 거울은, 적어도 하나의 방출기에 대응하는 광을 반사하고 다른 방출기에 대해 투명하도록 선택될 수 있다. 예를 들어, 제3 이색성 거울(3906)은 제3 방출기(3806)로부터의 광을 반사하지만, 제1 방출기(3802) 및 제2 방출기(3804)와 같은, 그 "뒤에 있는" 방출기에 대해 그러하다. 수십 개 또는 수백 개의 방출기가 존재하는 실시예에서, 각각의 이색성 거울은 대응하는 방출기 및 그 앞에 있는 방출기에 대해 반사성일 수 있는 한편 그 뒤에 있는 방출기에 대해 투명할 수 있다. 이는 수십 개 또는 수백 개의 방출기가 전자기 에너지를 실질적으로 동일한 각도로 수집 영역(3808)으로 방출하도록 허용할 수 있다.
이색성 거울은 다른 파장이 투과 또는 통과하도록 허용하기 때문에, 파장들 각각은 동일한 각도로부터 그리고/또는 동일한 중심 또는 초점으로 수집 영역(3808)에 도달할 수 있다. 동일한 각도 및/또는 동일한 초점/중심점으로부터 광을 제공하는 것은 수집 영역(3808)에서의 수용 및 컬러 혼합을 상당히 개선할 수 있다. 예를 들어, 특정 섬유는 그들이 방출기(3802, 3804, 3806) 및 거울(3902, 3904, 3906)에 의해 투과/반사되었던 동일한 비율로 상이한 컬러를 수용할 수 있다. 광 혼합은 도 38의 실시예와 비교하여 수집 영역에서 상당히 개선될 수 있다. 일 실시예에서, 본 명세서에서 논의되는 임의의 광학 구성요소는 광을 섬유 또는 섬유 다발에 제공하기 전에 광을 수집하기 위해 수집 영역(3808)에서 사용될 수 있다.
도 40은, 역시 동일한 또는 실질적으로 동일한 각도로 수집 영역(3808)에 광을 제공하는 방출기(3802, 3804, 3806)를 갖는 광원(3800)의 실시예를 예시한다. 그러나, 수집 영역(3808)에 입사하는 광은 수직 상태로부터 오프셋된다. 각도(4002)는 수직으로부터의 각도 오프셋을 표시한다. 일 실시예에서, 레이저 방출기(3802, 3804, 3806)는 가우시안(Gaussian)인 단면 세기 프로파일을 가질 수 있다. 이전에 논의된 바와 같이, 섬유들 사이의 광 에너지의 개선된 분포는 더 평탄한 또는 톱햇 형상의 세기 프로파일을 생성함으로써 달성될 수 있다. 일 실시예에서, 각도(4002)가 증가됨에 따라, 수집 영역(3808)에 걸친 세기는 톱햇 프로파일에 근접한다. 예를 들어, 톱햇 프로파일은 프로파일이 충분히 평탄할 때까지 각도(4002)를 증가시킴으로써 심지어 비-평탄 출력 빔으로 근사화될 수 있다.
톱햇 프로파일은 또한 하나 이상의 렌즈, 확산기, 혼합 로드, 또는 방출기(3802, 3804, 3806)와 출력 도파관, 섬유 또는 광섬유 다발 사이의 임의의 다른 개재 광학 구성요소를 사용하여 달성될 수 있다.
도 41은 출력부에서 확산기(4104)를 통해 출력하는 단일 광섬유(4102)를 예시하는 개략도이다. 일 실시예에서, 광섬유(4102)는 500 마이크로미터의 직경을 가질 수 있고,.65의 개구수(numerical aperture)를 가질 수 있으며, 확산기(4104) 없이 약 70 또는 80도의 광 원추(light cone)(4106)를 방출할 수 있다. 확산기(4104)가 있으면, 광 원추(4106)는 약 110 또는 120도의 각도를 가질 수 있다. 광 원추(4106)는 모든 광이 향하고 균일하게 분포되는 대부분의 영역일 수 있다. 확산기(4104)는 이미지 센서에 의해 관찰되는 장면의 전자기 에너지의 더 균일한 분포를 허용할 수 있다.
일 실시예에서, 루멘 도파관(4102)은 약 500 마이크로미터의 단일 플라스틱 또는 유리 광섬유를 포함할 수 있다. 플라스틱 섬유는 저비용일 수 있지만, 폭은 섬유가 결합, 확산기, 또는 다른 손실과 함께, 충분한 양의 광을 장면에 전달하도록 허용할 수 있다. 예를 들어, 더 작은 섬유는 더 큰 섬유만큼 많은 광 또는 파워를 전달할 수 없을 수 있다. 루멘 도파관(3710)은 단일 또는 복수의 광섬유를 포함할 수 있다. 루멘 도파관(3702)은 광원으로부터 직접 또는 점퍼 도파관(예컨대, 도 37의 점퍼 도파관(3706) 참조)을 통해 광을 수용할 수 있다. 이미지 센서(3714) 또는 다른 광학 구성요소의 원하는 시야를 위해 광 출력(3706)을 넓히기 위해 확산기가 사용될 수 있다.
3개의 방출기가 도 38 내지 도 40에 도시되어 있지만, 일부 실시예에서 1개 내지 수백 개 이상의 방출기가 사용될 수 있다. 방출기는 그들이 방출하는 상이한 파장 또는 스펙트럼의 광을 가질 수 있으며, 이는 전자기 스펙트럼의 원하는 부분(예컨대, 가시 스펙트럼뿐만 아니라 적외선 및 자외선 스펙트럼)을 연속하여 커버하기 위해 사용될 수 있다.
일 실시예에서, 복수의 방출기를 갖는 광원은 광 결핍 환경에서 다중분광 또는 초분광 이미징을 위해 사용될 수 있다. 예를 들어, 상이한 화학물질, 재료, 또는 조직은 전자기 에너지의 상이한 컬러 또는 파장에 대해 상이한 응답을 가질 수 있다. 일부 조직은 그들 자체의 스펙트럼 시그니처(그들이 전자기 방사선의 반사 파장에서 응답하거나 변화하는 방법)를 갖는다. 일 실시예에서, 특정 유형의 조직은 그것이 특정 파장 또는 파장의 특정 조합에 어떻게 응답하는지에 기초하여 검출될 수 있다. 예를 들어, 혈관 조직은 그것을 근육, 지방, 골, 신경, 요관, 또는 신체 내의 다른 조직 또는 재료와 구별하기 위해 고유의 방식으로 전자기 에너지의 상이한 파장 또는 스펙트럼을 흡수 및 반사할 수 있다. 또한, 특정 유형의 근육 또는 다른 유형의 조직은 그들의 스펙트럼 응답에 기초하여 구별될 수 있다. 조직의 질병 상태가 또한 스펙트럼 정보에 기초하여 결정될 수 있다. 미국 특허 제8,289,503호를 참조한다. 또한, 미국 특허 제8,158,957호를 참조한다.
일 실시예에서, 다중분광 또는 초분광 이미지 데이터는 원하는 파장 또는 스펙트럼에서의 것을 제외하고는, 모든 광 또는 전자기 에너지를 필터링하기 위해 하나 이상의 필터를 사용하여 획득될 수 있다. 도 42는 광(4208)(또는 다른 전자기 방사선)이 이미징 센서(4204) 또는 다른 이미징 매체(예컨대, 필름)와 만나기 전에 원하지 않는 파장을 필터링하기 위한 필터(4202)를 예시하는 블록도이다. 일 실시예에서, 백색 광(4208)은 필터(4202)를 통과하고, 필터링된 광(4210)은 렌즈(4206)를 통과하여, 이미지 캡처 및 판독을 위해 이미징 센서(4204) 상에 집속된다. 필터는 시스템 내의 어느 곳에나 위치될 수 있거나, 렌즈(4206) 또는 이미지 센서(4204)의 속성일 수 있다.
광 결핍 환경에서, 광(4208)은 광 결핍 환경에서 방출기에 의해 방출되는 백색 광을 포함할 수 있다. 필터(4202)는 원하는 검사를 위해 선택될 수 있다. 예를 들어, 특정 조직을 검출 또는 강조하는 것이 바람직한 경우, 필터(4202)는 특정 조직의 스펙트럼 응답에 대응하는 파장이 통과하게 허용하도록 선택될 수 있다. 단색 이미지 센서를 포함할 수 있는 이미지 센서(4204)는 이미지를 생성할 수 있다. 이어서, 임계치를 초과하거나 임계치 아래로 떨어지는 캡처된 이미지의 픽셀은 특정 조직에 대응하는 것으로 특징지어질 수 있다. 이어서, 이러한 데이터는 특정 조직의 위치를 표시하는 이미지를 생성하는 데 사용될 수 있다.
다른 실시예에서, 형광발광 염료는 신체 내의 특정 조직 유형, 경로 등을 이미징하기 위해 사용될 수 있다. 예를 들어, 형광발광 염료가 환자에게 투여될 수 있고, 이어서 염료의 이미지가 캡처될 수 있다. 일 실시예에서, 염료의 형광발광은 특정 파장의 전자기 에너지를 사용하여 촉발될 수 있다. 예를 들어, 염료는 전자기 에너지가 존재할 때에만 형광발광할 수 있다.
그러나, 필터 및 형광발광 염료 둘 모두는 검사를 상당히 제한한다. 예를 들어, 필터가 사용되는 경우, 검출될 수 있는 원하는 스펙트럼 응답, 및 그에 따라 검출될 수 있는 재료 또는 조직은 이용가능한 필터에 의해 제한된다. 또한, 필터는 교환 또는 교체될 필요가 있을 수 있다. 염료와 관련하여, 염료는 이미징 전에 투여되어야 하며, 동일한 검사 동안 상이한 목적으로 상이한 염료들을 투여하는 것 사이에 상충이 있을 수 있다. 따라서, 필터와 염료를 사용한 검사는 오래 걸릴 수 있고, 원하는 정보를 얻기 위해 많은 상이한 검사를 필요로 할 수 있다.
일 실시예에서, 광 결핍 환경에서의 다중분광 또는 초분광 이미징은 전자기 에너지의 복수의 상이한 파장 또는 스펙트럼을 방출하는 방출기 및 단색 이미지 센서를 사용하여 달성될 수 있다. 일 실시예에서, 광원 또는 다른 전자기 소스(예컨대, 도 38 내지 도 40 중 임의의 것의 광원(3800))는 원하는 스펙트럼을 커버하기 위해 복수의 방출기를 포함할 수 있다.
도 43은 20개의 상이한 서브-스펙트럼으로 분할된 전자기 스펙트럼(4300)의 일부분을 예시한다. 서브-스펙트럼의 수는 단지 예시적일 뿐이다. 적어도 하나의 실시예에서, 스펙트럼(4300)은 각각이 작은 주파대(waveband)를 갖는 수백 개의 서브-스펙트럼으로 분할될 수 있다. 스펙트럼은 적외선 스펙트럼(4302)으로부터 가시 스펙트럼(4304)을 통해 자외선 스펙트럼(4306)으로 확장될 수 있다. 서브-스펙트럼은 각각 스펙트럼(4300)의 일부분을 커버하는 주파대(4308)를 갖는다. 각각의 주파대는 상부 파장 및 하부 파장에 의해 한정될 수 있다.
일 실시예에서, (레이저 방출기와 같은) 적어도 하나의 방출기는 전체 스펙트럼(4300)의 완전하고 연속적인 커버리지(coverage)를 제공하기 위해 각각의 서브-스펙트럼에 대해 (도 37 내지 도 40의 광원(3702, 3800)과 같은) 광원 내에 포함될 수 있다. 예를 들어, 예시된 서브-스펙트럼의 커버리지를 제공하기 위한 광원은 각각의 서브-스펙트럼에 대해 적어도 하나씩, 적어도 20개의 상이한 방출기를 포함할 수 있다. 일 실시예에서, 각각의 방출기는 40 나노미터를 커버하는 스펙트럼을 커버할 수 있다. 예를 들어, 하나의 방출기는 500 nm 내지 540 nm의 주파대 내에서 광을 방출할 수 있는 한편, 다른 방출기는 540 nm 내지 580 nm의 주파대 내에서 광을 방출할 수 있다. 다른 실시예에서, 방출기는 이용가능한 방출기의 유형 또는 이미징 요구에 따라 다른 크기의 주파대를 커버할 수 있다. 예를 들어, 복수의 방출기는 500 내지 540 nm의 주파대를 커버하는 제1 방출기, 540 nm 내지 640 nm의 주파대를 커버하는 제2 방출기, 및 640 nm 내지 650 nm의 주파대를 커버하는 제3 방출기를 포함할 수 있다. 각각의 방출기는 범위가 원적외선, 중적외선, 근적외선, 가시 광, 근자외선 및/또는 극자외선부터인 전자기 스펙트럼의 상이한 슬라이스(slice)를 커버할 수 있다. 일부 경우에, 이미징을 위한 충분한 출력 파워를 제공하기 위해 동일한 유형 또는 파장의 복수의 방출기가 포함될 수 있다. 특정 주파대에 필요한 방출기의 수는 주파대에 대한 단색 센서의 감도 및/또는 그러한 주파대에서의 방출기의 파워 출력 능력에 의존할 수 있다.
방출기에 의해 제공되는 주파대 폭 및 커버리지는 스펙트럼의 임의의 원하는 조합을 제공하도록 선택될 수 있다. 예를 들어, 매우 작은 주파대 폭(예컨대, 10 nm 이하)을 사용하는 스펙트럼의 연속적인 커버리지는 매우 선택적인 초분광 이미징을 허용할 수 있다. 파장이 선택적으로 활성화될 수 있는 방출기로부터 나오기 때문에, 검사 동안 재료의 스펙트럼 응답을 결정하는 데 있어 극도의 유연성이 달성될 수 있다. 따라서, 스펙트럼 응답에 관한 훨씬 더 많은 정보가 더 적은 시간에 그리고 다수의 검사, 염료 또는 스테인(stain)의 투여로 인한 지연 등을 필요로 하였을 단일 검사 내에서 달성될 수 있다. 일 실시예에서, 시스템은 초분광 이미지 데이터를 캡처하고 그러한 데이터를 처리하여 어떤 유형의 조직이 각각의 픽셀에 존재하는지 식별할 수 있다.
도 44는 일 실시예에 따른, 다중분광 또는 초분광 이미지를 생성하기 위한 방출 및 판독을 위한 타이밍 다이어그램(4400)을 예시하는 개략도이다. 실선은 일련의 프레임(4404 내지 4414)을 캡처하기 위한 판독(피크(peak)(4402)) 및 블랭킹 기간(밸리(valley))을 나타낸다. 일련의 프레임(4404 내지 4414)은 비디오 피드(video feed)를 위한 초분광 데이터를 생성하는 데 사용될 수 있는 반복되는 일련의 프레임을 포함할 수 있다. 일련의 프레임은 제1 프레임(404), 제2 프레임(4406), 제3 프레임(4408), 제4 프레임(4410), 제5 프레임(4412), 및 제N 프레임(4426)을 포함한다.
일 실시예에서, 각각의 프레임은 전자기 에너지의 적어도 하나의 펄스에 기초하여 생성된다. 전자기 에너지의 펄스는 이미지 센서에 의해 반사 및 검출된 다음에 후속 판독(4402)에서 판독된다. 따라서, 각각의 블랭킹 기간 및 판독은 전자기 에너지의 특정 스펙트럼에 대한 이미지 프레임을 생성한다. 예를 들어, 제1 프레임(404)은 제1 하나 이상의 펄스(4416)의 스펙트럼에 기초하여 생성될 수 있고, 제2 프레임(4406)은 제2 하나 이상의 펄스(4418)의 스펙트럼에 기초하여 생성될 수 있으며, 제3 프레임(4408)은 제3 하나 이상의 펄스(4420)의 스펙트럼에 기초하여 생성될 수 있고, 제4 프레임(4410)은 제4 하나 이상의 펄스(4422)의 스펙트럼에 기초하여 생성될 수 있으며, 제5 프레임(4412)은 제5 하나 이상의 펄스(4424)의 스펙트럼에 기초하여 생성될 수 있고, 제N 프레임(4426)은 제N 하나 이상의 펄스(4426)의 스펙트럼에 기초하여 생성될 수 있다.
펄스(4416 내지 4426)는 단일 방출기로부터의 또는 2개 이상의 방출기의 조합으로부터의 에너지를 포함할 수 있다. 예를 들어, 단일 판독 기간 내에 또는 복수의 프레임(4404 내지 4414) 내에 포함되는 스펙트럼은 특정 조직 또는 상태의 원하는 검사 또는 검출을 위해 선택될 수 있다. 일 실시예에 따르면, 하나 이상의 펄스는 컬러 또는 흑백 이미지를 생성하기 위한 가시 스펙트럼 광을 포함할 수 있는 한편, 하나 이상의 추가의 펄스는 조직의 유형을 분류하기 위한 스펙트럼 응답을 획득하기 위해 사용된다. 예를 들어, 펄스(4416)는 적색 광을 포함할 수 있고, 펄스(4418)는 청색 광을 포함할 수 있으며, 펄스(4420)는 녹색 광을 포함할 수 있는 한편, 나머지 펄스(4422 내지 4426)는 특정 조직 유형을 검출하기 위한 파장 및 스펙트럼을 포함할 수 있다. 추가의 예로서, 단일 판독 기간 동안의 펄스는 특정 조직 유형을 검출하는 데 사용될 수 있는 다수의 상이한 방출기로부터 생성되는 스펙트럼(예컨대, 전자기 스펙트럼의 상이한 슬라이스)을 포함할 수 있다. 예를 들어, 파장의 조합이 임계치를 초과하거나 임계치 아래로 떨어지는 값을 갖는 픽셀을 생성하는 경우, 그러한 픽셀은 특정 유형의 조직에 대응하는 것으로 분류될 수 있다. 각각의 프레임은 스펙트럼 응답에 기초하여 조직의 매우 특정한 분류 및/또는 조직의 상태(질병/건강)를 제공하기 위해 그러한 픽셀(예컨대, 그리고 이미지 내의 각각의 픽셀)에 존재하는 조직의 유형을 추가로 좁히는 데 사용될 수 있다.
복수의 프레임(4404 내지 4414)은 판독 기간의 변화하는 길이, 및 상이한 길이 또는 세기를 갖는 펄스를 갖는 것으로 도시되어 있다. 블랭킹 기간, 펄스 길이 또는 세기 등은 특정 파장에 대한 단색 센서의 감도, 방출기(들)의 파워 출력 능력, 및/또는 도파관의 전달 능력에 기초하여 선택될 수 있다.
도 44에 예시된 방식으로 획득된 초분광 이미지 또는 초분광 이미지 데이터는 각각이 상이한 스펙트럼 또는 스펙트럼의 조합에 기초하는 복수의 프레임을 생성할 수 있다. 일부 경우에, 수십 개 또는 수백 개의 상이한 프레임이 획득될 수 있다. 비디오 스트림에 대한 것과 같은 다른 경우에, 프레임의 수는 관찰가능한 프레임률을 제공하도록 제한될 수 있다. 상이한 스펙트럼의 조합이 단일 판독 기간에 제공될 수 있기 때문에, 유용하고 동적인 스펙트럼 정보가 비디오 스트림에서도 여전히 획득될 수 있다.
일 실시예에서, 비디오 또는 다른 이미지는 각각의 픽셀에 대한 스펙트럼 응답으로부터 도출된 정보로 오버레이되는 흑백 또는 컬러 이미지를 포함할 수 있다. 예를 들어, 특정 조직 또는 상태에 대응하는 픽셀은 검사 동안 의사 또는 다른 의료 전문가를 돕기 위해 밝은 녹색 또는 다른 컬러로 표시될 수 있다.
일 실시예에서, 이중 이미지 센서는 3차원 이미지 또는 비디오 피드를 획득하기 위해 사용될 수 있다. 3차원 검사는 검사된 영역의 3차원 구조의 개선된 이해뿐만 아니라 영역 내의 상이한 조직 또는 재료 유형의 매핑(mapping)을 허용할 수 있다.
일 실시예에서, 다중분광 또는 초분광 이미징은 재료 또는 물질을 살펴보기 위해 사용될 수 있다. 예를 들어, 적외선 파장은 혈관으로부터 반사되면서, 근육 또는 지방과 같은 일부 조직을 통과할 수 있다. 일 실시예에서, 적외선파(infrared wave)는 조직 내로 5, 8 또는 10 mm 이상 침투할 수 있다. 적어도 하나의 적외선 프레임을 포함하는 일련의 프레임을 획득하는 것은 검사가 표면 아래의 혈관의 위치에 관한 정보를 제공하도록 허용할 수 있다. 이는 혈관을 피하는 절개를 수행하는 것이 바람직한 수술 절차에 매우 도움이 될 수 있다. 일 실시예에서, 컬러 또는 그레이스케일(greyscale) 이미지는 표면 아래의 혈관의 위치를 표시하는 녹색 컬러로 오버레이될 수 있다. 유사하게, 혈액의 알려진 스펙트럼 응답은, 혈액을 살펴보고 검사에 관계되는 조직 또는 구조체를 보는 데 사용될 수 있다.
서브프레임을 모니터 또는 다른 디스플레이 장치 상에 디스플레이하기 위한 단일 프레임으로의 조립은 일련의 프레임(4404 내지 4414)을 캡처한 후에 이루어질 수 있다. 컬러 또는 그레이스케일 이미지는 프레임들 중 하나 이상으로부터 생성될 수 있고, 픽셀에 대한 오버레이 정보는 모든 또는 나머지 프레임에 기초하여 결정될 수 있다. 컬러 또는 그레이스케일 이미지는 오버레이 정보와 조합되어 단일 프레임을 생성할 수 있다. 단일 프레임은 단일 이미지로서 또는 비디오 스트림 내의 이미지로서 디스플레이될 수 있다.
일 실시예에서, 도 44에 예시된 바와 같이 획득된 초분광 데이터는 이미지 내에 캡처된 조직 또는 재료를 분류하기 위해 제3자 알고리즘에 의한 분석을 위해 제공될 수 있다. 일 실시예에서, 제3자 알고리즘은 원하는 스펙트럼 응답 분석이 수행될 수 있도록 이미징 동안 사용될 스펙트럼 또는 주파대를 선택하는 데 사용될 수 있다. 일 실시예에서, 스펙트럼 응답 분석은 의료 이미징 절차 또는 다른 의료 절차 동안 실시간으로 수행될 수 있다. 분광 데이터는 사용자가 소정 유형의 조직, 기관, 화학적 과정, 질병 등을 용이하게 구별할 수 있도록 RGB 또는 흑백 이미지 상에 오버레이될 수 있다. 일 실시예에서, 분광 데이터는 의료 이미징 또는 의료 절차의 자동화를 위해 로봇 시스템과 같은 컴퓨터-작동 시스템에 제공될 수 있다.
도 45는 단일 컷 필터(cut filter)를 갖는 이미징 시스템(4500)의 개략도이다. 시스템(4500)은 광 결핍 환경에서 사용하기 위한 광원(4508)을 갖는 내시경(4506) 또는 다른 적합한 이미징 장치를 포함한다. 내시경(4506)은 이미지 센서(4504), 및 이미지 센서(4504)에 도달하기 전에 광 또는 다른 전자기 방사선의 원하지 않는 파장을 필터링하기 위한 필터(4502)를 포함한다. 광원(4508)은 체강과 같은 광 결핍 환경에서 표면(4512)을 조명할 수 있는 광을 전송한다. 광(4510)은 표면(4512)으로부터 반사되고, 이미지 센서(4504)에 닿기 전에 필터(4502)를 통과한다.
필터(4502)는 형광 시약 또는 염료가 투여된 구현예에서 사용될 수 있다. 그러한 실시예에서, 필터(4502)는 광 또는 다른 전자기 방사선의 하나 이상의 원하는 파장 또는 스펙트럼 대역 이외의 모든 광을 필터링하도록 구성된다. 일 실시예에서, 필터(4502)는 형광발광된 시약 또는 염료의 예상되는 이완 파장만이 필터(4502)를 통과하여 이미지 센서(4504)에 도달하게 허용되도록 시약 또는 염료가 형광발광하게 하는 전자기 방사선의 여기 파장(excitation wavelength)을 필터링하도록 구성된다. 일 실시예에서, 필터(4502)는 적어도 770 nm 내지 790 nm의 형광 시약 여기 파장을 필터링한다. 일 실시예에서, 필터(4502)는 적어도 795 nm 내지 815 nm의 형광 시약 여기 파장을 필터링한다. 일 실시예에서, 필터(4502)는 적어도 770 nm 내지 790 nm 및 795 nm 내지 815 nm의 형광 시약 여기 파장을 필터링한다. 이들 실시예에서, 필터(4502)는 시약의 여기 파장을 필터링하고, 형광발광된 시약의 이완 파장만이 이미지 센서(4504)에 의해 판독되도록 허용한다. 이미지 센서(4504)는 파장-애그노스틱(wavelength-agnostic) 이미지 센서일 수 있고, 필터(4502)는 이미지 센서(4504)가 형광발광된 시약의 이완 파장만을 수용하고 시약에 대한 방출된 여기 파장을 수용하지 않게 허용하도록 구성될 수 있다. 이미지 센서(4504)에 의해 결정된 데이터는 이어서, 시약 또는 염료의 위치에 의해 결정되는 바와 같은 중요한 신체 구조체, 조직, 생물학적 과정, 또는 화학적 과정의 존재를 표시할 수 있다.
필터(4502)는 형광 시약 또는 염료가 투여되지 않은 구현예에서 추가로 사용될 수 있다. 필터(4502)는 원하는 스펙트럼 응답에 대응하는 파장이 통과하고 이미지 센서(4504)에 의해 판독되게 허용하도록 선택될 수 있다. 이미지 센서(4504)는 임계치를 초과하거나 임계치 아래로 떨어지는 캡처된 이미지의 픽셀이 소정 스펙트럼 응답 또는 형광 방출에 대응하는 것으로 특징지어질 수 있도록 단색 이미지 센서일 수 있다. 이미지 센서(4504)에 의해 캡처된 픽셀에 의해 결정되는 바와 같은 스펙트럼 응답 또는 형광 방출은 소정 신체 조직 또는 구조체, 소정 상태, 소정 화학적 과정 등의 존재를 표시할 수 있다.
일 실시예에서, 광원(4508)은 백색 광을 전송하며, 이는 표면(4512)과 접촉하고 다시 반사되며, 여기에서 그것은 이미지 센서(4504)에 닿기 전에 필터(4502)에 의해 필터링된다. 일 실시예에서, 광원(4508)은 백색 광을 전송하며, 이는 단지 하나 이상의 원하는 파장의 필터링된 광이 필터(4502)로부터 나와서 표면(4512)으로부터 반사되고 이미지 센서(4504)에 의해 판독되도록 필터(4502)를 통과한다. 예를 들어, 일 실시예에서, 필터(4502)는 795 nm의 파장을 갖는 광만이 필터(4502)를 통과하고 이미지 센서(4504)와 접촉하도록 허용한다. 또한, 일 실시예에서, 필터(4502)는 소정 파장의 광만이 내시경(4506) 또는 다른 이미징 장치의 이미지 센서(4504)로 다시 반사되도록 허용한다. 필터(4502)는 시스템(4500) 내의 어느 곳에나 위치될 수 있거나, 렌즈 또는 이미지 센서(4504)의 속성일 수 있다. 필터(4502)는 이미지 센서(4504) 앞 및/또는 뒤에 위치될 수 있다. 일 실시예에서, 광원(4508)에 의해 방출된 광은 그것이 표면(4512)에 도달하기 전에 필터링되고, 반사된 광은 그것이 이미지 센서(4504)에 의해 준비되기 전에 추가의 필터에 의해 필터링된다.
광원(4508)은 하나 이상의 특정 파장의 백색 광 또는 전자기 방사선을 방출하도록 구성될 수 있는 방출기일 수 있다. 광원(4508)은 특정 파장의 광을 방출하거나 펄싱하도록 구성되는 복수의 레이저를 포함할 수 있다. 일 실시예에서, 광원(4508)은 백색 광을 방출하고, 필터(4502)는 광 또는 다른 전자기 방사선의 하나 이상의 원하는 파장 이외의 모든 원하지 않는 광을 필터링하도록 선택된다. 필터(4502)는 특정 검사 또는 목적을 위해, 예를 들어 신체 조직 또는 구조체의 유형을 강조하거나 소정 상태 또는 화학적 과정을 강조하도록 선택될 수 있다.
도 46은 다수의 컷 필터를 갖는 이미징 시스템(4600)의 개략도이다. 시스템(4600)은 광 결핍 환경에서 사용하기 위한 광원(4608)을 갖는 내시경(4606) 또는 다른 적합한 이미징 장치를 포함한다. 내시경(4606)은 이미지 센서(4604) 및 2개의 필터(4602a, 4602b)를 포함한다. 대안적인 실시예에서, 시스템(4600)이 임의의 수의 필터를 포함할 수 있고, 필터의 수 및 필터의 유형이 소정 목적을 위해, 예컨대 특정 신체 조직, 신체 상태, 화학적 과정 등의 이미징 정보를 수집하기 위해 선택될 수 있다는 것이 인식되어야 한다. 필터(4602a, 4602b)는 광 또는 다른 전자기 방사선의 원하지 않는 파장을 필터링하기 위해 구성된다. 필터(4602a, 4602b)는 광원(4608)에 의해 방출될 수 있는 백색 광 또는 다른 전자기 방사선으로부터 원하지 않는 파장을 필터링하도록 구성될 수 있다. 필터링된 광은 표면(4612)(예컨대, 신체 조직)에 닿고 이미지 센서(4604) 상으로 다시 반사될 수 있다.
도 45에 대한 개시에 추가로, 필터(4602a, 4602b)는 형광 시약 또는 염료가 투여된 구현예에서 사용될 수 있다. 필터(4602a, 4602b)는, 시약 또는 염료에 대한 방출된 여기 파장을 차단하고, 이미지 센서(4604)가 시약 또는 염료의 이완 파장만을 판독하도록 허용하기 위해 구성될 수 있다. 또한, 필터(4602a, 4602b)는 형광 시약 또는 염료가 투여되지 않은 구현예에서 사용될 수 있다. 그러한 구현예에서, 필터(4602a, 4602b)는 원하는 스펙트럼 응답에 대응하는 파장이 통과하고 이미지 센서(4604)에 의해 판독되게 허용하도록 선택될 수 있다.
다수의 필터(4602a, 4602b)는 각각 전자기 스펙트럼의 상이한 파장 범위를 필터링하기 위해 구성될 수 있다. 예를 들어, 하나의 필터는 원하는 파장 범위보다 긴 파장을 필터링하기 위해 구성될 수 있고, 추가의 필터는 원하는 파장 범위보다 짧은 파장을 필터링하기 위해 구성될 수 있다. 2개 이상의 필터의 조합은 소정 파장 또는 파장 대역만이 이미지 센서(4604)에 의해 판독되는 결과를 가져올 수 있다.
일 실시예에서, 필터(4602a, 4602b)는 513 nm 내지 545 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 565 nm 내지 585 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 900 nm 내지 1000 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 425 nm 내지 475 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 520 nm 내지 545 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 625 nm 내지 645 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 760 nm 내지 795 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 795 nm 내지 815 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 370 nm 내지 420 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 600 nm 내지 670 nm의 전자기 방사선이 이미지 센서(4604)와 접촉하도록 맞춤화된다. 일 실시예에서, 필터(4602a, 4602b)는 소정 형광 이완 방출만이 필터(4602a, 4602b)를 통과하고 이미지 센서(4604)와 접촉하도록 허용하기 위해 구성된다.
일 실시예에서, 시스템(4600)은 다수의 이미지 센서(4604)를 포함하고, 특히, 3차원 이미지를 생성하는 데 사용하기 위한 2개의 이미지 센서를 포함할 수 있다. 이미지 센서(들)(4604)는 컬러/파장 애그노스틱일 수 있고, 표면(4612)으로부터 반사되는 전자기 방사선의 임의의 파장을 판독하기 위해 구성될 수 있다. 일 실시예에서, 이미지 센서(4604)는 각각 컬러 의존적 또는 파장 의존적이며, 표면(4612)으로부터 그리고 다시 이미지 센서(4604)로 반사되는 특정 파장의 전자기 방사선을 판독하기 위해 구성된다. 대안적으로, 이미지 센서(4604)는 베이어 필터 컬러 필터 어레이와 같은, 광의 상이한 파장 또는 컬러를 판독하기 위해 구성되는 복수의 상이한 픽셀 센서를 갖는 단일 이미지 센서를 포함할 수 있다. 대안적으로, 이미지 센서(4604)는, 예를 들어 도 5 내지 도 7e와 도 15 및 도 16에 예시된 것과 같은 펄싱 스케줄에 따라 전자기 방사선의 상이한 파장을 판독하기 위해 구성될 수 있는 하나 이상의 컬러 애그노스틱 이미지 센서를 포함할 수 있다.
도 47은 광 결핍 환경에서 표면을 매핑하고/하거나 물체를 추적하기 위한 시스템(4700)을 예시하는 개략도이다. 일 실시예에서, 광 결핍 환경 내의 내시경(4702)은 표면(4704) 상에 그리드 어레이(4706)(레이저 맵 패턴(laser map pattern)으로 지칭될 수 있음)를 펄싱한다. 그리드 어레이(4706)는 도 47에 예시된 바와 같은 일 실시예에서 수직 해싱(hashing)(4708) 및 수평 해싱(4710)을 포함할 수 있다. 그리드 어레이(4706)가, 예를 들어, 이산 포인트의 래스터 그리드(raster grid), 점유 그리드 맵(occupancy grid map), 도트 어레이(dot array) 등을 포함하여, 표면(4704)을 매핑하기 위한 임의의 적합한 어레이를 포함할 수 있다는 것이 인식되어야 한다. 추가적으로, 내시경(4702)은 다수의 그리드 어레이(4706)를 펄싱할 수 있고, 예를 들어, 광 결핍 환경 내의 복수의 물체들 또는 구조체들 각각 상의 하나 이상의 개별 그리드 어레이를 펄싱할 수 있다.
일 실시예에서, 시스템(4700)은, 3차원 표면을 결정하고/하거나 광 결핍 환경에서 도구 또는 다른 장치와 같은 물체의 위치를 추적하는 데 사용될 수 있는 그리드 어레이(4706)를 펄싱한다. 일 실시예에서, 시스템(4700)은 광 검출 및 레인징(light detection and ranging, LIDAR) 매핑에 의해 표면 치수 및 구성을 결정하기 위해 제3자 시스템 또는 컴퓨터 알고리즘에 데이터를 제공할 수 있다. 시스템(4700)은, 예를 들어, 자외선 광, 가시 광, 및/또는 적외선 또는 근적외선 광을 포함하여, 그리드 어레이(4706)에서 광 또는 전자기 방사선의 임의의 적합한 파장을 펄싱할 수 있다. 환경 내의 표면(4704) 및/또는 물체는 매우 높은 해상도로 그리고 매우 높은 정확도 및 정밀도로 매핑 및 추적될 수 있다.
일 실시예에서, 시스템(4700)은, 튜브, 하나 이상의 이미지 센서, 및 하나 이상의 이미지 센서에 대응하는 광학 요소를 갖는 렌즈 조립체를 갖는 이미징 장치를 포함한다. 시스템(4700)은, 전자기 방사선의 하나 이상의 펄스를 생성하는 조명원, 및 전자기 방사선의 하나 이상의 펄스를 체강과 같은 광 결핍 환경 내의 내시경의 원위 팁으로 전송하는 루멘을 갖는 광 엔진을 포함할 수 있다. 일 실시예에서, 전자기 방사선의 하나 이상의 펄스의 적어도 일부분은 신체 조직의 표면 및/또는 체강 내의 도구 또는 다른 장치의 표면과 같은, 광 결핍 환경 내의 표면 상으로 방출되는 레이저 맵 패턴을 포함한다. 내시경(4702)은 광 결핍 환경 내의 표면, 치수, 및 구성을 매핑 및/또는 추적하기 위한 2차원, 3차원, 또는 n차원 카메라를 포함할 수 있다.
일 실시예에서, 시스템(4700)은 표면(4704)과 같은 물체로부터의 내시경 또는 도구의 거리를 결정하기 위한 프로세서를 포함한다. 프로세서는 내시경 또는 도구와 물체 사이의 각도를 추가로 결정할 수 있다. 프로세서는, 예를 들어, 수술 도구의 크기, 구조체의 크기, 해부학적 구조체의 크기, 위치 정보, 및 다른 위치 데이터 및 메트릭(metric)을 포함하여, 물체에 관한 표면 영역 정보를 추가로 결정할 수 있다. 시스템(4700)은 표면(4704)과 같은 물체까지의 내시경 또는 도구의 거리를 결정하기 위해 제어 시스템에 출력되는 이미지 데이터를 제공하는 하나 이상의 이미지 센서를 포함할 수 있다. 이미지 센서는 물체에 대한 내시경 또는 도구 사이의 각도를 결정하기 위해 제어 시스템에 정보를 출력할 수 있다. 추가적으로, 이미지 센서는 물체에 관한 표면 영역 정보, 수술 도구의 크기, 구조체의 크기, 해부학적 구조체의 크기, 위치 정보, 및 다른 위치 데이터 및 메트릭을 결정하기 위해 제어 시스템에 정보를 출력할 수 있다.
일 실시예에서, 그리드 어레이(4706)는 그리드 어레이(4706)가 사용자에게 가시적이지 않도록 충분한 속도로 내시경(4702)의 조명원에 의해 펄싱된다. 다양한 구현예에서, 내시경 이미징 절차 및/또는 내시경 수술 절차 동안 그리드 어레이(4706)를 보는 것이 사용자의 주의를 흩뜨릴 수 있다. 그리드 어레이(4706)는 그리드 어레이(4706)가 사람의 눈에 의해 검출될 수 없도록 충분히 짧은 기간 동안 펄싱될 수 있다. 대안적인 실시예에서, 내시경(4702)은 그리드 어레이(4706)가 사용자에 의해 관찰될 수 있도록 충분한 반복 주파수로 그리드 어레이(4706)를 펄싱한다. 그러한 실시예에서, 그리드 어레이(4706)는 디스플레이 상의 표면(4704)의 이미지 상에 오버레이될 수 있다. 그리드 어레이(4706)는 시스템(4700)의 사용 동안 그리드 어레이(4706)가 사용자에 의해 가시적일 수 있도록 표면(4704)의 흑백 또는 RGB 이미지 상에 오버레이될 수 있다. 시스템(4700)의 사용자는 그리드 어레이(4706)가 표면(4704)의 이미지 상에 오버레이되어야 하는지 여부 및/또는 그리드 어레이(4706)가 사용자에게 가시적이어야 하는지 여부를 표시할 수 있다. 시스템(4700)은 내시경(4702)으로부터 광 결핍 환경 내의 표면(4704) 또는 다른 물체까지의 거리의 실시간 측정치를 제공하는 디스플레이를 포함할 수 있다. 디스플레이는 광 결핍 환경 내의 표면(4704) 및/또는 임의의 물체, 구조체, 또는 도구에 관한 실시간 표면 영역 정보를 추가로 제공할 수 있다. 측정치의 정확도는 1 밀리미터 미만까지 정확할 수 있다.
내시경(4702)은, RGB 이미지를 생성하고, RGB 이미지 상에 오버레이되고/되거나 광 결핍 환경 내의 표면(4704) 및 물체를 매핑 및 추적하는 데 사용될 수 있는 그리드 어레이(4706)를 추가로 생성하기 위해, 적색, 녹색, 및 청색 광의 펄싱과 함께 그리드 어레이(4706)의 펄싱을 추가로 포함할 수 있는, 예를 들어, 도 5 내지 도 7e와 도 15 및 도 16에 예시된 것과 같은 펄싱 스케줄에 따라 전자기 방사선을 펄싱할 수 있다.
일 실시예에서, 내시경(4702)은 하나 이상의 컬러 애그노스틱 이미지 센서를 포함한다. 일 실시예에서, 내시경(4702)은 광 결핍 환경의 3차원 이미지 또는 맵을 생성하기 위한 2개의 컬러 애그노스틱 이미지 센서를 포함한다. 이미지 센서는 본 명세서에 개시된 바와 같은 펄싱 스케줄에 따라 광 결핍 환경의 RGB 이미지를 생성할 수 있다. 추가적으로, 이미지 센서는 그리드 어레이(4706)가 펄싱될 때 결정된 데이터에 기초하여 광 결핍 환경을 매핑하고 광 결핍 환경 내의 하나 이상의 물체를 추적하기 위한 데이터를 결정할 수 있다. 추가적으로, 이미지 센서는 이미징 절차의 특정 요구에 맞게 사용자에 의해 수정될 수 있는 펄싱 스케줄에 따라 형광 이미징 데이터와 함께 분광 또는 초분광 데이터를 결정할 수 있다. 일 실시예에서, 펄싱 스케줄은 그리드 어레이(4706)의 펄싱 및/또는 초분광 이미지 데이터 및/또는 형광 이미지 데이터를 생성하기 위한 펄싱과 함께 적색, 녹색, 및 청색 펄스를 포함한다. 다양한 구현예에서, 펄싱 스케줄은 사용자의 요구에 따라 전자기 방사선의 펄스의 임의의 적합한 조합을 포함할 수 있다. 전자기 방사선의 상이한 파장의 반복 주파수는, 예를 들어, 소정 펄스의 에너지, 사용자의 요구, 소정 데이터(예를 들어, 초분광 데이터 및/또는 형광 이미징 데이터)가 지속적으로 업데이트될 필요가 있는지 또는 덜 자주 업데이트될 수 있는지 등에 기초하여 결정될 수 있다.
펄싱 스케줄은 임의의 적합한 방식으로 수정될 수 있고, 소정 이미징 절차에 대한 사용자의 요구 또는 컴퓨터-구현 프로그램에 따라, 전자기 방사선의 소정 펄스는 임의의 적합한 주파수로 반복될 수 있다. 예를 들어, 그리드 어레이(4706)에 기초하여 생성된 표면 추적 데이터가, 예를 들어, 로봇 수술 절차에 사용하기 위해 컴퓨터-구현 프로그램에 제공되는 실시예에서, 그리드 어레이(4706)는 이미징 절차 동안 장면을 시각화하고 있는 사용자에게 표면 추적 데이터가 제공되는 경우보다 더 자주 펄싱될 수 있다. 표면 추적 데이터가 로봇 수술 절차에 사용되는 그러한 실시예에서, 표면 추적 데이터는 컴퓨터-구현 프로그램이 정밀하고 정확하게 로봇 수술 절차를 실행할 수 있도록 더 자주 업데이트될 필요가 있을 수 있거나 매우 정확할 필요가 있을 수 있다.
일 실시예에서, 시스템(4700)은 그리드로 분할된 셀의 어레이를 포함하는 점유 그리드 맵을 생성하도록 구성된다. 시스템(4700)은 광 결핍 환경에서 3차원 환경의 표면 매핑을 결정하기 위해 각자의 그리드 셀들 각각에 대한 높이 값을 저장하도록 구성된다.
도 48은 광 결핍 환경에서 초분광 이미징을 위한 방법(4800)에 대한 개략적인 흐름도이다. 방법(4800)은 도 37에 예시된 내시경 이미징 시스템과 같은 이미징 시스템에 의해 수행될 수 있다.
방법(4800)은 단색 이미지 센서의 판독 기간 동안 복수의 협대역 펄스를 4802에서 방출하는 단계를 포함한다. 펄스는 좁은 주파수 대역 내에서 전자기 에너지를 방출하는 복수의 방출기를 포함하는 광원을 사용하여 4802에서 방출될 수 있다. 예를 들어, 광원은 원하는 스펙트럼을 커버하는 복수의 주파수 대역에 대해 적어도 하나의 방출기를 포함할 수 있다. 단색 이미지 센서는 판독 기간 후에 단색 이미지 센서로부터 픽셀 데이터를 4804에서 판독하여 복수의 프레임을 생성한다. 각각의 프레임은 상이한 스펙트럼 콘텐츠(spectral content)를 포함할 수 있다. 이들 프레임은 디지털 비디오 스트림을 생성하는 데 사용될 수 있는 복수의 반복 프레임을 포함할 수 있다. 각각의 프레임은 광원의 하나 이상의 방출기에 의해 방출된 에너지에 기초할 수 있다. 일 실시예에서, 프레임은 원하는 조직 또는 물질의 주파수 응답과 매칭되는 주파수의 조합을 생성하기 위해 광원에 의해 방출된 광의 조합에 기초할 수 있다. 제어기, CCU, 또는 다른 시스템이 복수의 프레임에 기초하여 하나 이상의 픽셀에 대한 조직의 스펙트럼 응답을 4806에서 결정한다. 예를 들어, 픽셀 값, 및 각각의 프레임에 대해 방출된 광의 주파수에 관한 지식은 복수의 프레임 내의 픽셀에 대한 값에 기초하여, 특정 픽셀에 대한 주파수 응답을 결정하는 데 사용될 수 있다. 시스템은 복수의 프레임에 기초하여 조합된 이미지를 4808에서 생성할 수 있으며, 조합된 이미지는 하나 이상의 픽셀에 대한 스펙트럼 응답을 표시하는 오버레이를 포함한다. 예를 들어, 조합된 이미지는 특정 조직 또는 분류에 대응하는 픽셀이 밝은 녹색으로 보여지는 그레이스케일 또는 컬러 이미지일 수 있다.
도 49는 광 결핍 환경에서 형광 이미징을 위한 방법(4900)에 대한 개략적인 흐름도이다. 방법(4900)은 도 37에 예시된 내시경 이미징 시스템과 같은 이미징 시스템에 의해 수행될 수 있다.
방법(4900)은 단색 이미지 센서의 판독 기간 동안 복수의 협대역 펄스를 4902에서 방출하는 단계를 포함한다. 펄스는 좁은 주파수 대역 내에서 전자기 에너지를 방출하는 복수의 방출기를 포함하는 광원을 사용하여 4902에서 방출될 수 있다. 예를 들어, 광원은 원하는 스펙트럼을 커버하는 복수의 주파수 대역에 대해 적어도 하나의 방출기를 포함할 수 있다. 단색 이미지 센서는 판독 기간 후에 단색 이미지 센서로부터 픽셀 데이터를 4904에서 판독하여 복수의 프레임을 생성한다. 각각의 프레임은 상이한 스펙트럼 콘텐츠를 포함할 수 있다. 이들 프레임은 디지털 비디오 스트림을 생성하는 데 사용될 수 있는 복수의 반복 프레임을 포함할 수 있다. 각각의 프레임은 광원의 하나 이상의 방출기에 의해 방출된 에너지에 기초할 수 있다. 일 실시예에서, 프레임은 원하는 조직 또는 물질의 주파수 응답과 매칭되는 주파수의 조합을 생성하기 위해 광원에 의해 방출된 광의 조합에 기초할 수 있다. 제어기, CCU, 또는 다른 시스템이 복수의 프레임에 기초하여 하나 이상의 픽셀에 대한 시약의 형광 이완 방출을 4906에서 결정한다. 예를 들어, 픽셀 값, 및 각각의 프레임에 대해 방출된 광의 주파수에 관한 지식은 복수의 프레임 내의 픽셀에 대한 값에 기초하여, 특정 픽셀에 대한 주파수 응답을 결정하는 데 사용될 수 있다. 시스템은 복수의 프레임에 기초하여 조합된 이미지를 4908에서 생성할 수 있으며, 조합된 이미지는 하나 이상의 픽셀에 대한 형광 이완 방출을 표시하는 오버레이를 포함한다. 예를 들어, 조합된 이미지는 특정 조직 또는 분류에 대응하는 픽셀이 밝은 녹색으로 보여지는 그레이스케일 또는 컬러 이미지일 수 있다.
예
하기 예는 추가의 실시예에 관한 것이다:
예 1은 광 결핍 환경에서 사용하기 위한 내시경 시스템이다. 시스템은, 튜브, 하나 이상의 이미지 센서들, 및 하나 이상의 이미지 센서들에 대응하는 적어도 하나의 광학 요소를 포함하는 렌즈 조립체를 포함하는 이미징 장치를 포함한다. 시스템은 사용자가 장면을 시각화하기 위한 디스플레이를 포함한다. 시스템은, 전자기 방사선의 하나 이상의 펄스들을 생성하는 조명원을 포함하는 광 엔진을 포함한다. 광 엔진은 전자기 방사선의 하나 이상의 펄스들을 내시경의 원위 팁으로 전송하는 루멘을 추가로 포함할 수 있고, 전자기 방사선의 하나 이상의 펄스들의 적어도 일부분은 513 nm 내지 545 nm의 전자기 방사선을 포함하고, 전자기 방사선의 하나 이상의 펄스들의 적어도 일부분은 565 nm 내지 585 nm의 전자기 방사선을 포함하고, 전자기 방사선의 하나 이상의 펄스들의 적어도 일부분은 900 nm 내지 1000 nm의 전자기 방사선을 포함한다.
예 2는 예 1에 있어서, 전자기 방사선의 하나 이상의 펄스들의 지속시간이 가변적인, 시스템이다.
예 3은 예 1 및 예 2 중 어느 한 예에 있어서, 펄스 지속시간이 전체 펄스 지속시간보다 짧은 지속시간을 갖는 전자기 방사선의 복수의 펄스들을 포함하는, 시스템이다.
예 4는 예 1 내지 예 3 중 어느 한 예에 있어서, 전체 펄스 지속시간보다 짧은 지속시간을 갖는 전자기 방사선의 복수의 펄스들은 단일 프레임 노출(single frame exposure)을 제공하는 지속시간을 갖는, 시스템이다.
예 5는 예 1 내지 예 4 중 어느 한 예에 있어서, 펄스 지속시간 동안, 부-지속시간(sub-duration)을 갖는 전자기 방사선의 복수의 서브-펄스(sub-pulse)들이 방출되고, 부-지속시간은 펄스 지속시간보다 짧은, 시스템이다.
예 6은 예 1 내지 예 5 중 어느 한 예에 있어서, 펄스 지속시간 중의 펄스 부-지속시간들은 전자기 방사선의 각각의 서브-펄스에 대해 상이한, 시스템이다.
예 7은 예 1 내지 예 6 중 어느 한 예에 있어서, 펄스 지속시간 중의 펄스 부-지속시간들은 전자기 방사선의 각각의 서브-펄스에 대해 동일한, 시스템이다.
예 8은 예 1 내지 예 7 중 어느 한 예에 있어서, 펄스 지속시간 중의 펄스 부-지속시간들은 동일한 지속시간을 갖는 전자기 방사선의 2개 이상의 서브-펄스들을 포함하는, 시스템이다.
예 9는 예 1 내지 예 8 중 어느 한 예에 있어서, 복수의 서브-펄스들 중 하나 이상은 단일 펄스 또는 단일 서브-펄스로서 동시에 2개 이상의 파장들에서 방출되는 전자기 방사선을 포함할 수 있는, 시스템이다.
예 10은 예 1 내지 예 9 중 어느 한 예에 있어서, 복수의 서브-펄스들의 부-지속시간들은 방출되는 전자기 방사선 파장들 및 펄스 지속시간당 발생하는 방출들의 수 둘 모두에서 가변적인, 시스템이다.
예 11은 예 1 내지 예 10 중 어느 한 예에 있어서, 복수의 서브-펄스들의 부-지속시간들은 단일 프레임 노출을 제공하는 단일 펄스 지속시간과 동등한, 시스템이다.
예 12는 예 1 내지 예 11 중 어느 한 예에 있어서, 다양한 파장들의 전자기 방사선의 펄스들의 시퀀스가 내시경 광 엔진의 사용자에 의해 조절가능한, 시스템이다.
예 13은 예 1 내지 예 12 중 어느 한 예에 있어서, 시스템은 토글 버튼(toggle button)을 포함하고, 사용자가 토글 버튼의 조작에 의해 펄스들의 시퀀스를 변경하거나 조절하는, 시스템이다.
예 14는 예 1 내지 예 13 중 어느 한 예에 있어서, 시스템은 장면을 적절히 조명하기 위한 제어 시스템을 포함하고, 제어 시스템은 임계치에 기초하여 광 엔진으로부터 방출되는 전자기 방사선의 펄스들의 시퀀스를 자동으로 조절하거나 변경하고, 임계치는 사전에(a priori) 장면의 적절한 조명을 결정하는, 시스템이다.
예 15는 예 1 내지 예 14 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임(exposure frame)을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 16은 예 1 내지 예 15 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러(visible color)가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 17은 예 1 내지 예 16 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지(overlay image)로서 사용자에게 디스플레이되는, 시스템이다.
예 18은 예 1 내지 예 17 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 19는 예 1 내지 예 18 중 어느 한 예에 있어서, 조명원은 하나 이상의 레이저 방출기들을 사용하여 전자기 방사선의 하나 이상의 펄스들을 생성하는, 시스템이다.
예 20은 예 1 내지 예 19 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 21은 예 1 내지 예 20 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 22는 예 1 내지 예 21 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 23은 예 1 내지 예 22 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 24는 예 1 내지 예 23 중 어느 한 예에 있어서, 조명원은 425 nm 내지 475 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 시스템이다.
예 25는 예 1 내지 예 24 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 26은 예 1 내지 예 25 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 27은 예 1 내지 예 26 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 28은 예 1 내지 예 27 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 29는 예 1 내지 예 28 중 어느 한 예에 있어서, 조명원은 520 nm 내지 545 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 시스템이다.
예 30은 예 1 내지 예 29 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 31은 예 1 내지 예 30 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 32는 예 1 내지 예 31 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 33은 예 1 내지 예 32 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 34는 예 1 내지 예 33 중 어느 한 예에 있어서, 조명원은 625 nm 내지 645 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 시스템이다.
예 35는 예 1 내지 예 34 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 36은 예 1 내지 예 35 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 37은 예 1 내지 예 36 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 38은 예 1 내지 예 37 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 39는 예 1 내지 예 38 중 어느 한 예에 있어서, 조명원은 760 nm 내지 795 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 시스템이다.
예 40은 예 1 내지 예 39 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 41은 예 1 내지 예 40 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 42는 예 1 내지 예 41 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 43은 예 1 내지 예 42 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 44는 예 1 내지 예 43 중 어느 한 예에 있어서, 조명원은 795 nm 내지 815 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 시스템이다.
예 45는 예 1 내지 예 44 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 46은 예 1 내지 예 45 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 47은 예 1 내지 예 46 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 48은 예 1 내지 예 47 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 49는 예 1 내지 예 48 중 어느 한 예에 있어서, 조명원은 370 nm 내지 420 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 시스템이다.
예 50은 예 1 내지 예 49 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 51은 예 1 내지 예 50 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 52는 예 1 내지 예 51 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 53은 예 1 내지 예 52 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 54는 예 1 내지 예 53 중 어느 한 예에 있어서, 조명원은 600 nm 내지 670 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 시스템이다.
예 55는 예 1 내지 예 54 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 56은 예 1 내지 예 55 중 어느 한 예에 있어서, 단일 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 57은 예 1 내지 예 56 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 시스템이다.
예 58은 예 1 내지 예 57 중 어느 한 예에 있어서, 오버레이 이미지에는 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 시스템이다.
예 59는 예 1 내지 예 58 중 어느 한 예에 있어서, 광 엔진은 편광 필터를 포함하는, 시스템이다.
예 60은 예 1 내지 예 59 중 어느 한 예에 있어서, 편광 필터는 전자기 방사선의 경로 내에 위치되는, 시스템이다.
예 61은 예 1 내지 예 60 중 어느 한 예에 있어서, 편광 필터는 루멘의 근위 단부에 위치되는, 시스템이다.
예 62는 예 1 내지 예 61 중 어느 한 예에 있어서, 편광 필터는 루멘의 원위 단부에 위치되는, 시스템이다.
예 63은 예 1 내지 예 62 중 어느 한 예에 있어서, 렌즈 조립체는 전자기 방사선 필터를 포함하는, 시스템이다.
예 64는 예 1 내지 예 63 중 어느 한 예에 있어서, 렌즈 조립체는 편광 필터를 포함하는, 시스템이다.
예 65는 예 1 내지 예 64 중 어느 한 예에 있어서, 전자기 방사선의 각각의 펄스는 이미지 센서에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 중요한 조직 구조체들의 위치를 제공할 대응하는 시스템에 공급되는, 시스템이다.
예 66은 예 1 내지 예 65 중 어느 한 예에 있어서, 중요한 구조체들의 위치는 내시경 시스템에 의해 수신되고 디스플레이 상에 오버레이되고, 중요한 구조체들은 알고리즘 또는 사용자에 의해 선택되는 임의의 컬러로 인코딩되는(encoded), 시스템이다.
본 명세서에 개시된 다양한 특징이 당업계에서 상당한 이점 및 진보를 제공한다는 것이 인식될 것이다. 하기 청구범위는 이러한 특징들 중 일부의 예시이다.
본 개시의 전술한 상세한 설명에서, 본 개시의 다양한 특징은 본 개시를 간소화하기 위해 단일 실시예에서 함께 그룹화된다. 본 개시의 이러한 방법은 청구된 개시가 각각의 청구항에서 명백하게 인용되는 것보다 많은 특징을 필요로 한다는 의도를 반영하는 것으로 해석되지 않아야 한다. 오히려, 본 발명의 태양은 단일의 전술한 개시된 실시예의 모든 특징보다 적은 특징부에 있다.
전술된 배열이 단지 본 개시의 원리의 적용을 예시하는 것임이 이해되어야 한다. 많은 수정 및 대안적인 배열이 본 개시의 사상 및 범주로부터 벗어남이 없이 당업자에 의해 안출될 수 있고, 첨부된 청구범위가 그러한 수정 및 배열을 포함하도록 의도된다.
따라서, 본 개시가 특정하고 상세하게 전술되고 도면에 도시되었지만, 크기, 재료, 형상, 형태, 기능 및 작동 방식, 조립 및 사용의 변화를 포함하지만 이에 제한되지 않는 많은 수정이 본 명세서에 기재된 원리 및 개념으로부터 벗어남이 없이 이루어질 수 있다는 것이 당업자에게 명백할 것이다.
또한, 적절한 경우, 본 명세서에 기술된 기능은 하드웨어, 소프트웨어, 펌웨어, 디지털 구성요소, 또는 아날로그 구성요소 중 하나 이상에서 수행될 수 있다. 예를 들어, 하나 이상의 주문형 집적 회로(ASIC) 또는 필드 프로그래머블 게이트 어레이(FPGA)가 본 명세서에 기술된 시스템들 및 절차들 중 하나 이상을 수행하도록 프로그래밍될 수 있다. 소정 용어가 하기 설명 및 청구범위 전반에 걸쳐 특정 시스템 구성요소를 지칭하기 위해 사용된다. 당업자가 인식할 바와 같이, 구성요소는 상이한 명칭으로 지칭될 수 있다. 본 명세서는 명칭은 상이하지만 기능은 그렇지 않은 구성요소들을 구별하도록 의도하지 않는다.
전술한 설명은 예시 및 설명을 위해 제시되었다. 이는 완전한 것으로 또는 본 개시를 개시된 정확한 형태로 제한하는 것으로 의도되지 않는다. 위의 교시를 고려하여 많은 수정 및 변형이 가능하다. 또한, 전술된 대안적인 구현예들 중 임의의 것 또는 전부가 본 개시의 추가의 하이브리드 구현예를 형성하기 위해 원하는 임의의 조합으로 사용될 수 있다는 것에 유의해야 한다.
또한, 본 개시의 특정 구현예가 기술되고 예시되었지만, 본 개시는 그렇게 기술되고 예시된 특정 형태 또는 부분의 배열로 제한되지 않는다. 본 개시의 범주는 본 명세서에 첨부된 청구범위, 본 명세서에 그리고 상이한 출원에서 제출되는 임의의 미래의 청구범위, 및 그들의 등가물에 의해 한정되어야 한다.
Claims (66)
- 광 결핍 환경에서 사용하기 위한 내시경 시스템(endoscopic system)으로서,
이미징 장치(imaging device)로서,
튜브;
하나 이상의 이미지 센서들; 및
상기 하나 이상의 이미지 센서들에 대응하는 적어도 하나의 광학 요소를 포함하는 렌즈 조립체를 포함하는, 상기 이미징 장치;
사용자가 장면(scene)을 시각화하기 위한 디스플레이;
이미지 신호 처리 제어기; 및
광 엔진(light engine)을 포함하고, 상기 광 엔진은,
전자기 방사선의 하나 이상의 펄스들을 생성하는 조명원; 및
전자기 방사선의 하나 이상의 펄스들을 내시경의 원위 팁(distal tip)으로 전송하는 루멘(lumen)을 포함하고, 상기 전자기 방사선의 하나 이상의 펄스들의 적어도 일부분은 513 nm 내지 545 nm의 전자기 방사선을 포함하고, 상기 전자기 방사선의 하나 이상의 펄스들의 적어도 일부분은 565 nm 내지 585 nm의 전자기 방사선을 포함하고, 상기 전자기 방사선의 하나 이상의 펄스들의 적어도 일부분은 900 nm 내지 1000 nm의 전자기 방사선을 포함하는, 내시경 시스템. - 제1항에 있어서, 전자기 방사선의 하나 이상의 펄스들의 지속시간이 가변적인, 내시경 시스템.
- 제2항에 있어서, 펄스 지속시간이 전체 펄스 지속시간보다 짧은 지속시간을 갖는 전자기 방사선의 복수의 펄스들을 포함하는, 내시경 시스템.
- 제3항에 있어서, 상기 전체 펄스 지속시간보다 짧은 지속시간을 갖는 상기 전자기 방사선의 복수의 펄스들은 단일 프레임 노출(single frame exposure)을 제공하는 지속시간을 갖는, 내시경 시스템.
- 제1항에 있어서, 펄스 지속시간 동안, 부-지속시간(sub-duration)을 갖는 전자기 방사선의 복수의 서브-펄스(sub-pulse)들이 방출되고, 상기 부-지속시간은 상기 펄스 지속시간보다 짧은, 내시경 시스템.
- 제5항에 있어서, 상기 펄스 지속시간 중의 상기 펄스 부-지속시간들은 전자기 방사선의 각각의 서브-펄스에 대해 상이한, 내시경 시스템.
- 제5항에 있어서, 상기 펄스 지속시간 중의 상기 펄스 부-지속시간들은 전자기 방사선의 각각의 서브-펄스에 대해 동일한, 내시경 시스템.
- 제5항에 있어서, 상기 펄스 지속시간 중의 상기 펄스 부-지속시간들은 동일한 지속시간을 갖는 전자기 방사선의 2개 이상의 서브-펄스들을 포함하는, 내시경 시스템.
- 제5항에 있어서, 상기 복수의 서브-펄스들 중 하나 이상은 단일 펄스 또는 단일 서브-펄스로서 동시에 2개 이상의 파장들에서 방출되는 전자기 방사선을 포함할 수 있는, 내시경 시스템.
- 제5항에 있어서, 상기 복수의 서브-펄스들의 상기 부-지속시간들은 방출되는 전자기 방사선 파장들 및 펄스 지속시간당 발생하는 방출들의 수 둘 모두에서 가변적인, 내시경 시스템.
- 제10항에 있어서, 상기 복수의 서브-펄스들의 상기 부-지속시간들은 단일 프레임 노출을 제공하는 단일 펄스 지속시간과 동등한, 내시경 시스템.
- 제1항에 있어서, 다양한 파장들의 전자기 방사선의 펄스들의 시퀀스(sequence)가 상기 내시경 광 엔진의 사용자에 의해 조절가능한, 내시경 시스템.
- 제1항에 있어서, 상기 시스템은 토글 버튼(toggle button)을 포함하고, 사용자가 상기 토글 버튼의 조작에 의해 상기 펄스들의 시퀀스를 변경하거나 조절하는, 내시경 시스템.
- 제1항에 있어서, 상기 시스템은 상기 장면을 적절히 조명하기 위한 제어 시스템을 포함하고, 상기 제어 시스템은 임계치에 기초하여 상기 광 엔진으로부터 방출되는 상기 전자기 방사선의 펄스들의 시퀀스를 자동으로 조절하거나 변경하고, 상기 임계치는 사전에(a priori) 상기 장면의 적절한 조명을 결정하는, 내시경 시스템.
- 제1항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임(exposure frame)을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제15항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러(visible color)가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지(overlay image)로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제17항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 조명원은 하나 이상의 레이저 방출기(laser emitter)들을 사용하여 전자기 방사선의 하나 이상의 펄스들을 생성하는, 내시경 시스템.
- 제19항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제20항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제19항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제22항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 조명원은 425 nm 내지 475 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 내시경 시스템.
- 제24항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제25항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제24항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제27항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 조명원은 520 nm 내지 545 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 내시경 시스템.
- 제29항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제30항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제29항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제32항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 조명원은 625 nm 내지 645 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 내시경 시스템.
- 제34항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제35항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제34항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제37항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 조명원은 760 nm 내지 795 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 내시경 시스템.
- 제39항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제40항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제39항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제42항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 조명원은 795 nm 내지 815 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 내시경 시스템.
- 제44항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제45항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제44항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제47항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 조명원은 370 nm 내지 420 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 내시경 시스템.
- 제49항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제50항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제49항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제52항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 조명원은 600 nm 내지 670 nm의 파장에서 전자기 방사선의 하나 이상의 펄스들을 생성하는, 내시경 시스템.
- 제54항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 단일 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제55항에 있어서, 상기 단일 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제54항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 상기 디스플레이 상에 오버레이 이미지로서 사용자에게 디스플레이되는, 내시경 시스템.
- 제57항에 있어서, 상기 오버레이 이미지에는 상기 디스플레이 상에 사용하기 위한 가시 컬러가 할당되고; 상기 가시 컬러는 8-비트 또는 16-비트 또는 n-비트인, 내시경 시스템.
- 제1항에 있어서, 상기 광 엔진은 편광 필터를 포함하는, 내시경 시스템.
- 제59항에 있어서, 상기 편광 필터는 상기 전자기 방사선의 경로 내에 위치되는, 내시경 시스템.
- 제60항에 있어서, 상기 편광 필터는 상기 루멘의 근위 단부에 위치되는, 내시경 시스템.
- 제60항에 있어서, 상기 편광 필터는 상기 루멘의 원위 단부에 위치되는, 내시경 시스템.
- 제1항에 있어서, 상기 렌즈 조립체는 전자기 방사선 필터를 포함하는, 내시경 시스템.
- 제1항에 있어서, 상기 렌즈 조립체는 편광 필터를 포함하는, 내시경 시스템.
- 제1항에 있어서, 전자기 방사선의 각각의 펄스는 상기 하나 이상의 이미지 센서들에 의해 생성되는 노출 프레임을 생성하고; 하나 이상의 노출 프레임들은 중요한 조직 구조체들의 위치를 제공할 대응하는 시스템에 공급되는, 내시경 시스템.
- 제65항에 있어서, 상기 중요한 구조체들의 위치는 상기 내시경 시스템에 의해 수신되고 디스플레이 상에 오버레이되고, 상기 중요한 구조체들은 알고리즘 또는 사용자에 의해 선택되는 임의의 컬러로 인코딩되는(encoded), 내시경 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762610888P | 2017-12-27 | 2017-12-27 | |
| US62/610,888 | 2017-12-27 | ||
| US201862723989P | 2018-08-28 | 2018-08-28 | |
| US62/723,989 | 2018-08-28 | ||
| PCT/US2018/067725 WO2019133736A1 (en) | 2017-12-27 | 2018-12-27 | Hyperspectral imaging in a light deficient environment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200104379A true KR20200104379A (ko) | 2020-09-03 |
Family
ID=66949640
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207021813A KR20200104371A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 형광 이미징 |
| KR1020207021878A KR20200104379A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 초분광 이미징 |
| KR1020207021814A KR20200104372A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 초분광 이미징 |
| KR1020207021840A KR20200104375A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 도구 추적을 갖는 초분광 이미징 |
| KR1020207021864A KR20200104377A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 형광 이미징 |
| KR1020207021821A KR20200104373A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 형광 이미징 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207021813A KR20200104371A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 형광 이미징 |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207021814A KR20200104372A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 초분광 이미징 |
| KR1020207021840A KR20200104375A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 도구 추적을 갖는 초분광 이미징 |
| KR1020207021864A KR20200104377A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 형광 이미징 |
| KR1020207021821A KR20200104373A (ko) | 2017-12-27 | 2018-12-27 | 광 결핍 환경에서의 형광 이미징 |
Country Status (8)
| Country | Link |
|---|---|
| US (8) | US11803979B2 (ko) |
| EP (6) | EP3731725A4 (ko) |
| JP (6) | JP2021508546A (ko) |
| KR (6) | KR20200104371A (ko) |
| CN (6) | CN111526776A (ko) |
| BR (6) | BR112020012682A2 (ko) |
| IL (6) | IL275563B1 (ko) |
| WO (6) | WO2019133741A1 (ko) |
Families Citing this family (86)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2878514A1 (en) | 2012-07-26 | 2014-01-30 | Olive Medical Corporation | Ycbcr pulsed illumination scheme in a light deficient environment |
| KR102118310B1 (ko) * | 2012-07-26 | 2020-06-04 | 디퍼이 신테스 프로덕츠, 인코포레이티드 | 단색 센서를 사용한 넓은 동적범위 |
| MX2018006791A (es) | 2012-07-26 | 2022-01-20 | Depuy Synthes Products Inc | Video continuo en un entorno deficiente de luz. |
| WO2014144986A1 (en) | 2013-03-15 | 2014-09-18 | Olive Medical Corporation | Scope sensing in a light controlled environment |
| WO2014145249A1 (en) | 2013-03-15 | 2014-09-18 | Olive Medical Corporation | Controlling the integral light energy of a laser pulse |
| US10084944B2 (en) | 2014-03-21 | 2018-09-25 | DePuy Synthes Products, Inc. | Card edge connector for an imaging sensor |
| US10565701B2 (en) | 2015-11-16 | 2020-02-18 | Applied Materials, Inc. | Color imaging for CMP monitoring |
| US11557048B2 (en) | 2015-11-16 | 2023-01-17 | Applied Materials, Inc. | Thickness measurement of substrate using color metrology |
| JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
| US11573124B2 (en) * | 2016-04-14 | 2023-02-07 | National University Corporation Hokkaido University | Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device |
| US11803979B2 (en) | 2017-12-27 | 2023-10-31 | Cilag Gmbh International | Hyperspectral imaging in a light deficient environment |
| US10694117B2 (en) * | 2018-06-07 | 2020-06-23 | Curadel, LLC | Masking approach for imaging multi-peak fluorophores by an imaging system |
| US11100628B2 (en) * | 2019-02-07 | 2021-08-24 | Applied Materials, Inc. | Thickness measurement of substrate using color metrology |
| US11112865B1 (en) * | 2019-02-13 | 2021-09-07 | Facebook Technologies, Llc | Systems and methods for using a display as an illumination source for eye tracking |
| US20220095891A1 (en) * | 2019-02-14 | 2022-03-31 | Dai Nippon Printing Co., Ltd. | Color correction device for medical apparatus |
| US11937784B2 (en) | 2019-06-20 | 2024-03-26 | Cilag Gmbh International | Fluorescence imaging in a light deficient environment |
| US11622094B2 (en) | 2019-06-20 | 2023-04-04 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for fluorescence imaging |
| US10841504B1 (en) | 2019-06-20 | 2020-11-17 | Ethicon Llc | Fluorescence imaging with minimal area monolithic image sensor |
| US11337596B2 (en) | 2019-06-20 | 2022-05-24 | Cilag Gmbh International | Controlling integral energy of a laser pulse in a fluorescence imaging system |
| US20200397302A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Fluorescence imaging in a light deficient environment |
| US11134832B2 (en) * | 2019-06-20 | 2021-10-05 | Cilag Gmbh International | Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system |
| US11633089B2 (en) | 2019-06-20 | 2023-04-25 | Cilag Gmbh International | Fluorescence imaging with minimal area monolithic image sensor |
| US11793399B2 (en) | 2019-06-20 | 2023-10-24 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system |
| US11122968B2 (en) | 2019-06-20 | 2021-09-21 | Cilag Gmbh International | Optical fiber waveguide in an endoscopic system for hyperspectral imaging |
| US11533417B2 (en) | 2019-06-20 | 2022-12-20 | Cilag Gmbh International | Laser scanning and tool tracking imaging in a light deficient environment |
| US11172811B2 (en) * | 2019-06-20 | 2021-11-16 | Cilag Gmbh International | Image rotation in an endoscopic fluorescence imaging system |
| US11276148B2 (en) * | 2019-06-20 | 2022-03-15 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
| US11412152B2 (en) * | 2019-06-20 | 2022-08-09 | Cilag Gmbh International | Speckle removal in a pulsed hyperspectral imaging system |
| US11674848B2 (en) | 2019-06-20 | 2023-06-13 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for hyperspectral imaging |
| US11012599B2 (en) | 2019-06-20 | 2021-05-18 | Ethicon Llc | Hyperspectral imaging in a light deficient environment |
| US11398011B2 (en) | 2019-06-20 | 2022-07-26 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed laser mapping imaging system |
| US11412920B2 (en) * | 2019-06-20 | 2022-08-16 | Cilag Gmbh International | Speckle removal in a pulsed fluorescence imaging system |
| US10979646B2 (en) | 2019-06-20 | 2021-04-13 | Ethicon Llc | Fluorescence imaging with minimal area monolithic image sensor |
| US11758256B2 (en) | 2019-06-20 | 2023-09-12 | Cilag Gmbh International | Fluorescence imaging in a light deficient environment |
| US11172810B2 (en) | 2019-06-20 | 2021-11-16 | Cilag Gmbh International | Speckle removal in a pulsed laser mapping imaging system |
| US20200397239A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
| US11471055B2 (en) | 2019-06-20 | 2022-10-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
| US11218645B2 (en) | 2019-06-20 | 2022-01-04 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for fluorescence imaging |
| US11375886B2 (en) | 2019-06-20 | 2022-07-05 | Cilag Gmbh International | Optical fiber waveguide in an endoscopic system for laser mapping imaging |
| US11986160B2 (en) * | 2019-06-20 | 2024-05-21 | Cllag GmbH International | Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system |
| US11221414B2 (en) * | 2019-06-20 | 2022-01-11 | Cilag Gmbh International | Laser mapping imaging with fixed pattern noise cancellation |
| US11892403B2 (en) | 2019-06-20 | 2024-02-06 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system |
| US11898909B2 (en) | 2019-06-20 | 2024-02-13 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
| US11716533B2 (en) | 2019-06-20 | 2023-08-01 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system |
| US11617541B2 (en) | 2019-06-20 | 2023-04-04 | Cilag Gmbh International | Optical fiber waveguide in an endoscopic system for fluorescence imaging |
| US11700995B2 (en) * | 2019-06-20 | 2023-07-18 | Cilag Gmbh International | Speckle removal in a pulsed fluorescence imaging system |
| US11931009B2 (en) | 2019-06-20 | 2024-03-19 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a hyperspectral imaging system |
| US11237270B2 (en) | 2019-06-20 | 2022-02-01 | Cilag Gmbh International | Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation |
| US11516388B2 (en) | 2019-06-20 | 2022-11-29 | Cilag Gmbh International | Pulsed illumination in a fluorescence imaging system |
| US11457154B2 (en) * | 2019-06-20 | 2022-09-27 | Cilag Gmbh International | Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
| US11291358B2 (en) * | 2019-06-20 | 2022-04-05 | Cilag Gmbh International | Fluorescence videostroboscopy of vocal cords |
| US11265491B2 (en) | 2019-06-20 | 2022-03-01 | Cilag Gmbh International | Fluorescence imaging with fixed pattern noise cancellation |
| US11294062B2 (en) | 2019-06-20 | 2022-04-05 | Cilag Gmbh International | Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping |
| US11624830B2 (en) * | 2019-06-20 | 2023-04-11 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for laser mapping imaging |
| US11550057B2 (en) | 2019-06-20 | 2023-01-10 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
| US11288772B2 (en) * | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
| US20200400566A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system |
| US11516387B2 (en) | 2019-06-20 | 2022-11-29 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
| US11432706B2 (en) | 2019-06-20 | 2022-09-06 | Cilag Gmbh International | Hyperspectral imaging with minimal area monolithic image sensor |
| US11716543B2 (en) | 2019-06-20 | 2023-08-01 | Cilag Gmbh International | Wide dynamic range using a monochrome image sensor for fluorescence imaging |
| US11122967B2 (en) | 2019-06-20 | 2021-09-21 | Cilag Gmbh International | Driving light emissions according to a jitter specification in a fluorescence imaging system |
| US11903563B2 (en) * | 2019-06-20 | 2024-02-20 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
| US11233960B2 (en) | 2019-06-20 | 2022-01-25 | Cilag Gmbh International | Fluorescence imaging with fixed pattern noise cancellation |
| US11389066B2 (en) | 2019-06-20 | 2022-07-19 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
| US11071443B2 (en) | 2019-06-20 | 2021-07-27 | Cilag Gmbh International | Minimizing image sensor input/output in a pulsed laser mapping imaging system |
| US11671691B2 (en) | 2019-06-20 | 2023-06-06 | Cilag Gmbh International | Image rotation in an endoscopic laser mapping imaging system |
| US10952619B2 (en) | 2019-06-20 | 2021-03-23 | Ethicon Llc | Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor |
| US11280737B2 (en) | 2019-06-20 | 2022-03-22 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
| US11187658B2 (en) | 2019-06-20 | 2021-11-30 | Cilag Gmbh International | Fluorescence imaging with fixed pattern noise cancellation |
| US11877065B2 (en) | 2019-06-20 | 2024-01-16 | Cilag Gmbh International | Image rotation in an endoscopic hyperspectral imaging system |
| US11540696B2 (en) | 2019-06-20 | 2023-01-03 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
| US20200397267A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Speckle removal in a pulsed fluorescence imaging system |
| US11925328B2 (en) | 2019-06-20 | 2024-03-12 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral imaging system |
| US11187657B2 (en) | 2019-06-20 | 2021-11-30 | Cilag Gmbh International | Hyperspectral imaging with fixed pattern noise cancellation |
| DE102019134473A1 (de) | 2019-12-16 | 2021-06-17 | Hoya Corporation | Live-Kalibrierung |
| WO2021229900A1 (ja) * | 2020-05-13 | 2021-11-18 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| CN112596230B (zh) * | 2020-12-16 | 2022-09-20 | 航天科工微电子系统研究院有限公司 | 用于光电跟踪主动层析照明的光路系统 |
| WO2022140291A1 (en) * | 2020-12-21 | 2022-06-30 | Singular Genomics Systems, Inc. | Systems and methods for multicolor imaging |
| US11671775B2 (en) * | 2020-12-30 | 2023-06-06 | Knowles Electronics, Llc | Microphone assembly with transducer sensitivity drift compensation and electrical circuit therefor |
| US11963727B2 (en) * | 2021-03-30 | 2024-04-23 | Cilag Gmbh International | Method for system architecture for modular energy system |
| US11297294B1 (en) * | 2021-05-20 | 2022-04-05 | Shenzhen Jifu Technology Co, Ltd | Color enhancement of endoscopic image |
| CN113393539B (zh) * | 2021-06-08 | 2023-05-26 | 北方工业大学 | 化学反应溶液颜色突变识别方法 |
| US20230020346A1 (en) * | 2021-07-14 | 2023-01-19 | Cilag Gmbh International | Scene adaptive endoscopic hyperspectral imaging system |
| CN114415202B (zh) * | 2022-03-28 | 2022-07-01 | 北京中科飞鸿科技股份有限公司 | 一种基于图像处理的激光侦查设备用追踪系统 |
| WO2024013303A1 (de) * | 2022-07-14 | 2024-01-18 | Karl Storz Se & Co. Kg | Beleuchtungsvorrichtung, bildgebungsvorrichtung mit einer beleuchtungsvorrichtung, bildgebungssystem, verfahren zur erzeugung von beleuchtungslicht und verfahren zum betrieb einer bildgebungsvorrichtung |
| CN116725467B (zh) * | 2023-03-31 | 2024-03-01 | 苏州宇懋医学科技有限公司 | 内窥镜装置、内窥镜医疗辅助系统及内窥镜图像处理方法 |
Family Cites Families (177)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3844047A (en) | 1973-01-29 | 1974-10-29 | R Carson | Electronic micrometers employing digital processing techniques |
| JPS5940830A (ja) | 1982-08-31 | 1984-03-06 | 浜松ホトニクス株式会社 | レ−ザ光パルスを用いた癌の診断装置 |
| US5318024A (en) * | 1985-03-22 | 1994-06-07 | Massachusetts Institute Of Technology | Laser endoscope for spectroscopic imaging |
| JP3217343B2 (ja) | 1989-03-23 | 2001-10-09 | オリンパス光学工業株式会社 | 画像処理装置 |
| JPH04158205A (ja) * | 1990-10-23 | 1992-06-01 | Toshiba Corp | 形状計測内視鏡装置 |
| US5784162A (en) * | 1993-08-18 | 1998-07-21 | Applied Spectral Imaging Ltd. | Spectral bio-imaging methods for biological research, medical diagnostics and therapy |
| US5363387A (en) | 1992-11-18 | 1994-11-08 | Rare Earth Medical, Inc. | Variable pulsewidth lasers |
| US5749830A (en) * | 1993-12-03 | 1998-05-12 | Olympus Optical Co., Ltd. | Fluorescent endoscope apparatus |
| US5902246A (en) * | 1996-03-26 | 1999-05-11 | Lifespex, Incorporated | Method and apparatus for calibrating an optical probe |
| DE19612536A1 (de) * | 1996-03-29 | 1997-10-02 | Freitag Lutz Dr | Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung |
| US7179222B2 (en) * | 1996-11-20 | 2007-02-20 | Olympus Corporation | Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum |
| JP3713347B2 (ja) * | 1996-11-25 | 2005-11-09 | オリンパス株式会社 | 蛍光内視鏡装置 |
| US7468075B2 (en) | 2001-05-25 | 2008-12-23 | Conformis, Inc. | Methods and compositions for articular repair |
| NL1005068C2 (nl) * | 1997-01-23 | 1998-07-27 | Ct Rrn Academisch Ziekenhuis U | Cathetersysteem en een daarvan deel uitmakende catheter. |
| US6937885B1 (en) * | 1997-10-30 | 2005-08-30 | Hypermed, Inc. | Multispectral/hyperspectral medical instrument |
| WO1999037204A1 (en) * | 1998-01-26 | 1999-07-29 | Massachusetts Institute Of Technology | Fluorescence imaging endoscope |
| US6110106A (en) | 1998-06-24 | 2000-08-29 | Biomax Technologies, Inc. | Endoscopes and methods relating to direct viewing of a target tissue |
| US6468265B1 (en) | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
| DE60024059T2 (de) | 1999-01-26 | 2006-07-20 | Newton Laboratories, Inc., Woburn | Vorrichtung zur autofluoreszensbildgebung für ein endoskop |
| US20050270528A1 (en) * | 1999-04-09 | 2005-12-08 | Frank Geshwind | Hyper-spectral imaging methods and devices |
| US6563105B2 (en) | 1999-06-08 | 2003-05-13 | University Of Washington | Image acquisition with depth enhancement |
| JP3850192B2 (ja) * | 1999-12-09 | 2006-11-29 | 株式会社ニデック | 眼底撮影装置 |
| US20020138008A1 (en) * | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
| AU2001251164B2 (en) | 2000-03-28 | 2006-11-02 | Board Of Regents, The University Of Texas System | Methods and apparatus for diagnostic multispectral digital imaging |
| AU2001259435A1 (en) | 2000-05-03 | 2001-11-12 | Stephen T Flock | Optical imaging of subsurface anatomical structures and biomolecules |
| US6748259B1 (en) | 2000-06-15 | 2004-06-08 | Spectros Corporation | Optical imaging of induced signals in vivo under ambient light conditions |
| US6975898B2 (en) * | 2000-06-19 | 2005-12-13 | University Of Washington | Medical imaging, diagnosis, and therapy using a scanning single optical fiber system |
| DE10107586A1 (de) * | 2001-02-10 | 2002-08-14 | Biotronik Mess & Therapieg | Endoskopischer Katheter |
| JP2002253500A (ja) * | 2001-03-05 | 2002-09-10 | Olympus Optical Co Ltd | 内視鏡用光源装置 |
| JP2002315721A (ja) * | 2001-04-20 | 2002-10-29 | Mitaka Koki Co Ltd | 癌組織摘出手術用の立体視システム |
| CN1316427C (zh) | 2001-07-12 | 2007-05-16 | 杜莱布斯公司 | 产生与装置链的装置的缺陷相关的格式化信息的方法和系统 |
| WO2003017745A2 (en) | 2001-08-23 | 2003-03-06 | Sciperio, Inc. | Architecture tool and methods of use |
| US6995841B2 (en) | 2001-08-28 | 2006-02-07 | Rice University | Pulsed-multiline excitation for color-blind fluorescence detection |
| US6985622B2 (en) | 2001-09-21 | 2006-01-10 | Hewlett-Packard Development Company, L.P. | System and method for color correcting electronically captured images by determining input media types using color correlation matrix |
| US20040092958A1 (en) * | 2001-11-15 | 2004-05-13 | Limonadi Farhad M. | Stereotactic wands, endoscopes and methods using such wands and endoscopes |
| WO2003068064A1 (en) | 2002-02-12 | 2003-08-21 | Science & Engineering Associates, Inc. | Cancer detection and adaptive dose optimization treatment system |
| WO2003070098A2 (en) | 2002-02-19 | 2003-08-28 | Biophan Technologies, Inc. | Magnetic resonance imaging capable catheter assembly |
| US8620410B2 (en) | 2002-03-12 | 2013-12-31 | Beth Israel Deaconess Medical Center | Multi-channel medical imaging system |
| US6825930B2 (en) | 2002-06-04 | 2004-11-30 | Cambridge Research And Instrumentation, Inc. | Multispectral imaging system |
| GB0217570D0 (en) | 2002-07-30 | 2002-09-11 | Univ Birmingham | Method and apparatus for quantifying material or object properties |
| US7448995B2 (en) | 2003-06-23 | 2008-11-11 | Microvision, Inc. | Scanning endoscope |
| EP1680024A2 (en) | 2003-10-21 | 2006-07-19 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for intraoperative targetting |
| US20050205758A1 (en) | 2004-03-19 | 2005-09-22 | Almeida Leo A | Method and apparatus for multi-spectral photodetection |
| JP5197916B2 (ja) * | 2004-09-08 | 2013-05-15 | オリンパス株式会社 | 内視鏡装置 |
| JP2008514970A (ja) | 2004-09-24 | 2008-05-08 | オプティスキャン ピーティーワイ リミテッド | 走査装置 |
| US8480566B2 (en) | 2004-09-24 | 2013-07-09 | Vivid Medical, Inc. | Solid state illumination for endoscopy |
| US7826878B2 (en) * | 2004-12-07 | 2010-11-02 | Research Foundation Of City University Of New York | Optical tomography using independent component analysis for detection and localization of targets in turbid media |
| JP5028008B2 (ja) * | 2004-12-08 | 2012-09-19 | オリンパス株式会社 | 蛍光内視鏡装置 |
| US8872906B2 (en) * | 2005-01-05 | 2014-10-28 | Avantis Medical Systems, Inc. | Endoscope assembly with a polarizing filter |
| DE202005003411U1 (de) * | 2005-02-24 | 2006-07-06 | Karl Storz Gmbh & Co. Kg | Multifunktionales Fluoreszenzdiagnosesystem |
| EP2703871A3 (en) | 2005-05-25 | 2014-09-03 | Massachusetts Institute Of Technology | Multifocal scanning microscopy systems and methods |
| JP2006325973A (ja) * | 2005-05-26 | 2006-12-07 | Olympus Medical Systems Corp | 画像生成装置 |
| CN101188965B (zh) | 2005-06-08 | 2012-08-08 | 奥林巴斯医疗株式会社 | 内窥镜装置 |
| JP2007029232A (ja) * | 2005-07-25 | 2007-02-08 | Hitachi Medical Corp | 内視鏡手術操作支援システム |
| US20070086495A1 (en) * | 2005-08-12 | 2007-04-19 | Sprague Randall B | Method and apparatus for stable laser drive |
| JP5114024B2 (ja) | 2005-08-31 | 2013-01-09 | オリンパス株式会社 | 光イメージング装置 |
| JP4677636B2 (ja) * | 2005-12-13 | 2011-04-27 | 日本電信電話株式会社 | オプティカル・コヒーレンス・トモグラフィー装置及びこれに用いる可変波長光発生装置 |
| JP4744288B2 (ja) | 2005-12-21 | 2011-08-10 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
| US20090303317A1 (en) * | 2006-02-07 | 2009-12-10 | Novadaq Technologies Inc. | Near infrared imaging |
| JP4769952B2 (ja) | 2006-02-22 | 2011-09-07 | 国立大学法人九州工業大学 | レーザー光による指先血流測定を利用した個人認証方法及び個人認証装置 |
| US7990524B2 (en) | 2006-06-30 | 2011-08-02 | The University Of Chicago | Stochastic scanning apparatus using multiphoton multifocal source |
| US20080058629A1 (en) | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
| US20080090220A1 (en) | 2006-08-28 | 2008-04-17 | Vincent Freeman | Modular virtual learning system and method |
| DE102006046925A1 (de) * | 2006-09-28 | 2008-04-03 | Jenlab Gmbh | Verfahren und Anordnung zur Laser-Endoskopie für die Mikrobearbeitung |
| JP2008161550A (ja) * | 2006-12-28 | 2008-07-17 | Olympus Corp | 内視鏡システム |
| AU2008207265B2 (en) * | 2007-01-19 | 2013-08-01 | Sunnybrook Health Sciences Centre | Scanning mechanisms for imaging probe |
| US20080177140A1 (en) | 2007-01-23 | 2008-07-24 | Xillix Technologies Corp. | Cameras for fluorescence and reflectance imaging |
| JP2008259595A (ja) * | 2007-04-10 | 2008-10-30 | Hamamatsu Photonics Kk | 蛍光観察装置 |
| EP2207595A4 (en) * | 2007-10-19 | 2012-10-24 | Lockheed Corp | SYSTEM AND METHOD FOR THE TREATMENT OF ANIMAL TISSUE USING LASER LIGHT |
| WO2009064746A2 (en) * | 2007-11-12 | 2009-05-22 | Cornell University | Multi-path, multi-magnification, non-confocal fluorescence emission endoscopy apparatus and methods |
| EP3869205B1 (en) | 2008-01-21 | 2023-11-22 | Nexus Dx, Inc. | Thin-film layered centrifuge device and analysis method using the same |
| JP5165400B2 (ja) | 2008-01-23 | 2013-03-21 | オリンパス株式会社 | 光源装置 |
| US9052384B2 (en) * | 2008-05-22 | 2015-06-09 | The Trustees Of Dartmouth College | System and method for calibration for image-guided surgery |
| US20090289200A1 (en) * | 2008-05-22 | 2009-11-26 | Fujifilm Corporation | Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit |
| US8506478B2 (en) | 2008-06-04 | 2013-08-13 | Fujifilm Corporation | Illumination device for use in endoscope |
| GB0812712D0 (en) * | 2008-07-10 | 2008-08-20 | Imp Innovations Ltd | Improved endoscope |
| US8406859B2 (en) | 2008-08-10 | 2013-03-26 | Board Of Regents, The University Of Texas System | Digital light processing hyperspectral imaging apparatus |
| US20120273470A1 (en) | 2011-02-24 | 2012-11-01 | Zediker Mark S | Method of protecting high power laser drilling, workover and completion systems from carbon gettering deposits |
| AU2009303690B2 (en) * | 2008-09-26 | 2014-06-19 | Tocagen Inc. | Gene therapy vectors and cytosine deaminases |
| US8471895B2 (en) * | 2008-11-25 | 2013-06-25 | Paul S. Banks | Systems and methods of high resolution three-dimensional imaging |
| JP2010125284A (ja) * | 2008-12-01 | 2010-06-10 | Fujifilm Corp | 撮像システム |
| JP5342869B2 (ja) * | 2008-12-22 | 2013-11-13 | Ｈｏｙａ株式会社 | 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法 |
| JP5874116B2 (ja) | 2009-07-30 | 2016-03-02 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
| US8986302B2 (en) | 2009-10-09 | 2015-03-24 | Ethicon Endo-Surgery, Inc. | Surgical generator for ultrasonic and electrosurgical devices |
| JP5795599B2 (ja) | 2010-01-13 | 2015-10-14 | コーニンクレッカ フィリップス エヌ ヴェ | 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション |
| WO2011091283A1 (en) * | 2010-01-22 | 2011-07-28 | Board Of Regents, The University Of Texas System | Systems, devices and methods for imaging and surgery |
| KR101172745B1 (ko) | 2010-01-29 | 2012-08-14 | 한국전기연구원 | 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치 |
| US9044142B2 (en) * | 2010-03-12 | 2015-06-02 | Carl Zeiss Meditec Ag | Surgical optical systems for detecting brain tumors |
| JP2011206227A (ja) * | 2010-03-29 | 2011-10-20 | Fujifilm Corp | 内視鏡装置 |
| JP2011206435A (ja) * | 2010-03-30 | 2011-10-20 | Fujifilm Corp | 撮像装置、撮像方法、撮像プログラム、及び内視鏡 |
| JP5919258B2 (ja) | 2010-04-22 | 2016-05-18 | プリサイス ライト サージカル インコーポレイテッド | フラッシュ蒸発手術システム |
| US9946058B2 (en) | 2010-06-11 | 2018-04-17 | Nikon Corporation | Microscope apparatus and observation method |
| JP5508959B2 (ja) * | 2010-06-30 | 2014-06-04 | 富士フイルム株式会社 | 内視鏡装置 |
| JP2012016545A (ja) | 2010-07-09 | 2012-01-26 | Fujifilm Corp | 内視鏡装置 |
| JP5707758B2 (ja) * | 2010-07-13 | 2015-04-30 | ソニー株式会社 | 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法 |
| JP5544231B2 (ja) * | 2010-07-15 | 2014-07-09 | 富士フイルム株式会社 | 内視鏡光源装置及び内視鏡システム |
| JP5481294B2 (ja) * | 2010-07-15 | 2014-04-23 | 富士フイルム株式会社 | 内視鏡システム |
| DE102010050227A1 (de) * | 2010-11-04 | 2012-05-10 | Siemens Aktiengesellschaft | Endoskop mit 3D-Funktionalität |
| JP5292379B2 (ja) * | 2010-11-09 | 2013-09-18 | 富士フイルム株式会社 | 内視鏡装置 |
| WO2012065163A2 (en) | 2010-11-12 | 2012-05-18 | Emory University | Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure |
| JP5526000B2 (ja) * | 2010-11-15 | 2014-06-18 | 富士フイルム株式会社 | 内視鏡及び内視鏡用光源装置 |
| WO2012116339A1 (en) * | 2011-02-24 | 2012-08-30 | Olive Medical Corporation | Imaging sensor providing improved visualization for surgical scopes |
| JP5351924B2 (ja) | 2011-04-01 | 2013-11-27 | 富士フイルム株式会社 | 生体情報取得システムおよび生体情報取得システムの作動方法 |
| CN102279048B (zh) * | 2011-04-12 | 2013-01-23 | 华东师范大学 | 一种宽波段显微成像光谱系统及其变波长快速调焦控制方法 |
| US9979949B2 (en) * | 2011-07-13 | 2018-05-22 | Viking Systems, Inc | Method and apparatus for obtaining stereoscopic 3D visualization using commercially available 2D endoscopes |
| GB201113138D0 (en) * | 2011-07-29 | 2011-09-14 | Univ East Anglia | Method, system and device for detecting insects and other pests |
| JP5709691B2 (ja) * | 2011-08-23 | 2015-04-30 | 富士フイルム株式会社 | 内視鏡装置 |
| US8827990B2 (en) | 2011-09-29 | 2014-09-09 | Biolase, Inc. | Methods for treating eye conditions |
| WO2013101669A2 (en) | 2011-12-27 | 2013-07-04 | Parasher Vinod | METHODS AND DEVICES FOR GASTROINTESTINAL SURGICAL PROCEDURES USING NEAR INFRARED (nIR) IMAGING TECHNIQUES |
| US9103528B2 (en) | 2012-01-20 | 2015-08-11 | Lumencor, Inc | Solid state continuous white light source |
| JP5918548B2 (ja) | 2012-01-24 | 2016-05-18 | 富士フイルム株式会社 | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム |
| WO2013116316A1 (en) * | 2012-01-30 | 2013-08-08 | Scanadu Incorporated | Hyperspectral imaging systems, units, and methods |
| US8986199B2 (en) * | 2012-02-17 | 2015-03-24 | Ethicon Endo-Surgery, Inc. | Apparatus and methods for cleaning the lens of an endoscope |
| EP2719317A4 (en) | 2012-03-30 | 2015-05-06 | Olympus Medical Systems Corp | ENDOSCOPE |
| JP5965726B2 (ja) | 2012-05-24 | 2016-08-10 | オリンパス株式会社 | 立体視内視鏡装置 |
| US10953241B2 (en) | 2012-05-25 | 2021-03-23 | Ojai Retinal Technology, Llc | Process for providing protective therapy for biological tissues or fluids |
| WO2014014838A2 (en) | 2012-07-15 | 2014-01-23 | 2R1Y | Interactive illumination for gesture and/or object recognition |
| CA2878514A1 (en) | 2012-07-26 | 2014-01-30 | Olive Medical Corporation | Ycbcr pulsed illumination scheme in a light deficient environment |
| MX2018006791A (es) * | 2012-07-26 | 2022-01-20 | Depuy Synthes Products Inc | Video continuo en un entorno deficiente de luz. |
| GB2505926A (en) * | 2012-09-14 | 2014-03-19 | Sony Corp | Display of Depth Information Within a Scene |
| EP2918217B1 (en) * | 2012-11-09 | 2019-03-06 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device and endoscope |
| WO2014134314A1 (en) | 2013-03-01 | 2014-09-04 | The Johns Hopkins University | Light sources, medical devices, and methods of illuminating an object of interest |
| US9456752B2 (en) * | 2013-03-14 | 2016-10-04 | Aperture Diagnostics Ltd. | Full-field three-dimensional surface measurement |
| WO2014152757A2 (en) | 2013-03-15 | 2014-09-25 | Stryker Corporation | Endoscopic light source and imaging system |
| JP5695808B1 (ja) | 2013-04-19 | 2015-04-08 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
| US10165972B2 (en) | 2013-07-12 | 2019-01-01 | Inthesmart Co., Ltd. | Apparatus and method for detecting NIR fluorescence at sentinel lymph node |
| US20150030542A1 (en) | 2013-07-26 | 2015-01-29 | Sunil Singhal | Methods for medical imaging |
| WO2015016172A1 (ja) * | 2013-08-01 | 2015-02-05 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム、内視鏡システムの作動方法 |
| CN105377111B (zh) * | 2013-08-01 | 2017-08-04 | 奥林巴斯株式会社 | 内窥镜系统 |
| JP5891208B2 (ja) | 2013-08-13 | 2016-03-22 | Hoya株式会社 | 内視鏡用照明光学系 |
| WO2015077493A1 (en) * | 2013-11-20 | 2015-05-28 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
| JP6129731B2 (ja) * | 2013-12-24 | 2017-05-17 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| DE102014002514B4 (de) * | 2014-02-21 | 2015-10-29 | Universität Stuttgart | Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie |
| WO2015167929A1 (en) * | 2014-04-28 | 2015-11-05 | Cardiofocus, Inc. | System and method for visualizing tissue with an icg dye composition during ablation procedures |
| CN103989459B (zh) * | 2014-05-20 | 2021-05-18 | 曾堃 | 用于鉴别恶性肿瘤的形成过程的光学观测设备及内窥镜 |
| US9696200B2 (en) * | 2014-05-23 | 2017-07-04 | Abl Ip Holding Llc | Combinatorial light device for general lighting and lighting for machine vision |
| US10684224B2 (en) | 2014-06-05 | 2020-06-16 | Universität Heidelberg | Method and means for multispectral imaging |
| JP6253527B2 (ja) * | 2014-06-24 | 2017-12-27 | オリンパス株式会社 | 内視鏡装置 |
| JP6039606B2 (ja) * | 2014-06-24 | 2016-12-07 | 富士フイルム株式会社 | 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法 |
| JP6251888B2 (ja) | 2014-06-25 | 2017-12-27 | パナソニックＩｐマネジメント株式会社 | 投影システム |
| CA2902675C (en) * | 2014-08-29 | 2021-07-27 | Farnoud Kazemzadeh | Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging |
| US9547165B2 (en) | 2014-08-29 | 2017-01-17 | Reinroth Gmbh | Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths |
| US20170035280A1 (en) * | 2015-08-07 | 2017-02-09 | Reinroth Gmbh | Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths |
| AU2015327665B2 (en) * | 2014-09-29 | 2018-09-27 | Stryker European Operations Limited | Imaging a target fluorophore in a biological material in the presence of autofluorescence |
| US10473916B2 (en) | 2014-09-30 | 2019-11-12 | Washington University | Multiple-view compressed-sensing ultrafast photography (MV-CUP) |
| CN204207717U (zh) * | 2014-10-13 | 2015-03-18 | 佛山市南海区欧谱曼迪科技有限责任公司 | 内窥镜照射光谱选择装置及超光谱内窥镜成像系统 |
| JP6456129B2 (ja) * | 2014-12-15 | 2019-01-23 | キヤノン株式会社 | 被検体情報取得装置およびその制御方法ならびに光量制御方法 |
| JP6657224B2 (ja) * | 2014-12-16 | 2020-03-04 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 波長帯選択による画像化を用いた尿管検出 |
| US9395293B1 (en) * | 2015-01-12 | 2016-07-19 | Verily Life Sciences Llc | High-throughput hyperspectral imaging with superior resolution and optical sectioning |
| DE102015003019A1 (de) | 2015-03-06 | 2016-09-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur optischen Detektion einer Bewegung in einer biologischen Probe mit räumlicher Ausdehnung |
| WO2016168378A1 (en) | 2015-04-13 | 2016-10-20 | Gerard Dirk Smits | Machine vision for ego-motion, segmenting, and classifying objects |
| US20170059305A1 (en) | 2015-08-25 | 2017-03-02 | Lytro, Inc. | Active illumination for enhanced depth map generation |
| JP2016202726A (ja) * | 2015-04-27 | 2016-12-08 | ソニー株式会社 | 光線力学診断装置及び光線力学診断方法 |
| US10397489B2 (en) * | 2015-05-15 | 2019-08-27 | Sony Corporation | Light source control device, method of controlling light source, and image capture system |
| WO2016191142A2 (en) * | 2015-05-27 | 2016-12-01 | Verily Life Sciences Llc | Nanophotonic hyperspectral/lightfield superpixel imager |
| JP6484336B2 (ja) * | 2015-06-17 | 2019-03-13 | オリンパス株式会社 | 撮像装置 |
| US10987129B2 (en) | 2015-09-04 | 2021-04-27 | Medos International Sarl | Multi-shield spinal access system |
| CN114674825A (zh) | 2015-09-17 | 2022-06-28 | 思迪赛特诊断有限公司 | 用于检测身体样本中实体的方法和设备 |
| WO2017066493A1 (en) * | 2015-10-13 | 2017-04-20 | Hypermed Imaging, Inc. | Compact light sensors for surgical applications and shock detection |
| TWI537762B (zh) * | 2016-01-12 | 2016-06-11 | Application of hyperfamily imaging to identification of cancerous lesions | |
| US9939231B2 (en) * | 2016-01-20 | 2018-04-10 | Raytheon Company | Dual-band semi-active laser system |
| WO2017127929A1 (en) | 2016-01-26 | 2017-08-03 | Novadaq Technologies Inc. | Configurable platform |
| US10708478B2 (en) * | 2016-03-23 | 2020-07-07 | Karl Storz Imaging, Inc. | Image transformation and display for fluorescent and visible imaging |
| US20170280970A1 (en) * | 2016-03-31 | 2017-10-05 | Covidien Lp | Thoracic endoscope for surface scanning |
| US10690904B2 (en) * | 2016-04-12 | 2020-06-23 | Stryker Corporation | Multiple imaging modality light source |
| WO2017201093A1 (en) | 2016-05-17 | 2017-11-23 | Hypermed Imaging, Inc. | Hyperspectral imager coupled with indicator molecule tracking |
| JPWO2017221336A1 (ja) | 2016-06-21 | 2019-04-11 | オリンパス株式会社 | 内視鏡システム、画像処理装置、画像処理方法およびプログラム |
| JP6660823B2 (ja) * | 2016-06-24 | 2020-03-11 | 富士フイルム株式会社 | 内視鏡装置 |
| US10709333B2 (en) | 2016-07-25 | 2020-07-14 | PhotoSound Technologies, Inc. | Instrument for acquiring co-registered orthogonal fluorescence and photoacoustic volumetric projections of tissue and methods of its use |
| CN115778543A (zh) | 2016-09-09 | 2023-03-14 | 直观外科手术操作公司 | 同时带有白光和高光谱光的成像系统 |
| JP6364050B2 (ja) * | 2016-09-13 | 2018-07-25 | パナソニック株式会社 | 内視鏡システム |
| US10386489B2 (en) | 2017-02-01 | 2019-08-20 | Jeffrey Albelo | Beam scanner for autonomous vehicles |
| WO2018145193A1 (en) | 2017-02-10 | 2018-08-16 | Novadaq Technologies ULC | Open-field handheld fluorescence imaging systems and methods |
| WO2019123796A1 (ja) | 2017-12-22 | 2019-06-27 | オリンパス株式会社 | 内視鏡システム |
| US11803979B2 (en) | 2017-12-27 | 2023-10-31 | Cilag Gmbh International | Hyperspectral imaging in a light deficient environment |
| DE102018124984A1 (de) * | 2018-10-10 | 2020-04-16 | Friedrich-Schiller-Universität Jena | Verfahren und Vorrichtung zur hochaufgelösten Fluoreszenzmikroskopie |
| AU2021210962A1 (en) | 2020-01-22 | 2022-08-04 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
-
2018
- 2018-12-27 US US16/234,175 patent/US11803979B2/en active Active
- 2018-12-27 BR BR112020012682-9A patent/BR112020012682A2/pt unknown
- 2018-12-27 KR KR1020207021813A patent/KR20200104371A/ko not_active Application Discontinuation
- 2018-12-27 EP EP18895009.1A patent/EP3731725A4/en not_active Withdrawn
- 2018-12-27 BR BR112020012741-8A patent/BR112020012741A2/pt unknown
- 2018-12-27 BR BR112020012999-2A patent/BR112020012999A2/pt unknown
- 2018-12-27 EP EP18895541.3A patent/EP3731726A4/en active Pending
- 2018-12-27 CN CN201880084544.7A patent/CN111526776A/zh active Pending
- 2018-12-27 KR KR1020207021878A patent/KR20200104379A/ko not_active Application Discontinuation
- 2018-12-27 WO PCT/US2018/067732 patent/WO2019133741A1/en unknown
- 2018-12-27 EP EP18896340.9A patent/EP3731727A4/en not_active Withdrawn
- 2018-12-27 KR KR1020207021814A patent/KR20200104372A/ko not_active Application Discontinuation
- 2018-12-27 US US16/234,332 patent/US11823403B2/en active Active
- 2018-12-27 IL IL275563A patent/IL275563B1/en unknown
- 2018-12-27 BR BR112020012708-6A patent/BR112020012708A2/pt unknown
- 2018-12-27 US US16/234,360 patent/US20190191977A1/en active Pending
- 2018-12-27 JP JP2020536038A patent/JP2021508546A/ja active Pending
- 2018-12-27 EP EP18894048.0A patent/EP3731724A4/en not_active Withdrawn
- 2018-12-27 JP JP2020536006A patent/JP2021508543A/ja active Pending
- 2018-12-27 JP JP2020536245A patent/JP2021509337A/ja active Pending
- 2018-12-27 EP EP18895663.5A patent/EP3731723A4/en active Pending
- 2018-12-27 WO PCT/US2018/067725 patent/WO2019133736A1/en unknown
- 2018-12-27 KR KR1020207021840A patent/KR20200104375A/ko not_active Application Discontinuation
- 2018-12-27 CN CN201880084584.1A patent/CN111526777A/zh active Pending
- 2018-12-27 WO PCT/US2018/067727 patent/WO2019133737A1/en unknown
- 2018-12-27 US US16/234,222 patent/US20190191974A1/en active Pending
- 2018-12-27 JP JP2020536040A patent/JP2021508547A/ja active Pending
- 2018-12-27 WO PCT/US2018/067747 patent/WO2019133753A1/en unknown
- 2018-12-27 CN CN201880084542.8A patent/CN111526775A/zh active Pending
- 2018-12-27 JP JP2020536005A patent/JP2021508542A/ja active Pending
- 2018-12-27 US US16/234,311 patent/US11574412B2/en active Active
- 2018-12-27 KR KR1020207021864A patent/KR20200104377A/ko not_active Application Discontinuation
- 2018-12-27 WO PCT/US2018/067743 patent/WO2019133750A1/en unknown
- 2018-12-27 EP EP18897089.1A patent/EP3731728A4/en active Pending
- 2018-12-27 BR BR112020012594-6A patent/BR112020012594A2/pt unknown
- 2018-12-27 CN CN201880084581.8A patent/CN111601536B/zh active Active
- 2018-12-27 CN CN201880084520.1A patent/CN111565620A/zh active Pending
- 2018-12-27 BR BR112020012744-2A patent/BR112020012744A2/pt unknown
- 2018-12-27 CN CN201880084535.8A patent/CN111526774A/zh active Pending
- 2018-12-27 JP JP2020536243A patent/JP2021508560A/ja active Pending
- 2018-12-27 WO PCT/US2018/067729 patent/WO2019133739A1/en unknown
- 2018-12-27 US US16/234,252 patent/US20190191975A1/en not_active Abandoned
- 2018-12-27 KR KR1020207021821A patent/KR20200104373A/ko not_active Application Discontinuation
-
2020
- 2020-06-22 IL IL275564A patent/IL275564A/en unknown
- 2020-06-22 IL IL275565A patent/IL275565A/en unknown
- 2020-06-22 IL IL275574A patent/IL275574A/en unknown
- 2020-06-22 IL IL275579A patent/IL275579A/en unknown
- 2020-06-22 IL IL275571A patent/IL275571A/en unknown
-
2023
- 2023-02-07 US US18/165,902 patent/US11900623B2/en active Active
- 2023-10-25 US US18/494,066 patent/US20240054666A1/en active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240054666A1 (en) | Hyperspectral imaging in a light deficient environment | |
| US11012599B2 (en) | Hyperspectral imaging in a light deficient environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |