KR20220095190A - 분자 화학 이미징과 rgb 이미징의 융합 - Google Patents

분자 화학 이미징과 rgb 이미징의 융합 Download PDF

Info

Publication number
KR20220095190A
KR20220095190A KR1020227014512A KR20227014512A KR20220095190A KR 20220095190 A KR20220095190 A KR 20220095190A KR 1020227014512 A KR1020227014512 A KR 1020227014512A KR 20227014512 A KR20227014512 A KR 20227014512A KR 20220095190 A KR20220095190 A KR 20220095190A
Authority
KR
South Korea
Prior art keywords
sample image
image
sample
nir
rgb
Prior art date
Application number
KR1020227014512A
Other languages
English (en)
Inventor
헤더 고머
패트릭 트레도
지항 왕
Original Assignee
켐이미지 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 켐이미지 코포레이션 filed Critical 켐이미지 코포레이션
Publication of KR20220095190A publication Critical patent/KR20220095190A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2256—
    • H04N5/23229—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

분자 화학 이미징(MCI) 및 적색 녹색 청색(RGB) 이미지들을 융합하는 방법들, 시스템들, 및 컴퓨터 프로그램 제품들이 본 명세서에 개시된다. 샘플과 상호작용하고 MCI 및 RGB 이미지들을 형성하는 데 사용되는 조명 광자들로 샘플이 조명된다. MCI 및 RGB 이미지들은 검출 오버레이로 RGB를 생성하기 위해 수학적 연산들에 의해 융합된다.

Description

분자 화학 이미징과 RGB 이미징의 융합
관련 출원의 교차 참조
본 출원은 2019년 10월 2일에 출원된 미국 가출원 일련 번호 62/909,525에 대한 우선권을 주장하며, 그 내용은 그 전체가 참고로 여기에 포함된다.
본 발명은 분자 화학 이미징과 RGB 이미징의 융합에 관한 것이다.
분자 화학 이미징(MCI: molecular chemical imaging)은 관심 있는 유기, 무기, 및 생물학적 샘플들을 분석하는 강력한 기술이지만 단점들을 갖고 있다. 한 가지 단점은 이미징 하드웨어의 한계들로 인해 많은 구현들이 실시간 또는 거의 실시간 이미징을 달성하지 못한다는 것이다. 또 다른 단점은 단독으로 사용할 경우 생성된 MCI 이미지를 해석하기 어려울 수 있다는 것이다. 이는 생물학적 또는 의료적 응용 분야들에서 특히 중요하다. 여러 이미지들의 정보를 더 많은 정보와 대비(contrast)를 포함하는 단일 이미지로 융합할 필요가 계속 있다.
본 개시는 관심 샘플들로부터 생성된 둘 이상의 이미지들을 융합하는 이미징 기술들의 다양한 실시예를 고려한다.
일 실시예에서, 이미지들을 융합하는 방법이 있으며, 이 방법은 조명 광자들(illuminating photons)로 샘플을 조명하는 단계; 샘플과 상호작용하고 제1 카메라 칩으로 이동한 상호작용된 광자들로부터 제1 샘플 이미지를 획득하는 단계; 샘플과 상호작용하고 제2 카메라 칩으로 이동한 상호작용된 광자들로부터 제2 샘플 이미지를 획득하는 단계; 및 제1 샘플 이미지 및 제2 샘플 이미지에 가중치를 부여하여 제1 샘플 이미지 및 제2 샘플 이미지를 융합하는 단계를 포함하고, 제1 샘플 이미지 및 제2 샘플 이미지의 가중치 부여는 이미지 가중 베이시안 융합(IWBF: Image Weighted Bayesian Fusion), 부분 최소 제곱 판별 분석(PLS-DA: Partial Least Squared Discriminant Analysis), 선형 회귀(linear regression), 로지스틱 회귀(logistic regression), 지원 벡터 머신(SVM: Support Vector Machines), 상대 벡터 머신(RVM: Relative Vector Machines), 나이브 베이즈(Naive Bayes), 신경망, 또는 선형 판별 분석(LDA: Linear Discriminant Analysis) 중 하나 이상에 의해 수행되며, 그에 따라 융합된 스코어 이미지(fused score image)를 생성한다.
다른 실시예에서, 방법은 또한 제1 샘플 이미지 및 제2 샘플 이미지 각각에서 글레어(glare)를 검출하고, 글레어로서 식별되는 제1 샘플 이미지 및 제2 샘플 이미지의 부분들을 분류하지 않는 단계를 포함한다.
다른 실시예에서, 방법은 제1 샘플 이미지 및 제2 샘플 이미지의 강도를 정규화하는 단계를 더 포함한다.
다른 실시예에서, 제1 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만(Raman), NIR-eSWIR, 및 eSWIR로 이루어진 그룹으로부터 선택되고, 제2 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만, NIR-eSWIR 및 eSWIR로 이루어진 그룹으로부터 선택된다.
다른 실시예에서, 제1 샘플 이미지는 RGB이고, 제2 샘플 이미지는 Vis-NIR이다.
다른 실시예에서, 제1 샘플 이미지는 색조, 채도, 명도(HSV: Hue, Saturation, Value)로 변환되는 RGB이고, 제1 샘플 이미지의 명도 차원(Value dimension)은 생략된다.
다른 실시예에서, 제2 샘플 이미지는 Vis-NIR이다.
일 실시예에서, 이미지들을 융합하기 위한 시스템이 있으며, 이 시스템은 조명 광자들로 샘플들을 조명하도록 구성된 조명 소스; 샘플과 상호작용한 상호작용된 광자들로부터 제1 샘플 이미지를 획득하도록 구성된 제1 카메라 칩; 샘플과 상호작용한 상호작용된 광자들로부터 제2 샘플 이미지를 획득하도록 구성된 제2 카메라 칩; 및 동작 동안 제1 샘플 이미지와 제2 샘플 이미지에 가중치를 부여하여 제1 샘플 이미지와 제2 샘플 이미지를 융합하는 프로세서를 포함하고, 여기서 제1 샘플 이미지 및 제2 샘플 이미지의 가중치 부여는 이미지 가중 베이시안 융합(IWBF), 부분 최소 제곱 판별 분석(PLS-DA), 선형 회귀, 로지스틱 회귀, 지원 벡터 머신(SVM), 상대 벡터 머신(RVM), 나이브 베이즈, 신경망, 또는 선형 판별 분석(LDA) 중 하나 이상에 의해 수행되며, 그에 따라 융합된 스코어 이미지를 생성한다.
다른 실시예에서, 프로세서는 제1 샘플 이미지 및 제2 샘플 이미지 각각에서 글레어를 검출하고, 글레어로서 식별되는 제1 샘플 이미지 및 제2 샘플 이미지의 부분들을 분류하지 않는다.
다른 실시예에서, 프로세서는 제1 샘플 이미지 및 제2 샘플 이미지의 강도를 정규화한다.
다른 실시예에서, 제1 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만(Raman), NIR-eSWIR, 및 eSWIR로 이루어진 그룹으로부터 선택되고, 제2 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만, NIR-eSWIR 및 eSWIR로 이루어진 그룹으로부터 선택된다.
다른 실시예에서, 제1 샘플 이미지는 RGB이고, 제2 샘플 이미지는 Vis-NIR이다.
다른 실시예에서, 제1 샘플 이미지는 RGB이고, 프로세서는 제1 샘플 이미지를 RGB로부터 색조, 채도, 명도(HSV)로 변환하고, 프로세서는 제1 샘플 이미지의 명도 차원을 생략한다.
다른 실시예에서, 제2 샘플 이미지는 Vis-NIR이다.
일 실시예에서, 비일시적 컴퓨터 판독 가능한 저장 매체 상에 명령들에 의해 구현된 이미지들을 융합하기 위한 컴퓨터 프로그램 제품이 있으며, 명령들이 프로세서에 의해 실행될 때, 조명 소스가 조명 광자들로 샘플들을 조명하게 하고; 제1 카메라 칩이 샘플과 상호작용한 상호작용된 광자들로부터 제1 샘플 이미지를 획득하게 하고; 제2 카메라 칩이 샘플과 상호작용한 상호작용된 광자들로부터 제2 샘플 이미지를 획득하게 하고; 그리고 프로세서가 제1 샘플 이미지와 제2 샘플 이미지에 가중치를 부여하여 제1 샘플 이미지와 제2 샘플 이미지를 융합하게 하며, 여기서 상기 제1 샘플 이미지 및 상기 제2 샘플 이미지의 가중치 부여는 이미지 가중 베이시안 융합(IWBF), 부분 최소 제곱 판별 분석(PLS-DA), 선형 회귀, 로지스틱 회귀, 지원 벡터 머신(SVM), 상대 벡터 머신(RVM), 나이브 베이즈, 신경망, 또는 선형 판별 분석(LDA) 중 하나 이상에 의해 수행되며, 그에 따라 융합된 스코어 이미지를 생성한다.
다른 실시예에서, 상기 명령들은 프로세서로 하여금 제1 샘플 이미지 및 제2 샘플 이미지 각각에서 글레어를 검출하게 하고, 글레어로서 식별되는 제1 샘플 이미지 및 제2 샘플 이미지의 부분들을 분류하지 않게 한다.
다른 실시예에서, 상기 명령들은 프로세서로 하여금 제1 샘플 이미지 및 제2 샘플 이미지의 강도를 정규화하게 한다.
다른 실시예에서, 제1 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만(Raman), NIR-eSWIR, 및 eSWIR로 이루어진 그룹으로부터 선택되고, 제2 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만, NIR-eSWIR 및 eSWIR로 이루어진 그룹으로부터 선택된다.
다른 실시예에서, 제1 샘플 이미지는 RGB이고, 제2 샘플 이미지는 Vis-NIR이다.
다른 실시예에서, 제1 샘플 이미지는 RGB이고, 프로세서는 제1 샘플 이미지를 RGB로부터 색조, 채도, 명도(HSV)로 변환하고, 프로세서는 제1 샘플 이미지의 명도 차원을 생략한다.
다른 실시예에서, 제2 샘플 이미지는 Vis-NIR이다.
본 명세서에 포함되고 본 명세서의 일부를 형성하는 첨부 도면들은 본 발명의 실시예들을 예시하고, 기술된 설명과 함께 본 발명의 원리들, 특성들, 및 특징들을 설명하는 역할을 한다. 도면에서,
도 1은 RGB 이미지를 MCI 이미지와 함께 등록함으로써 실시간 검출하는 일 실시예를 도시한다.
도 2는 RGB 이미지를 MCI 이미지와 융합함으로써 실시간 검출하는 다른 실시예를 도시한다.
본 개시는 설명되는 특정 시스템들, 방법들, 및 컴퓨터 프로그램 제품들로 제한되지 않는데, 이는 이들이 다양할 수 있기 때문이다. 본 명세서에서 사용된 용어는 특정 실시 양태들 또는 실시예들을 설명하기 위한 목적일뿐이며, 따라서, 본 개시의 범위를 한정하려 의도된 것이 아니다.
본 문서에 사용되는 바와 같이, 단수 형태의 표현들("a", "an” 및 "the")은 문맥이 명확하게 달리 기재하지 않는 한 복수의 대상들을 포함한다. 달리 정의되지 않는 한, 본 명세서에서 사용되는 모든 기술 및 과학 용어는 당업자가 일반적으로 이해하는 것과 동일한 의미를 갖는다. 본 개시의 어떠한 것도 본 개시에 기재된 실시예들이 선행 발명에 의해 그러한 개시를 선행할 자격이 없다는 것을 인정하는 것으로 해석되어서는 안된다. 본 문서에서 사용된 용어 "포함하는"은 "포함하지만 이에 국한되지 않는"을 의미한다.
아래에 설명된 실시예들은 다음의 상세한 설명에 개시된 정확한 형태들로 교시 사항들을 제한하거나 또는 포괄적인 것으로 의도된 것은 아니다. 오히려, 당업자가 본 교시의 원리들 및 실행들을 인식하고 이해할 수 있도록 실시예들이 선택되고 설명된다.
본 개시는 조명 광자들로 샘플을 조명하고, 카메라 칩을 통해 샘플로부터 상호작용된 광자들을 수집하고, 카메라 칩에 의해 수집되고 이미지화된 상호작용된 광자들로부터 둘 이상의 샘플 이미지들을 생성하고, 타겟 스코어 이미지를 생성하기 위해 상기 둘 이상의 샘플 이미지들을 융합하도록 디자인된 시스템들, 방법들, 및 컴퓨터 프로그램 제품들을 고려한다. 타겟 스코어 이미지는 둘 이상의 샘플 이미지들을 융합하기 위해 둘 이상의 샘플 이미지들에 수학적 연산들을 적용함으로써 생성된다. 타겟 스코어 이미지는 상호작용된 광자들로부터 형성된 둘 이상의 샘플 이미지들 중 임의의 하나로 가능한 것보다 더 큰 대비(contrast)와 정보를 가지고 있다. 본 개시의 추가 세부사항들은 하기에 제공된다.
조명 소스
조명 소스는 제한되지 않으며 전력 소비, 방출된 스펙트럼, 패키징, 열 출력 등과 같은 다른 보조 요구 사항들을 충족하면서 필요한 조명을 제공하는 데 유용한 임의의 소스일 수 있다. 일부 실시예들에서, 조명 소스는 백열 램프, 할로겐 램프, 발광 다이오드(LED), 양자 캐스케이드 레이저, 양자 도트 레이저, 외부 공동 레이저, 화학 레이저, 고체 상태 레이저, 유기 발광 다이오드(OLED), 전자발광 디바이스, 형광등, 가스 방전 램프, 메탈 할라이드 램프, 크세논 아크 램프, 유도 램프, 또는 이러한 조명 소스들의 임의의 조합이다. 일부 실시예들에서, 조명 소스는 조정 가능한 조명 소스이며, 이는 조명 소스가 단색(monochromatic)이고 임의의 원하는 파장 범위 내에 있도록 선택될 수 있음을 의미한다. 조정 가능한 조명 소스의 선택된 파장은 제한되지 않으며, 자외선(UV), 가시광선(VIS), 근적외선(NIR), 가시광선-근적외선(VIS-NIR), 단파장 적외선(SWIR), 확장된 단파장 적외선(eSWIR), 근적외선-확장된 단파장 적외선(NIR-eSWIR), 중파장 적외선(MIR), 및 장파장 적외선(LWIR) 범위들 내의 임의의 통과대역이 될 수 있다.
상기한 광의 범위들은 약 180 nm 내지 약 380 nm(UV), 약 380 nm 내지 약 720 nm(VIS), 약 400 nm 내지 약 1100 nm(VIS-NIR), 약 850 nm 내지 약 1800 nm(SWIR), 약 1200 nm 내지 약 2450 nm(eSWIR), 약 720 nm 내지 약 2500 nm(NIR-eSWIR), 약 3000 nm 내지 약 5000 nm(MIR), 또는 약 8000 nm 내지 약 14000 nm(LWIR)의 파장들에 대응한다. 상기 범위들은 단독으로 또는 열거된 범위들의 임의의 조합으로 사용될 수 있다. 이러한 조합들은 이웃한(인접한) 범위들, 겹치는 범위들, 및 겹치지 않는 범위들을 포함한다. 범위들의 조합은 다중 광 소스들을 포함하거나, 광 소스들을 필터링하거나, 또는 UV 또는 청색광과 같은 높은 에너지 방출들을 더 긴 파장들을 가진 낮은 에너지 광으로 변환하는 형광체(phosphors) 및/또는 양자 도트들(quantum dots)과 같은 적어도 하나의 구성요소를 추가하여 달성될 수 있다.
샘플
조명 광자들이 조명 소스로부터 방출된 후, 이들은 샘플과 상호 작용한다. 샘플은 제한되지 않으며, 일반적으로 샘플에 대해 알고자 하는 관심 영역의 위치에서의 모든 화학적 또는 생물학적 샘플일 수 있다. 일부 실시예들에서, 샘플은 생물학적 샘플이고, 조명 광자들은 종양과 주변 비종양 세포들 사이의 경계를 결정하는 데 사용된다. 일부 실시예들에서, 샘플은 생물학적 샘플이고, 광자들은 혈액 제한을 겪는 조직과 혈액 관류를 겪는 조직 사이의 경계를 결정하는 데 사용된다. 일부 실시예들에서, 샘플은 생물학적 구조이고, 조명 광자들은 하나의 생물학적 샘플과 다른 생물학적 샘플 사이의 경계를 결정하는 데 사용된다.
생물학적 샘플들의 예들은 요관(ureters), 신경(nerves), 혈관(blood vessels), 림프절(lymph nodes), 건강한 장기(healthy organs), 혈액 제한(blood restriction)을 겪고 있는 장기, 혈액 관류(blood perfusion)를 겪고 있는 장기, 및 종양을 포함한다. 일부 실시예들에서, 생물학적 샘플은 살아있는 유기체 내에 위치한다. 즉, "생체내" 생물학적 샘플이다. 일부 실시예들에서, 샘플은 살아있는 유기체 내에 위치하지 않는다. 즉, "시험관내" 생물학적 샘플이다. 일부 실시예들에서, 조명 광자들은 생물학적 샘플을 다른 구조들과 구별하는 데 사용된다. 일부 실시예들에서, 조명 광자들은 하나의 생물학적 샘플을 다른 생물학적 샘플과 구별하는 데 사용된다.
카메라 칩
본 개시는 상호작용된 광자들을 수집하고 이미지화하는 적어도 하나의 카메라 칩이 있는 것으로 고려된다. 일부 실시예들에서, 적어도 하나의 카메라 칩은 이미지화를 할 수 있는 광의 파장들을 특징으로 한다. 카메라 칩에 의해 이미지화될 수 있는 광의 파장들은 제한되지 않으며, 자외선(UV), 가시광선(VIS), 근적외선(NIR), 가시광선-근적외선(VIS-NIR), 단파장 적외선(SWIR), 확장된 단파장 적외선(eSWIR), 근적외선 확장된 단파장 적외선(NIR-eSWIR)을 포함한다. 이러한 분류들은 약 180 nm 내지 약 380 nm(UV), 약 380 nm 내지 약 720 nm(VIS), 약 400 nm 내지 약 1100 nm(VIS-NIR), 약 850 nm 내지 약 1800 nm(SWIR), 약 1200 nm 내지 약 2450 nm(eSWIR), 약 720 nm 내지 약 2500 nm(NIR-eSWIR)의 파장들에 대응한다. 상기 범위들은 단독으로 또는 열거된 범위들의 임의의 조합으로 사용될 수 있다. 이러한 조합들은 이웃한(인접한) 범위들, 겹치는 범위들, 및 겹치지 않는 범위들을 포함한다. 상기 범위들의 조합은 각각 특정 범위를 감지하는 다중 카메라 칩들을 포함하거나, 또는 컬러 필터 어레이를 포함하여 여러 상이한 범위들을 감지할 수 있는 단일 카메라 칩을 포함함으로써 달성될 수 있다.
일부 실시예들에서, 적어도 하나의 카메라 칩은 그것이 만들어지는 재료에 의해 특징지어진다. 카메라 칩의 재료는 제한되지 않으며, 카메라 칩이 검출할 것으로 예상되는 파장 범위들에 기초하여 선택될 수 있다. 이러한 실시예들에서, 카메라 칩은 실리콘(Si), 게르마늄(Ge), 인듐 갈륨 비소(InGaAs), 백금 실리사이드(PtSi), 수은 카드뮴 텔루라이드(HgCdTe), 인듐 안티몬화물(InSb), 콜로이드 양자 도트(CQD), 또는 이들 중 임의의 조합들을 포함한다.
일부 실시예들에서, 카메라 칩들에는 이미지들을 생성하기 위한 컬러 필터 어레이가 제공된다. 필터 어레이의 디자인은 제한되지 않는다. 카메라 칩과 관련하여 사용될 때 용어 "필터"는 참조된 광이 필터를 통과하도록 허용됨을 의미하는 것으로 이해되어야 한다. 예를 들어, "녹색 필터(green filter)"는 가시광선인 녹색에 해당하는 약 520 nm 내지 약 560 nm의 파장을 갖는 광만이 필터를 통과시킴으로써 사람의 눈에 녹색으로 보이게 하는 필터이다. 유사한 "NIR 필터"는 근적외선 광(NIR)만을 통과시킨다. 일부 실시예들에서, 필터는 카메라 칩 위에 위치된 컬러 필터 어레이이다. 이러한 컬러 필터 어레이들은 디자인이 다양하지만 모두는 원래의 "Bayer" 필터 컬러 모자이크 필터들과 관련된다. 컬러 필터 어레이는 BGGR, RGBG, GRGB, RGGB, RGBE, CYYM, CYGM, RGBW(2 × 2), RGBW(대각선 컬러의 경우 2 × 2), RGBW(페어링된 컬러의 경우 2 × 2), RGBW(수직 W의 경우 2 × 2 ), 및 X-TRANS(일본 도쿄의 Fujifilm Corporation에서 판매)를 포함한다. X-TRANS 센서는 모든 수평 및 수직 라인들에 RGB 타일들을 포함함으로써 모아레 효과 아티팩트(Moire effect artifacts)를 줄이는 대형 6 × 6 픽셀 패턴을 가지고 있다. 목록에서, B는 청색, G는 녹색, R은 적색, E는 에메랄드, C는 시안, Y는 노란색, M은 마젠타에 대응한다. W는 "흰색" 또는 모노크롬 타일(monochrome tile)에 대응하며, 이에 대해서는 아래에서 자세히 설명한다.
W 또는 "흰색" 타일 자체는 여러 구성들을 포함한다. 일부 실시예들에서, W 타일은 어떤 광도 필터링하지 않으므로, 모든 광이 카메라 칩에 도달한다. 이러한 실시예들에서, 카메라 칩은 주어진 파장 범위 내의 모든 광을 검출할 것이다. 카메라 칩에 따라서, 이러한 것은 UV, VIS, NIR, VIS-NIR, VIS-NIR, VIS-SWIR 또는 VIS-eSWIR이 될 수 있다. 일부 실시예들에서, W 타일은 VIS, VIS-NIR, NIR, 또는 eSWIR에 대한 필터이며, VIS, VIS-NIR, NIR, 또는 eSWIR만이 각각 카메라 칩에 도달하도록 허용한다. 이러한 것은 위에 열거된 임의의 카메라 칩 재료 또는 전기 구조와 유리하게 결합될 수 있다. 이러한 필터 어레이는 4대역 필터 어레이라고도 하며 단일 카메라 칩이 가시광선과 근적외선을 모두 검출할 수 있게 하기 때문에 유용할 수 있다.
또 다른 실시예들에서, 컬러 필터 어레이는 생략되고, 단색 이미지를 생성하는 카메라 칩이 제공되지 않는다. 그러한 실시예들에서, 생성된 이미지는 카메라 칩을 구성하는 재료의 밴드 갭에만 기초한다. 다른 실시예들에서, 필터는 여전히 카메라 칩에 적용되지만, 모놀리식 단일 필터로서만 적용된다. 예를 들어, 적색 필터의 적용은 카메라 칩이 적색 스펙트럼을 나타내는 단색 이미지들을 생성한다는 것을 의미한다. 일부 실시예들에서, 각각이 상이한 모놀리식 단일 필터 카메라 칩을 갖는 다중 카메라 칩들이 사용된다. 예를 들어, R, G, B 필터를 각각 갖는 3개의 카메라 칩들을 결합함으로써 VIS 이미지가 생성될 수 있다. 다른 예에서, R, G, B 및 NIR 필터를 각각 갖는 4개의 카메라 칩들을 결합함으로써 VIS-NIR 이미지가 생성될 수 있다. 다른 예에서, R, G, B 및 eSWIR 필터를 각각 갖는 4개의 카메라 칩들을 결합함으로써 VIS-eSWIR 이미지가 생성될 수 있다.
일부 실시예들에서, 컬러 어레이는 생략되고, 카메라 칩은 픽셀 그리드로 구성된 수직으로 적층된 포토다이오드들을 활용한다. 적층된 각각의 포토다이오드는 원하는 광의 파장들에 반응한다. 예를 들어, 적층형 포토다이오드 카메라 칩은 VIS 이미지를 형성하기 위해 R, G 및 B 계층들을 포함한다. 다른 실시예에서, 적층된 포토다이오드 카메라 칩은 VIS-NIR 이미지를 형성하기 위해 R, G, B, 및 NIR 계층들을 포함한다. 다른 실시예에서, 적층된 포토다이오드 카메라 칩은 VIS-eSWIR 이미지를 형성하기 위해 R, G, B, 및 eSWIR 계층들을 포함한다.
이미지 생성 단계들
본 개시는 제1 이미지가 제1 이미지 생성 단계에서 다양한 이미징 기술들에 의해 생성되는 것을 고려한다. 제1 이미지 생성 단계에서, 광자들은 위에서 설명한 하나 이상의 조명 소스들에 의해 생성되고, 광자들은 샘플로 이동한다. 광자들이 샘플에 도달하면, 광자들은 샘플과 상호 작용한다. 결과적인 제1 상호작용된 광자들은 그에 따라 샘플로부터 방출되고, 적어도 하나의 카메라 칩으로 이동한다. 이에 따라 카메라 칩은 프로세서에 전달되는 제1 이미지를 생성한다.
유사하게, 본 개시는 또한 제2 이미지가 제2 이미지 생성 단계에서 다양한 이미징 기술들에 의해 생성되는 것을 고려한다. 제2 이미지 생성 단계에서, 광자들은 위에서 설명한 하나 이상의 조명 소스들에 의해 생성되고, 광자들은 샘플로 이동한다. 광자들이 샘플에 도달하면, 광자들은 샘플과 상호 작용한다. 결과적인 제2 상호작용된 광자들은 그에 따라 샘플로부터 방출되고, 적어도 하나의 카메라 칩으로 이동한다. 이에 따라 적어도 하나의 카메라 칩은 이미지 프로세서에 전달되는 제2 이미지를 생성한다.
생성된 이미지는 제한되지 않으며, UV, RGB, Vis-NIR, SWIR, Raman, NIR-eSWIR, 또는 eSWIR의 파장들 중 적어도 하나의 이미지를 나타낼 수 있다. 본 명세서에서 사용되는 바와 같이, 상기한 광의 범위들은 약 180 nm 내지 약 380 nm(UV), 약 380 nm 내지 약 720 nm(VIS), 약 400 nm 내지 약 1100 nm(VIS-NIR), 약 850 nm 내지 약 1800 nm(SWIR), 약 1200 nm 내지 약 2450 nm(eSWIR), 약 720 nm 내지 약 2500 nm(NIR-eSWIR)의 파장들에 대응한다. 일 실시예에서, 제1 이미지는 RGB 이미지이고, 제2 이미지는 Vis-NIR 이미지이다.
이미지 생성 기술들은 제한되지 않으며, 위의 논의 외에도 이미지 생성은 레이저 유도 파괴 분광법(LIBS), 자극 라만 분광법, 간섭성 반 스톡스 라만 분광법(CARS), 탄성 산란, 광음향 이미징, 고유 형광 이미징, 라벨링된 형광 이미징, 및 초음파 이미징 중 하나 이상이 포함한다.
이미지 융합
상기한 광자들과 샘플의 상호작용에 의해 생성되는 적어도 제1 및 제2 이미지들을 포함하는 둘 이상의 이미지들은 이미지 프로세서에 의해 융합된다. 위에서 언급했듯이, 이미지들은 제한이 없으며, 둘보다 많은 이미지들이 생성될 수 있다. 일 실시예에서, 제1 이미지는 RGB 이미지이고, 제2 이미지는 Vis-NIR 비율계량 이미지(ratiometric image)이다. 그러나, 이러한 것들이 유일한 가능성들은 아니며, UV, RGB, Vis-NIR, SWIR, Raman, NIR-eSWIR, 또는 eSWIR의 파장 범위들의 임의의 두 이미지들로 이미지 융합이 수행될 수 있으며, 상기한 파장들은 본 개시의 전반에서 설명된다. 이러한 조합들은 상기한 파장들에 기초하여 비율계량 이미지들을 생성하는 데 사용될 수 있다.
이미지 융합의 일 실시예에서, 스코어 이미지가 먼저 생성된 후 검출 또는 분할(segmentation)이 뒤따른다. 스코어 이미지를 생성하기 위해, RGB 및 Vis-NIR 이미지들은 스코어 이미지를 생성하기 위해 수학 알고리즘들을 사용하여 결합된다. 스코어 이미지는 타겟에 대한 대비(contrast)를 보여준다. 예를 들어, 일부 실시예들에서, 타겟은 밝은 "하이라이트(highlight)"로 나타나는 반면 배경은 어두운 "그림자(shadow)"로 나타난다. 이미지 융합에 사용되는 수학적 알고리즘은 제한되지 않으며, 알고리즘은 이미지 가중 베이시안 융합(IWBF), 부분 최소 제곱 판별 분석(PLS-DA), 선형 회귀, 로지스틱 회귀, 지원 벡터 머신(SVM), 상대 벡터 머신(RVM), 나이브 베이즈, 선형 판별 분석(LDA), 및 신경망을 포함한다.
수학적 알고리즘이 IWBF인 경우, 가중 상수가 각 센서의 확률 이미지(probability image)를 변조하고, 전체 타겟 확률이 이미지 교차 항들(image cross terms)의 상이한 조합들로 추정된다. IWBF 알고리즘으로 여러 타겟 유형들을 검출할 때, 각 센서 양상(each sensor modality)에는 각 타겟 유형에 대한 단일 가중 상수가 있다. 각 센서 양상에 대한 각 가중 상수의 선택은 다양한 기술들에 의해 달성될 수 있다. 이러한 기술들은, 몬테카를로 방법(Monte Carlo methods), 수신기 작동 특성(ROC) 곡선, 선형 회귀, 신경망, 퍼지 논리, 나이브 베이즈, 뎀스터-쉐이퍼(Dempster-Shafer) 이론, 및 위의 조합들을 포함한다.
단일 타겟 유형에 대한 각 센서 양상의 가중치는 다음 공식으로 표시된다.
공식 1
Figure pct00001
다중 타겟 유형들에 대한 각 센서 양상의 가중치는 다음 공식으로 표시된다.
공식 2
Figure pct00002
공식 3
Figure pct00003
공식 4
Figure pct00004
공식 5
Figure pct00005
위의 공식 1-5에서, 타겟 유형(Target Type)은 T로, 센서 유형은 S로, 센서 개수는 n으로, 흰색 이미지(1로만 구성된 그레이스케일)는 W로 표기되고, 각 타겟에 대한 검출 확률은 PT1, PT2, 및 PT3이며, 이미지들을 결합하기 위한 가중치들은 A, B, C, D, E, F, G, H, I, J, K, 및 L의 변수들이다.
결과적인 융합 스코어 이미지 또는 확률 이미지는, 픽셀 강도가 높을수록 픽셀이 타겟에 속할 가능성이 더 높은 타겟에 대해 향상된 대비를 보여준다. 유사하게, 낮은 픽셀 강도는 픽셀이 타겟에 속할 가능성이 낮은 것에 대응한다. 적응형 임계값(adaptive thresholding) 및 활성 윤곽선(active contours)과 같은, 다양한 컴퓨터 비전과 기계 학습 방법들을 활용한 검출 알고리즘이 융합 스코어 이미지에 적용되어 타겟을 검출하고 타겟의 경계를 찾는다.
일부 실시예들에서, 스코어 이미지는 위의 방정식들을 사용하여 생성되지 않는다. 대신, 모든 N개의 이미지들을 사용하여 검출 또는 분할 알고리즘들이 활용된다. 이러한 기술들은 다중 이미지들이 하이퍼큐브(hypercube)로 결합(assemble)되는 다중 스펙트럼 방법들을 요구한다. 하이퍼큐브는 N개의 이미지들을 가지며, UV, RGB, Vis-NIR, SWIR, Raman, NIR-eSWIR, 또는 eSWIR 중 하나 이상의 임의의 조합을 포함할 수 있다. 그러한 실시예들에서, 스코어 이미지는 생성되지 않는다. 대신, 분할 알고리즘들은 모든 N개의 이미지들을 사용하고, 그에 따라 타겟을 식별한다. 다중 스펙트럼 방법들은 특히 제한되지 않는다. 일부 실시예들에서, 다중 스펙트럼 방법들은 k-평균 및 평균 이동 방법들 중 하나 이상을 포함하는 스펙트럼 클러스터링 방법들이다. 다른 실시예들에서, 다중 스펙트럼 검출 또는 분할 방법은 하랄릭 텍스처 피처들(Haralick texture features)을 사용하여 스펙트럼 대역들에 걸쳐 측정된 유사한 텍스처들에 기초하여 픽셀들을 함께 그룹화하는 텍스처 기반 방법이다.
일부 실시예들에서, 이미지 융합은 2개의 카메라들로부터의 이미지들로부터 생성된다. 다른 실시예들에서, 이미지 융합은 3개의 카메라들로부터 생성된다. 3개의 카메라들이 이미지 융합을 생성하는 데 사용되는 실시예들에서, 제1 카메라는 제1 분자 화학 이미지를 형성하는 제1 조정 상태(first tuning state)를 생성하고, 제2 카메라는 제2 분자 이미지를 형성하는 제2 조정 상태를 생성하고, 제3 카메라는 RGB 이미지를 생성한다.
2개 이상의 카메라 칩들이 포함되는 일부 실시예들에서, 2개 이상의 카메라 칩들 각각으로부터의 이미지들에 기초하여 입체 이미지(stereoscopic image)가 생성된다. 입체 이미지들은 뷰어가 이미지의 깊이를 인식할 수 있게 하여 지각의 정확성과 현실성을 높인다는 점에서 유용한다. 예를 들어, 내시경들로 수행되는 수술 또는 기타 유사한 활동 중에, 입체 영상들은 단안 내시경(monoscopic endoscopes)보다 더 안전하고 정확하게 기구를 조작하고 작업을 수행하는 데 유용하다. 이러한 것은 단지 하나의 카메라 칩 포지션을 갖는 단안 내시경이 깊이 지각을 할 수 없기 때문이다. 일부 실시예들에서, 입체 이미지는 카메라 칩이 동일한 적어도 2개의 카메라 칩들에 의해 형성된다. 일부 실시예들에서, 입체 이미지는 카메라 칩이 상이한 적어도 2개의 카메라 칩들에 의해 형성된다. 상기한 실시예들 중 어느 하나에서, 카메라 칩들은 동일한 컬러 필터 어레이를 가질 수 있거나, 또는 상이한 컬러 필터 어레이를 가질 수 있다. 일부 실시예들에서, 입체 이미지는 서로 다른 2개의 카메라 칩들에 의해 형성되며, 하나의 카메라 칩에만 컬러 필터 어레이가 제공되고 다른 카메라 칩에는 단색 필터가 제공되거나 필터 어레이가 전혀 제공되지 않는다. 하나 이상의 카메라 칩이 제공될 때마다, 각 카메라 칩의 출력을 사용하고 각 카메라 칩의 출력을 결합하거나 융합함으로써 입체 영상이 생성될 수 있다.
특정 실시예들에서, 이미지들 중 하나의 조명은 균일하지 않다. 이러한 것은 RGB 이미지들에서 자주 발생하며, 이미지가 다른 이미지들과 융합될 때 문제들을 야기할 수 있다. 이러한 문제들을 피하기 위해, 이미지는 RGB 컬러 공간으로부터 HSV(색조, 채도, 명도) 컬러 공간으로 변환된다. HSV 이미지로부터, H(Hue) 및 S(Saturation) 채널들만이 고려되며, V(Value)는 포함되지 않는다. 따라서, 본 개시에 따르면, RGB 이미지는 대안적으로 HS 채널들로 지칭되는, HS 이미지로서 표현될 수 있다.
위에서 설명한 Vis-NIR 이미지들과 RGB의 조합에 대한 대안으로, Vis-NIR 이미지들이 HS 채널들과 융합될 수 있다. 이러한 융합에 의해, 조명이 균일하지 않은 문제를 피할 수 있고, 제1 샘플 이미지 및 제2 샘플 이미지로 형성된 융합 이미지는 타겟에 대한 대비를 보여준다. 제1 샘플 이미지 및 제2 샘플 이미지의 가중치 부여는 이미지 가중 베이시안 융합(IWBF), 부분 최소 제곱 판별 분석(PLS-DA), 선형 회귀, 로지스틱 회귀, 지원 벡터 머신(SVM), 상대 벡터 머신(RVM), 나이브 베이즈, 신경망, 또는 선형 판별 분석(LDA) 중 하나 이상에 의해 수행된다.
일 실시예에서, 제1 샘플 이미지 및 제2 샘플 이미지의 가중치 부여는 Vis-NIR 이미지들 또는 RGB와 융합된 Vis-NIR 이미지들의 이진 분류 또는 다중 클래스 분류에 대해 PLS-DA에 의해 수행된다.
도 1에 도시된 하나의 유용한 실시예에서, 검출 오버레이(17)를 갖는 RGB 이미지를 생성하기 위한 유용한 방법(10)이 설명된다. 먼저, 샘플은 UV, RGB, Vis-NIR, SWIR, Raman, NIR-eSWIR, 또는 eSWIR 광을 수집할 수 있는 이중 편광 MCI 디바이스에 의해 블록 11에서 이미지화되고, 샘플은 또한 RGB 광을 이미지화할 수 있는 카메라 칩에 의해 블록 12에서 이미지화된다. 블록 13에서, 스코어 이미지가 형성되고, 스코어 이미지와 RGB 이미지의 조합이 후속 이미지 등록을 위해 결합된다. 블록 14에서, 검출 알고리즘들이 스코어 이미지에 적용되고, 이러한 검출 알고리즘들의 출력이 블록 16에서 오버레이 검출 블록 15의 RGB 및 MCI 등록과 결합되어 블록 17에서 검출 오버레이를 포함하는 RGB 이미지를 생성한다.
도 2에 도시된 다른 유용한 실시예에서, 검출 오버레이(28)를 갖는 RGB 이미지를 생성하기 위한 유용한 방법(20)이 설명된다. 먼저, 샘플은 UV, RGB, Vis-NIR, SWIR, Raman, NIR-eSWIR, 또는 eSWIR 광을 수집할 수 있는 이중 편광 MCI 디바이스에 의해 블록 21에서 이미지화되고, 샘플은 또한 RGB 광을 이미지화할 수 있는 카메라 칩에 의해 블록 22에서 이미지화된다. 블록 23에서, 스코어 이미지가 형성되고, 스코어 이미지가 RGB 이미지와 함께 입력되어 스코어 이미지의 포인트들이 블록 24에서 씬(scene)의 포인트들과 함께 등록될 수 있다. RGB 이미지는 또한, 블록 25에서 MCI 스코어 이미지와 융합된다. 등록 및 스코어 이미지가 완료되면, MCI 스코어 이미지 및 RGB 이미지로부터의 정보를 포함하는 융합 이미지가 블록 26에서 검출 알고리즘들에 입력된다. 검출이 완료되면, 검출된 융합 이미지가 블록 27에 입력되어 블록 24로부터의 등록 이미지와 결합되고 그에 따라 블록 28에 대한 검출 오버레이가 있는 RBG 이미지를 형성한다.
예들
예 1
융합된 이미지를 생성하기 위해 테스트가 수행되었다. 융합된 이미지를 획득하기 위해, 분자 화학 이미지가 수집되었고 동시에 RGB 이미지가 또한 수집되었다. 분자 화학 이미지 및 RGB 이미지 수집들은 모두 동일한 생체 내 수술 절차(in vivo surgical procedure) 내에서 수행되었다. 분자 화학 이미지는 내부적으로 개발된 MCI 내시경을 이용하여 수집되었고, Karl Storz 내시경으로부터 이용 가능한 Hopkins®Telescope 0°NIR/ICG φ 10 mm로 RGB 내시경이 RGB 이미지를 수집했다.
MCI 내시경으로 두 개의 파장 이미지들이 수집되었다. 수집된 MCI 및 RGB 이미지들을 융합하기 위해, 2개의 파장 이미지들이 수학적으로 결합되어 생체 내 수술 절차 내에서 관심 타겟에 대한 비율계량 스코어 이미지를 생성했다. 다음으로, MCI 이미지의 각 픽셀이 RGB 이미지의 동일한 물리적 위치에 대응하도록 MCI 및 RGB 이미지들이 서로 등록되었다. 등록은 피처 기반 및 강도 기반 방법들을 결합한 하이브리드 접근 방식을 사용하여 이루어졌다. 피처 기반 방법은 처음에 MCI와 RGB 이미지들 사이의 기하학적 변환(geometric transformation)을 추정하기 위해 적용된다. 이것은 KAZE 피처들을 매칭함으로써 달성된다. KAZE는 다중 스케일 2차원 피처 검출기 및 디스크립터이다. 유사도 메트릭 및 옵티마이저(optimizer)에 기초한 강도 기반 방법은 피처 기반 방법의 결과를 개선하는 데 사용된다. 등록은 추정된 기하학적 변환을 사용하여 MCI 이미지를 RGB 이미지에 정렬함으로써 달성된다.
다음으로, 전처리가 수행된다. 먼저, 글레어 마스크(glare mask)가 MCI 및 RGB 이미지들 각각에서 글레어를 검출함으로써 생성된다. 글레어로 식별된 픽셀들은 분류되지 않는다. 둘째로, MCI 및 RGB 이미지들은 2개의 이미지들로부터의 픽셀 강도들이 동일한 범위에 있고 강도가 융합된 이미지에 대한 각 이미지 양상(each image modality)의 기여도에 영향을 미치지 않도록 정규화된다.
전처리가 수행된 후, 융합이 수행된다. 분류기(classifier)는, 이전 트레이닝 단계에 의해 생성된 레이블이 지정된 데이터(labeled data)를 사용하여 관심 타겟에 속하는 픽셀들을 검출한다. 융합을 수행하기 위해, RGB 이미지의 세 개의(3) 프레임들과 MCI 비율계량 스코어 이미지가 분류기에 입력된다. 예에서, IWBF는 트레이닝 세트에서 예측 오류를 최소화하는 이미지들에 대한 최적의 가중치들을 찾는 데 사용되는 방법이다. 트레이닝 세트에 대해 IWBF에 의해 결정된 가중치들이 이미지들에 적용되고, 그에 따라 가중된 이미지들이 수학적으로 결합되어 융합 스코어 이미지를 생성한다. 그런 다음 최종 융합 스코어 이미지가 디스플레이되고 배경과 비교하여 타겟에 대해 증가된 대비를 보여준다. 이러한 증가된 대비는 배경으로부터 타겟의 향상된 검출 성능을 허용한다. 일부 실시예들에서, 컴퓨터 비전 및 기계 학습 방법들을 사용하는 검출 알고리즘들이 융합 스코어 이미지에 적용되어 타겟의 최종 검출을 찾거나(locate) 또는 결정한다. 최종 검출은 RGB 이미지에 오버레이된다. RGB 이미지에 오버레이된 최종 검출은 사용자가 식별하기 어려운 피처를 찾으려는(locate) 경우에 특히 유용한다. 일 실시예에서, 사용자는 기관(organ)의 개선된 시각화를 원하는 외과의사이다.
예 2
이진 분류 또는 다중 클래스 분류를 위해 PLS-DA를 사용하여 융합 이미지를 생성하기 위해 추가 테스트가 수행되었다. 먼저, 샘플로부터 RGB 이미지들 및 VIS-NIR 이미지들이 생성된다. 구체적으로, 8개의 이미지들이 생성되었고, RGB 이미지들이 신경 복합 씬들(nerve complex scenes)의 데이터에 등록되었다. RGB 이미지들은 이미지들에서 불균일한 조명을 피하기 위해 이미지의 명도(밝기) 부분이 생략된 HSV로 변환되었다. 다음으로, 3차원 하이퍼큐브들(three dimensional hypercubes)이 생성되었다. 하이퍼큐브의 제1 차원은 색조 데이터이고, 하이퍼큐브의 제2 차원은 채도 데이터이고, 하이퍼큐브의 제3 차원은 스펙트럼 파장이다. 이 예에서, 스펙트럼 파장들은 500 nm와 580 nm이며 이는 신경 레시피에 대응한다.
장(bowel), 지방(fat), 근육(muscle), 및 신경(nerve)의 조직 유형들을 포함하는 씬들에 대해 하이퍼큐브들이 수집되고, PLS-DA이 적용되어 서로 간에 상이한 조직들을 구별했다. 표1은 장, 지방, 근육, 및 신경에 적용될 때의 결과를 나타내었다. PLS-DA가 조직(tissue)이 씬의 조직이 아닌 것으로 결론을 내린 모든 이벤트들은 오분류로 표시되었다. 예를 들어, 표 1의 제1 행에서, 총 6개의 씬들 중 5개가 장 샘플에서 장 조직을 올바르게 식별하고 1개의 씬이 장 샘플에서 지방 조직을 식별하여, 16.7%의 오분류 비율이 발생했다. 표 1에서 도시된 바와 같이, 여러 클래스들이 구분해야 하는 경우에도 오분류 비율은 평균 7.1%에 이른다.
표 1
Figure pct00006
앞서의 실험과 유사하게, 장, 지방, 근육, 신경, 및 요관(ureter)의 조직 유형들을 포함하는 씬들에 대해 추가적인 하이퍼큐브들이 수집되고, PLS-DA이 적용되어 서로 간에 상이한 조직들을 구별했다. 표2은 장, 지방, 근육, 신경, 및 요관에 적용될 때의 결과를 나타내었다. 표 2에서 도시된 바와 같이, 요관을 삽입해도 2 클래스 성능이 저하되지 않고 100% 정확도를 유지했다.
표 2
Figure pct00007
위의 상세한 설명에서, 그 일부를 형성하는 첨부 도면을 참조한다. 도면에서, 유사한 기호들은 문맥에서 달리 지시하지 않는 한 일반적으로 유사한 구성요소들을 식별한다. 상세한 설명, 도면, 및 청구범위에 기술된 예시적인 실시예들은 제한을 의미하지 않는다. 본 명세서에 제시된 주제의 정신 또는 범위를 벗어나지 않고 다른 실시예들이 사용될 수 있고 다른 변경들이 이루어질 수 있다. 본 명세서에 일반적으로 설명되고 도면에 예시된 바와 같은 본 개시의 다양한 특징들이 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리, 및 디자인될 수 있으며, 이들 모두는 명시적으로 고려된다는 것이 쉽게 이해될 것이다.
본 개시는 다양한 특징들의 예시들로서 의도된 본 출원에서 설명된 특정 실시예들의 관점에서 제한되지 않는다. 당업자에게 자명한 바와 같이, 그 정신 및 범위를 벗어나지 않고 많은 수정들 및 변형들이 이루어질 수 있다. 여기에 열거된 것에 더하여, 본 개시의 범위 내에서 기능적으로 등가인 방법들 및 장치들은 전술한 설명들로부터 당업자에게 명백할 것이다. 이러한 수정들 및 변형들은 첨부된 청구범위에 속하는 것으로 의도된다. 본 개시는 첨부된 청구범위의 조건에 의해서만 제한되어야 하며, 그러한 청구범위가 부여되는 등가물의 전체 범위와 함께 제한되어야 한다. 본 개시는 물론 변할 수 있는 특정 방법, 시약, 화합물, 조성물, 또는 생물학적 시스템으로 제한되지 않음을 이해해야 한다. 본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위한 것이며, 제한하려는 의도가 아님을 또한 이해해야 한다.
본 명세서에서 실질적으로 임의의 복수 및/또는 단수 용어의 사용과 관련하여, 당업자는 문맥 및/또는 적용에 적절한 대로 복수에서 단수로 및/또는 단수에서 복수로 변환할 수 있다. 명료함을 위해 다양한 단수/복수 순열이 여기에 명시적으로 설명될 수 있다.
일반적으로 여기에 사용된 용어들, 특히 첨부된 청구범위(예를 들어, 첨부된 청구범위의 본문)에서 사용된 용어들은 일반적으로 "개방된" 용어들(예를 들어, "포함하는"이라는 용어는 "포함하는이지만 이에 국한되지 않는"으로 해석되어야 하고, "갖는"이라는 용어는 "적어도 갖고 있는"으로 해석되어야 하고, "포함한다"라는 용어는 "포함한다지만 이에 국한되지 않는" 등으로 해석되어야 한다. 다양한 구성, 방법, 및 디바이스가 다양한 구성요소들 또는 단계들을 "포함하는"이라는 용어로 설명되지만("포함하지만 이에 국한되지 않는" 의미로 해석됨), 조성물, 방법 및 디바이스는 또한 다양한 구성요소들과 단계들로 "구성되는" 또는 "본질적으로 구성되며", 이러한 용어는 본질적으로 폐쇄적인 구성 그룹들(closed-member groups)을 정의하는 것으로 해석되어야 한다. 특정 수의 도입된 청구범위 인용이 의도된 경우, 그러한 의도가 청구범위에 명시적으로 인용될 것이고 그러한 인용이 없는 경우 그러한 의도가 존재하지 않는다는 것이 당업자에 의해 또한 이해될 것이다.
예를 들어, 이해를 돕기 위해, 다음의 첨부된 청구범위에는 청구 인용을 도입하기 위해 "적어도 하나" 및 "하나 이상"이라는 도입 문구의 사용이 포함될 수 있다. 그러나, 그러한 문구의 사용은, 부정관사 "a" 또는 "an"(단수 표현)에 의한 청구범위 인용의 도입이 그러한 도입된 청구범위 인용을 포함하는 특정 청구범위를 그러한 인용을 하나만 포함하는 실시예로 제한한다는 것을 의미하는 것으로 해석되어서는 안되며, 동일한 청구범위는 "하나 이상" 또는 "적어도 하나” 및 단수 표현("a" 또는 "an"과 같은 부정관사)의 도입 문구를 포함하며(예를 들어, 단수 표현("a" 및/또는 "an")은 “적어도 하나" 또는 "하나 이상"을 의미하는 것으로 해석되어야 한다); 청구범위 인용을 도입하는 데 사용되는 부정관사의 사용에 대해서도 마찬가지다.
또한, 도입된 청구범위 인용의 특정 수를 명시적으로 인용한 경우에도, 당업자는 그러한 인용이 적어도 그 인용 수를 의미하는 것으로 해석되어야 한다는 것을 인식할 것이다(예를 들어, 다른 수식어 없이 "2의 인용"의 인용 자체는, 적어도 2, 또는 2 이상의 인용을 의미한다). 또한, "A, B, 및 C 등 중 적어도 하나"와 유사한 관례가 사용되는 경우, 일반적으로 그러한 구성은 당업자가 관례를 이해할 수 있는 감각으로 의도된다(예를 들어 "A, B, 및 C 중 적어도 하나를 갖는 시스템"은 A 단독, B 단독, C 단독, A 및 B 함께, A와 C 함께, B 및 C 함께, 및/또는 A, B, 및 C와 함께 등 있는 시스템이 포함되지만, 이에 국한되지는 않는다). "A, B, 또는 C 등 중 적어도 하나"와 유사한 관례가 사용되는 경우, 일반적으로 그러한 구성은 당업자가 관례를 이해할 수 있는 감각으로 의도된다(예를 들어 "A, B, 또는 C 중 적어도 하나를 갖는 시스템"은 A 단독, B 단독, C 단독, A 및 B 함께, A와 C 함께, B 및 C 함께, 및/또는 A, B, 및 C와 함께 등 있는 시스템이 포함되지만, 이에 국한되지는 않는다). 상세한 설명, 청구범위, 또는 도면에 있든지 간에 둘 이상의 대안적인 용어들을 제시하는 실질적으로 임의의 접속 단어 및/또는 구는 용어들 중 하나, 용어들 중 임의의 하나, 또는 두 용어 모두를 포함하는 가능성을 고려하는 것으로 이해되어야 한다는 것이 당업자에 의해 또한 이해될 것이다. 예를 들어, "A 또는 B"라는 문구는 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해될 것이다.
또한, 본 개시의 특징이 Markush 그룹의 관점에서 설명되는 경우, 당업자는 본 개시가 Markush 그룹의 개별 구성 또는 구성들의 하위 그룹의 관점에서도 설명된다는 것을 인식할 것이다.
당업자가 이해하는 바와 같이, 기재된 설명을 제공하는 것과 같이 임의의 모든 목적을 위해, 본원에 개시된 모든 범위들은 또한 임의의 및 모든 가능한 하위 범위들 및 이들의 하위 범위들의 조합을 포함한다. 나열된 범위는 동일한 범위를 최소한 동일한 절반, 3분의 1, 4분의 1, 5분의 1, 10분의 1 등으로 나눌 수 있도록 충분히 설명하고 가능하게 하는 것으로 쉽게 인식될 수 있다. 비제한적인 예로서, 여기에 논의된 각 범위는 하위 1/3, 중간 1/3 및 상위 1/3 등으로 쉽게 분류될 수 있다. 또한 당업자에 의해 이해되는 바와 같이, "최대", "적어도" 등과 같은 모든 언어는 인용된 수를 포함하고 위에서 논의된 바와 같이 후속적으로 하위 범위로 분해될 수 있는 범위를 지칭한다. 마지막으로, 당업자에 의해 이해되는 바와 같이, 범위는 각각의 개별 구성을 포함한다. 따라서, 예를 들어, 1-3개의 셀들을 갖는 그룹은 1, 2, 또는 3개의 셀을 갖는 그룹을 의미한다. 유사하게, 1-5개의 셀들을 갖는 그룹은 1, 2, 3, 4, 또는 5개의 셀을 갖는 그룹 등을 의미한다.
상기 기술된 및 다른 특징들 및 기능들의 변형들, 또는 그 대안들이 많은 다른 상이한 시스템들 또는 애플리케이션들에 결합될 수 있다. 현재 예측되지 않거나 예상되지 않은 다양한 대안, 수정, 변형 또는 개선이 이후에 당업자에 의해 이루어질 수 있으며, 이들 각각은 또한 개시된 실시예에 의해 포함되도록 의도된다.

Claims (21)

  1. 이미지들을 융합하는 방법에 있어서:
    조명 광자들(illuminating photons)로 샘플을 조명하는 단계;
    샘플과 상호작용하고 제1 카메라 칩으로 이동한 상호작용된 광자들로부터 제1 샘플 이미지를 획득하는 단계;
    샘플과 상호작용하고 제2 카메라 칩으로 이동한 상호작용된 광자들로부터 제2 샘플 이미지를 획득하는 단계; 및
    제1 샘플 이미지 및 제2 샘플 이미지에 가중치를 부여하여 제1 샘플 이미지 및 제2 샘플 이미지를 융합하는 단계를 포함하고,
    상기 제1 샘플 이미지 및 상기 제2 샘플 이미지의 가중치 부여는 이미지 가중 베이시안 융합(IWBF: Image Weighted Bayesian Fusion), 부분 최소 제곱 판별 분석(PLS-DA: Partial Least Squared Discriminant Analysis), 선형 회귀(linear regression), 로지스틱 회귀(logistic regression), 지원 벡터 머신(SVM: Support Vector Machines), 상대 벡터 머신(RVM: Relative Vector Machines), 나이브 베이즈(Naive Bayes), 신경망, 또는 선형 판별 분석(LDA: Linear Discriminant Analysis) 중 하나 이상에 의해 수행되며, 그에 따라 융합된 스코어 이미지(fused score image)를 생성하는, 이미지들을 융합하는 방법.
  2. 제1항에 있어서, 제1 샘플 이미지 및 제2 샘플 이미지 각각에서 글레어(glare)를 검출하고, 글레어로서 식별되는 제1 샘플 이미지 및 제2 샘플 이미지의 부분들을 분류하지 않는 단계를 더 포함하는, 이미지들을 융합하는 방법.
  3. 제2항에 있어서, 제1 샘플 이미지 및 제2 샘플 이미지의 강도를 정규화하는 단계를 더 포함하는, 이미지들을 융합하는 방법.
  4. 제1항에 있어서, 상기 제1 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만(Raman), NIR-eSWIR, 및 eSWIR로 이루어진 그룹으로부터 선택되고, 상기 제2 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만, NIR-eSWIR 및 eSWIR로 이루어진 그룹으로부터 선택되는, 이미지들을 융합하는 방법.
  5. 제4항에 있어서, 상기 제1 샘플 이미지는 RGB이고, 상기 제2 샘플 이미지는 Vis-NIR인, 이미지들을 융합하는 방법.
  6. 제1항에 있어서, 상기 제1 샘플 이미지는 색조, 채도, 명도(HSV: Hue, Saturation, Value)로 변환되는 RGB이고, 상기 제1 샘플 이미지의 명도 차원(Value dimension)은 생략되는, 이미지들을 융합하는 방법.
  7. 제6항에 있어서, 상기 제2 샘플 이미지는 Vis-NIR인, 이미지들을 융합하는 방법.
  8. 이미지들을 융합하는 시스템에 있어서:
    조명 광자들로 샘플들을 조명하도록 구성된 조명 소스;
    샘플과 상호작용한 상호작용된 광자들로부터 제1 샘플 이미지를 획득하도록 구성된 제1 카메라 칩;
    샘플과 상호작용한 상호작용된 광자들로부터 제2 샘플 이미지를 획득하도록 구성된 제2 카메라 칩; 및
    동작 동안 제1 샘플 이미지와 제2 샘플 이미지에 가중치를 부여하여 제1 샘플 이미지와 제2 샘플 이미지를 융합하는 프로세서를 포함하고,
    상기 제1 샘플 이미지 및 상기 제2 샘플 이미지의 가중치 부여는 이미지 가중 베이시안 융합(IWBF), 부분 최소 제곱 판별 분석(PLS-DA), 선형 회귀, 로지스틱 회귀, 지원 벡터 머신(SVM), 상대 벡터 머신(RVM), 나이브 베이즈, 신경망, 또는 선형 판별 분석(LDA) 중 하나 이상에 의해 수행되며, 그에 따라 융합된 스코어 이미지를 생성하는, 이미지들을 융합하는 시스템.
  9. 제8항에 있어서, 상기 프로세서는 제1 샘플 이미지 및 제2 샘플 이미지 각각에서 글레어를 검출하고, 글레어로서 식별되는 제1 샘플 이미지 및 제2 샘플 이미지의 부분들을 분류하지 않는, 이미지들을 융합하는 시스템.
  10. 제8항에 있어서, 상기 프로세서는 제1 샘플 이미지 및 제2 샘플 이미지의 강도들을 정규화하는, 이미지들을 융합하는 시스템.
  11. 제8항에 있어서, 상기 제1 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만(Raman), NIR-eSWIR, 및 eSWIR로 이루어진 그룹으로부터 선택되고, 상기 제2 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만, NIR-eSWIR 및 eSWIR로 이루어진 그룹으로부터 선택되는, 이미지들을 융합하는 시스템.
  12. 제11항에 있어서, 상기 제1 샘플 이미지는 RGB이고, 상기 제2 샘플 이미지는 Vis-NIR인, 이미지들을 융합하는 시스템.
  13. 제8항에 있어서, 상기 제1 샘플 이미지는 RGB이고, 상기 프로세서는 제1 샘플 이미지를 RGB로부터 색조, 채도, 명도(HSV)로 변환하고, 상기 프로세서는 제1 샘플 이미지의 명도 차원을 생략하는, 이미지들을 융합하는 시스템.
  14. 제13항에 있어서, 상기 제2 샘플 이미지는 Vis-NIR인, 이미지들을 융합하는 시스템.
  15. 비일시적 컴퓨터 판독 가능한 저장 매체 상에 명령들에 의해 구현된 이미지들을 융합하기 위한 컴퓨터 프로그램 제품으로서, 상기 명령들이 프로세서에 의해 실행될 때,
    조명 소스로 하여금 조명 광자들로 샘플들을 조명하게 하고;
    제1 카메라 칩으로 하여금 샘플과 상호작용한 상호작용된 광자들로부터 제1 샘플 이미지를 획득하게 하고;
    제2 카메라 칩으로 하여금 샘플과 상호작용한 상호작용된 광자들로부터 제2 샘플 이미지를 획득하게 하고;
    프로세서로 하여금 제1 샘플 이미지와 제2 샘플 이미지에 가중치를 부여하여 제1 샘플 이미지와 제2 샘플 이미지를 융합하게 하며,
    상기 제1 샘플 이미지 및 상기 제2 샘플 이미지의 가중치 부여는 이미지 가중 베이시안 융합(IWBF), 부분 최소 제곱 판별 분석(PLS-DA), 선형 회귀, 로지스틱 회귀, 지원 벡터 머신(SVM), 상대 벡터 머신(RVM), 나이브 베이즈, 신경망, 또는 선형 판별 분석(LDA) 중 하나 이상에 의해 수행되며, 그에 따라 융합된 스코어 이미지를 생성하는, 컴퓨터 프로그램 제품.
  16. 제15항에 있어서, 상기 명령들은 상기 프로세서로 하여금 제1 샘플 이미지 및 제2 샘플 이미지 각각에서 글레어를 검출하게 하고, 글레어로서 식별되는 제1 샘플 이미지 및 제2 샘플 이미지의 부분들을 분류하지 않게 하는, 컴퓨터 프로그램 제품.
  17. 제15항에 있어서, 상기 명령들은 상기 프로세서로 하여금 제1 샘플 이미지 및 제2 샘플 이미지의 강도를 정규화하게 하는, 컴퓨터 프로그램 제품.
  18. 제15항에 있어서, 상기 제1 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만(Raman), NIR-eSWIR, 및 eSWIR로 이루어진 그룹으로부터 선택되고, 상기 제2 샘플 이미지는 UV, RGB, Vis-NIR, SWIR, 라만, NIR-eSWIR 및 eSWIR로 이루어진 그룹으로부터 선택되는, 컴퓨터 프로그램 제품.
  19. 제18항에 있어서, 상기 제1 샘플 이미지는 RGB이고, 제2 샘플 이미지는 Vis-NIR인, 컴퓨터 프로그램 제품.
  20. 제15항에 있어서, 상기 제1 샘플 이미지는 RGB이고, 상기 프로세서는 제1 샘플 이미지를 RGB로부터 색조, 채도, 명도(HSV)로 변환하고, 상기 프로세서는 제1 샘플 이미지의 명도 차원을 생략하는, 컴퓨터 프로그램 제품.
  21. 제20항에 있어서, 상기 제2 샘플 이미지는 Vis-NIR인, 컴퓨터 프로그램 제품.
KR1020227014512A 2019-10-02 2020-10-02 분자 화학 이미징과 rgb 이미징의 융합 KR20220095190A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962909525P 2019-10-02 2019-10-02
US62/909,525 2019-10-02
PCT/US2020/053914 WO2021067677A1 (en) 2019-10-02 2020-10-02 Fusion of molecular chemical imaging with rgb imaging

Publications (1)

Publication Number Publication Date
KR20220095190A true KR20220095190A (ko) 2022-07-06

Family

ID=75275199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227014512A KR20220095190A (ko) 2019-10-02 2020-10-02 분자 화학 이미징과 rgb 이미징의 융합

Country Status (7)

Country Link
US (1) US11699220B2 (ko)
EP (1) EP4042221A4 (ko)
JP (1) JP2023507530A (ko)
KR (1) KR20220095190A (ko)
CN (1) CN114731364A (ko)
BR (1) BR112022006093A2 (ko)
WO (1) WO2021067677A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220123011A (ko) * 2019-12-18 2022-09-05 켐이미지 코포레이션 개선된 조직 검출을 위한 이미징 모달리티들을 결합하는 시스템 및 방법
US11917272B2 (en) * 2020-10-28 2024-02-27 Semiconductor Components Industries, Llc Imaging systems for multi-spectral imaging
CN113340878B (zh) * 2021-07-01 2023-05-02 四川大学 利用激光诱导击穿光谱技术对癌组织进行分子光谱成像来识别肿瘤边界的方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555324A (en) * 1994-11-01 1996-09-10 Massachusetts Institute Of Technology Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene
TWI221127B (en) * 2001-06-18 2004-09-21 Toshiba Corp Thermal transfer recording medium
US8064664B2 (en) 2006-10-18 2011-11-22 Eigen, Inc. Alignment method for registering medical images
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US8773756B2 (en) 2008-10-06 2014-07-08 Novadaq Technologies Inc. Compensating optical coupler for visible and NIR imaging
US8520970B2 (en) * 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US20120061590A1 (en) * 2009-05-22 2012-03-15 British Columbia Cancer Agency Branch Selective excitation light fluorescence imaging methods and apparatus
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
US20120133775A1 (en) * 2010-02-05 2012-05-31 Chemimage Corporation System and method for detecting explosive agents using swir, mwir, and lwir hyperspectral imaging
US20120062697A1 (en) * 2010-06-09 2012-03-15 Chemimage Corporation Hyperspectral imaging sensor for tracking moving targets
US20140043488A1 (en) * 2010-10-06 2014-02-13 Chemimage Corporation System and Method for Drug Detection Using SWIR
GB2513343A (en) * 2013-04-23 2014-10-29 Univ Singapore Methods related to instrument-independent measurements for quantitative analysis of fiber-optic Raman spectroscopy
EP2917734A4 (en) * 2012-11-06 2016-09-07 Chemimage Corp SYSTEM AND METHOD FOR DETECTION OF CANCER BASED ON SERUM
KR101514204B1 (ko) * 2013-07-12 2015-04-23 한국전기연구원 감시림프절의 근적외선 형광 검출 장치 및 방법
US9491377B2 (en) 2013-08-07 2016-11-08 Trimble Navigation Limited Methods of extracting 4-band data from a single CCD; methods of generating 4×4 or 3×3 color correction matrices using a single CCD
CN106455979A (zh) * 2013-12-31 2017-02-22 纪念斯隆-凯特琳癌症中心 用于荧光源实时多通道成像的系统、方法和设备
EP3212057B1 (en) * 2014-10-29 2021-12-01 Spectral MD, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
CN108474691B (zh) * 2015-11-16 2021-12-10 开米美景公司 基于拉曼的免疫测定系统和方法
EP3417763A1 (en) * 2017-06-22 2018-12-26 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) System for endoscopic imaging
CN107440669A (zh) * 2017-08-25 2017-12-08 北京数字精准医疗科技有限公司 一种双通道内窥式成像系统
CN107518879A (zh) * 2017-10-11 2017-12-29 北京数字精准医疗科技有限公司 一种荧光成像装置及方法
WO2019140099A1 (en) * 2018-01-10 2019-07-18 Chemimage Corporation Time correlated source modulation for endoscopy
US11673166B2 (en) * 2018-03-14 2023-06-13 Monsanto Technology Llc Seed imaging
US10534948B1 (en) * 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques

Also Published As

Publication number Publication date
EP4042221A1 (en) 2022-08-17
JP2023507530A (ja) 2023-02-22
BR112022006093A2 (pt) 2022-06-21
US20210104028A1 (en) 2021-04-08
US11699220B2 (en) 2023-07-11
WO2021067677A1 (en) 2021-04-08
EP4042221A4 (en) 2023-11-15
CN114731364A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US11699220B2 (en) Fusion of molecular chemical imaging with RGB imaging
US11257213B2 (en) Tumor boundary reconstruction using hyperspectral imaging
Rey-Barroso et al. Visible and extended near-infrared multispectral imaging for skin cancer diagnosis
Liu et al. Automated tongue segmentation in hyperspectral images for medicine
US20150379712A1 (en) Medical image processing
JP7187557B2 (ja) 医療画像学習装置、方法及びプログラム
Weijtmans et al. A dual stream network for tumor detection in hyperspectral images
Zheludev et al. Delineation of malignant skin tumors by hyperspectral imaging using diffusion maps dimensionality reduction
WO2019151029A1 (ja) 撮像装置および撮像方法、並びにプログラム
JPWO2020017213A1 (ja) 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
Eggert et al. In vivo detection of head and neck tumors by hyperspectral imaging combined with deep learning methods
Wang et al. Facial image medical analysis system using quantitative chromatic feature
Zhang et al. Visible near-infrared hyperspectral imaging and supervised classification for the detection of small intestinal necrosis tissue in vivo
Liu et al. Using hyperspectral imaging automatic classification of gastric cancer grading with a shallow residual network
US20210192295A1 (en) Systems and methods of combining imaging modalities for improved tissue detection
WO2022228396A1 (zh) 内窥镜多光谱图像处理系统及处理和训练方法
WO2021262129A1 (en) An artificial intelligence analysis based on hyperspectral imaging for a quick determination of the health conditions of newborn premature babies without any contact
CN114216867A (zh) 高光谱图像采集识别装置及方法
WO2021231967A1 (en) Systems and methods for tumor subtyping using molecular chemical imaging
Valiyambath Krishnan et al. Red, green, and blue gray-value shift-based approach to whole-field imaging for tissue diagnostics
Suárez et al. Non-invasive Melanoma Diagnosis using Multispectral Imaging.
Litorja et al. Use of a spectrally tunable source to explore improvement in chromatic contrast for illumination of tissues
Tamura et al. Feature detection in biological tissues using multi-band and narrow-band imaging
JP7449004B2 (ja) 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法
TWI803223B (zh) 於超頻譜影像之物件偵測方法