KR20210101285A - 상처들의 평가, 치유 예측 및 치료를 위한 머신 학습 시스템들 및 방법들 - Google Patents

상처들의 평가, 치유 예측 및 치료를 위한 머신 학습 시스템들 및 방법들 Download PDF

Info

Publication number
KR20210101285A
KR20210101285A KR1020217021623A KR20217021623A KR20210101285A KR 20210101285 A KR20210101285 A KR 20210101285A KR 1020217021623 A KR1020217021623 A KR 1020217021623A KR 20217021623 A KR20217021623 A KR 20217021623A KR 20210101285 A KR20210101285 A KR 20210101285A
Authority
KR
South Korea
Prior art keywords
pixels
wound
image
healing
subset
Prior art date
Application number
KR1020217021623A
Other languages
English (en)
Inventor
원성 판
존 마이클 디마이오
제프리 이 대처
페이란 추안
파리우 이
케빈 플랜트
로널드 백스터
브라이언 맥콜
지춘 가오
제이슨 드와이트
Original Assignee
스펙트랄 엠디, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스펙트랄 엠디, 인크. filed Critical 스펙트랄 엠디, 인크.
Publication of KR20210101285A publication Critical patent/KR20210101285A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

당뇨병성 족부 궤양들 또는 기타의 상처들 등의 상처 치유의 예측, 및 상처 영역들 및 비상처 영역들로의 이미지들의 세그먼트화 등의 평가 구현들을 위한 머신 학습 시스템들 및 방법들이 개시된다. 상처 치유를 평가하거나 예측하기 위한 시스템들은, 상처를 포함하는 조직 영역으로부터 반사된 적어도 제1 파장의 광을 수집하도록 구성된 광 검출 요소, 및 조직 영역을 묘사하는 픽셀들을 갖는 광 검출 요소로부터의 신호에 기초하여 이미지를 생성하고, 픽셀들의 적어도 서브세트에 대한 반사 강도 값들을 결정하고, 반사 강도 값들에 기초하여 복수의 픽셀 중의 서브세트의 하나 이상의 정량적 피처를 결정하고, 미리결정된 시구간에 걸쳐 상처와 연관된 예측되거나 평가된 치유 파라미터를 생성하도록 구성된 하나 이상의 프로세서를 포함할 수 있다.

Description

상처들의 평가, 치유 예측 및 치료를 위한 머신 학습 시스템들 및 방법들
관련 출원들의 상호참조
본 출원은, 그 전체 내용이 참조에 의해 본 명세서에 포함되고 모든 목적을 위한, 2018년 12월 17일 출원된 발명의 명칭이 "PREDICTION OF DIABETIC FOOT ULCER HEALING UPON INITIAL VISIT USING ARTIFICIAL INTELLIGENCE"인 미국 가출원 일련 번호 제62/780,854호, 2018년 12월 14일 출원된 발명의 명칭이 "SYSTEM AND METHOD FOR HIGH PRECISION MULTI-APERTURE SPECTRAL IMAGING"인 미국 가출원 일련 번호 제62/780,121호, 및 2019년 3월 14일 출원된 발명의 명칭이 "SYSTEM AND METHOD FOR HIGH PRECISION MULTI-APERTURE SPECTRAL IMAGING"인 미국 가출원 일련 번호 제62/818,375호의 이익을 주장한다.
연방 후원 R&D 관한 진술
본 개시내용에 설명된 일부 연구는, 미국 보건 복지부 준비 및 대응을 위한 차관보실(Office of the Assistant Secretary for Preparedness and Response in the U.S. Department of Health and Human Services) 내의 BARDA(Biomedical Advanced Research and Development Authority)에 의해 수여된 계약 번호 HHSO100201300022C 하에서 미국 정부의 지원을 받아 이루어졌다. 본 개시내용에서 설명된 일부 연구는, 미국 국방 보건국(DHA; Defense Health Agency)에 의해 수여된 계약 번호 W81XWH-17-C-0170 및/또는 W81XWH-18-C-0114 하에서 미국 정부의 지원을 받아 이루어졌다. 미국 정부는 본 발명에 대한 소정의 권리를 가질 수 있다.
기술적 분야
본 명세서에 개시된 시스템들 및 방법들은 의료 촬영에 관한 것으로, 특히 머신 학습 기술들을 이용한 상처 평가, 치유 예측, 및 치료에 관한 것이다.
광학 촬영은, 응급 상황, 의료 사무실, 병상, 또는 수술실에서, 질병 예방, 진단 및 치료를 개선하기 위한 잠재성을 가진 새로운 기술이다. 광학 촬영 기술들은, 조직들, 천연 조직들과 내인성 또는 외인성 조영제(contrast media)로 표지된 조직을 비침습적으로 구분하여, 상이한 파장들에서 상이한 광자 흡수 또는 산란 프로파일을 측정할 수 있다. 이러한 광자 흡수 및 산란 차이들은 특정한 조직 대비를 제공하기 위한 잠재력을 제공하고 건강과 질병의 기초가 되는 기능 및 분자 수준 활동들을 연구할 수 있게 한다.
전자기 스펙트럼은 전자기 복사(예를 들어, 광)가 연장되는 파장들 또는 주파수들의 범위이다. 더 긴 파장들로부터 더 짧은 파장들까지의 순서로, 전자기 스펙트럼은, 라디오파들, 마이크로파들, 적외선(IR) 광, 가시 광(즉, 사람 눈의 구조물에 의해 검출가능한 광), 자외선(UV) 광, x-선들 및 감마선들을 포함한다. 스펙트럼 촬영이란, 일부 스펙트럼 정보 또는 전체 스펙트럼이 이미지 평면의 위치들에서 수집되는 분광학 및 사진술의 한 분야를 말한다. 일부 스펙트럼 촬영 시스템은 하나 이상의 스펙트럼 대역을 캡처할 수 있다. 다중스펙트럼 촬영 시스템은, 각각의 픽셀에서 스펙트럼 대역 측정값들이 수집되고 스펙트럼 채널당 약 수십 나노미터의 대역폭을 참조할 수 있는 (전형적으로는 이산 스펙트럼 영역들에 있는 12개 이하 정도의) 복수의 스펙트럼 대역을 캡처할 수 있다. 초분광 촬영 시스템(hyperspectral imaging system)들은, 예를 들어 200개 이상 정도로, 더 많은 수의 스펙트럼 대역을 측정하며, 일부는 전자기 스펙트럼의 일부를 따라 좁은 대역들(예를 들어, 나노미터 이하 정도의 스펙트럼 대역폭들)의 연속 샘플링을 제공한다.
본 명세서에서 설명되는 기술의 양태들은, 비접촉식, 비침습적, 및 비방사선 광학 촬영을 이용하여 상처의 또는 상처 부근의 조직 영역들을 평가 및/또는 분류하는데 이용될 수 있는 디바이스들 및 방법들에 관한 것이다. 이러한 디바이스들 및 방법들은, 예를 들어 상처와 관련된 상이한 조직 건강 분류들에 대응하는 조직 영역들을 식별하거나 및/또는 상처 또는 그 일부에 대한 예측된 치유 파라미터들을 결정할 수 있고, 임상의가 상처 치유 예후를 결정하거나 적절한 상처 관리 요법 또는 양쪽 모두를 선택하는데 이용하도록 식별된 영역들 및/또는 파라미터들의 시각적 표현을 출력할 수 있다. 일부 실시예에서, 본 기술의 디바이스들 및 방법들은 단일 파장 또는 복수의 파장에서의 촬영에 기초하여 이러한 분류 및/또는 예측을 제공할 수 있다. 상처들 또는 그 일부들에 대한 치유를 정량적으로 예측하기 위한 정보를 의사에게 제공할 수 있는 비침습적 촬영 기술들에 대한 필요성이 오랫동안 느껴져 왔다.
한 양태에서, 상처 치유를 평가 또는 예측하기 위한 시스템은, 상처를 포함하는 조직 영역으로부터 반사된 후의 적어도 제1 파장의 광을 수집하도록 구성된 적어도 하나의 광 검출 요소, 및 적어도 하나의 광 검출 요소와 통신하는 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는, 적어도 하나의 광 검출 요소로부터 신호 ―상기 신호는 조직 영역으로부터 반사된 제1 파장의 광을 나타냄― 를 수신하고; 상기 신호에 기초하여, 상기 조직 영역을 묘사하는 복수의 픽셀을 갖는 이미지를 생성하고; 상기 신호에 기초하여, 상기 복수의 픽셀 중의 적어도 서브세트의 각각의 픽셀에 대한 상기 제1 파장에서의 반사 강도 값을 결정하고; 상기 서브세트의 각각의 픽셀의 상기 반사 강도 값들에 기초하여 상기 복수의 픽셀 중의 상기 서브세트의 하나 이상의 정량적 피처를 결정하고; 및 하나 이상의 머신 학습 알고리즘을 이용하여, 상기 복수의 픽셀 중의 상기 서브세트의 상기 하나 이상의 정량적 피처에 기초해 적어도 하나의 스칼라 값 ―상기 적어도 하나의 스칼라 값은 미리결정된 시구간에 걸쳐 예측되거나 평가된 치유 파라미터에 대응함― 을 생성하도록 구성된다.
일부 실시예에서, 상처는 당뇨병성 족부 궤양(diabetic foot ulcer)이다. 일부 실시예에서, 예측된 치유 파라미터는 상처의 예측된 치유량이다. 일부 실시예에서, 예측된 치유 파라미터는 상처의 예측된 면적 감소 백분율이다. 일부 실시예에서, 적어도 하나의 스칼라 값은 복수의 스칼라 값을 포함하고, 복수의 스칼라 값 중의 각각의 스칼라 값은 서브세트의 개개의 픽셀 또는 서브세트의 개개의 픽셀들의 서브그룹의 치유 확률에 대응한다. 일부 실시예에서, 하나 이상의 프로세서는 추가로, 사용자에게 디스플레이하기 위해 복수의 스칼라 값의 시각적 표현을 출력하도록 구성된다. 일부 실시예에서, 시각적 표현은 픽셀에 대응하는 치유 확률에 기초하여 선택된 특정한 시각적 표현으로 디스플레이된 서브세트의 각각의 픽셀을 갖는 이미지를 포함하고, 여기서 상이한 치유 확률들과 연관된 픽셀들은 상이한 시각적 표현들로 디스플레이된다. 일부 실시예에서, 하나 이상의 머신 학습 알고리즘은 상처, 화상 또는 궤양 이미지 데이터베이스를 이용하여 미리훈련된 SegNet을 포함한다. 일부 실시예에서, 상처 이미지 데이터베이스는 당뇨병성 족부 궤양 이미지 데이터베이스를 포함한다. 일부 실시예에서, 상처 이미지 데이터베이스는 화상 이미지 데이터베이스를 포함한다. 일부 실시예에서, 미리결정된 시구간은 30 일이다. 일부 실시예에서, 하나 이상의 프로세서는 추가로, 조직 영역을 갖는 환자에 대응하는 적어도 하나의 환자 건강 메트릭 값을 식별하도록 구성되고, 여기서 적어도 하나의 스칼라 값은 복수의 픽셀 중의 서브세트의 하나 이상의 정량적 피처 및 적어도 하나의 환자 건강 메트릭 값에 기초하여 생성된다. 일부 실시예에서, 적어도 하나의 환자 건강 메트릭 값은, 인구통계학적 변수들, 당뇨병성 족부 궤양 이력 변수들, 순응도 변수들, 내분비 변수들, 심혈관 변수들, 근골격 변수들, 영양 변수들, 감염성 질환 변수들, 신장 변수들, 산부인과 변수들, 약물 사용 변수들, 기타의 질병 변수들 또는 실험실 값들로 구성된 그룹으로부터 선택된 적어도 하나의 변수를 포함한다. 일부 실시예에서, 적어도 하나의 환자 건강 메트릭 값은 하나 이상의 임상 피처를 포함한다. 일부 실시예에서, 하나 이상의 임상 피처는, 환자의 연령, 환자의 만성 신장 질환 수준, 이미지가 생성된 날의 상처 길이, 이미지가 생성된 날의 상처의 폭으로 구성된 그룹으로부터 선택된 적어도 하나의 피처를 포함한다. 일부 실시예에서, 제1 파장은, 420 nm ± 20 nm, 525 nm ± 35 nm, 581 nm ± 20 nm, 620 nm ± 20 nm, 660 nm ± 20 nm, 726 nm ± 41 nm, 820 nm ± 20 nm, 또는 855 nm ± 30 nm의 범위 내에 있다. 일부 실시예에서, 제1 파장은, 620 nm ± 20 nm, 660 nm ± 20 nm, 또는 420 nm ± 20 nm 범위 내에 있다. 일부 실시예에서, 하나 이상의 머신 학습 알고리즘은 랜덤 포레스트 앙상블(random forest ensemble)을 포함한다. 일부 실시예에서, 제1 파장은, 726 nm ± 41 nm, 855 nm ± 30 nm, 525 nm ± 35 nm, 581 nm ± 20 nm, 또는 820 nm ± 20 nm 범위 내에 있다. 일부 실시예에서, 하나 이상의 머신 학습 알고리즘은 분류기들의 앙상블을 포함한다. 일부 실시예에서, 시스템은 적어도 제1 파장의 광을 통과시키도록 구성된 광학 대역통과 필터를 더 포함한다. 일부 실시예에서, 하나 이상의 프로세서는 추가로, 이미지의 복수의 픽셀을 상처 픽셀들 및 비-상처 픽셀들로 자동으로 세그먼트화하고, 상처 픽셀들을 포함하는 복수의 픽셀 중의 서브세트를 선택하도록 구성된다. 일부 실시예에서, 하나 이상의 프로세서는 추가로, 비-상처 픽셀들을, 캘러스 픽셀(callus pixel)들 및 배경 픽셀들로 자동으로 세그먼트화하도록 구성된다. 일부 실시예에서, 하나 이상의 프로세서는 추가로, 비-상처 픽셀들을, 캘러스 픽셀들, 정상 피부 픽셀들, 및 배경 픽셀들로 자동으로 세그먼트화하도록 구성된다. 일부 실시예에서, 하나 이상의 프로세서는 콘볼루션 신경망을 포함하는 세그먼트화 알고리즘을 이용하여 복수의 픽셀을 자동으로 세그먼트화한다. 일부 실시예에서, 세그먼트화 알고리즘은, 복수의 콘볼루션 계층을 포함하는 U-Net과 복수의 콘볼루션 계층을 포함하는 SegNet 중 적어도 하나이다. 일부 실시예에서, 복수의 픽셀 중의 서브세트의 하나 이상의 정량적 피처는 복수의 픽셀의 하나 이상의 종합 정량적 피처를 포함한다. 일부 실시예에서, 복수의 픽셀 중의 서브세트의 하나 이상의 종합 정량적 피처는, 서브세트의 픽셀들의 반사 강도 값들의 평균, 서브세트의 픽셀들의 반사 강도 값들의 표준 편차, 및 서브세트의 픽셀들의 중앙 반사 강도 값으로 구성된 그룹으로부터 선택된다. 일부 실시예에서, 하나 이상의 프로세서는 추가로, 콘볼루션에 의해 이미지에 복수의 필터 커널을 개별적으로 적용하여 복수의 이미지 변환을 생성하고; 복수의 이미지 변환으로부터 3D 행렬을 구성하고; 3D 행렬의 하나 이상의 정량적 피처를 결정하도록 구성되고, 여기서 적어도 하나의 스칼라 값은, 복수의 픽셀 중의 서브세트의 하나 이상의 정량적 피처 및 3D 행렬의 하나 이상의 정량적 피처에 기초하여 생성된다. 일부 실시예에서, 3D 행렬의 하나 이상의 정량적 피처는, 3D 행렬의 값들의 평균, 3D 행렬의 값들의 표준 편차, 3D 행렬의 중앙값, 및 3D 행렬의 평균과 중앙값의 곱으로 구성된 그룹으로부터 선택된다. 일부 실시예에서, 적어도 하나의 스칼라 값은, 서브세트의 픽셀들의 반사 강도 값들의 평균, 서브세트의 픽셀들의 반사 강도 값들의 표준 편차, 서브세트의 픽셀들의 중앙 반사 강도 값, 3D 행렬의 값들의 평균, 3D 행렬의 값들의 표준 편차, 및 3D 행렬의 중앙값에 기초하여 생성된다. 일부 실시예에서, 적어도 하나의 광 검출 요소는 추가로, 조직 영역으로부터 반사된 후의 적어도 제2 파장의 광을 수집하도록 구성되고, 하나 이상의 프로세서는 추가로, 적어도 하나의 광 검출 요소로부터 제2 신호 ―제2 신호는 조직 영역으로부터 반사된 제2 파장의 광을 나타냄―를 수신하고; 제2 신호에 기초하여, 복수의 픽셀 중의 적어도 서브세트의 각각의 픽셀에 대한 제2 파장에서의 반사 강도 값을 결정하고; 제2 파장에서 각각의 픽셀의 반사 강도 값에 기초하여 복수의 픽셀 중의 서브세트의 하나 이상의 추가적인 정량적 피처를 결정하도록 구성되고, 여기서 적어도 하나의 스칼라 값은, 복수의 픽셀 중의 서브세트의 하나 이상의 추가적인 정량적 피처에 적어도 부분적으로 기초하여 생성된다.
제2 양태에서, 상처 평가를 위한 시스템은, 상처를 포함하는 조직 영역으로부터 반사된 후의 적어도 제1 파장의 광을 수집하도록 구성된 적어도 하나의 광 검출 요소, 및 적어도 하나의 광 검출 요소와 통신하는 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는 적어도 하나의 광 검출 요소로부터 신호 ―신호는 상기 조직 영역으로부터 반사된 제1 파장의 광을 나타냄― 를 수신하고; 신호에 기초하여, 조직 영역을 묘사하는 복수의 픽셀을 갖는 이미지를 생성하고; 신호에 기초하여, 복수의 픽셀 중의 각각의 픽셀에 대한 제1 파장에서의 반사 강도 값을 결정하고; 머신 학습 알고리즘을 이용하여, 복수의 픽셀의 개개의 픽셀들을, 적어도, 복수의 픽셀의 개개의 반사 강도 값들에 기초하여, 상처 픽셀들을 포함하는 복수의 픽셀의 제1 서브세트 및 비-상처 픽셀들을 포함하는 복수의 픽셀의 제2 서브세트로 자동으로 세그먼트화하도록 구성된다.
일부 실시예에서, 하나 이상의 프로세서는 추가로, 복수의 픽셀의 제2 서브세트를 적어도 비-상처 픽셀들의 2개 범주로 자동으로 세그먼트화하도록 구성되고, 적어도 2개의 범주는, 캘러스 픽셀들, 정상 피부 픽셀들, 및 배경 픽셀들로 구성된 그룹으로부터 선택된다. 일부 실시예에서, 머신 학습 알고리즘은 콘볼루션 신경망을 포함한다. 일부 실시예에서, 머신 학습 알고리즘은, 복수의 콘볼루션 계층을 포함하는 U-Net과 복수의 콘볼루션 계층을 포함하는 SegNet 중 적어도 하나이다. 일부 실시예에서, 머신 학습 알고리즘은, 상처, 궤양, 또는 화상의 복수의 세그먼트화된 이미지를 포함하는 데이터세트에 기초하여 훈련된다. 일부 실시예에서, 상처는 당뇨병성 족부 궤양이다. 일부 실시예에서, 하나 이상의 프로세서는 추가로, 사용자에게 디스플레이하기 위해 세그먼트화된 복수의 픽셀의 시각적 표현을 출력하도록 구성된다. 일부 실시예에서, 시각적 표현은, 픽셀의 세그먼트화에 기초하여 선택된 특정한 시각적 표현으로 디스플레이된 각각의 픽셀을 갖는 이미지를 포함하며, 여기서 상처 픽셀들 및 비-상처 픽셀들은 상이한 시각적 표현들로 디스플레이된다.
또 다른 양태에서, 상처 치유를 평가하거나 예측하기 위한 시스템을 이용하여 상처 치유를 예측하는 방법은, 조직 영역이 광의 적어도 일부를 적어도 하나의 광 검출 요소쪽으로 반사하도록 적어도 제1 파장의 광으로 조직 영역을 조명하는 단계, 적어도 하나의 스칼라 값을 생성하기 위해 시스템을 이용하는 단계, 및 미리결정된 시구간에 걸쳐 예측된 치유 파라미터를 결정하는 단계를 포함한다.
일부 실시예에서, 조직 영역을 조명하는 단계는 적어도 제1 파장의 광을 방출하도록 구성된 하나 이상의 광 방출기를 활성화하는 단계를 포함한다. 일부 실시예에서, 조직 영역을 조명하는 단계는 조직 영역을 주변 광에 노출시키는 단계를 포함한다. 일부 실시예에서, 예측된 치유 파라미터를 결정하는 단계는, 미리결정된 시구간에 걸쳐 상처의 예상되는 면적 감소 백분율을 결정하는 단계를 포함한다. 일부 실시예에서, 이 방법은, 상처의 예측된 치유량의 결정에 이어, 미리결정된 시구간이 경과한 후 상처의 하나 이상의 치수를 측정하는 단계, 미리결정된 시구간에 걸쳐 상처의 실제 치유량을 결정하는 단계를, 및 적어도 이미지 및 상처의 실제 치유량을 훈련 데이터로서 제공함으로써 하나 이상의 머신 학습 알고리즘 중의 적어도 하나의 머신 학습 알고리즘을 업데이트하는 단계를 더 포함한다. 일부 실시예에서, 이 방법은, 예측된 치유 파라미터에 적어도 부분적으로 기초하여 표준 상처 관리 요법과 진보된 상처 관리 요법 중에서 선택하는 단계를 더 포함한다. 일부 실시예에서, 표준 상처 관리 요법과 진보된 상처 관리 요법 중에서 선택하는 단계는, 예측된 치유 파라미터가, 상처, 바람직하게는 DFU가 30일에 50%보다 크게 치유 또는 봉합될 것임을 나타내는 경우, 영양 상태의 최적화, 비활 조직을 제거하기 위한 임의의 수단에 의한 제거, 적절히 촉촉한 드레싱을 이용하여 육아 조직(granulation tissue)의 깨끗하고 촉촉한 베드(bed)의 유지, 존재할 수 있는 임의의 감염을 해결하는데 필요한 요법으로 구성된 그룹으로부터 선택된 하나 이상의 표준 요법을 표시하거나 적용하는 단계, DFU로 사지말단으로의 혈관 관류의 결함을 해결하는 단계, DFU로부터의 압력 오프로딩 및 적절한 포도당 조절; 예측된 치유 파라미터가, 상처, 바람직하게는 DFU가 30일에 50%보다 크게 치유 또는 봉합되지 않을 것임을 나타내는 경우, 고압 산소 요법, 음압 상처 요법, 생체 공학 피부 대체물, 합성 성장 인자, 세포외 기질 단백질, 기질 금속단백질 분해 효소 조절제(matrix metalloproteinase modulator), 및 전기 자극 요법으로 구성된 그룹으로부터 선택된 하나 이상의 고급 관리 요법을 표시하거나 적용하는 단계를 포함한다.
도 1a는 상이한 주 광선 각도들에서 필터에 입사되는 광의 한 예를 나타낸다.
도 1b는 다양한 주 광선 각도에 대해 도 1a의 필터에 의해 제공되는 예시적인 투과 효율들을 나타내는 그래프이다.
도 2a는 다중스펙트럼 이미지 데이터큐브(datacube)의 한 예를 나타낸다.
도 2b는 소정의 다중스펙트럼 촬영 기술들이 도 2a의 데이터큐브를 생성하는 방법의 예들을 나타낸다.
도 2c는 도 2a의 데이터큐브를 생성할 수 있는 예시적인 스냅샷 촬영 시스템을 도시한다.
도 3a는 본 개시내용에 따른 만곡형 다중-대역통과 필터들을 갖는 예시적인 다중-조리개 촬영 시스템의 광학 설계의 개략적인 단면도를 도시한다.
도 3b 내지 도 3d는 도 3a의 다중-조리개 촬영 시스템의 하나의 광 경로의 광학 컴포넌트들에 대한 예시적인 광학 설계를 도시한다.
도 4a 내지 도 4e는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 가진 다중스펙트럼 다중-조리개 촬영 시스템의 한 실시예를 도시한다.
도 5는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 갖는 다중스펙트럼 다중-조리개 촬영 시스템의 또 다른 실시예를 도시한다.
도 6a 내지 도 6c는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 가진 다중스펙트럼 다중-조리개 촬영 시스템의 또 다른 실시예를 도시한다.
도 7a 및 도 7b는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 가진 다중스펙트럼 다중-조리개 촬영 시스템의 또 다른 실시예를 도시한다.
도 8a 및 도 8b는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 가진 다중스펙트럼 다중-조리개 촬영 시스템의 또 다른 실시예를 도시한다.
도 9a 내지 도 9c는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 가진 다중스펙트럼 다중-조리개 촬영 시스템의 또 다른 실시예를 도시한다.
도 10a 및 도 10b는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 가진 다중스펙트럼 다중-조리개 촬영 시스템의 또 다른 실시예를 도시한다.
도 11a 및 도 11b는 도 3a 내지 도 10b의 다중스펙트럼 다중-조리개 촬영 시스템들의 필터들에 의해 통과될 수 있는 예시적인 파장대역 세트를 도시한다.
도 12는 도 3a 내지 도 10b의 다중스펙트럼 다중-조리개 촬영 시스템들에 이용될 수 있는 촬영 시스템의 개략적인 블록도를 도시한다.
도 13은 도 3a 내지 도 10b의 다중스펙트럼 다중-조리개 촬영 시스템들을 이용하여 이미지 데이터를 캡처하기 위한 한 예시적인 프로세스의 플로차트이다.
도 14는, 이미지 데이터, 예를 들어 도 13의 프로세스를 이용하여 및/또는 도 3a 내지 도 10b의 다중스펙트럼 다중-조리개 촬영 시스템들을 이용하여 캡처된 이미지 데이터를 처리하기 위한 워크플로우의 개략적인 블록도를 도시한다.
도 15는, 이미지 데이터, 예를 들어 도 13의 프로세스를 이용하여 및/또는 도 3a 내지 도 10b의 다중스펙트럼 다중-조리개 촬영 시스템들을 이용하여 캡처된 이미지 데이터를 처리하기 위한 불일치 및 불일치 보정을 그래픽으로 도시한다.
도 16은, 다중스펙트럼 이미지 데이터, 예를 들어, 도 13의 프로세스를 이용하여 캡처되고, 도 14 및 도 15에 따라 처리되고, 및/또는 도 3a 내지 도 10b의 다중스펙트럼 다중-조리개 촬영 시스템들을 이용하는, 다중스펙트럼 이미지 데이터에 관해 픽셀별 분류를 수행하기 위한 워크플로우를 그래픽으로 도시한다.
도 17은 도 3a 내지 도 10b의 다중스펙트럼 다중-조리개 촬영 시스템들을 포함하는 예시적인 분산형 컴퓨팅 시스템의 개략적인 블록도를 도시한다.
도 18a 내지 도 18c는, 다중스펙트럼, 다중-조리개 촬영 시스템의 한 예시적인 핸드헬드 실시예를 나타낸다.
도 19a 및 도 19b는 다중스펙트럼, 다중-조리개 촬영 시스템의 한 예시적인 핸드헬드 실시예를 도시한다.
도 20a 및 도 20b는 공통 카메라 하우징에 인클로징된 소형 USB 3.0을 위한 한 예시적인 다중스펙트럼, 다중-조리개 촬영 시스템을 나타낸다.
도 21은 개선된 이미지 정합을 위한 추가적인 조명체를 포함하는 예시적인 다중스펙트럼, 다중-조리개 촬영 시스템을 나타낸다.
도 22는, 대응하는 면적, 부피 및 제거 측정과 함께, 치유되는 당뇨병성 족부 궤양(DFU)의 한 예시적인 시간 진행을 도시한다.
도 23은, 대응하는 면적, 부피 및 제거 측정과 함께, 치유되지 않는 DFU의 한 예시적인 시간 진행을 도시한다.
도 24는 DFU의 하나 이상의 이미지에 기초하여 치유 예측을 생성하기 위한 한 예시적인 머신 학습 시스템을 개략적으로 나타낸다.
도 25는 DFU의 하나 이상의 이미지 및 하나 이상의 환자 건강 메트릭에 기초하여 치유 예측을 생성하기 위한 한 예시적인 머신 학습 시스템을 개략적으로 나타낸다.
도 26은 본 기술에 따른 이미지 세그먼트화 및/또는 예측된 치유 파라미터들의 생성을 위한 스펙트럼 및/또는 다중스펙트럼 촬영에 이용되는 예시적인 파장 대역 세트를 나타낸다.
도 27은 본 기술의 예시적인 상처 평가 방법들에서 임상 변수들을 포함시키는 효과를 나타내는 히스토그램이다.
도 28은 본 기술의 머신 학습 시스템들 및 방법들에 따른 한 예시적인 오토인코더를 개략적으로 나타낸다.
도 29는 본 기술의 머신 학습 시스템들 및 방법들에 따른 한 예시적인 지도형 머신 학습 알고리즘을 개략적으로 나타낸다.
도 30은 본 기술의 머신 학습 시스템들 및 방법들에 따른 한 예시적인 엔드-투-엔드 머신 학습 알고리즘을 개략적으로 나타낸다.
도 31은 본 기술에 따른 수개의 예시적인 머신 학습 알고리즘의 입증된 정확도를 나타내는 막대 그래프이다.
도 32는 본 기술에 따른 수개의 예시적인 머신 학습 알고리즘의 입증된 정확도를 나타내는 막대 그래프이다.
도 33은 본 기술의 머신 학습 시스템들 및 방법들에 따른 조건부 확률 맵핑의 시각적 표현 생성 및 예측 치유의 한 예시적인 프로세스를 개략적으로 나타낸다.
도 34는 하나 이상의 피처별 선형 변환(FiLM; feature-wise linear transformation) 계층을 포함하는 한 예시적인 조건부 확률 맵핑 알고리즘을 개략적으로 나타낸다.
도 35는 본 기술에 따른 조건부 치유 확률 맵을 생성하기 위한 수개의 이미지 세그먼트화 접근법의 입증된 정확도를 나타낸다.
도 36은 본 기술의 머신 학습 시스템들 및 방법들에 따른 치유 예측을 위한 한 예시적인 개개의 파장 분석 방법에서 이용되는 한 예시적인 세트의 콘볼루션 필터 커널들을 나타낸다.
도 37은 본 기술의 머신 학습 시스템들 및 방법들에 따른 이미지 세그먼트화를 위해 DFU 이미지에 기초하여 생성된 한 예시적인 실측자료 마스크(ground truth mask)를 나타낸다.
도 38은 본 기술의 머신 학습 시스템들 및 방법들에 따른 한 예시적인 상처 이미지 세그먼트화 알고리즘의 입증된 정확도를 나타낸다.
당뇨병을 앓고 있는 2600만 미국인 중 약 15-25%가 당뇨병성 족부 궤양(DFU; diabetic foot ulcer)을 발현할 것이다. 이들 상처는, 이동성 상실과 삶의 질 저하로 이어진다. DFU를 발현하는 사람들의 40%는 절단 및 사망의 위험을 증가시키는 상처 감염을 발현한다. DFU와 관련된 사망률은, 첫해에는 5%, 5년 내에는 42% 정도로 높다. 이것은 높은 위험의 연간 대절단(4.7%)과 경미한 절단(39.8%)에 의해 상승된다. 또한, 매년 하나의 DFU를 치료하는데 드는 비용은 약 22,000 달러 내지 44,000 달러 범위이며, DFU로 인한 미국 의료 시스템에 대한 전반적인 부담은 연간 90억 달러 내지 130억 달러이다.
일반적으로 30일 후 50% 초과의 면적 감소(PAR)를 갖는 DFU는 표준 관리 요법으로 12주경까지는 치유될 것이다. 그러나, 이 메트릭을 이용하는 것은, 더 효과적인 요법(예를 들어, 고급 관리 요법)을 이용해야 하는지를 결정할 수 있기 전에 4 주간의 상처 관리를 요구한다. DFU 등의 긴급하지 않은 초기 제시를 위한 상처 관리에 대한 전형적인 임상 접근법에서, 환자는, 상처의 제시 및 초기 평가 후 약 30일 동안, 표준 상처 관리 요법(예를 들어, 혈관 문제 교정, 영양 최적화, 포도당 조절, 제거, 드레싱, 및/또는 오프로딩)을 받는다. 약 30 일째에, 상처가 치유되고 있는지를 결정하기 위해 상처를 평가한다(예를 들어, 50% 초과의 면적 감소 백분율). 상처가 충분히 치유되고 있지 않는 경우, 치료는, 성장 인자, 생체공학적 조직, 고압 산소, 음압, 절단, 재조합 인간-혈소판 유래 성장 인자(예를 들어, Regranex™ Gel), 생체공학적 인간 피부 대체물(예를 들어, Dermagraft™), 및/또는 살아있는 이중층 피부 대체물(예를 들어, Apligraf™)을 포함할 수 있는 하나 이상의 고급 상처 관리 요법으로 보완된다. 그러나, DFU들의 약 60%는 표준 상처 관리 요법 30일 후에 충분한 치유를 보여주지 못한다. 또한, 조기 치유된 DFU들의 약 40%가 여전히 12주까지 치유되지 못하고, 발가락, 중족부, 및 뒤꿈치 궤양에 대해 중앙 DFU 치유 시간은, 각각, 147일, 188일, 및 237일로 추정되었다.
종래의 또는 표준 관리 상처 요법 30일 후 바람직한 치유를 달성하지 못하는 DFU들은, 가능한한 일찍, 예를 들어 상처 요법 초기 30일 동안 고급 상처 관리 요법을 제공함으로써 이익을 볼 수 있다. 그러나, 기존의 평가 방법을 이용하면, 의사는 일반적으로 30일의 표준 상처 관리 요법에 반응하지 않는 DFU를 정확하게 식별할 수 없다. DFU 요법을 개선하는 많은 성공적인 전략을 이용할 수 있지만, 표준 상처 관리 요법이 경험적으로 배제될 때까지 처방되지 않는다. 경피적 산소 측정(transcutaneous oxygen measurement), 레이저 도플러 촬영, 및 인도시아닌 그린 영상 혈관 조영술(indocyanine green videoangiography) 등의, DFU의 치유 가능성을 진단하기 위해 생리학적 측정 디바이스들이 이용되어 왔다. 그러나, 이들 디바이스는, 부정확성, 유용한 데이터 부족, 감도 부족, 및 엄청나게 높은 비용으로 인해, DFU들 및 기타의 상처들의 평가에 널리 이용하기에 적합하지 않았다. 분명히, DFU 또는 다른 상처 치유를 예측하는 더 이르고 더 정확한 수단은, 최상의 요법을 신속하게 결정하고 상처 봉합 시간을 감소시키는데 중요하다.
일반적으로 설명하면, 본 기술은, DFU들, 화상들, 및 기타의 상처들의 치유 가능성을 진단할 수 있는 비침습적인 현장 진단 촬영 디바이스를 제공한다. 다양한 실시예에서, 본 기술의 시스템들 및 방법들은, 제시 또는 초기 평가시에 또는 그 직후에, 임상의가 상처의 치유 가능성을 결정할 수 있게 할 수 있다. 일부 실시예에서, 본 기술은, DFU 또는 화상 등의, 상처의 개개의 섹션의 치유 가능성의 결정을 가능케할 수 있다. 예측된 치유 가능성에 기초하여, 표준 및 고급 상처 관리 요법 중에서의 결정은, 초기 제시 후 4주를 넘어서까지 지연되지 않고, 치료 0일째 또는 그 부근에 이루어질 수 있다. 따라서, 본 기술은, 치유 시간을 감소시키고 절단 횟수를 더 적게 할 수 있다.
스펙트럼 및 다중스펙트럼 촬영 시스템들의 예
다양한 스펙트럼 및 다중스펙트럼 촬영 시스템이 이제 설명될 것이며, 이들 각각은 DFU 및 여기서 개시된 다른 상처 평가, 예측 및 치료 방법들에 따라 이용될 수 있다. 일부 실시예에서, 상처 평가를 위한 이미지들은, 단일 파장 대역 내에서 광을 이미지화하도록 구성된 스펙트럼 촬영 시스템들로 캡처될 수 있다. 다른 실시예들에서, 이미지들은 2개 이상의 파장 대역을 캡처하도록 구성된 스펙트럼 촬영 시스템으로 캡처될 수 있다. 하나의 특정한 예에서, 이미지들은, 시판 중인 모바일 디바이스들에 포함된 것들 등의, 단색, RGB, 및/또는 적외선 촬영 디바이스로 캡처될 수 있다. 추가적인 실시예들은, 각각의 조리개 위에 위치하는 만곡형 다중-대역통과 필터들을 갖는 다중-조리개 시스템을 이용하는 스펙트럼 촬영에 관한 것이다. 그러나, 본 기술의 상처 평가, 예측, 및 치료 방법들은, 여기서 개시된 특정한 이미지 취득 디바이스들로 제한되지 않고, 하나 이상의 알려진 파장 대역에서 이미지 데이터를 취득할 수 있는 임의의 촬영 디바이스로 동등하게 구현될 수 있다는 것을 이해해야 한다.
본 개시내용은 또한, 이러한 촬영 시스템들로부터 수신된 이미지 정보를 이용하여 스펙트럼 데이터큐브를 생성하기 위해 스펙트럼 분리 및 이미지 정합을 구현하는 기술들에 관한 것이다. 개시된 기술은 촬영된 물체로부터 반사된 파장 대역들에 관한 정확한 정보를 나타내는 이미지 데이터를 생성하기 위하여, 이하에서 설명되는 바와 같이, 스펙트럼 촬영에서 전형적으로 존재하는 많은 과제를 해결한다. 일부 실시예에서, 여기서 설명된 시스템들 및 방법들은 짧은 시간량(예를 들어, 6초 이하) 내에 넓은 면적의 조직(예를 들어, 5.9 x 7.9 인치)으로부터 이미지들을 취득하고 촬영 조영제의 주입을 요구하지 않고 그렇게 할 수 있다. 일부 양태에서, 예를 들어, 여기서 설명된 다중스펙트럼 이미지 시스템은 6초 이내에 넓은 면적의 조직(예를 들어, 5.9 x 7.9 인치)으로부터 이미지들을 취득하도록 구성되고, 여기서, 상기 다중스펙트럼 이미지 시스템은 또한, 촬영 조영제가 없는 상태에서, 복수의 화상 상태, 상처 상태, 궤양 상태, 치유 가능성, 촬영된 조직의 암 또는 비암 상태를 포함한 임상 특성, 상처 깊이, 상처 부피, 제거를 위한 마진, 당뇨병의 존재, 비-당뇨, 또는 만성 궤양의 식별 등의, 조직 분석 정보를 제공하도록 구성된다. 유사하게, 여기서 설명된 방법들 중 일부에서, 다중스펙트럼 이미지 시스템은, 6초 내에 넓은 면적의 조직, 예를 들어 5.9 x 7.9 인치로부터 이미지들을 취득하고, 상기 다중스펙트럼 이미지 시스템은, 촬영 조영제가 없는 상태에서, 복수의 화상 상태, 상처 상태, 치유 가능성, 촬영된 조직의 암 또는 비암 상태를 포함한 임상 특성, 상처 깊이, 상처 부피, 제거를 위한 마진, 당뇨병의 존재, 비-당뇨, 또는 만성 궤양의 식별 등의, 조직 분석 정보를 출력한다.
기존의 솔루션들에서의 이러한 과제 중 하나는, 캡처된 이미지들이 이미지 데이터의 품질을 손상시키는 컬러 왜곡들 또는 불일치로 인해 어려움을 겪을 수 있다는 것이다. 이것은, 광학 필터들을 이용한 소정 파장들의 광의 정밀한 검출 및 분석에 의존하는 응용들에서 특히 문제가 될 수 있다. 구체적으로, 컬러 쉐이딩은, 필터에 입사되는 광의 각도가 증가함에 따라 컬러 필터의 투과율이 더 짧은 파장으로 이동한다는 사실에 기인한, 이미지 센서 영역에 걸친 광의 파장에서의 위치 의존적 변화이다. 전형적으로, 이 효과는, 투명 기판에 다양한 굴절률을 가진 얇은 층들을 퇴적하여 제조되는 간섭 기반의 필터들에서 관찰된다. 따라서, 더 큰 입사 광선 각도로 인해 이미지 센서의 가장자리들에서 (적색 광 등의) 더 긴 파장이 더 많이 차단될 수 있으며, 그 결과, 광의 동일한 인입 파장이 이미지 센서에 걸쳐 공간적으로 불균일한 컬러로서 검출된다. 교정되지 않은 채로 두면, 캡처된 이미지의 가장자리들 근처에서의 컬러 변화로서 컬러 쉐이딩이 나타난다.
본 개시내용의 기술은, 렌즈 및/또는 이미지 센서들의 구성 및 그들 각각의 시야 또는 조리개 크기에서 제한이 없기 때문에 시중의 다른 다중스펙트럼 촬영 시스템들에 비해 더 많은 이점을 제공한다. 본 개시된 촬영 시스템들의 렌즈, 이미지 센서들, 조리개 크기들, 또는 다른 컴포넌트들에 대한 변경은 본 기술분야의 통상의 기술자에게 알려진 바와 같이 촬영 시스템에 대한 다른 조정을 포함할 수 있다는 것을 이해할 것이다. 본 개시내용의 기술은 또한, 파장들을 분해하거나 시스템이 전체로서 파장들을 분해할 수 있게 하는 기능을 수행하는 컴포넌트들(예를 들어, 광학 필터들 등)이 광 에너지를 디지털 출력들로 변환하는 컴포넌트들(예를 들어, 이미지 센서들 등)과는 분리될 수 있다는 점에서 다른 다중스펙트럼 촬영 시스템에 비해 개선을 제공한다. 이것은, 상이한 다중스펙트럼 파장들에 대해 촬영 시스템을 재구성하는 비용, 복잡성 및/또는 개발 시간을 감소시킨다. 본 개시내용의 기술은, 더 작고 가벼운 폼 팩터로 시장에 나와 있는 다른 다중스펙트럼 촬영 시스템들과 동일한 촬영 특성을 달성할 수 있다는 점에서 다른 다중스펙트럼 촬영 시스템들보다 강력할 수 있다. 본 개시내용의 기술은 또한, 스냅샷, 비디오 레이트 또는 고속 비디오 레이트로 다중스펙트럼 이미지들을 취득할 수 있다는 점에서 다른 다중스펙트럼 촬영 시스템들에 비해 유리하다. 본 개시내용의 기술은 또한, 수개의 스펙트럼 대역을 각각의 조리개로 멀티플렉싱하는 능력이 촬영 데이터 세트에서 임의의 특정한 개수의 스펙트럼 대역을 취득하는데 필요한 조리개의 수를 감소시켜, 감소된 수의 조리개 및 개선된 집광을 통해 비용을 감소시키므로(예를 들어, 시판중인 센서 어레이들의 고정된 크기 및 치수 내에서 더 큰 조리개들이 이용될 수 있기 때문), 다중-조리개 기술에 기반한 다중스펙트럼 촬영 시스템의 더 강력한 구현을 제공한다. 마지막으로, 본 개시내용의 기술은 해상도 또는 이미지 품질에 관한 절충없이 이들 모든 이점을 제공할 수 있다.
도 1a는 이미지 센서(110)를 향한 광의 경로를 따라 위치한 필터(108)의 한 예를 나타내고, 또한 상이한 광선 각도들에서 필터(108)에 입사되는 광을 나타낸다. 광선들(102A, 104A, 106A)은, 필터(108)를 통과한 후, 거울 및/또는 조리개를 포함한 그러나 이것으로 제한되지 않는 임의의 다른 이미지 형성 광학소자로 또한 대체될 수 있는 렌즈(112)에 의해 센서(110) 상으로 굴절되는 라인들로서 표현된다. 각각의 광선에 대한 광은 도 1a에서 광대역인 것으로 추정되고, 예를 들어 필터(108)에 의해 선택적으로 필터링될 넓은 파장 범위에 걸쳐 연장되는 스펙트럼 조성을 갖는다. 3개의 광선(102A, 104A, 106A) 각각은 상이한 각도로 필터(108)에 도달한다. 예시의 목적을 위해, 광선(102A)은 필터(108)에 실질적으로 수직으로 입사되는 것으로 도시되고, 광선(104A)은 광선(102A)보다 더 큰 입사각을 가지며, 광선(106A)은 광선(104A)보다 더 큰 입사각을 갖는다. 결과적인 필터링된 광선(102B, 104B, 106B)은 센서(110)가 보았을 때 필터(108)의 투과율 속성의 각도 의존성으로 인해 고유한 스펙트럼을 나타낸다. 이러한 의존성의 효과는, 입사각이 증가함에 따라 필터(108)의 대역통과에서 더 짧은 파장들을 향한 이동을 야기한다. 추가적으로, 의존성은 필터(108)의 투과 효율의 감소 및 필터(108)의 대역통과의 스펙트럼 형상의 변경을 야기할 수 있다. 이들 결합된 효과는, 각도 의존 스펙트럼 투과라고 지칭된다. 도 1b는, 증가하는 입사각에 응답한 필터(108)의 스펙트럼 대역통과의 이동을 예시하기 위해 센서(110)의 위치에서 가상 분광기가 보았을 때의 도 1a의 각각의 광선의 스펙트럼을 도시한다. 곡선들 102C, 104C 및 106C는, 대역통과의 중심 파장의 단축을 보여준다; 따라서, 이 예에서 광학 시스템에 의해 통과되는 광의 파장들이 짧아진다. 또한 도시된 바와 같이, 대역통과의 형상과 피크 투과도 역시, 입사 각도로 인해 변경된다. 소정의 소비자 애플리케이션들의 경우, 이미지 처리가 적용되어 이러한 각도 의존 스펙트럼 투과의 가시적 효과를 제거할 수 있다. 그러나, 이들 후처리 기술은 어떤 파장의 광이 실제로 필터(108)에 입사했는지에 관한 정확한 정보의 복구를 허용하지 않는다. 따라서, 결과적인 이미지 데이터는 소정의 고정밀 응용들에서 이용되지 못할 수 있다.
소정의 기존 스펙트럼 촬영 시스템들이 직면한 또 다른 문제는, 도 2a 및 도 2b와 관련하여 논의된 바와 같은, 전체 세트의 스펙트럼 이미지 데이터를 캡처하는데 요구되는 시간이다. 스펙트럼 촬영 센서들은, 장면의 스펙트럼 방사조도
Figure pct00001
를 샘플링하고, 그에 따라, 전형적으로 데이터큐브라고 불리는 3차원(3D) 데이터세트를 수집한다. 도 2a는 스펙트럼 이미지 데이터큐브(120)의 한 예를 나타낸다. 도시된 바와 같이, 데이터큐브(120)는 이미지 데이터의 3개 차원을 나타낸다 : 이미지 센서의 2차원(2D) 표면에 대응하는 2개의 공간 차원(x 및 y), 및 특정한 파장 대역에 대응하는 스펙트럼 차원(λ). 데이터큐브(120)의 차원들은
Figure pct00002
로 주어질 수 있고, 여기서,
Figure pct00003
및
Figure pct00004
는 각각 (x, y) 공간 차원들 및 스펙트럼 축 λ를 따른 샘플 요소의 수이다. 데이터큐브들은 현재 이용가능한 2D 검출기 어레이들(예를 들어, 이미지 센서들)보다 차원이 높기 때문에, 전형적인 스펙트럼 촬영 시스템들은 데이터큐브(120)의 시간-순차적 2D 슬라이스들 또는 평면들을 캡처하거나(여기서는 "스캔" 촬영 시스템들이라고 함), 또는 처리시 데이터큐브(120)로 재결합될 수 있는 복수의 2D 요소로 분할함으로써 데이터큐브의 모든 요소를 동시에 측정한다(여기서는 "스냅샷" 촬영 시스템들이라고 함).
도 2b는 소정의 스캔 스펙트럼 촬영 기술들이 데이터큐브(120)를 생성하는 방법의 예들을 나타낸다. 구체적으로, 도 2b는 단일 검출기 통합 기간 동안 수집될 수 있는 데이터큐브(120)의 부분들(132, 134 및 136)을 나타낸다. 포인트 스캔 분광기는, 예를 들어, 단일 (x, y) 공간 위치에서 모든 스펙트럼 평면 λ를 가로질러 연장되는 부분(132)을 캡처할 수 있다. 포인트 스캔 분광기는, 공간 차원들에 걸쳐 각각의 (x, y) 위치에 대응하는 다수의 통합을 수행함으로써 데이터큐브(120)를 구축하는데 이용될 수 있다. 필터 휠(filter wheel) 촬영 시스템은, 예를 들어, 공간 차원들 x 및 y 양쪽 모두에 걸쳐 연장되는 부분(134)을 캡처할 수 있지만 단일 스펙트럼 평면 λ만 캡처할 수 있다. 필터 휠 촬영 시스템 등의 파장 스캔 촬영 시스템은, 스펙트럼 평면들 λ의 수에 대응하는 다수의 통합을 수행함으로써 데이터큐브(120)를 구축하는데 이용될 수 있다. 라인 스캔 분광기는, 예를 들어, 모든 스펙트럼 차원 λ 및 공간 차원(x 또는 y) 중 하나 모두에 걸쳐 연장되는 부분(136)을 캡처할 수 있지만, 다른 공간 차원(y 또는 x)을 따라 단일 포인트만 캡처할 수 있다. 라인 스캔 분광기는, 이 다른 공간 차원(y 또는 x)의 각각의 위치에 대응하는 다수의 통합을 수행함으로써 데이터큐브(120)를 구축하는데 이용될 수 있다.
타겟 물체와 촬영 시스템 양쪽 모두가 움직이지 않는(또는 노출 시간 동안 비교적 정적인 채로 있는) 응용의 경우, 이러한 스캔 촬영 시스템들은 고해상도 데이터큐브(120)를 생성하는 이점을 제공한다. 라인 스캔 및 파장 스캔 촬영 시스템들의 경우, 이것은 각각의 스펙트럼 또는 공간 이미지가 이미지 센서의 전체 영역을 이용하여 캡처된다는 사실 때문일 수 있다. 그러나, 노출들 사이에서의 촬영 시스템 및/또는 물체의 움직임은 결과 이미지 데이터에 아티팩트를 유발할 수 있다. 예를 들어, 데이터큐브(120) 내의 동일한 (x, y) 위치는, 사실상, 스펙트럼 차원 λ에 걸쳐 촬영된 물체 상의 상이한 물리적 위치를 나타낼 수 있다. 이것은, 다운스트림 분석에서 오류로 이어지거나 및/또는 정합을 수행하기 위한 추가적인 요건을 부과할 수 있다(예를 들어, 특정한 (x, y) 위치가 물체 상의 동일한 물리적 위치에 대응하도록 스펙트럼 차원 λ를 정렬).
이에 비해, 스냅샷 촬영 시스템(140)은, 단일 통합 기간 또는 노출에서 전체 데이터큐브(120)를 캡처할 수 있음으로써, 이러한 움직임-유도된 이미지 품질 문제를 피할 수 있다. 도 2c는, 스냅샷 촬영 시스템을 생성하는데 이용될 수 있는 예시적인 이미지 센서(142) 및 컬러 필터 어레이(CFA)(144) 등의 광학 필터 어레이를 도시한다. 이 예에서의 CFA(144)는 이미지 센서(142)의 표면을 가로지르는 반복 패턴의 컬러 필터 유닛들(146)이다. 스펙트럼 정보를 취득하는 이 방법은, 다중스펙트럼 필터 어레이(MSFA; Multispectral Filter Array) 또는 스펙트럼 분해된 검출기 어레이(SRDA; Spectrally Resolved Detector Array)라고도 할 수 있다. 예시된 예에서, 컬러 필터 유닛(146)은, 결과 이미지 데이터에서 25개의 스펙트럼 채널을 생성하는 상이한 컬러 필터들의 5x5 배열을 포함한다. 이들 상이한 컬러 필터들을 통해, CFA는 인입 광을 필터들의 대역들로 분할하고, 분할된 광을 이미지 센서의 전용 광수용체(photoreceptor)들에 보낼 수 있다. 이러한 방식으로, 주어진 컬러(148)에 대해, 광수용체들의 단지 1/25이 대응하는 파장의 광을 나타내는 신호를 실제로 검출한다. 따라서, 이 스냅샷 촬영 시스템(140)으로 단일 노출에서 25개의 상이한 컬러 채널이 생성될 수 있지만, 각각의 컬러 채널은 센서(142)의 총 출력보다 더 적은 양의 측정된 데이터를 나타낸다. 일부 실시예에서, CFA는, 필터 어레이(MSFA), 스펙트럼 분해 검출기 어레이(SRDA) 중 하나 이상을 포함하거나, 및/또는 종래의 Bayer 필터, CMYK 필터, 또는 임의의 다른 흡수 기반의 또는 간섭 기반의 필터를 포함할 수 있다. 간섭 기반의 필터의 한 유형은 그리드로 배열된 박막 필터들의 어레이이며, 여기서 그리드의 각각의 요소는 하나 이상의 센서 요소에 대응한다. 간섭 기반의 필터의 또 다른 유형은 Fabry-P
Figure pct00005
rot 필터이다. 나노에칭된 간섭 Fabry-P
Figure pct00006
rot 필터는 20 내지 50 nm 정도의 전형적인 대역통과 FWHM(full-width-at-half-maxima)를 나타내며, 일부 실시예에서는 중심 파장으로부터 차단 대역으로의 전환시에 보이는 필터의 통과대역의 느린 롤오프로 인해 이용될 수 있기 때문에 유리하다. 이들 필터는 또한, 이들 차단 대역들에서 낮은 OD를 나타내어 통과대역들 외부의 광에 대한 증가된 감도를 더욱 가능케한다. 이들 결합된 효과는, 이들 특정한 필터들을, 그렇지 않다면 증착 또는 이온 빔 스퍼터링 등의 코팅 퇴적 공정에서 많은 박막 층으로 만들어진 유사한 FWHM을 갖는 높은 OD 간섭 필터의 빠른 롤오프에 의해 보통은 차단되는 스펙트럼 영역들에 민감하게 한다. 염료 기반의 CMYK 또는 RGB(Bayer) 필터 구성들을 이용하는 실시예들에서, 느린 스펙트럼 롤오프 및 개개의 필터 통과대역들의 큰 FWHM이 선호되며, 관찰된 스펙트럼 전체에 걸쳐 개개의 파장에 고유한 스펙트럼 투과 백분율을 제공한다.
따라서, 스냅샷 촬영 시스템으로부터 생성되는 데이터큐브(120)는 정밀 촬영 응용들에 대해 문제가 될 수 있는 2개의 속성 중 하나를 가질 것이다. 제1 옵션으로서, 스냅샷 촬영 시스템으로부터 생성되는 데이터큐브(120)는 검출기 어레이의 (x, y) 크기보다 더 작은
Figure pct00007
,
Figure pct00008
크기를 가질 수 있으므로, 동일한 이미지 센서를 갖는 스캔 촬영 시스템에 의해 생성되는 데이터큐브(120)보다 해상도가 낮을 수 있다. 제2 옵션으로서, 스냅샷 촬영 시스템으로부터 생성되는 데이터큐브(120)는, 소정의 (x, y) 위치에 대한 보간 값들로 인해 검출기 어레이의 (x, y) 크기와 동일한
Figure pct00009
,
Figure pct00010
크기를 가질 수 있다. 그러나, 이러한 데이터큐브를 생성하는데 이용되는 보간은, 데이터큐브의 소정의 값들이 센서에 입사되는 광의 파장에 대한 실제 측정값들이 아니라, 실제 측정값이 주변 값들에 기초할 수 있는 것의 추정치들임을 의미한다.
단일-노출 다중스펙트럼 촬영을 위한 또 다른 기존 옵션은 다중스펙트럼 빔분할기이다. 이러한 촬영 시스템들에서, 빔분할기 큐브들은 입사광을 별개의 컬러 대역들로 분할하고, 여기서, 각각의 대역은 독립적인 이미지 센서들에 의해 관찰된다. 측정된 스펙트럼 대역들을 조정하기 위해 빔분할기 설계를 변경할 수 있지만, 시스템 성능을 저하시키지 않고 입사광을 4개보다 많은 빔으로 분할하는 것은 쉽지 않다. 따라서, 4개의 스펙트럼 채널이 이 접근법의 실제 한계인 것으로 보인다. 밀접하게 관련된 방법은, 더 부피가 큰 빔분할기 큐브들/프리즘들 대신 박막 필터들을 이용하여 광을 분할하는 것이지만, 이 접근법은 공간 제한과 연속적 필터들을 통한 누적 투과 손실로 인해 여전히 약 6개의 스펙트럼 채널로 제한된다.
특히, 앞서 언급된 문제는, 일부 실시예에서, 각각의 조리개를 통해 들어오는 광을 필터링하는 다중-대역통과 필터, 바람직하게는 만곡형 다중-대역통과 필터를 갖는 개시된 다중-조리개 스펙트럼 촬영 시스템, 및 연관된 이미지 데이터 처리 기술에 의해 해결된다. 이 특정한 구성은, 빠른 촬영 속도, 고해상도 이미지, 및 검출된 파장들의 정확한 충실도라는 모든 설계 목표를 달성할 수 있다. 따라서, 개시된 광학 설계 및 연관된 이미지 데이터 처리 기술들은 휴대형 스펙트럼 촬영 시스템들 및/또는 이미지 이동 타겟들에 이용될 수 있으면서, 여전히 고정밀 응용(예를 들어, 임상 조직 분석, 생체 인식, 일시적 임상 이벤트)에 적합한 데이터큐브를 생성한다. 이들 고정밀 응용들은, 전이(metastasis) 이전의 선행 스테이지들(0 내지 3)의 흑색종의 진단, 피부 조직의 상처 또는 화상 심각도 분류, 당뇨병성 족부 궤양 심각도의 조직 진단을 포함할 수 있다. 따라서, 일부 실시예에서 묘사된 바와 같은 소형 폼 팩터 및 스냅샷 스펙트럼 취득은 수개의 상이한 망막병증들(예를 들어, 비증식성 당뇨병성 망막증, 증식성 당뇨병성 망막증, 및 연령 관련 황반 변성)의 진단 및 움직이는 소아 환자의 촬영을 포함하는 일시적인 이벤트들이 있는 임상 환경에서 본 발명의 이용을 가능케할 것이다. 따라서, 본 기술분야의 통상의 기술자라면, 평탄한 또는 만곡형 다중-대역통과 필터들을 갖는 다중-조리개 시스템의 이용은, 본 명세서에 개시된 바와 같이, 종래의 스펙트럼 촬영 구현들에 비해 상당한 기술적 진보를 나타낸다는 것을 이해할 것이다. 구체적으로, 다중-조리개 시스템은, 각각의 조리개 사이의 원근 차이의 계산된 불일치에 기초하여, 물체 곡률, 깊이, 부피, 및/또는 면적과 관련된 3D 공간 이미지들의 수집을 가능케할 수 있다. 그러나, 여기서 제시된 다중-조리개 전략들은 임의의 특정한 필터로 제한되지 않으며, 간섭 또는 흡수 필터링에 기반한 평탄하거나 및/또는 얇은 필터들을 포함할 수 있다. 본 명세서에 개시된 바와 같이, 본 발명은, 작거나 허용가능한 범위의 입사각들을 이용하는 적절한 렌즈들 또는 조리개들의 이벤트에서 촬영 시스템의 이미지 공간에 평탄한 필터들을 포함하도록 수정될 수 있다. 필터들은 또한, 광학 공학 분야의 통상의 기술자가 적합하다고 생각할 수 있는 바와 같이, 촬영 렌즈의 입구/출구 동공 또는 조리개 정지부에 배치될 수 있다.
본 개시내용을 제한하는 것이 아니라 예시하기 위해 의도된 소정의 예들 및 실시예들과 관련하여, 이제 본 개시내용의 다양한 양태가 설명될 것이다. 본 명세서에 설명된 예들 및 실시예들은, 예시의 목적을 위해, 특정한 계산 및 알고리즘에 초점을 맞출 것이지만, 본 기술분야의 통상의 기술자라면 이들 예가 단지 예시를 위한 것이지, 제한하려는 의도가 아니라는 것을 이해할 것이다. 예를 들어, 일부 예가 다중스펙트럼 촬영의 맥락에서 제시되지만, 개시된 다중-조리개 촬영 시스템 및 연관된 필터들은 다른 구현들에서는 초분광 촬영을 달성하도록 구성될 수 있다. 또한, 소정의 예들이 핸드헬드 및/또는 움직이는 타겟 응용들에 대한 이점을 달성하는 것으로 제시되지만, 개시된 촬영 시스템 설계 및 연관된 처리 기술들은 고정된 촬영 시스템들 및/또는 비교적 움직임이 없는 타겟들의 분석에 적합한 고정밀 데이터큐브를 생성할 수 있다는 것을 이해할 것이다.
전자기 범위들 및 이미지 센서들의 개요
전자기 스펙트럼의 소정의 컬러들 또는 부분들이 여기서 참조되며, 이제 방사조도 스펙트럼 범주들의 ISO 21348 정의에 의해 정의된 파장과 관련하여 논의될 것이다. 아래에서 더 설명하는 바와 같이, 소정의 촬영 응용들에서, 특정한 컬러들에 대한 파장 범위들은 소정의 필터들을 통과하도록 함께 그룹화될 수 있다.
약 760 nm의 파장들로부터 약 380 nm의 파장들까지의 범위의 전자기 복사는, 전형적으로, "가시" 스펙트럼, 즉, 인간의 눈의 컬러 수용체에 의해 인식가능한 스펙트럼 부분으로서 간주된다. 가시 스펙트럼 내에서, 적색 광은 전형적으로 약 700 나노미터(nm)의 파장을 갖거나 약 760 nm 내지 610 nm의 범위 또는 약 610nm인 것으로 간주된다. 주황색 광은 전형적으로 약 600 nm의 파장을 갖거나, 약 610 nm 내지 약 591 nm의 범위 또는 591 nm인 것으로 간주된다. 황색 광은 전형적으로 약 580 nm의 파장을 갖거나, 약 591 nm 내지 약 570 nm의 범위 또는 570 nm인 것으로 간주된다. 녹색 광은 전형적으로 약 550 nm의 파장을 갖거나, 약 570 nm 내지 약 500 nm의 범위 또는 500 nm인 것으로 간주된다. 청색 광은 전형적으로 약 475 nm의 파장을 갖거나, 약 500 nm 내지 약 450 nm의 범위 또는 450 nm인 것으로 간주된다. 보라색(퍼플) 광은 전형적으로 약 400 nm의 파장을 갖거나, 약 450 nm 내지 약 360 nm의 범위 또는 360 nm인 것으로 간주된다.
가시 스펙트럼 바깥의 범위들로 돌아가서, 적외선(IR)은 가시광의 파장들보다 긴 파장들을 가진 전자기 복사를 말하며, 일반적으로 사람의 눈에는 보이지 않는다. IR 파장들은 약 760 nm 또는 760 nm의 가시 스펙트럼의 공칭 적색 가장자리로부터 약 1 밀리미터(mm) 또는 1 mm까지 연장된다. 이 범위 내에서, 근적외선(NIR)이란, 약 760 nm 또는 760 nm 내지 약 1400 nm 또는 1400 nm까지의 파장 범위인, 적색 범위에 인접한 스펙트럼 부분을 말한다.
자외선(UV) 복사란, 가시광보다 파장이 짧은 어떤 전자기 복사를 말하며, 일반적으로 사람의 눈에는 보이지 않는다. UV 파장은 약 40 nm 또는 40 nm의 가시 스펙트럼의 공칭 보라색 가장자리로부터 약 400 nm까지 연장된다. 이 범위 내에서, 근 자외선(NUV)이란, 약 400 nm 또는 400 nm 내지 약 300 nm 또는 300 nm의 파장 범위인, 보라색 범위에 인접한 스펙트럼 부분을 말하고, 중간 자외선(MUV)은 약 300 nm 또는 300 nm 내지 약 200 nm 또는 200 nm의 파장 범위이고, 원 자외선(FUV)은 약 200 nm 또는 200 nm 내지 약 122 nm 또는 122 nm의 파장 범위이다.
본 명세서에 설명된 이미지 센서들은, 특정한 응용에 적합한 특정한 파장 범위들에 따라, 전술된 범위들 중 임의의 범위 내의 전자기 복사를 검출하도록 구성될 수 있다. 전형적인 실리콘 기반의 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 센서의 스펙트럼 감도는 가시 광선 스펙트럼을 가로질러 연장되며, 또한 근적외선(IR) 스펙트럼으로 및 때로는 UV 스펙트럼까지 상당히 연장된다. 일부 구현은, 대안으로서 또는 추가적으로, 배면 조명 또는 전면 조명 CCD 또는 CMOS 어레이들을 이용할 수 있다. 높은 SNR 및 과학-등급 측정값을 요구하는 응용의 경우, 일부 구현은, 대안으로서 또는 추가적으로, 과학적 상보형 금속 산화물 반도체(sCMOS) 카메라 또는 전자 증배 CCD 카메라(EMCCD)를 이용할 수 있다. 다른 구현들은, 대안으로서 또는 추가적으로, 의도된 응용에 따라, 특정한 컬러 범위들(예를 들어, 단파 적외선(SWIR), 중파 적외선(MWIR), 또는 장파 적외선(LWIR))에서 작동하는 것이라고 알려진 센서들 및 대응하는 광학 필터 어레이들을 이용할 수 있다. 이들은, 대안으로서 또는 추가적으로, 인듐 갈륨 비소(InGaAs) 또는 인듐 안티몬화물(InSb)을 포함하는 검출기 재료에 기초하거나 마이크로볼로미터 어레이들에 기초하는 카메라를 포함할 수 있다.
개시된 다중스펙트럼 촬영 기술들에서 이용되는 이미지 센서들은, 컬러 필터 어레이(CFA) 등의 광학 필터 어레이와 연계하여 이용될 수 있다. 일부 CFA는 가시 범위의 인입 광을 적색(R), 녹색(G) 및 청색(B) 범주들로 분할하여 분할된 가시광선 이미지 센서 상의 전용 적색, 녹색 또는 청색 포토다이오드 수용체들에 보낼 수 있다. CFA의 흔한 예는, 포토센서들의 직사각형 격자 상에 RGB 컬러 필터들을 배열하기 위한 특정한 패턴인 Bayer 패턴이다. Bayer 패턴은, 50% 녹색, 25% 적색 및 25% 청색이며, 반복되는 적색 및 녹색 컬러 필터들의 행들이 반복되는 청색 및 녹색 컬러 필터들의 행들과 교번한다. (예를 들어, RGB-NIR 센서들을 위한) 일부 CFA는 또한, NIR 광을 분리하고 분할된 NIR 광을 이미지 센서 상의 전용 포토다이오드 수용체에 보낼 수 있다.
따라서, CFA의 필터 컴포넌트들의 파장 범위들은 캡처된 이미지 내의 각각의 이미지 채널에 의해 표현되는 파장 범위들을 결정할 수 있다. 따라서, 이미지의 적색 채널은 컬러 필터의 적색 파장 영역들에 대응할 수 있고, 다양한 실시예에서 약 570 nm 또는 570 nm 내지 약 760 nm 또는 760 nm 범위인, 일부 황색 및 주황색 광을 포함할 수 있다. 이미지의 녹색 채널은 컬러 필터의 녹색 파장 영역에 대응할 수 있고, 다양한 실시예에서 약 570 nm 또는 570 nm 내지 약 480 nm 또는 480 nm 범위인, 일부 황색 광을 포함할 수 있다. 이미지의 청색 채널은 컬러 필터의 청색 파장 영역에 대응할 수 있고, 다양한 실시예에서 약 490 nm 또는 490 nm 내지 약 400 nm 또는 400 nm 범위인, 일부 보라색 광을 포함할 수 있다. 본 기술분야의 통상의 기술자라면 이해할 수 있는 바와 같이, CFA의 컬러들(예를 들어, 적색, 녹색 및 청색)을 정의하는 정확한 시작 및 끝 파장들(또는 전자기 스펙트럼의 부분들)은 CFA 구현에 따라 달라질 수 있다.
또한, 전형적인 가시 광선 CFA들은 가시 스펙트럼 외부의 광에 대해 투명하다. 따라서, 많은 이미지 센서들에서, IR 감도는, 가시광을 통과시키는 반면 적외선 파장을 차단하는 센서 표면의 박막 반사형 IR 필터에 의해 제한된다. 그러나, 이것은 IR 광의 통과를 허용하기 위해 개시된 촬영 시스템들 중 일부에서 생략될 수 있다. 따라서, IR 파장 대역들을 수집하기 위해, 적색, 녹색, 및/또는 청색 채널들이 또한 이용될 수 있다. 일부 구현에서, 소정의 NUV 파장 대역들을 수집하기 위해 청색 채널이 또한 이용될 수 있다. 스펙트럼 이미지 스택의 각각의 파장에서 고유한 투과 효율과 관련한 적색, 녹색 및 청색 채널의 별개의 스펙트럼 응답들은, 알려진 투과 프로파일들을 이용하여 혼합되지 않을 스펙트럼 대역들의 고유한 가중된 응답을 제공할 수 있다. 예를 들어, 이것은, 적색, 청색 및 녹색 채널에 대한 IR 및 UV 파장 영역들에서의 알려진 투과 응답을 포함할 수 있어서, 이들 영역들로부터의 대역들의 수집에서 이용할 수 있게 한다.
아래에서 더 상세히 설명되는 바와 같이, 이미지 센서 상에 입사되는 광의 특정한 대역들을 선택적으로 정제하기 위해 이미지 센서를 향하는 광의 경로를 따라 CFA 앞에 추가적인 컬러 필터들이 배치될 수 있다. 개시된 필터들 중 일부는, 이색성(박막) 및/또는 흡수성 필터들의 조합이거나 단일의 이색성 및/또는 흡수성 필터일 수 있다. 개시된 컬러 필터들 중 일부는, (통과대역에서) 소정의 범위 내의 주파수들을 통과시키고 (차단 범위에서) 그 범위 외부의 주파수들을 거부(감쇠)하는 대역통과 필터들일 수 있다. 개시된 컬러 필터들 중 일부는 복수의 불연속적인 파장 범위를 통과하는 다중-대역통과 필터들일 수 있다. 이들 "파장대역들(wavebands)"은, CFA 필터의 더 큰 컬러 범위보다, 더 작은 통과대역 범위들, 더 큰 차단 범위 감쇠, 및 필터가 통과대역으로부터 차단 범위로 전환될 때 스펙트럼 응답의 가파른 정도로서 정의되는, 더 날카로운 스펙트럼 롤오프를 가질 수 있다. 예를 들어, 이들 개시된 컬러 필터들은 약 20 nm 또는 20 nm 또는 약 40 nm 또는 40 nm의 통과대역을 커버할 수 있다. 이러한 컬러 필터들의 특정한 구성은, 센서 상에 입사되는 실제 파장 대역들을 결정할 수 있으며, 이것은 개시된 촬영 기술들의 정밀도를 증가시킬 수 있다. 본 명세서에서 설명된 컬러 필터들은, 특정한 응용에 적합한 특정한 파장대역들에 따라, 전술된 범위들 중 임의의 범위에서 전자기 복사의 특정한 대역들을 선택적으로 차단하거나 통과시키도록 구성될 수 있다.
본 명세서에 설명된 바와 같이, "픽셀"은 2D 검출기 어레이의 한 요소에 의해 생성되는 출력을 기술하기 위해 사용될 수 있다. 이에 비해, 포토다이오드, 즉, 이 어레이 내의 단일의 감광성 요소는, 광전 효과를 통해 광자들을 전자들로 변환할 수 있는 변환기로서 거동하며, 전자들은 결국 픽셀 값을 결정하는데 이용되는 가용 신호로 변환된다. 데이터큐브의 단일 요소는 "복셀"(예를 들어, 볼륨 요소)이라고 지칭될 수 있다. "스펙트럼 벡터"란, 데이터큐브의 특정한 (x, y) 위치에 있는 스펙트럼 데이터(예를 들어, 물체 공간의 특정한 포인트로부터 수신된 광의 스펙트럼)를 기술하는 벡터를 말한다. 데이터큐브의 단일 수평면(예를 들어, 단일의 스펙트럼 차원을 나타내는 이미지)은 본 명세서에서 "이미지 채널"이라고 지칭된다. 본 명세서에 설명된 소정 실시예들은 스펙트럼 비디오 정보를 캡처할 수 있고, 결과적인 데이터 차원들은 "하이퍼큐브" 형태
Figure pct00011
를 가정할 수 있으며, 여기서,
Figure pct00012
는 비디오 시퀀스 동안 캡처된 프레임 수이다.
만곡형 다중-대역통과 필터들을 이용하는 예시적인 다중-조리개 촬영 시스템들의 개요
도 3a는 본 개시내용에 따른 만곡형 다중-대역통과 필터들을 갖는 한 예시적인 다중-조리개 촬영 시스템(200)의 개략도를 도시한다. 예시된 뷰는, 제1 이미지 센서 영역(225A)(포토다이오드들 PD1-PD3) 및 제2 이미지 센서 영역(225B)(포토다이오드들 PD4-PD6)을 포함한다. 포토다이오드들 PD1-PD6은, 예를 들어, 반도체 기판, 예를 들어 CMOS 이미지 센서에 형성된 포토다이오드들일 수 있다. 일반적으로, 포토다이오드들 PD1-PD6 각각은 입사광을 전류로 변환하는 임의의 재료, 반도체, 센서 요소 또는 기타의 디바이스의 단일 유닛일 수 있다. 전체 시스템의 작은 부분이 그 구조 및 동작을 설명하기 위한 목적으로 예시되었으며, 구현시 이미지 센서 영역들이 수백 또는 수천개의 포토다이오드(및 대응하는 컬러 필터들)를 가질 수 있다는 것을 이해할 것이다. 이미지 센서 영역들(225A 및 225B)은, 구현에 따라, 별개의 센서들로서, 또는 동일한 이미지 센서의 별개의 영역들로 구현될 수 있다. 도 3a는 2개의 조리개와 대응하는 광 경로들 및 센서 영역들을 도시하고 있지만, 도 3a에 예시된 광학 설계 원리는, 구현에 따라, 3개 이상의 조리개 및 대응하는 광 경로들 및 센서 영역들로 연장될 수 있다는 것을 이해할 것이다.
다중-조리개 촬영 시스템(200)은, 제1 센서 영역(225A)을 향한 제1 광 경로를 제공하는 제1 개구(210A), 및 제2 센서 영역(225B)을 향한 제1 광 경로를 제공하는 제2 개구(210B)를 포함한다. 이들 조리개들은 이미지 상에 떨어지는 광의 밝기를 증가 또는 감소시키거나 특정한 이미지 노출의 지속기간이 변경될 수 있고 이미지 센서 영역들 상에 떨어지는 광의 밝기가 변경되지 않도록 조정될 수 있다. 이들 조리개들은 또한, 광학 설계 기술분야의 통상의 기술자에 의해 합리적이라고 간주되는 이 다중-조리개 시스템의 광학 축들을 따른 임의의 위치에 위치할 수 있다. 제1 광 경로를 따라 위치하는 광학 컴포넌트들의 광학 축은 파선 230A로 예시되고, 제2 광 경로를 따라 위치하는 광학 컴포넌트들의 광학 축은 파선 230B로 예시되며, 이들 파선은 다중-조리개 촬영 시스템(200)의 물리적 구조를 나타내지 않는다는 것을 이해할 것이다. 광학 축들(230A, 230B)은 거리 D만큼 분리되며, 이것은 제1 및 제2 센서 영역들(225A, 225B)에 의해 캡처된 이미지들 사이의 불일치를 초래할 수 있다. 불일치란, 물체 공간의 동일한 물리적 포인트가 각각의 이미지의 상이한 위치들에서 나타날 수 있게 하는, 입체 쌍의 좌측과 우측(또는 위쪽과 아래쪽) 이미지에서 대응하는 2개의 포인트 사이의 거리를 말한다. 이러한 불일치를 보상하고 활용하는 처리 기술들이 아래에서 더 상세히 설명된다.
각각의 광학 축(230A, 230B)은 대응하는 조리개의 중심(C)을 통과하고, 광학 컴포넌트들은 또한, 이들 광학 축을 따라 중심을 둘 수 있다(예를 들어, 광학 컴포넌트의 회전 대칭점은 광학 축을 따라 위치할 수 있다). 예를 들어, 제1 만곡형 다중-대역통과 필터(205A) 및 제1 촬영 렌즈(215A)는 제1 광학 축(230A)을 따라 중심을 둘 수 있고, 제2 만곡형 다중-대역통과 필터(205B) 및 제2 촬영 렌즈(215B)는 제2 광학 축(230B)을 따라 중심을 둘 수 있다.
광학 요소들의 위치결정과 관련하여 본 명세서에서 사용될 때, "위쪽" 및 "위"는 물체 공간으로부터 촬영 시스템(200)에 들어가는 광이 또 다른 구조물에 도달(또는 입사)하기 전에 한 구조물(예를 들어, 컬러 필터 또는 렌즈)을 통해 전파하게 하는 그 구조물의 위치를 말한다. 예시를 위해, 제1 광 경로를 따라, 만곡형 다중-대역통과 필터(205A)는 조리개(210A) 위에 위치하고, 조리개(210A)는 촬영 렌즈(215A) 위에 위치하며, 촬영 렌즈(215A)는 CFA(220A) 위에 위치하며, CFA(220A)는 제1 이미지 센서 영역(225A) 위에 위치한다. 따라서, 물체 공간(예를 들어, 촬영되는 물리적 공간)으로부터의 광은 먼저 만곡형 다중-대역통과 필터(205A), 그 다음, 조리개(210A), 그 다음, 촬영 렌즈(215A), 그 다음, CFA(220A)를 통과하고, 마지막으로 제1 이미지 센서 영역(225A)에 입사한다. 제2 광 경로(예를 들어, 만곡형 다중-대역통과 필터(205B), 조리개(210B), 촬영 렌즈(215B), CFA(220B), 제2 이미지 센서 영역(225B))는 유사한 배열을 따른다. 다른 구현에서, 조리개(210A, 210B) 및/또는 촬영 렌즈들(215A, 215B)은 만곡된 다중-대역통과 필터(205A, 205B) 위에 위치할 수 있다. 추가적으로, 다른 구현들은 물리적 조리개를 이용하지 않을 수 있고 센서 영역(225A, 225B) 상으로 촬영되는 광의 밝기를 제어하기 위해 광학소자의 투명 조리개에 의존할 수 있다. 따라서, 렌즈(215A, 215B)는 조리개(210A, 210B) 및 만곡형 다중-대역통과 필터(205A, 205B) 위에 배치될 수 있다. 이 구현에서, 조리개(210A, 210B) 및 렌즈(215A, 215B)는 또한, 광학 설계 분야의 통상의 기술자에 의해 필요하다고 간주되는 바와 같이 서로의 위에 또는 아래에 배치될 수 있다.
제1 센서 영역(225A) 위에 위치한 제1 CFA(220A) 및 제2 센서 영역(225B) 위에 위치한 제2 CFA(220B)는 파장 선택성 통과 필터들로서 역할할 수 있고, 가시 범위의 인입광을, (R, G 및 B 표기로 표시된 바와 같이) 적색, 녹색 및 청색 범위들로 분할할 수 있다. 광은 제1 및 제2 CFA들(220A, 220B) 내의 각각의 컬러 필터를 통과하는 소정의 선택된 파장들만을 허용함으로써 "분할"된다. 분할된 광은, 이미지 센서 상의 전용 적색, 녹색 또는 청색 다이오드들에 의해 수신된다. 적색, 청색, 및 녹색 컬러 필터들이 흔하게 이용되지만, 다른 실시예들에서 컬러 필터들은, 예를 들어, RGB-IR CFA에서와 같이, 자외선, 적외선 또는 근적외선 통과 필터를 포함하는 캡처된 이미지 데이터의 컬러 채널 요건들에 따라 달라질 수 있다.
예시된 바와 같이, CFA의 각각의 필터는 단일 포토다이오드 PD1-PD6 위에 위치한다. 도 3a는 또한, 인입 광을 활성 검출기 영역들에 포커싱하기 위하여, 각각의 컬러 필터 상에 형성되거나 기타의 방식으로 각각의 컬러 필터 위에 위치할 수 있는 예시적인 마이크로렌즈(ML로 표시)를 나타낸다. 다른 구현들은 단일 필터(예를 들어, 2 개, 4개 또는 그 이상의 인접한 포토다이오드들의 클러스터) 아래에 복수의 포토다이오드를 가질 수 있다. 예시된 예에서, 포토다이오드 PD1 및 포토다이오드 PD4는 적색 컬러 필터들 아래에 있으므로 적색 채널 픽셀 정보를 출력한다; 포토다이오드 PD2 및 포토다이오드 PD5는 녹색 컬러 필터들 아래에 있으므로 녹색 채널 픽셀 정보를 출력한다; 포토다이오드 PD3 및 포토다이오드 PD6은 청색 컬러 필터들 아래에 있으므로 청색 채널 픽셀 정보를 출력한다. 또한, 아래에서 더 상세히 설명되는 바와 같이, 주어진 포토다이오드들에 의해 출력되는 특정한 컬러 채널들은, 주어진 포토다이오드가 상이한 노출들 동안 상이한 이미지 채널 정보를 출력할 수 있도록, 활성화된 조명체 및/또는 다중-대역통과 필터들(205A, 205B)에 의해 통과되는 특정한 파장 대역들에 기초하여 더 좁은 파장대역들로 더 제한될 수 있다.
촬영 렌즈들(215A, 215B)은, 물체 장면의 이미지를 센서 영역들(225A, 225B)에 포커싱하도록 성형될 수 있다. 각각의 촬영 렌즈(215A, 215B)는 이미지 형성에 필요한 많은 광학 요소와 표면들로 구성될 수 있으며 도 3a에 제시된 단일의 볼록 렌즈로 제한되지 않으므로, 시판중이거나 맞춤형 설계에 의해 이용가능한 다양한 촬영 렌즈 또는 렌즈 어셈블리의 이용을 가능케한다. 각각의 요소 또는 렌즈 어셈블리는 스택으로 형성되거나 함께 접합되거나 고정 링 또는 베젤이 있는 광기계식 배럴을 이용하여 직렬로 고정될 수 있다. 일부 실시예에서, 요소들 또는 렌즈 어셈블리들은, 접착되거나 기타의 방식으로 함께 접합된 2개 이상의 광학 컴포넌트 등의, 하나 이상의 접합된 렌즈 그룹을 포함할 수 있다. 다양한 실시예에서, 여기서 설명된 다중-대역통과 필터들 중 임의의 것은, 다중스펙트럼 이미지 시스템의 렌즈 어셈블리 앞, 다중스펙트럼 이미지 시스템의 싱글릿(singlet) 앞, 다중스펙트럼 이미지 시스템의 렌즈 어셈블리 뒤, 다중스펙트럼 이미지 시스템의 싱글릿 뒤, 다중스펙트럼 이미지 시스템의 렌즈 어셈블리 내부, 다중스펙트럼 이미지 시스템의 정합된 렌즈 그룹 내부, 다중스펙트럼 이미지 시스템의 싱글릿의 표면에 직접, 또는 다중스펙트럼 이미지 시스템의 렌즈 어셈블리의 한 요소의 표면 상에 직접 위치할 수 있다. 또한, 조리개(210A 및 210B)는 제거될 수 있고, 렌즈들(215A, 215B)은, DSLR(digital-single-lens-reflex) 또는 미러리스 카메라를 이용한 사진술에서 전형적으로 다양하게 이용될 수 있다. 추가로, 이들 렌즈들은 장착을 위해 C-마운트 또는 S-마운트 스레딩을 이용하는 머신 비전에서 다양하게 이용될 수 있다. 포커스 조절은, 예를 들어, 수동 포커싱, 콘트라스트 기반의 자동포커스, 또는 기타의 적절한 자동포커스 기술들에 기초하여, 센서 영역들(225A, 225B)에 관한 촬영 렌즈들(215A, 215B)의 이동 또는 촬영 렌즈들(215A, 215B)에 관한 센서 영역들(225A, 225B)의 이동에 의해 제공될 수 있다.
다중-대역통과 필터들(205A, 205B) 각각은, 광의 복수의 좁은 파장대역, 예를 들어 일부 실시예에서 10-50 nm의 파장대역(또는 다른 실시예들에서는 더 넓거나 좁은 파장대역들)을 선택적으로 통과시키도록 구성될 수 있다. 도 3a에 나타낸 바와 같이, 양쪽 다중-대역통과 필터들(205A, 205B)은 파장대역 λc("공통 파장대역")를 통과할 수 있다. 3개 이상의 광 경로가 있는 구현들에서, 각각의 다중-대역통과 필터는 이 공통 파장대역을 통과할 수 있다. 이러한 방식으로, 각각의 센서 영역은 동일한 파장대역("공통 채널")에서 이미지 정보를 캡처한다. 이 공통 채널의 이 이미지 정보는, 아래에서 더 상세히 설명되는 바와 같이, 각각의 센서 영역에 의해 캡처된 이미지 세트를 정합하는데 이용될 수 있다. 일부 구현은 하나의 공통 파장대역 및 대응하는 공통 채널을 가질 수 있거나, 복수의 공통 파장대역 및 대응하는 공통 채널을 가질 수 있다.
공통 파장대역 λc에 추가하여, 각각의 다중-대역통과 필터(205A, 205B)는 각각 하나 이상의 고유한 파장대역을 선택적으로 통과시키도록 구성될 수 있다. 이러한 방식으로, 촬영 시스템(200)은 단일 센서 영역에 의해 캡처될 수 있는 것을 넘어서서 센서 영역들(205A, 205B)에 의해 집합적으로 캡처된 별개의 스펙트럼 채널들의 수를 증가시킬 수 있다. 이것은 도 3a에서 고유한 파장대역 λu1을 통과하는 다중-대역통과 필터들(205A) 및 고유한 파장대역 λu2를 통과하는 다중-대역통과 필터들(205B)에 의해 예시되어 있으며, 여기서 λu1 및 λu2는 서로 상이한 파장대역을 나타낸다. 2개의 파장대역을 통과하는 것으로 도시되어 있지만, 개시된 다중-대역통과는 각각 2개 이상의 파장대역 세트를 통과할 수 있다. 예를 들어, 일부 구현은 도 11a 및 도 11b와 관련하여 설명된 바와 같이 각각 4개의 파장대역을 통과할 수 있다. 다양한 실시예에서, 더 많은 수의 파장대역이 통과될 수 있다. 예를 들어, 일부 4개의 카메라 구현은 8개의 파장대역을 통과하도록 구성된 다중-대역통과 필터들을 포함할 수 있다. 일부 실시예에서, 파장대역의 수는 예를 들어 4, 5, 6, 7, 8, 9, 10, 12, 15, 16 또는 그 이상의 파장대역일 수 있다.
다중-대역통과 필터들(205A, 205B)은, 각각의 센서 영역(225A, 225B)에 걸친 각도 의존적 스펙트럼 투과를 감소시키도록 선택된 곡률을 갖는다. 그 결과, 물체 공간으로부터 협대역 조명을 수신할 때, 도 1a와 관련하여 전술된 파장 이동을 경험하는 센서의 가장자리 부근의 포토다이오드들이 아니라, 그 파장에 민감한 (예를 들어, 위에 놓인 컬러 필터가 그 파장을 통과시킴) 센서 영역들(225A, 225B)의 면역에 걸친 각각의 포토다이오드가 실질적으로 동일한 파장의 광을 수신해야 한다. 이것은 평탄한 필터를 이용하는 것보다 더 정확한 스펙트럼 이미지 데이터를 생성할 수 있다.
도 3b는 도 3a의 다중-조리개 촬영 시스템의 하나의 광 경로의 광학 컴포넌트들에 대한 예시적인 광학 설계를 도시한다. 구체적으로, 도 3b는 다중-대역통과 필터들(205A, 205B)을 제공하는데 이용될 수 있는 맞춤형 무색 더블릿(240)을 도시한다. 맞춤형 무색 더블릿(240)은 하우징(250)을 통해 이미지 센서(225)로 광을 전달한다. 하우징(250)은 전술된 개구(210A, 210B) 및 촬영 렌즈(215A, 215B)를 포함할 수 있다.
무색 더블릿(240)은 다중-대역통과 필터 코팅(205A, 205B)에 요구되는 표면들의 통합에 의해 도입되는 광학 수차(optical abberation)를 보정하도록 구성된다. 예시된 무색 더블릿(240)은 2개의 개개의 렌즈를 포함하며, 이것은 상이한 양들의 분산형 및 상이한 굴절률들을 갖는 유리 또는 기타의 광학 재료로 제작될 수 있다. 다른 구현들은 3개 이상의 렌즈를 이용할 수 있다. 이들 무색 더블릿 렌즈들은, 광을 포커싱하기 위한 주요 요소들을 하우징(250)에 하우징된 렌즈들로 여전히 제약하면서 만곡형 전면 표면(242)와 만곡형 배면 표면(244)의 조합 효과로 인한 무색 더블릿(240)에 의해 제공되는 광학적 또는 포커싱 능력을 여전히 제한하면서 퇴적된 필터 코팅들(205A, 205B)과 함께 만곡형 싱글릿 광학 표면의 통합을 통해 보통은 존재하게 되는 도입된 광학 수차를 제거하면서 만곡형 전면 표면(242) 상에 다중-대역통과 필터 코팅들(205A, 205B)를 통합하도록 설계될 수 있다. 따라서, 무색 더블릿(240)은 시스템(200)에 의해 캡처된 이미지 데이터의 높은 정밀도에 기여할 수 있다. 이들 개개의 렌즈는 서로의 옆에 장착될 수 있다, 예를 들어 서로 접합되거나 합착되어 렌즈들 중 하나의 수차가 다른 렌즈의 수차와 균형을 이루도록 성형될 수 있다. 무색 더블릿(240) 만곡형 전면 표면(242) 또는 만곡형 배면 표면(244)은 다중-대역통과 필터 코팅(205A, 205B)으로 코팅될 수 있다. 다른 더블릿 설계들은 여기서 설명된 시스템들로 구현될 수 있다.
여기서 설명된 광학 설계들의 추가적인 변형들이 구현될 수 있다. 예를 들어, 일부 실시예에서 광 경로는, 도 3b에 묘사된 더블릿(240) 대신에 도 3a에 묘사된 양성 또는 음성 메니스커스 품종 등의 싱글릿 또는 기타의 광학 싱글릿을 포함할 수 있다. 도 3c는 평탄한 필터(252)가 렌즈 하우징(250)과 센서(225) 사이에 포함되는 한 예시적인 구현을 나타낸다. 도 3c의 무색 더블릿(240)은, 하우징(250)에 포함된 렌즈에 의해 제공되는 광학 파워에 크게 기여하지 않으면서 다중-대역통과 투과 프로파일을 포함하는 평탄한 필터(252)를 포함함으로써 도입되는 광학 수차 보정을 제공한다. 도 3d는 하우징(250) 내에 포함된 렌즈 어셈블리의 전면 표면에 적용된 다중-대역통과 코팅(254)에 의해 다중-대역통과 코팅이 구현되는 한 구현의 또 다른 예를 나타낸다. 따라서, 이러한 다중-대역통과 코팅(254)은 하우징(250) 내에 존재하는 임의의 광학 요소의 임의의 만곡형 표면에 적용될 수 있다.
도 4a 내지 도 4e는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 가진 다중스펙트럼 다중-조리개 촬영 시스템(300)의 한 실시예를 도시한다. 구체적으로, 도 4a는 내부 컴포넌트들을 드러내는 반투명인 것으로 예시된 하우징(305)을 갖는 촬영 시스템(300)의 사시도를 도시한다. 하우징(305)은, 예를 들어 원하는 양의 임베디드 컴퓨팅 자원에 기초하여, 예시된 하우징(305)에 비해 더 크거나 더 작을 수 있다. 도 4b는 촬영 시스템(300)의 정면도를 도시한다. 도 4c는 도 4b에 나타낸 라인 C-C를 따라 절단된 촬영 시스템(300)의 절단 측면도를 도시한다. 도 4d는 처리 보드(335)를 묘사하는 촬영 시스템(300)의 저면도를 도시한다. 도 4a 내지 도 4d는 아래에서 함께 설명된다.
촬영 시스템(300)의 하우징(305)은 또 다른 하우징에 포함될 수 있다. 예를 들어, 핸드헬드 구현은 촬영 시스템(300)의 안정적인 유지를 용이화하도록 성형된 하나 이상의 핸들을 선택사항으로서 갖는 하우징 내에 시스템을 인클로징할 수 있다. 예시적인 핸드헬드 구현들은 도 18a 내지 도 18c와 도 19a 및 도 19b에 더 상세히 묘사되어 있다. 하우징(305)의 상위 표면은 4개의 개구(320A-320D)를 포함한다. 상이한 다중-대역통과 필터(325A-325D)가 각각의 개구(320A-320D) 위에 위치하고 필터 캡(330A-330B)에 의해 제자리에 유지된다. 다중-대역통과 필터들(325A-325D)은 만곡되거나 만곡되지 않을 수 있으며, 각각은, 여기서 설명된 바와 같이, 위에 놓인 컬러 필터 어레이로 인해 이미지 센서에 의해 보통 캡처되는 것보다 훨씬 많은 수의 스펙트럼 채널들에 걸쳐 고정밀 다중스펙트럼 촬영을 달성하기 위해, 공통 파장대역과 적어도 하나의 고유한 파장대역을 통과시킨다. 전술된 이미지 센서, 촬영 렌즈들, 및 컬러 필터들은 카메라 하우징(345A-345D) 내에 위치한다. 일부 실시예에서, 단일 카메라 하우징은, 예를 들어 도 20a 및 도 20b에 도시된 바와 같이, 전술된 이미지 센서들, 촬영 렌즈들, 및 컬러 필터들을 인클로징할 수 있다. 도시된 구현에서 별개의 센서들이 이와 같이 이용되지만(예를 들어, 각각의 카메라 하우징(345A-345D) 내의 하나의 센서), 다른 구현들에서는 개구(320A-320D)를 통해 노출된 모든 영역에 걸쳐 있는 단일 이미지 센서가 이용될 수 있다는 것을 이해할 수 있을 것이다. 카메라 하우징들(345A-345D)은 이 실시예에서 지지부(340)를 이용하여 시스템 하우징(305)에 고정되고, 다양한 구현들에서는 다른 지지부를 이용하여 고정될 수 있다.
하우징(305)의 상위 표면은 광학 확산 요소(315)에 의해 덮인 선택사항적인 조명 보드(310)를 지지한다. 조명 보드(310)는, 이하에서 도 4e와 관련하여 더 상세히 설명된다. 확산 요소(315)는, 물체 공간이 실질적으로 공간적으로 균일한 조명을 받도록, 조명 보드(310)로부터 방출된 광을 확산시키기 위한 유리, 플라스틱 또는 기타의 광학 재료로 구성될 수 있다. 타겟 물체의 조명도, 각각의 파장 내에서 물체 표면을 가로질러 실질적으로 균일한 양의 조명을 제공하기 때문에, 소정의 촬영 응용, 예를 들어 촬영된 조직의 임상 분석에서 유용할 수 있다. 일부 실시예에서, 여기서 개시된 촬영 시스템들은, 선택사항적인 조명 보드로부터의 광 대신에 또는 이에 추가하여 주변 광을 이용할 수 있다.
이용중인 조명 보드(310)에 의해 생성된 열로 인해, 촬영 시스템(300)은 다수의 방열 핀(355)을 포함하는 히트 싱크(350)를 포함한다. 방열 핀들(355)은 카메라 하우징들(345A-345D) 사이의 공간으로 연장될 수 있고, 히트 싱크(350)의 상위 부분은 조명 보드(310)로부터 핀들(355)로 열을 끌어 올 수 있다. 히트 싱크(350)는 적절한 열 전도성 재료로 제작될 수 있다. 히트 싱크(350)는, 촬영 시스템들의 일부 구현이 팬리스(fanless)가 되도록, 다른 컴포넌트들로부터 열을 발산하는데 추가로 도움을 줄 수 있다.
하우징(305) 내의 다수의 지지부(365)는 카메라들(345A-345D)과 통신하는 처리 보드(335)를 고정한다. 처리 보드(335)는 촬영 시스템(300)의 동작을 제어할 수 있다. 도시되지는 않았지만, 촬영 시스템(300)은 또한, 예를 들어 촬영 시스템 및/또는 시스템 제어를 위한 컴퓨터 실행가능 명령어들의 모듈을 이용하여 생성된 데이터를 저장하는 하나 이상의 메모리로 구성될 수 있다. 처리 보드(335)는 시스템 설계 목표에 따라 다양한 방식으로 구성될 수 있다. 예를 들어, 처리 보드는, 조명 보드(310)의 특정한 LED들의 활성화를 제어하도록 (예를 들어, 컴퓨터 실행가능 명령어들의 모듈에 의해) 구성될 수 있다. 일부 구현은 아날로그 LED 전류의 소프트웨어 제어를 가능케하고 LED 고장을 검출할 수 있는 매우 안정적인 동기식 스텝-다운 LED 구동기를 이용할 수 있다. 일부 구현은 이미지 데이터 분석 기능을 (예를 들어, 컴퓨터 실행가능한 명령어들의 모듈들에 의해) 처리 보드(335)에 또는 별개의 처리 보드에 추가로 제공할 수 있다. 도시되지는 않았지만, 촬영 시스템(300)은, 처리 보드(335)가 센서들로부터 데이터를 수신하고 처리할 수 있도록 센서들과 처리 보드(335) 사이에서, 및 처리 보드가 조명 보드(310)의 특정한 LED들의 활성화를 구동할 수 있도록 조명 보드(310)와 처리 보드(335) 사이에서 데이터 상호접속을 포함할 수 있다.
도 4e는, 다른 컴포넌트들과 분리되어 촬영 시스템(300)에 포함될 수 있는 예시적인 조명 보드(310)를 도시한다. 조명 보드(310)는 중앙 영역으로부터 연장되는 4개의 아암을 포함하고, LED들은 3개의 열로 각각의 아암을 따라 위치한다. 인접한 열들 내의 LED들 사이의 공간들은, 인접한 LED들 사이에서 분리를 생성하기 위해 서로로부터 측방향으로 오프셋된다. LED들의 각각의 열은 상이한 컬러들의 LED들을 가진 다수의 행을 포함한다. 4개의 녹색 LED(371)가 중앙 영역에 위치하고, 중앙 영역의 각각의 코너에는 하나의 녹색 LED가 있다. 가장 안쪽 행(예를 들어, 중앙에 가장 가까운 행)에서 시작하여, 각각의 열은 2개의 진한 적색 LED(372)의 행을 포함한다(총 8개의 진한 적색 LED). 반경방향으로 바깥쪽으로 계속하면, 각각의 아암은 중앙 열에서 하나의 호박색 LED(374)의 행, 가장 바깥쪽 열에서 2개의 짧은 청색 LED(376)의 행(총 8개의 짧은 청색 LED), 중앙 열에서 하나의 호박색 LED(374)의 또 다른 행(총 8개의 호박색 LED), 가장 바깥쪽 열에서 하나의 비-PPG NIR LED(373)와 하나의 적색 LED(375)를 갖는 행(각각 총 4개), 및 중앙 열에서 하나의 PPG NIR LED(377)(총 4개의 PPG NIR LED)를 갖는다. "PPG" LED란, 살아있는 조직의 박동성 혈류를 나타내는 PPG(photoplethysmographic) 정보를 캡처하기 위해 다수의 순차적 노출 동안에 활성화되는 LED를 말한다. 다양한 다른 컬러 및/또는 그 배열들이 다른 실시예들의 조명 보드들에서 이용될 수 있다는 것을 이해할 것이다.
도 5는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 갖는 다중스펙트럼 다중-조리개 촬영 시스템의 또 다른 실시예를 도시한다. 촬영 시스템(300)의 설계와 유사하게, 촬영 시스템(400)은 4개의 광 경로를 포함하는데, 여기서는 고정 링(430A-430D)에 의해 하우징(405)에 고정되는 다중-대역통과 필터 렌즈 그룹들(425A-425D)을 갖는 개구(420A-420D)로 도시된다. 촬영 시스템(400)은 또한, 고정 링들(430A-430D) 사이의 하우징(405)의 전면에 고정된 조명 보드(410), 및 타겟 물체 상으로 공간적으로 균일한 광을 방출하는 것을 돕기 위해 조명 보드(410) 위에 위치한 확산기(415)를 포함한다.
시스템(400)의 조명 보드(410)는, 십자 형상의 LED들의 4개의 브랜치를 포함하고, 각각의 브랜치는 조밀하게 이격된 LED들의 2개의 열을 포함한다. 따라서, 조명 보드(410)는 전술된 조명 보드(310)보다 더 컴팩트하고, 더 작은 폼 팩터 요건을 갖는 촬영 시스템들에서 이용하기에 적합할 수 있다. 이 예시적인 구성에서, 각각의 브랜치는, 1개의 녹색 LED와 1개의 청색 LED를 갖는 가장 바깥 쪽 행을 포함하고, 안쪽으로 이동하면, 황색 LED들의 2개 행, 오렌지색 LED들의 행, 1개의 적색 LED와 1개의 진한 적색 LED를 갖는 행, 및 1개의 호박색 LED와 하나의 NIR LED를 갖는 행을 포함한다. 따라서, 이 구현에서 LED들은 더 긴 파장들의 광을 방출하는 LED들이 조명 보드(410)의 중앙에 있는 반면, 더 짧은 파장들의 광을 방출하는 LED들은 조명 보드(410)의 가장자리에 있도록 배열된다.
도 6a 내지 도 6c는 도 3a 및 도 3b와 관련하여 설명된 광학 설계를 가진 다중스펙트럼 다중-조리개 촬영 시스템(500)의 또 다른 실시예를 도시한다. 구체적으로, 도 6a는 촬영 시스템(500)의 사시도를 도시하고, 도 6b는 촬영 시스템(500)의 정면도를 도시하고, 도 6C는 도 6b에 나타낸 라인 C-C를 따라 절단된 촬영 시스템(500)의 절단 측면도를 도시한다. 촬영 시스템(500)은 촬영 시스템(300)과 관련하여 전술된 것들과 유사한 컴포넌트들(예를 들어, 하우징(505), 조명 보드(510), 확산 판(515), 고정 링들(530A-530D)을 통해 개구들 위에 고정된 다중-대역통과 필터들(525A-525D))을 포함하지만, (예를 들어, 더 적은 수의 및/또는 더 작은 임베디드 컴퓨팅 컴포넌트들을 갖는 실시예에서) 더 짧은 폼 팩터를 도시한다. 시스템(500)은 또한, 카메라 정렬의 강성과 견고성을 추가하기 위해 카메라-대-프레임 직접 마운트(540)를 포함한다.
도 7a 및 도 7b는 다중스펙트럼 다중-조리개 촬영 시스템(600)의 또 다른 실시예를 도시한다. 도 7a 및 도 7b는 다중-조리개 촬영 시스템(600) 주위의 광원들(610A-610C)의 또 다른 가능한 배열을 나타낸다. 도시된 바와 같이, 도 3a 내지 도 3d와 관련하여 설명된 광학 설계의 다중-대역통과 필터들(625A-625D)을 갖는 4개의 렌즈 어셈블리는 직사각형 또는 정사각형 구성으로 배치되어 (이미지 센서들을 포함한) 4개의 카메라(630A-630D)에 광을 제공할 수 있다. 3개의 직사각형 발광 요소들(610A-610C)은 다중-대역통과 필터들(625A-625D)을 갖는 렌즈 어셈블리들의 외부에서 및 사이에서 서로 평행하게 배치될 수 있다. 이들은, 넓은 스펙트럼 발광 패널 또는 이산 파장대역들의 광을 방출하는 LED들의 배열일 수 있다.
도 8a 및 도 8b는 다중스펙트럼 다중-조리개 촬영 시스템(700)의 또 다른 실시예를 도시한다. 도 8a 및 도 8b는 다중-조리개 촬영 시스템(700) 주위의 광원들(710A-710D)의 또 다른 가능한 배열을 나타낸다. 도시된 바와 같이, 도 3a 내지 도 3d와 관련하여 설명된 광학 설계를 이용한 다중-대역통과 필터들(725A-725D)을 갖는 4개의 렌즈 어셈블리는 직사각형 또는 정사각형 구성으로 배치되어 (이미지 센서들을 포함한) 4개의 카메라(730A-730D)에 광을 제공할 수 있다. 4개의 카메라(730A-730D)는 렌즈들 사이의 원근 차이를 최소화할 수 있는 더 가까운 예시적인 구성으로 도시되어 있다. 4개의 직사각형 발광 요소(710A-710D)는 다중-대역통과 필터(725A-725D)로 렌즈 어셈블리들을 둘러싸는 정사각형에 위치할 수 있다. 이들은, 넓은 스펙트럼 발광 패널 또는 이산 파장대역들의 광을 방출하는 LED들의 배열일 수 있다.
도 9a 내지 도 9c는 다중스펙트럼 다중-조리개 촬영 시스템(800)의 또 다른 실시예를 도시한다. 촬영 시스템(800)은, 도 3a 내지 도 3d와 관련하여 설명된 광학 설계를 이용하여 다중-대역통과 필터가 제공될 수 있는, 개구(820) 및 마이크로-비디오 렌즈(825)를 위한 지지 구조물을 포함하는 렌즈 클러스터 프레임 전면(830)에 결합된 프레임(805)을 포함한다. 마이크로-비디오 렌즈(825)는, 렌즈 클러스터 프레임 백(840)에 장착된 (촬영 렌즈들 및 이미지 센서 영역들을 포함하는) 4개의 카메라(845)에 광을 제공한다. LED들(811)의 4개의 선형 배열은 렌즈 클러스터 프레임 전면(830)의 4개의 측면을 따라 배치되고, 각각에는 그 자신의 확산 요소(815)가 제공된다. 도 9b 및 도 9c는 다중-조리개 촬영 시스템(800)의 하나의 가능한 크기를 보여주는 예시적인 치수를 인치 단위로 도시한다.
도 10a는 도 3a 내지 도 3d와 관련하여 설명된 광학 설계를 갖는 다중스펙트럼 다중-조리개 촬영 시스템(900)의 또 다른 실시예를 도시한다. 촬영 시스템(900)은 모바일 디바이스(910)의 다중-조리개 카메라(915) 위에 부착될 수 있는 한 세트의 다중-대역통과 필터들(905)로서 구현될 수 있다. 예를 들어, 스마트폰 등의 소정의 모바일 디바이스들(910)에는 2개의 이미지 센서 영역으로 이어지는 2개의 개구를 갖는 입체 촬영 시스템들이 장착될 수 있다. 개시된 다중-조리개 스펙트럼 촬영 기술들은 복수의 더 좁은 파장대역들의 광을 센서 영역들로 통과시키는 적절한 세트의 다중-대역통과 필터들(905)을 제공함으로써 이러한 디바이스들에서 구현될 수 있다. 선택사항으로서, 다중-대역통과 필터 세트(905)는 이들 파장대역들의 광을 물체 공간에 제공하는 (LED 어레이 및 확산기 등의) 조명체를 구비할 수 있다.
시스템(900)은 또한, 다중스펙트럼 데이터큐브를 생성하는 처리뿐만 아니라, (예를 들어, 임상 조직 분류, 생체 인식, 재료 분석, 또는 기타의 응용을 위해) 다중스펙트럼 데이터큐브를 처리를 수행하도록 모바일 디바이스를 구성하는 모바일 애플리케이션을 포함할 수 있다. 대안으로서, 모바일 애플리케이션은 네트워크를 통해 다중스펙트럼 데이터큐브를 원격 처리 시스템으로 전송한 다음, 분석 결과를 수신하고 디스플레이하도록 디바이스(910)를 구성할 수 있다. 이러한 응용을 위한 예시적인 사용자 인터페이스(910)가 도 10b에 도시되어 있다.
도 11a 및 도 11b는 도 3a 내지 도 10b의 다중스펙트럼 다중-조리개 촬영 시스템의 4필터 구현의 필터들에 의해 예를 들어 Bayer CFA(또는 또 다른 RGB 또는 RGB-IR CFA)를 갖는 이미지 센서로 통과될 수 있는 예시적인 세트의 파장대역들을 도시한다. 다중-대역통과 필터들에 의해 통과된 파장대역들의 스펙트럼 투과 응답은 도 11A의 그래프(1000)에서 실선으로 도시되며,
Figure pct00013
으로 표기되어 있고, 여기서 n은 1 내지 4의 카메라 번호를 나타낸다. 파선들은 전형적인 Bayer CFA에 존재하는 녹색 픽셀
Figure pct00014
, 적색 픽셀
Figure pct00015
, 또는 청색 픽셀
Figure pct00016
의 스펙트럼 투과와의
Figure pct00017
의 결합된 스펙트럼 응답을 나타낸다. 이들 투과 곡선은 또한, 이 예에서 이용되는 센서로 인한 양자 효율 효과도 포함한다. 도시된 바와 같이, 이 4대의 카메라 세트는 8개의 고유한 채널 또는 파장대역을 집합적으로 캡처한다. 각각의 필터는 2개의 공통 파장대역(최좌측의 2개의 피크)뿐만 아니라 2개의 추가적인 파장대역을 각각의 카메라에 전달한다. 이 구현에서, 제1 및 제3 카메라는 제1 공유 NIR 파장대역(최우측 피크)에서 광을 수신하고, 제2 및 제4 카메라는 제2 공유 NIR 파장대역(우측에서 2번째로 가장 높은 피크)에서 광을 수신한다. 각각의 카메라는 또한, 약 550 nm 또는 550 nm 내지 약 800 nm 또는 800 nm 범위의 하나의 고유한 파장대역을 수신한다. 따라서, 카메라는 컴팩트한 구성을 이용하여 8개의 고유한 스펙트럼 채널을 캡처할 수 있다. 도 11b의 그래프(1010)는 도 11a에 도시된 4개의 카메라에 대한 조명체로서 이용될 수 있는 도 4e에 설명된 LED 보드의 스펙트럼 방사조도를 도시한다.
이 구현에서, 8개의 파장대역은 임상 조직 분류에 적합한 스펙트럼 채널 생성에 기초하여 선택되었고, 또한, (촬영 시스템에 열을 도입하는) LED의 수를 제한하면서 신호-대-잡음비(SNR) 및 프레임 레이트와 관련하여 최적화될 수 있다. 8개의 파장대역은, 조직(예를 들어, 인간 조직을 포함한 동물 조직)이 녹색 또는 적색 파장들보다 청색 파장들에서 더 높은 콘트라스트를 나타내기 때문에, 4개의 필터 모두에 의해 통과되는 청색 광의 공통 파장대역(그래프 1000에서 최좌측 피크)을 포함한다. 구체적으로, 인간 조직은, 그래프 1000에 도시된 바와 같이, 약 420 nm를 중심으로 하는 파장대역에서 촬영될 때 가장 높은 콘트라스트를 나타낸다. 공통 파장대역에 대응하는 채널이 불일치 보정에 이용되기 때문에, 이 높은 콘트라스트는 더 정확한 보정을 생성할 수 있다. 예를 들어, 불일치 보정에서 이미지 프로세서는 국소적 또는 전역적 방법들을 이용하여 불일치 세트를 찾을 수 있으므로 국소적 이미지 패치들 또는 이미지들 사이의 유사성에 대응하는 성능 지수가 최대화된다. 대안으로서, 이미지 프로세서는 차이점에 대응하는 성능 지수를 최소화하는 유사한 방법들을 이용할 수 있다. 이들 성능 지수는, 엔트로피, 상관, 절대 차이, 또는 심화 학습 방법들에 기초할 수 있다. 불일치 계산의 전역적 방법들은 반복적으로 작동할 수 있고, 성능 지수가 안정되면 종료된다. 성능 지수에 대한 입력으로서 한 이미지 내의 고정된 패치와, 각각이 다른 이미지로부터 테스트 중인 불일치의 상이한 값에 의해 결정되는 다수의 상이한 패치들을 이용하여, 불일치를 포인트별로 계산하기 위해, 국소적 방법들이 이용될 수 있다. 이러한 모든 방법은, 고려되는 불일치들의 범위에 관한 제약을 가질 수 있다. 이들 제약은, 예를 들어, 물체 깊이와 거리에 대한 지식에 기초할 수 있다. 제약들은 또한, 물체에서 예상되는 기울기(gradient)들의 범위에 기초하여 부과될 수 있다. 계산된 불일치들에 관한 제약은 또한, 에피폴라 제약(epipolar constraint) 등의, 투영 기하학에 의해 부과될 수도 있다. 불일치는 복수의 해상도에서 계산될 수 있고, 더 낮은 해상도들에서 계산된 불일치들의 출력은 다음 레벨의 해상도에서 계산된 불일치들에 대한 초기 값 또는 제약들로서 작용한다. 예를 들어, 1회의 계산에서 4개 픽셀의 해상도 레벨에서 계산된 불일치는, 더 높은 해상도에서의 불일치의 다음 계산에서 ± 4 픽셀들의 제약을 설정하는데 이용할 수 있다. 불일치로부터는 계산하는 모든 알고리즘은, 특히 그 콘트라스트의 소스가 모든 관점에 대해 상관될 경우, 더 높은 콘트라스트로부터 혜택을 받을 것이다. 일반적으로 말하면, 공통 파장대역은, 특정한 응용에 대해 촬영될 것으로 예상되는 재료의 가장 높은 콘트라스트 촬영에 대한 대응에 기초하여 선택될 수 있다.
이미지 캡처 후, 인접한 채널들 사이의 컬러 분리가 완벽하지 않을 수 있으므로, 이 구현은 또한, 모든 필터에 의해 통과되는, 그래프(1000)에서 청색 파장대역에 인접한 녹색 파장대역으로 도시된, 추가적인 공통 파장대역을 갖는다. 이것은 청색 컬러 필터 픽셀들이 넓은 스펙트럼 대역통과로 인해 녹색 스펙트럼의 반응에 민감하기 때문이다. 이것은 전형적으로, 인접한 RGB 픽셀들 사이의, 의도적 누화로서 특성규정될 수도 있는, 스펙트럼 중첩으로 나타난다. 이러한 중첩은 컬러 카메라의 스펙트럼 감도를 인간 망막의 스펙트럼 감도와 유사하게 만들어 결과적인 컬러 공간이 인간의 시각과 질적으로 유사하게 되는 것을 가능케 한다. 따라서, 공통의 녹색 채널을 갖는 것은, 녹색 광으로 인한 신호 부분을 분리함으로써, 수신된 청색 광에 진정으로 대응하는 청색 포토다이오드들에 의해 생성된 신호 부분의 분리를 가능케할 수 있다. 이것은, 다중-대역통과 필터의 (검정색 실선의 T 범례로 도시된) 투과율, (파선의 적색, 녹색, 및 청색 라인들의 Q 범례로 도시된) 대응하는 CFA 컬러 필터의 투과율을 요인으로서 고려하는 스펙트럼 분리(unmix) 알고리즘을 이용하여 달성될 수 있다. 일부 구현은 적색 광을 공통 파장대역으로서 이용할 수 있고, 이러한 경우에는 제2 공통 채널이 필요하지 않을 수 있다는 것을 이해할 것이다.
도 12는 고해상도 스펙트럼 촬영 능력을 갖는 예시적인 컴팩트 촬영 시스템(1100)의 상위 레벨 블록도를 나타내며, 시스템(1100)은, 다중-조리개 스펙트럼 카메라(1160) 및 조명체(들)(1165)에 링크된 프로세서(1120)를 포함하는 컴포넌트 세트를 포함한다. 작업 메모리(1105), 스토리지(1110), 전자 디스플레이(1125), 및 메모리(1130)는 또한, 프로세서(1120)와 통신한다. 본 명세서에 설명된 바와 같이, 시스템(1100)은, 다중-조리개 스펙트럼 카메라(1160)의 상이한 개구들 위에 배치된 상이한 다중-대역통과 필터들을 이용함으로써 이미지 센서의 CFA에 상이한 컬러들의 필터들이 있는 것보다 더 많은 수의 이미지 채널을 캡처할 수 있다.
시스템(1100)은, 셀 전화, 디지털 카메라, 태블릿 컴퓨터, 개인용 디지털 단말기 등의 디바이스일 수 있다. 시스템(1100)은 또한, 이미지를 캡처하기 위해 내부 또는 외부 카메라를 이용하는 데스크탑 개인용 컴퓨터, 화상 회의 스테이션 등의 더 고정된 디바이스일 수 있다. 시스템(1100)은 또한, 이미지 캡처 디바이스와 이미지 캡처 디바이스로부터 이미지 데이터를 수신하는 별개의 처리 디바이스의 조합일 수 있다. 시스템(1100) 상의 사용자에게는 복수의 애플리케이션이 이용가능할 수 있다. 이들 애플리케이션은, 다른 것들 중에서도 특히, 전통적인 사진 애플리케이션, 스틸 이미지 및 비디오 캡처, 동적 컬러 보정 애플리케이션, 및 밝기 음영 보정 애플리케이션을 포함할 수 있다.
이미지 캡처 시스템(1100)은 이미지들을 캡처하기 위한 다중-조리개 스펙트럼 카메라(1160)를 포함한다. 다중-조리개 스펙트럼 카메라(1160)는, 예를 들어, 도 3a 내지 도 10b의 임의의 디바이스일 수 있다. 다중-조리개 스펙트럼 카메라(1160)는 프로세서(1120)에 결합되어, 상이한 스펙트럼 채널들에서 및 상이한 센서 영역들로부터 캡처된 이미지들을 이미지 프로세서(1120)에 전송할 수 있다. 조명체(들)(1165)는 또한, 아래에서 더 상세히 설명되는 바와 같이, 소정의 노출 동안 소정의 파장들에서 광을 방출하도록 프로세서에 의해 제어될 수 있다. 이미지 프로세서(1120)는 고품질의 불일치 보정된 다중스펙트럼 데이터큐브를 출력하기 위해 수신된 캡처된 이미지에 대해 다양한 동작을 수행하도록 구성될 수 있다.
프로세서(1120)는 범용 처리 유닛이거나 촬영 응용을 위해 특별히 설계된 프로세서일 수 있다. 도시된 바와 같이, 프로세서(1120)는 메모리(1130) 및 작업 메모리(1105)에 접속된다. 예시된 실시예에서, 메모리(1130)는, 캡처 제어 모듈(1135), 데이터큐브 생성 모듈(1140), 데이터큐브 분석 모듈(1145), 및 운영 체제(1150)를 저장한다. 이들 모듈은, 다양한 이미지 처리 및 디바이스 관리 작업을 수행하도록 프로세서를 구성하는 명령어들을 포함한다. 작업 메모리(1105)는, 메모리(1130)의 모듈들에 포함된 프로세서 명령어들의 작업 세트를 저장하기 위해 프로세서(1120)에 의해 이용될 수 있다. 대안으로서, 작업 메모리(1105)는 또한, 디바이스(1100)의 동작 동안 생성된 동적 데이터를 저장하기 위해 프로세서(1120)에 의해 이용될 수 있다.
전술된 바와 같이, 프로세서(1120)는 메모리(1130)에 저장된 수개의 모듈에 의해 구성된다. 캡처 제어 모듈(1135)은, 일부 구현에서, 다중-조리개 스펙트럼 카메라(1160)의 포커스 위치를 조정하도록 프로세서(1120)를 구성하는 명령어들을 포함한다. 캡처 제어 모듈(1135)은 또한, 다중-조리개 스펙트럼 카메라(1160)로 이미지들, 예를 들어 동일한 스펙트럼 채널(예를 들어, NIR 채널)에서 캡처된 PPG 이미지들뿐만 아니라 상이한 스펙트럼 채널들에서 캡처된 다중스펙트럼 이미지들을 캡처하도록 프로세서(1120)를 구성하는 명령어들을 포함한다. 비접촉 PPG 촬영은 대개 근적외선(NIR) 파장들을 조명으로 이용하여 이 파장에서 조직 내로의 증가된 광자 침투를 활용한다. 따라서, 프로세서(1120)는, 캡처 제어 모듈(1135), 다중-조리개 스펙트럼 카메라(1160), 및 작업 메모리(1105)와 함께, 스펙트럼 이미지 세트 및/또는 이미지 시퀀스를 캡처하기 위한 하나의 수단을 나타낸다.
데이터큐브 생성 모듈(1140)은, 상이한 센서 영역들의 포토다이오드들로부터 수신된 강도 신호들에 기초하여 다중스펙트럼 데이터큐브를 생성하도록 프로세서(1120)를 구성하는 명령어들을 포함한다. 예를 들어, 데이터큐브 생성 모듈(1140)은 모든 다중-대역통과 필터에 의해 통과된 공통 파장대역에 대응하는 스펙트럼 채널에 기초하여 촬영된 물체의 동일한 영역들 사이의 불일치를 추정할 수 있고, 이 불일치를 이용하여 (예를 들어, 물체 상의 동일한 포인트가 모든 스펙트럼 채널에 걸쳐 실질적으로 동일한 (x, y) 픽셀 위치에 의해 표현되도록) 모든 캡처된 채널들에 걸친 모든 스펙트럼 이미지들을 서로 정합할 수 있다. 정합된 이미지들은 집합적으로 다중스펙트럼 데이터큐브를 형성하고, 불일치 정보는, 상이한 촬영된 물체들의 깊이들, 예를 들어 건강한 조직과 상처 부위 내의 가장 깊은 위치 사이의 깊이 차이를 결정하는데 이용될 수 있다. 일부 실시예에서, 데이터큐브 생성 모듈(1140)은 또한, 예를 들어 필터 투과율 및 센서 양자 효율을 요인으로서 고려하는 스펙트럼 분리 알고리즘들에 기초하여, 포토다이오드 강도 신호들의 어느 부분들이 통과된 파장대역들에 대응하는지 식별하기 위해 스펙트럼 분리를 수행할 수 있다.
데이터큐브 분석 모듈(1145)은, 응용에 따라 데이터큐브 생성 모듈(1140)에 의해 생성된 다중스펙트럼 데이터큐브를 분석하기 위한 다양한 기술을 구현할 수 있다. 예를 들어, 데이터큐브 분석 모듈(1145)의 일부 구현은, 소정의 상태에 따라 각각의 픽셀을 분류하도록 훈련된 머신 학습 모델에 다중스펙트럼 데이터큐브(및 선택사항으로서 깊이 정보)를 제공할 수 있다. 이들 상태는, 조직 촬영의 경우 임상 상태들, 예를 들어 화상 상태들(예를 들어, 1도 화상, 2도 화상, 3도 화상 또는 건강한 조직 범주들), 상처 상태들(예를 들어, 지혈, 염증, 확산, 리모델링 또는 건강한 피부 범주들), 치유 가능성(예를 들어, 특정한 요법의 유무에 관계없이, 조직이 상처 상태로부터 치유될 가능성을 반영하는 점수), 관류 상태들, 암 상태들, 또는 기타의 상처 관련 조직 상태들일 수 있다. 데이터큐브 분석 모듈(1145)은 또한, 생체 인식 및/또는 물질 분석을 위해 다중스펙트럼 데이터큐브를 분석할 수 있다.
운영 체제 모듈(1150)은 시스템(1100)의 메모리 및 처리 자원을 관리하도록 프로세서(1120)를 구성한다. 예를 들어, 운영 체제 모듈(1150)은, 전자 디스플레이(1125), 스토리지(1110), 다중-조리개 스펙트럼 카메라(1160), 또는 조명체(들)(1165) 등의 하드웨어 자원을 관리하기 위한 디바이스 구동기들을 포함할 수 있다. 따라서, 일부 실시예에서, 위에서 논의된 이미지 처리 모듈들에 포함된 명령어들은 이들 하드웨어 자원과 직접 상호작용하지 않지만, 대신에 운영 체제 컴포넌트(1150)에 위치한 표준 서브루틴들 또는 API들을 통해 상호작용할 수 있다. 운영 체제(1150) 내의 명령어들은 이들 하드웨어 컴포넌트들과 직접 상호작용할 수 있다.
프로세서(1120)는 또한, 캡처된 이미지들 및/또는 다중스펙트럼 데이터큐브(예를 들어, 분류된 이미지)를 분석한 결과를 사용자에게 디스플레이하게끔 디스플레이(1125)를 제어하도록 구성될 수 있다. 디스플레이(1125)는 다중-조리개 스펙트럼 카메라(1160)를 포함하는 촬영 디바이스에 대해 외부적이거나 촬영 디바이스의 일부일 수 있다. 디스플레이(1125)는 또한, 이미지를 캡처하기 전에 사용자에게 뷰 파인더(view finder)를 제공하도록 구성될 수 있다. 디스플레이(1125)는 LCD 또는 LED 스크린을 포함할 수 있고, 터치 감지 기술들을 구현할 수 있다.
프로세서(1120)는 스토리지 모듈(1110)에 데이터, 예를 들어 캡처된 이미지들, 다중스펙트럼 데이터큐브들, 및 데이터큐브 분석 결과를 나타내는 데이터를 기입할 수 있다. 스토리지 모듈(1110)은 전통적인 디스크 디바이스로서 그래픽으로 표현되지만, 본 기술분야의 통상의 기술자라면 스토리지 모듈(1110)은 임의의 저장 매체 디바이스로서 구성될 수 있다는 것을 이해할 것이다. 예를 들어, 스토리지 모듈(1110)은, 플로피 디스크 드라이브, 하드 디스크 드라이브, 광 디스크 드라이브 또는 광 자기 디스크 드라이브 등의 디스크 드라이브, 또는 플래시 메모리 등의 고체 상태 메모리, RAM, ROM, 및/또는 EEPROM을 포함할 수 있다. 스토리지 모듈(1110)은 또한 복수의 메모리 유닛을 포함할 수 있고, 메모리 유닛들 중 임의의 하나는 이미지 캡처 디바이스(1100) 내에 있도록 구성되거나, 이미지 캡처 시스템(1100)에 대해 외부적일 수 있다. 예를 들어, 스토리지 모듈(1110)은, 이미지 캡처 시스템(1100) 내에 저장된 시스템 프로그램 명령어들을 포함하는 ROM 메모리를 포함할 수 있다. 스토리지 모듈(1110)은 또한, 카메라로부터 제거될 수 있는 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수 있다.
도 12는, 프로세서, 촬영 센서, 및 메모리를 포함하는 별개의 컴포넌트들을 포함하는 시스템을 도시하지만, 본 기술분야의 통상의 기술자라면, 이들 별개의 컴포넌트들은 특정한 설계 목표를 달성하기 위해 다양한 방식으로 결합될 수 있다는 것을 인식할 것이다. 예를 들어, 대안적인 실시예에서, 메모리 컴포넌트들은, 비용을 절약하고 성능을 향상시키기 위해 프로세서 컴포넌트들과 결합될 수 있다.
추가적으로, 도 12는 2개의 메모리 컴포넌트, 즉, 수개의 모듈을 포함하는 메모리 컴포넌트(1130) 및 작업 메모리를 포함하는 별개의 메모리(1105)를 예시하고 있지만, 본 기술분야의 통상의 기술자라면, 상이한 메모리 아키텍쳐들을 이용하는 수개의 실시예를 인식할 것이다. 예를 들어, 설계는 메모리(1130)에 포함된 모듈들을 구현하는 프로세서 명령어들의 저장을 위해 ROM 또는 정적 RAM 메모리를 이용할 수 있다. 대안으로서, 프로세서 명령어들은, 시스템(1100)에 통합되거나 외부 디바이스 포트를 통해 접속되는 디스크 스토리지 디바이스로부터 시스템 시작시에 판독될 수 있다. 프로세서 명령어들은 프로세서에 의한 실행을 용이화하기 위해 RAM에 로드될 수 있다. 예를 들어, 작업 메모리(1105)는 RAM 메모리일 수 있고, 명령어들은 프로세서(1120)에 의해 실행되기 전에 작업 메모리(1105)에 로드된다.
예시적인 이미지 처리 기술들의 개요
도 13은 도 3a 내지 도 10b와 도 12의 다중스펙트럼 다중-조리개 촬영 시스템들을 이용하여 이미지 데이터를 캡처하기 위한 예시적인 프로세스(1200)의 플로차트이다. 도 13은 본 명세서에 설명된 바와 같이 다중스펙트럼 데이터큐브를 생성하는데 이용될 수 있는 4개의 예시적인 노출, 즉, 가시 노출(1205), 추가적인 가시 노출(1210), 비-가시 노출(1215), 및 주변 노출(1220)을 도시한다. 이들은 임의의 순서로 캡처될 수 있고, 일부 노출은, 선택사항으로서, 아래에서 설명된 바와 같이 특정한 워크플로우로부터 제거되거나 이에 추가될 수 있다는 것을 이해할 것이다. 또한, 프로세스(1200)는 도 11a 및 도 11b의 파장대역들을 참조하여 설명되지만, 유사한 워크플로우들이 다른 세트들의 파장대역들에 기초하여 생성된 이미지 데이터를 이용하여 구현될 수 있다. 추가적으로, 다양한 실시예에서 이미지 취득 및/또는 불일치 보정을 개선하기 위해, 다양한 알려진 플랫 필드 보정 기술(flat field correction technique)에 따라 플랫 필드 보정이 추가로 구현될 수 있다.
가시 노출(1205)의 경우, 처음 5개의 피크(도 11a의 그래프 1000에서 가시 광선에 대응하는 좌측 5개의 피크)의 LED들은 조명 보드에 대한 제어 신호에 의해 온으로 될 수 있다. 광 파 출력은 특정한 LED에 특정한 시간에, 예를 들어, 10ms에서 안정화될 필요가 있을 수 있다. 캡처 제어 모듈(1135)은 이 시간 이후에 4개의 카메라의 노출을 시작할 수 있고, 예를 들어 약 30 ms의 지속기간 동안 이 노출을 계속할 수 있다. 그 후, 캡처 제어 모듈(1135)은 노출을 중단하고 센서 영역들로부터 데이터를 끌어낼 수 있다(예를 들어, 원시 포토다이오드 강도 신호들을 작업 메모리(1105) 및/또는 데이터 저장소(1110)에 전송함으로써). 이 데이터는 본 명세서에 설명된 바와 같이 불일치 보정에 이용하기 위한 공통 스펙트럼 채널을 포함할 수 있다.
SNR을 증가시키기 위해, 일부 구현은 가시 노출(1205)에 대해 설명된 것과 동일한 프로세스를 이용하여 추가적인 가시 노출(1210)을 캡처할 수 있다. 2개의 동일하거나 거의 동일한 노출을 갖는 것은, SNR을 증가시켜 이미지 데이터의 더욱 정확한 분석을 생성한다. 그러나 이것은 단일 이미지의 SNR이 수락가능한 구현들에서는 생략될 수 있다. 공통 스펙트럼 채널에서의 중복 노출은 또한, 일부 구현에서 더 정확한 불일치 보정을 가능케할 수 있다.
일부 구현은 또한, NIR 또는 IR 광에 대응하는 비-가시 노출(1215)을 캡처할 수 있다. 예를 들어, 캡처 제어 모듈(1135)은 도 11a에 도시된 2개의 NIR 채널에 대응하는 2개의 상이한 NIR LED를 활성화할 수 있다. 광 파 출력은 특정한 LED에 특정한 시간에, 예를 들어, 10 ms에서 안정화될 필요가 있을 수 있다. 캡처 제어 모듈(1135)은 이 시간 이후에 4개의 카메라의 노출을 시작할 수 있고, 예를 들어 약 30 ms의 지속기간 동안 이 노출을 계속할 수 있다. 그 후, 캡처 제어 모듈(1135)은 노출을 중단하고 센서 영역들로부터 데이터를 끌어낼 수 있다(예를 들어, 원시 포토다이오드 강도 신호들을 작업 메모리(1105) 및/또는 데이터 저장소(1110)에 전송함으로써). 이 노출에서는, 노출들(1205, 1210)에 관해 물체의 형상이나 위치에 변화가 없고 따라서 이전에 계산된 불일치 값들이 NIR 채널들을 정합하는데 이용될 수 있다고 안전하게 가정할 수 있으므로, 모든 센서 영역에 전달되는 공통 파장대역이 없을 수 있다.
일부 구현에서, 박동성 혈류로 인한 조직 부위의 형상 변화를 나타내는 PPG 데이터를 생성하기 위해 복수의 노출이 순차적으로 캡처될 수 있다. 이들 PPG 노출은 일부 구현에서 비가시 파장에서 캡처될 수 있다. PPG 데이터와 다중스펙트럼 데이터의 조합은, 소정의 의료 촬영 분석들의 정확도를 증가시킬 수 있지만, PPG 데이터의 캡처는 또한, 이미지 캡처 프로세스에 추가적인 시간을 도입할 수 있다. 이 추가적인 시간은, 일부 구현에서, 핸드헬드 촬영기 및/또는 물체의 이동으로 인해 오류들을 도입할 수 있다. 따라서, 소정의 구현들은 PPG 데이터의 캡처를 생략할 수 있다.
일부 구현은 주변 노출(1220)을 추가로 캡처할 수 있다. 이 노출의 경우, 모든 LED가 오프되어 주변 조명(예를 들어, 태양광, 다른 조명 소스들로부터의 광)을 이용하여 이미지를 캡처할 수 있다. 캡처 제어 모듈(1135)은 이 시간 이후에 4개의 카메라의 노출을 시작할 수 있고, 원하는 지속기간 동안, 예를 들어 약 30 ms 동안 계속 노출을 유지할 수 있다. 그 후, 캡처 제어 모듈(1135)은 노출을 중단하고 센서 영역들로부터 데이터를 끌어낼 수 있다(예를 들어, 원시 포토다이오드 강도 신호들을 작업 메모리(1105) 및/또는 데이터 저장소(1110)에 전송함으로써). 다중스펙트럼 데이터큐브로부터의 주변 광의 영향을 제거하기 위해, 가시 노출(1205)(또는 제2 노출(1210)에 의해 SNR에 대해 보정된 가시 노출(1205))의 값들로부터 및 또한 비가시 노출(1215)로부터 주변 노출(1220)의 강도 값들이 감산될 수 있다. 이것은, 조명체에 의해 방출되고 물체/조직 부위로부터 반사된 광을 나타내는 생성된 신호들의 일부를 분리함으로써 다운스트림 분석의 정확도를 증가시킬 수 있다. 가시(1205, 1210) 및 비가시(1215) 노출들만 이용하여 분석 정확도가 충분하다면 일부 구현은 이 단계를 생략할 수 있다.
위에 나열된 특정한 노출 시간들은 하나의 구현의 예들이며, 다른 구현들에서 노출 시간은, 이미지 센서, 조명 강도, 및 촬영된 물체에 따라 달라질 수 있다는 것을 이해할 것이다.
도 14는, 이미지 데이터, 예를 들어 도 13의 프로세스(1200)를 이용하여 및/또는 도 3a 내지 도 10b와 도 12의 다중스펙트럼 다중-조리개 촬영 시스템들을 이용하여 캡처된 이미지 데이터를 처리하기 위한 워크플로우(1300)의 개략적인 블록도를 도시한다. 워크플로우(1300)는 2개의 RGB 센서 영역(1301A, 1301B)의 출력을 보여주지만, 워크플로우(1300)는 더 많은 수의 센서 영역들 및 상이한 CFA 컬러 채널들에 대응하는 센서 영역들로 연장될 수 있다.
2개의 센서 영역(1301A, 1301B)으로부터의 RGB 센서 출력들은, 각각, 2D 센서 출력 모듈들(1305A, 1305B)에 저장된다. 양쪽 센서 영역들의 값들은, 비선형 맵핑 모듈들(1310A, 1310B)에 전송되고, 이 모듈들은 공통 채널을 이용하여 캡처된 이미지들 사이의 불일치를 식별한 다음, 모든 채널에 걸쳐 이 결정된 불일치를 적용하여 모든 스펙트럼 이미지를 서로 정합함으로써 불일치 보정을 수행할 수 있다.
양쪽 비선형 맵핑 모듈(1310A, 1310B)의 출력들은, 이미지 데이터에서 특정한 관심 영역의 깊이를 계산할 수 있는 깊이 계산 모듈(1335)에 제공된다. 예를 들어, 깊이는 물체와 이미지 센서 사이의 거리를 나타낼 수 있다. 일부 구현에서, 이미지 센서 이외의 것에 대한 어떤 것에 관한 물체의 깊이를 결정하기 위해 복수의 깊이 값이 계산되고 비교될 수 있다. 예를 들어, 상처 베드의 최대 깊이뿐만 아니라, 상처 베드를 둘러싼 건강한 조직의 깊이(최대, 최저 또는 평균)가 결정될 수 있다. 상처 베드의 깊이로부터 건강한 조직의 깊이를 감산함으로써, 상처의 가장 깊은 깊이가 결정될 수 있다. 이 깊이 비교는, 다양한 포인트에서 상처 깊이의 3D 맵을 구축하기 위하여, (도 14에서 z(x, y)(z는 깊이 값임)로서 도시된) 상처 베드의 다른 포인트들(예를 들어, 미리결정된 전체 또는 일부 샘플링)에서 추가로 수행될 수 있다. 일부 실시예에서, 더 큰 불일치는 깊이 계산을 개선할 수 있지만, 더 큰 불일치는 또한, 이러한 깊이 계산들에 대해 더 계산 집약적인 알고리즘을 초래할 수 있다.
양쪽 비선형 맵핑 모듈(1310A, 1310B)의 출력들은 또한, 선형 방정식 모듈(1320)에 제공되며, 이 모듈은 감지된 값들을 스펙트럼 분리를 위한 선형 방정식의 세트로서 취급할 수 있다. 하나의 구현은 실제 스펙트럼 값들(예를 들어, 각각의 (x, y) 이미지 포인트에 입사된 특정한 파장들에서의 광의 강도)을 계산하기 위해 적어도 센서 양자 효율 및 필터 투과율 값의 함수로서 Moore-Penrose 의사-역 방정식(Moore-Penrose pseudo-inverse equation)을 이용할 수 있다. 이것은, 임상 진단들 및 기타 생물학적 응용들 등의, 높은 정확성을 요구하는 구현들에서 이용될 수 있다. 스펙트럼 분리의 적용은 광자 플럭스의 추정치 및 SNR을 제공할 수도 있다.
불일치-보정된 스펙트럼 채널 이미지들 및 스펙트럼 분리에 기초하여, 워크플로우(1300)는, 예를 들어 F(x, y, λ)의 예시된 포멧으로 스펙트럼 데이터큐브(1325)를 생성할 수 있고, 여기서 F는, 특정한 파장 또는 파장대역 λ에서의 특정한 (x, y) 이미지 위치의 광의 강도를 나타낸다.
도 15는, 이미지 데이터, 예를 들어 도 13의 프로세스를 이용하여 및/또는 도 3a 내지 도 10b와 도 12의 다중스펙트럼 다중-조리개 촬영 시스템들을 이용하여 캡처된 이미지 데이터를 처리하기 위한 불일치 및 불일치 보정을 그래픽으로 도시한다. 제1 세트의 이미지들(1410)은 4개의 상이한 센서 영역에 의해 캡처된 물체 상의 동일한 물리적 위치의 이미지 데이터를 보여준다. 예시된 바와 같이, 이 물체 위치는, 이미지 센서 영역들의 포토다이오드 그리드들의 (x, y) 좌표 프레임들에 기초한, 원시 이미지들에 걸쳐 동일한 위치에 있지 않다. 제2 세트의 이미지들(1420)은 불일치 보정 후 동일한 물체 위치를 보여 주며, 이것은 이제 정합된 이미지들의 좌표 프레임에서 동일한 (x, y) 위치에 있다. 이러한 정합은 서로 완전히 중첩되지 않는 이미지들의 엣지 영역들로부터 소정의 데이터를 자르는 것을 포함할 수 있다는 것을 이해할 것이다.
도 16은, 다중스펙트럼 이미지 데이터, 예를 들어, 도 13의 프로세스를 이용하여 캡처되고, 도 14 및 도 15에 따라 처리되고, 및/또는 도 3a 내지 도 10b와 도 12의 다중스펙트럼 다중-조리개 촬영 시스템들을 이용하는, 다중스펙트럼 이미지 데이터에 관해 픽셀별 분류를 수행하기 위한 워크플로우(1500)를 그래픽으로 도시한다.
블록 1510에서, 다중스펙트럼 다중-조리개 촬영 시스템(1513)은 물체(1511) 상의 물리적 포인트(1512)를 나타내는 이미지 데이터를 캡처할 수 있다. 이 예에서, 물체(1511)는 상처를 갖는 환자의 조직을 포함한다. 상처는, 화상, 당뇨병성 궤양(예를 들어, 당뇨병성 족부 궤양), 비당뇨성 궤양(예를 들어, 욕창 또는 느린 치유되는 상처), 만성 궤양, 수술후 절개, 절단 부위(절단 시술 이전 또는 이후), 암성 병변, 또는 손상된 조직을 포함할 수 있다. PPG 정보가 포함된 경우, 개시된 촬영 시스템들은, 조직 관류; 심혈관 건강; 궤양 등의 상처; 말초 동맥 질환, 및 호흡기 건강을 포함한, 조직 혈류 및 맥박수 변화를 포함하는 병리를 평가하는 방법을 제공한다.
블록 1520에서, 다중스펙트럼 다중-조리개 촬영 시스템(1513)에 의해 캡처된 데이터는 처리되어 다수의 상이한 파장(1523)을 갖는 다중스펙트럼 데이터큐브(1525)가 될 수 있고, 선택사항으로서, 동일한 파장의 다수의 상이한 이미지들은 상이한 시간들에 대응한다 (PPG 데이터 1522). 예를 들어, 이미지 프로세서(1120)는, 워크플로우(1300)에 따라 다중스펙트럼 데이터큐브(1525)를 생성하도록 데이터큐브 생성 모듈(1140)에 의해 구성될 수 있다. 일부 구현은 또한, 전술된 바와 같이, 공간 차원들을 따른 다양한 포인트와 깊이 값을 연관시킬 수 있다.
블록 1530에서, 다중스펙트럼 데이터큐브(1525)는, 촬영된 조직의 분류된 맵핑(1535)을 생성하기 위해 머신 학습 모델(1532)에 대한 입력 데이터(1525)로서 분석될 수 있다. 분류된 맵핑은, (정합 후, 촬영된 물체(1511) 상의 특정한 포인트를 나타내는) 이미지 데이터의 각각의 픽셀을 소정의 조직 분류 또는 소정의 치유 가능성 점수에 할당할 수 있다. 출력 분류된 이미지에서 시각적으로 구별되는 컬러들 또는 패턴들을 이용하여 상이한 분류들 및 점수들이 표현될 수 있다. 따라서, 물체(1511)의 다수의 이미지가 캡처되더라도, 출력은 픽셀별 분류의 시각적 표현들로 오버레이된 물체의 단일 이미지(예를 들어, 전형적인 RGB 이미지)일 수 있다.
머신 학습 모델(1532)은 일부 구현에서 인공 신경망일 수 있다. 인공 신경망은, 생물학적 신경망에서 영감을 받았지만 컴퓨팅 디바이스들에 의해 구현되도록 수정된 계산 엔티티들이라는 의미에서 인공적이다. 인공 신경망들은, 입력들과 출력들 사이의 복잡한 관계를 모델링하거나 입력들과 출력들 사이의 종속성이 용이하게 확인할 수 없는 데이터에서 패턴을 찾는데 이용된다. 신경망은 전형적으로, 입력 계층, 하나 이상의 중간("은닉") 계층, 및 출력 계층을 포함하고, 각각의 계층은 다수의 노드를 포함한다. 노드 수는 층들 간에 다를 수 있다. 신경망은, 2개 이상의 은닉층을 포함할 때 "깊은" 것으로 간주된다. 각각의 계층 내의 노드들은 후속 계층 내의 일부 또는 모든 노드에 접속되고, 이들 접속의 가중치들은, 예를 들어 라벨링된 훈련 데이터 내의 대응하는 입력들이 주어질 경우 예상되는 출력들을 생성하도록 네트워크 파라미터들이 튜닝되는 역전파를 통해, 전형적으로 훈련 프로세스 동안 데이터로부터 학습된다. 따라서, 인공 신경망은 훈련 동안 네트워크를 통해 흐르는 정보에 기초하여 그 구조(예를 들어, 접속 구성 및/또는 가중치들)를 변경하도록 구성된 적응형 시스템이며, 은닉 계층들의 가중치들은 데이터 내의 의미있는 패턴들의 인코딩으로서 간주될 수 있다.
완전 접속된 신경망(fully connected neural network)은, 입력 계층 내의 각각의 노드가 후속 계층(제1 은닉 계층) 내의 각각의 노드에 접속되고, 그 첫번째 은닉 계층 내의 각각의 노드는 차례로 후속 은닉 계층 내의 각각의 노드에 접속되고, 최종 은닉 계층 내의 각각의 노드는 출력 계층 내의 각각의 노드에 접속될 때까지 이러한 방식으로 계속되는 신경망이다.
CNN은 인공 신경망의 한 유형이며, 전술된 인공 신경망과 마찬가지로, CNN은 노드들로 구성되며, 학습가능한 가중치들을 갖는다. 그러나, CNN의 계층들은 각각의 비디오 프레임(예를 들어, 폭 및 높이)의 픽셀 값들의 2x2 어레이 및 시퀀스 내의 비디오 프레임의 수(예를 들어, 깊이)에 대응하는 폭, 높이 및 깊이의 3차원으로 배열된 노드들을 가질 수 있다. 계층의 노드들은, 수용 필드(receptive field)라고 불리는, 그 이전의 폭 및 높이 계층의 작은 영역에만 국부적으로 접속될 수 있다. 은닉 계층 가중치들은 수용 필드에 적용되는 콘볼루션 필터의 형태를 취할 수 있다. 일부 실시예에서, 콘볼루션 필터들은 2차원일 수 있으므로, 동일한 필터를 갖는 콘볼루션들은 입력 볼륨의 각각의 프레임(또는 이미지의 콘볼루션된 변환)에 대해 또는 프레임들의 지정된 서브세트에 대해 반복될 수 있다. 다른 실시예들에서, 콘볼루션 필터들은 3차원일 수 있으므로, 입력 볼륨의 노드들의 전체 깊이를 통해 연장된다. CNN의 각각의 콘볼루션 계층 내의 노드들은 가중치들을 공유하되, 주어진 계층의 콘볼루션 필터가 입력 볼륨의 전체 폭과 높이에 걸쳐(예를 들어, 전체 프레임에 걸쳐) 복제되어, 훈련가능한 가중치들의 전체 수를 감소시키기 훈련 데이터 외부의 데이터 세트들에 대한 CNN의 적용가능성을 증가시키도록 공유할 수 있다. 한 계층의 값은 후속 계층에서의 계산 수를 감소시키기 위해 푸울링될 수 있고(예를 들어, 소정의 픽셀들을 나타내는 값들은 전방으로 전달되는 반면 다른 픽셀들은 폐기됨), 또한 CNN 푸울 마스크들의 깊이를 따라 임의의 폐기된 값들을 재도입하여 데이터 포인트의 수를 이전 크기로 되돌릴 수 있다. 선택사항으로서 일부가 완전히 접속되는 다수의 계층들이 적층되어 CNN 아키텍쳐를 형성할 수 있다.
훈련 동안에, 인공 신경망은 그 훈련 데이터의 쌍들에 노출될 수 있고, 입력이 제공될 때 한 쌍의 출력을 예측할 수 있도록 그 파라미터들을 수정할 수 있다. 예를 들어, 훈련 데이터는, 예를 들어 소정의 임상 상태들에 대응하는 상처 부위들을 지정한 임상의에 의해 라벨링되었거나, 및/또는 실제의 치유가 알려진 상처의 초기 촬영후의 어떤 시점에서 치유(1) 또는 비치유(0) 라벨들로 라벨링된, 다중스펙트럼 데이터큐브들(입력) 및 라벨링된 분류된 맵핑들(예상된 출력)을 포함할 수 있다. 머신 학습 모델(1532)의 다른 구현들은 다른 유형들의 예측들, 예를 들어, 명시된 기간 동안 특정한 면적 감소 백분율로 상처가 치유될 가능성(예를 들어, 30일 이내에 적어도 50%의 면적 감소) 또는 지혈, 염증, 병원체 군락, 확산, 리모델링 또는 건강한 피부 범주들 등의 상처 상태를 예측하도록 훈련될 수 있다. 일부 구현은 또한, 분류 정확도를 더 증가시키기 위해 환자 메트릭들을 입력 데이터에 통합하거나, 이들 동일한 환자 메트릭들을 갖는 다른 환자들과 함께 이용하기 위해 머신 학습 모델(1532)의 상이한 인스턴스들을 훈련시키기 위해 환자 메트릭들에 기초하여 훈련 데이터를 세그먼트화할 수 있다. 환자 메트릭들은, 환자의 특성 또는 환자의 건강 상태, 예를 들어, 상처, 병변 또는 궤양의 면적, 환자의 BMI, 환자의 당뇨병 상태, 환자의 말초 혈관 질환 또는 만성 염증의 존재, 환자가 가지고 있거나 가졌던 다른 상처의 수, 환자가 최근에 면역 억제 약물(예를 들어, 화학요법) 또는 상처 치유 속도에 긍정적이거나 부정적인 영향을 미치는 기타의 약물들을 복용했는지의 여부, HbA1c, 만성 신부전 스테이지 IV, II형 대 I형 당뇨병, 만성 빈혈, 천식, 약물 이용, 흡연 상태, 당뇨병성 신경병증, 심부 정맥 혈전증, 이전 심근경색증, 일시적인 허혈 발작, 또는 수면 무호흡증 또는 이들의 임의의 조합을 기술하는 텍스트 정보 또는 병력 또는 그 양태들을 포함할 수 있다. 이들 메트릭은, 적절한 처리를 통해, 예를 들어 워드투벡터(word-to-vec) 임베딩, 환자가 환자 메트릭을 갖고 있는지(예를 들어, I 형 당뇨병을 갖고 있거나 갖지 않는지)의 여부를 나타내는 2진 값들을 갖는 벡터, 또는 환자가 각각의 환자 메트릭을 갖고 있는 정도를 나타내는 숫자 값들을 통해 벡터 표현으로 변환될 수 있다.
블록 1540에서, 분류된 맵핑(1535)이 사용자에게 출력될 수 있다. 이 예에서 분류된 맵핑(1535)은 제1 상태에 따라 분류된 픽셀들을 나타내기 위해 제1 컬러(1541)를 이용하고, 제2 상태에 따라 분류된 픽셀들을 나타내기 위해 제2 컬러(1542)를 이용한다. 분류 및 결과적인 분류 맵핑(1535)은, 예를 들어 물체 인식, 배경 컬러 식별 및/또는 깊이 값들에 기초하여 배경 픽셀들을 제외할 수 있다. 예시된 바와 같이, 다중스펙트럼 다중-조리개 촬영 시스템(1513)의 일부 구현은 분류된 맵핑(1535)을 다시 조직 부위에 투사할 수 있다. 이것은, 분류된 맵핑이 권장 마진 및/또는 절제 깊이의 시각적 표현을 포함할 때 특히 유익할 수 있다.
이들 방법들 및 시스템들은, 화상 절제, 절단 레벨, 병변 제거 및 상처 등급 결정 등의 피부 상처 관리 과정에서 임상의와 외과의에게 보조를 제공할 수 있다. 본 명세서에서 설명된 대안들은, 욕창 궤양, 충혈증, 사지 악화, Raynaud 현상, 경피증, 만성 상처, 찰과상, 열상, 출혈, 파열 부상, 천자, 관통 상처, 기저 세포 암종, 편평 세포 암종, 흑색종, 광선 각화증 등의 피부암, 또는 임의의 유형의 조직 변화의 중증도를 식별 및/또는 분류하는데 이용될 수 있고, 여기서 조직의 성질 및 품질은 정상 상태와는 상이하다. 여기서 설명된 디바이스들은 또한, 건강한 조직을 모니터링하고, 상처 치료 시술을 촉진 및 개선하는데, 예를 들어, 제거에 대한 마진을 결정하기 위한 더 빠르고 더 정제된 접근법을 허용하는데 이용될 수 있고, 특히 치료가 적용된 후 상처 또는 질병으로부터의 회복 진행을 평가하는데 이용될 수 있다. 본 명세서에 설명된 일부 대안에서, 상처 조직에 인접한 건강한 조직의 식별, 절제 마진 및/또는 깊이의 결정, 좌심실 보조 디바이스 등의 보철물 이식 후 회복 과정의 모니터링, 조직 이식 또는 재생 세포 이식의 생존 가능성의 평가, 또는 특히 재건 시술 후 수술 회복 모니터링을 허용하는 디바이스들이 제공된다. 더욱이, 본 명세서에서 설명된 대안들은, 특히 스테로이드, 간세포 성장 인자, 섬유 아세포 성장 인자, 항생제 등의 치료제 도입 후 상처의 변화 또는 상처 후 건강한 조직, 또는 줄기 세포들, 내피 세포들 및/또는 내피 전구체 세포들을 포함하는 분리되거나 농축된 세포 집단 등의 재생 세포들의 생성을 평가하는데 이용될 수 있다.
예시적인 분산형 컴퓨팅 환경의 개요
도 17은 도 3a 내지 도 10b와 도 12의 다중스펙트럼 다중-조리개 촬영 시스템들 중 임의의 것일 수 있는 다중스펙트럼 다중-조리개 촬영 시스템(1605)을 포함하는 한 예시적인 분산형 컴퓨팅 시스템(1600)의 개략적인 블록도를 도시한다. 도시된 바와 같이, 데이터큐브 분석 서버(1615)는, 아마도 서버 클러스터 또는 서버 팜으로서 배열된, 하나 이상의 컴퓨터를 포함할 수 있다. 이들 컴퓨터들을 구성하는 메모리와 프로세서들은 하나의 컴퓨터 내에 위치하거나 (서로 멀리 있는 컴퓨터들을 포함한) 많은 컴퓨터에 걸쳐 분산될 수 있다.
다중스펙트럼 다중-조리개 촬영 시스템(1605)은, 네트워크(1610)를 통해 사용자 디바이스들(1620) 및 데이터큐브 분석 서버들(1615)과 통신하기 위한 네트워킹 하드웨어(예를 들어, 무선 인터넷, 위성, Bluetooth, 또는 기타의 트랜시버)를 포함할 수 있다. 예를 들어, 일부 구현에서 다중스펙트럼 다중-조리개 촬영 시스템(1605)의 프로세서는, 이미지 캡처를 제어한 다음, 원시 데이터를 데이터큐브 분석 서버들(1615)에 전송하도록 구성될 수 있다. 다중스펙트럼 다중-조리개 촬영 시스템(1605)의 프로세서의 다른 구현들은, 이미지 캡처를 제어하고 스펙트럼 분리 및 불일치 보정을 수행하여 데이터큐브 분석 서버(1615)에 전송되는 다중스펙트럼 데이터큐브를 생성하도록 구성될 수 있다. 일부 구현은 다중스펙트럼 다중-조리개 촬영 시스템(1605)에서 국소적으로 전체 처리 및 분석을 수행할 수 있고, 머신 학습 모델들의 훈련 또는 재훈련에서의 이용 및/또는 종합 분석을 위해 다중스펙트럼 데이터큐브 및 결과적인 분석을 데이터큐브 분석 서버(1615)에 전송할 수 있다. 따라서, 데이터큐브 분석 서버들(1615)은 업데이트된 머신 학습 모델들을 다중스펙트럼 다중-조리개 촬영 시스템(1605)에 제공할 수 있다. 다중스펙트럼 데이터큐브 분석의 최종 결과를 생성하는 처리 부하는, 다중-조리개 촬영 시스템(1605)의 처리 능력에 따라, 다양한 방식으로 다중-조리개 촬영 시스템(1605)과 데이터큐브 분석 서버들(1615) 사이에서 분할될 수 있다.
네트워크(1610)는, 인트라넷, 인터넷, 셀룰러 네트워크, 근거리 통신망, 또는 임의의 다른 이러한 네트워크 또는 이들의 조합을 포함한 임의의 적절한 네트워크를 포함할 수 있다. 사용자 디바이스들(1620)은 임의의 네트워크-장착된 컴퓨팅 디바이스, 예를 들어 데스크탑 컴퓨터들, 랩탑들, 스마트폰들, 태블릿들, e-리더들, 또는 게임 콘솔들 등을 포함할 수 있다. 예를 들어, 다중-조리개 촬영 시스템(1605) 및 데이터큐브 분석 서버들(1615)에 의해 결정된 결과들(예를 들어, 분류된 이미지들)은, 환자들, 의사들의 지정된 사용자 디바이스들, 전자 환자 의료 기록들을 저장하는 병원 정보 시스템들, 및/또는 조직 분류 시나리오들에서 (예를 들어, 질병 통제 센터의) 중앙집중식 건강 데이터베이스들에 전송될 수 있다.
예시적인 구현 결과들
배경 : 화상으로 인한 이환율(morbidity)과 사망률은 부상당한 전투원들과 그들의 간병인들에게 중요한 문제이다. 전투 사상자들 중 화상 발생률은 역사적으로 5 내지 20%였으며 이들 사상자들 중 약 20%는 미 육군 외과 연구소(ISR; Institute of Surgical Research) 화상 센터 또는 이와 동등한 곳에서 복잡한 화상 수술을 요구한다. 화상 수술은 전문화된 훈련을 요구하므로 미군 병원 직원이 아닌 ISR 직원에 의해 제공된다. 제한된 수의 화상 전문가는, 화상을 입은 병사들을 돌보는데 있어서 높은 물류 복잡성으로 이어진다. 따라서, 수술 전 및 수술 중 화상 깊이 검출의 새로운 객관적인 방법은, 비ISR 직원을 포함한, 광범위한 의료진 푸울이 전투 중 화상을 입은 환자들의 치료에 참여할 수 있게 한다. 이 증강된 의료 제공자 푸울은 화상을 입은 전투원을 돌보는 역할에 있어서 더욱 복잡한 화상 치료를 제공하는데 활용될 수 있다.
이러한 필요성을 해결하기 위해, 다중스펙트럼 촬영(MSI) 및 인공 지능(AI) 알고리즘들을 이용하여 화상 치유 가능성의 수술 전 결정을 돕는 새로운 카트-기반의 촬영 디바이스가 개발되었다. 이 디바이스는 짧은 시간(예를 들어, 6, 5, 4, 3, 2 또는 1초(들) 이내)에 넓은 조직 영역(예를 들어, 5.9 x 7.9 in2)으로부터 이미지를 취득하고 촬영 조영제의 주입을 요구하지 않는다. 민간인을 대상으로 한 이 연구는, 화상 치유 가능성을 결정하는데 있어서 이 디바이스의 정확도가 화상 전문가에 의한 임상적 판단(예를 들어, 70-80%)을 초과함을 보여준다.
방법들 : 다양한 화상 심각도를 가진 민간인 피험자들은 화상 부상 후 72 시간 이내에 및 화상 후 최대 7일까지 수개의 후속 시점들에서 촬영되었다. 각각의 이미지에서의 실제 화상 심각도는 3주 치유 평가 또는 펀치 생검(punch biopsy)을 이용하여 결정되었다. 1도, 2도 및 3도 화상 부상에서 치유 및 비치유 화상 조직을 식별하고 구별하는 디바이스의 정확도가 이미지 픽셀별로 분석되었다.
결과: 총 58개의 화상과 393개의 이미지와 함께 38 명의 민간인 피험자로부터 데이터가 수집되었다. AI 알고리즘은, 치유되지 않는 화상 조직 예측에 있어서 87.5% 감도와 90.7% 특이성을 달성했다.
결론: 이 디바이스와 그 AI 알고리즘은 화상 전문가들의 임상적 판단의 정확성을 능가하는 정확성을 화상 치유 가능성을 결정하는데 있어서 입증했다. 향후 작업은 휴대성을 위해 디바이스를 재설계하고 수술 중 환경에서의 이용을 평가하는데 중점을 둔다. 휴대성을 위한 설계 변경은, 디바이스의 크기를 휴대형 시스템으로 감소시키고, 시야를 증가시키고, 취득 시간을 단일 스냅샷으로 감소시키고, 돼지 모델(porcine model)을 이용하여 수술 중 환경에서의 이용에 대해 디바이스를 평가하는 것을 포함한다. 이들 개발들은 기본 촬영 테스트들에서 균등성을 보여주는 벤치탑 MSI 서브시스템에서 구현되었다.
이미지 정합을 위한 추가적인 조명체들
다양한 실시예에서, 이미지 정합의 정확도를 개선하기 위해 하나 이상의 추가적인 조명체가 본 명세서에 개시된 임의의 실시예와 연계하여 이용될 수 있다. 도 21은 프로젝터(2105)를 포함하는 다중-조리개 스펙트럼 촬영기(2100)의 한 예시적인 실시예를 나타낸다. 일부 실시예에서, 프로젝터(2105) 또는 다른 적절한 조명체는, 예를 들어 상기 도 12를 참조하여 설명된 조명체들(1165) 중 하나일 수 있다. 정합을 위한 프로젝터(2105) 등의 추가적인 조명체를 포함하는 실시예들에서, 이 방법은 추가적인 노출을 더 포함할 수 있다. 프로젝터(2105) 등의 추가적인 조명체는, 촬영기(2100)의 시야 내에, 촬영기(2100)의 모든 카메라에서 개별적으로 또는 누적적으로 볼 수 있는, 하나 이상의 포인트, 프린지(fringe), 그리드(grid), 랜덤 스펙클(speckle), 또는 한 스펙트럼 대역, 복수의 스펙트럼 대역, 또는 넓은 스펙트럼 대역의 기타 임의의 적절한 공간 패턴을 투사할 수 있다. 예를 들어, 프로젝터(2105)는 앞서 언급된 공통 대역 접근법에 기초하여 계산된 이미지의 정합의 정확도를 확인하는데 이용될 수 있는 공유 또는 공통 채널의 광, 광대역 조명, 또는 누적 가시 조명을 투사할 수 있다. 본 명세서에서 사용될 때, "누적 가시 조명"이란, 패턴이 다중스펙트럼 촬영 시스템 내의 이미지 센서들 각각에 의해 변환되도록 선택된 복수의 파장을 말한다. 예를 들어, 누적 가시 조명은, 복수의 파장 중 어느 것도 모든 채널에 공통적이지 않더라도 모든 채널이 복수의 파장 중 적어도 하나를 변환하도록 하는 복수의 파장을 포함할 수 있다. 일부 실시예에서, 프로젝터(2105)에 의해 투사되는 패턴의 유형은 패턴이 촬영될 조리개의 수에 기초하여 선택될 수 있다. 예를 들어, 패턴이 하나의 조리개에 의해서만 보일 경우, 패턴은 바람직하게는 비교적 조밀할 수 있는 (예를 들어, 1-10 픽셀들, 20 픽셀들, 50 미만의 픽셀들, 100 미만의 픽셀들 등 정도의, 비교적 좁은 자기상관을 가질 수 있는) 반면, 덜 조밀하거나 덜 좁은 자기상관된 패턴들은 그 패턴이 복수의 조리개에 의해 촬영되는 경우에 유용할 수 있다. 일부 실시예에서, 투사된 공간 패턴으로 캡처된 추가적인 노출은, 투사된 공간 패턴으로 캡처된 노출이 없는 실시예들에 비해 정합의 정확도를 개선하기 위해 불일치의 계산에 포함된다. 일부 실시예에서, 추가적인 조명체는, 촬영기의 시야 내에, 프린지의 위상에 기초하여 이미지들의 정합을 개선하는데 이용될 수 있는 공유된 또는 공통의 채널 또는 광대역 조명에서와 같이, 모든 카메라에서 개별적으로 또는 누적적으로 볼 수 있는, 스펙트럼 대역, 복수의 스펙트럼 대역, 또는 넓은 대역에서 프린지를 투사한다. 일부 실시예에서, 추가적인 조명체는, 촬영기의 시야 내에, 이미지들의 정합을 개선하는데 이용될 수 있는 공유된 또는 공통의 채널 또는 광대역 조명에서와 같이, 모든 카메라에서 개별적으로 또는 누적적으로 볼 수 있는, 스펙트럼 대역, 복수의 스펙트럼 대역, 또는 넓은 대역에서, 복수의 고유한 공간적 배열의 도트들, 그리드들, 및/또는 스펙클을 투사한다. 일부 실시예에서, 이 방법은 시야 내의 물체 또는 물체들의 형상을 검출할 수 있는 단일 조리개 또는 복수의 조리개를 갖는 추가적인 센서를 더 포함한다. 예를 들어, 센서는, LIDAR, 광 필드, 또는 초음파 기술들을 이용하여, 앞서 언급된 공통 대역 접근법을 이용한 이미지들의 정합의 정확도를 더욱 향상시킬 수 있다. 이 추가적인 센서는 단일 조리개 또는 다중-조리개 센서일 수 있고, 광 필드 정보에 민감하거나, 또는 초음파 또는 펄스 레이저 등의 다른 신호들에 민감할 수 있다.
상처 평가, 치유 예측, 및 치료를 위한 머신 학습 구현들
상처 평가, 치유 예측, 및 치료를 위한 머신 학습 시스템들 및 방법들의 예시적인 실시예들이 이제 설명될 것이다. 여기서 설명된 다양한 촬영 디바이스들, 시스템들, 방법들, 기술들, 및 알고리즘들 중 임의의 것이 상처 촬영 및 분석 분야에 적용될 수 있다. 이하의 구현들은 하나 이상의 알려진 파장대역에서의 상처의 하나 이상의 이미지의 취득을 포함할 수 있고, 하나 이상의 이미지에 기초하여, 다음 중 임의의 하나 이상을 포함할 수 있다 : 이미지의 상처 부분 및 비상처 부분으로의 이미지의 세그먼트화, 미리결정된 기간 후 상처의 면적 감소 백분율 예측, 미리결정된 기간 후 상처의 개개의 섹션의 치유 가능성 예측, 임의의 이러한 세그먼트화와 연관된 시각적 표현 또는 예측의 디스플레이, 표준 상처 관리 요법과 고급 상처 관리 요법 사이의 선택의 표시 등.
다양한 실시예에서, 상처 평가 시스템 또는 임상의는 본 명세서에 개시된 머신 학습 알고리즘들의 결과들에 기초하여 적절한 레벨의 상처 관리 요법을 결정할 수 있다. 예를 들어, 상처 치유 예측 시스템의 출력이 촬영된 상처가 30일 내에 50%보다 많이 봉합될 것이라는 것을 나타낸다면, 시스템은 표준 관리 요법을 적용할 것을 의료 종사자 또는 환자에게 적용하거나 통보할 수 있다; 출력이 상처가 30일 내에 50%보다 많이 봉합되지 않을 것이라는 것을 나타낸다면, 시스템은 의료 종사자 또는 환자에게 하나 이상의 고급 상처 관리 요법을 이용할 것을 적용하거나 통보할 수 있다.
기존 상처 치료에서, 당뇨병성 족부 궤양(DFU) 등의 상처는 처음에 치료 초기 30일 동안, 센터즈 포 매디케어 앤 매디케이드(Centers for Medicare and Medicaid)에 의해 정의된 SOC(Standard of Care) 요법 등의, 하나 이상의 표준 상처 관리 요법을 받을 수 있다. 표준 상처 관리 요법의 한 예로서, SOC 요법은 다음 중 하나 이상을 포함할 수 있다 : 영양 상태의 최적화; 비활 조직을 제거하기 위한 임의의 수단에 의한 제거; 적절한 축축한 드레싱을 이용한 육아 조직의 깨끗하고 축축한 베드의 유지; 존재할 수 있는 임의의 감염을 해결하기 위해 필요한 치료; DFU를 동반한 사지말단에 대한 혈관 관류의 임의의 결함 해결; DFU로부터 압력의 오프로딩; 및 적절한 포도당 조절. SOC 요법의 이 초기 기간 30일 동안, DFU 치유의 측정가능한 징후는 다음과 같이 정의된다 : DFU 크기(상처 표면적 또는 상처 부피) 감소, DFU 삼출물의 양 감소, 및 DFU 내의 괴사 조직의 양 감소. 치유 DFU의 한 예시적인 진행이 도 22에 나와 있다.
SOC 요법의 초기 기간 30일 동안 치유가 관찰되지 않는다면, 일반적으로 AWC(Advanced Wound Care) 요법이 표시된다. 센터즈 포 매디케어 앤 매디케이드(Centers for Medicare and Medicaid)는, AWC 요법의 요약이나 정의를 갖고 있지 않지만, 위에서 정의된 SOC 요법 이외의 모든 요법인 것으로 간주된다. AWC 요법들은, 임상 실습에서 이용될 새로운 옵션들을 거의 지속적으로 도입하는 집중적인 연구 및 혁신 분야이다. 따라서, AWC 요법들의 적용 범위는 개별적으로 결정되며, AWC로 간주되는 치료는 일부 환자의 환급을 위해 보장되지 않을 수 있다. 이러한 이해를 바탕으로, AWC 요법들은 다음 중 임의의 하나 이상을 포함하지만 이것으로 제한되지 않는다 : 고압 산소 요법; 음압 상처 요법; 생체공학 피부 대체물들; 합성 성장 인자들; 세포외 기질 단백질들;기질 금속단백질 분해 효소 조절제; 및 전기 자극 요법. 비-치유 DFU의 한 예시적인 진행이 도 23에 나와 있다.
다양한 실시예에서, 여기서 설명된 상처 평가 및/또는 치유 예측은, 상처의 하나 이상의 이미지에 기초하여, 상처의 이미지들 및 환자 건강 데이터(예를 들어, 하나 이상의 건강 메트릭 값, 임상 피처들 등) 단독으로 또는 이 둘의 조합에 기초하여 달성될 수 있다. 설명된 기술들은, 궤양 또는 기타의 상처를 포함한 환자 조직 부위의 단일 이미지들 또는 다중스펙트럼 이미지(MSI) 세트를 캡처하고, 여기서 설명된 머신 학습 시스템을 이용하여 이미지(들)를 처리하고, 하나 이상의 예측된 치유 파라미터를 출력할 수 있다. 다양한 치유 파라미터가 본 기술에 의해 예측될 수 있다. 비제한적인 예로서, 일부 예측된 치유 파라미터들은, (1) 궤양이 30일의 기간(또는 임상 표준에 따라 원하는 또 다른 기간) 내에 50%(또는 임상 표준에 따라 원하는 또 다른 임계 백분율) 초과의 면적 감소로 치유되는지에 관한 2진 예/아니오; (2) 궤양이 30일의 기간(또는 임상 표준에 따라 원하는 또 다른 기간) 내에 50%(또는 임상 표준에 따라 원하는 또 다른 임계 백분율) 초과의 면적 감소로 치유될 가능성의 백분율; 또는 (3) 궤양의 치유로 인한 30일(또는 임상 표준에 따라 원하는 또 다른 기간) 내에 예상되는 실제 면적 감소에 관한 예측을 포함할 수 있다. 추가의 예들에서, 본 기술의 시스템들은, 상처 이미지의 개개의 픽셀 또는 픽셀들의 서브세트들 등의, 상처의 더 작은 부분들에 관한 치유의 2진 예/아니오 또는 백분율 가능성을 제공할 수 있고, 여기서, 예/아니오 또는 백분율 가능성은 상처의 각각의 개개의 부분이 미리결정된 기간 후에 치유 조직이 될지 또는 비치유 조직이 될지를 나타낸다.
도 24는 이러한 치유 예측들을 제공하는 하나의 예시적인 접근법을 제시한다. 예시된 바와 같이, 상이한 시간들에서 또는 다중스펙트럼 이미지 센서를 이용하여 동시에, 상이한 파장들에서 캡처된 상처의 이미지 또는 상처의 다중스펙트럼 이미지 세트를 이용하여 입력 및 출력 값들 양쪽 모두를 아래에서 더 상세히 설명되는 인공 신경망의 한 유형인 오토인코더 신경망 등의 신경망에 제공할 수 있다. 이러한 유형의 신경망은, 입력의 감소된 피처 표현, 여기서는, 입력 이미지(들) 내의 픽셀 값들을 나타내는 값들(예를 들어, 숫자 값들)의 감소된 수를 생성할 수 있다. 이것은 결국, 촬영된 궤양 또는 기타의 상처에 대한 치유 예측을 출력하기 위해, 머신 학습 분류기, 예를 들어 완전 접속된 피드포워드 인공 신경망 또는 도 25에 표시된 시스템에 제공될 수 있다.
도 25는 이러한 치유 예측들을 제공하는 또 다른 접근법을 제시한다. 예시된 바와 같이, 이미지(또는 상이한 시간들에서 또는 다중스펙트럼 이미지 센서를 이용하여 동시에, 상이한 파장들에서 캡처된 다중스펙트럼 이미지 세트)가 콘볼루션 신경망(“CNN") 등의 신경망에 입력으로서 제공된다. CNN은 이 2차원(“2D") 어레이의 픽셀 값들(예를 들어, 이미지 데이터를 캡처하는데 이용되는 이미지 센서의 높이와 폭 둘 다에 따른 값들)을 취하여, 이미지의 1차원("1D") 표현을 출력한다. 이들 값은, 예를 들어 궤양 또는 기타의 상처들과 관련된 하나 이상의 생리적 상태에 따라 입력 이미지 내의 각각의 픽셀의 분류들을 나타낼 수 있다.
도 25에 도시된 바와 같이, 환자 메트릭 데이터 저장소는, 여기서는 환자 메트릭들, 임상 변수들, 또는 건강 메트릭 값들이라고 하는, 환자에 관한 다른 유형들의 정보를 저장할 수 있다. 환자 메트릭들은, 환자의 특성, 예를 들어, 궤양의 면적, 환자의 체질량 지수(BMI), 환자의 당뇨병 상태, 환자가 가지고 있거나 가졌던 다른 상처의 수, 당뇨병 상태, 환자가 최근에 면역 억제 약물(예를 들어, 화학요법) 또는 상처 치유 속도에 긍정적이거나 부정적인 영향을 미치는 기타의 약물들을 복용했는지의 여부, HbA1c, 만성 신부전 스테이지 IV, II형 대 I형 당뇨병, 만성 빈혈, 천식, 약물 이용, 흡연 상태, 당뇨병성 신경병증, 심부 정맥 혈전증, 이전 심근경색증, 일시적인 허혈 발작, 또는 수면 무호흡증 또는 이들의 임의의 조합을 기술하는 텍스트 정보를 포함할 수 있다. 그러나, 다양한 다른 메트릭들이 이용될 수 있다. 아래의 표 1에는 다수의 예시적인 메트릭들이 제공되어 있다.
Figure pct00018
Figure pct00019
Figure pct00020
Figure pct00021
표 1 상처 이미지 분석을 위한 예시적인 임상 변수들
이들 메트릭은 적절한 처리, 예를 들어 워드투벡터(word-to-vec) 임베딩, 환자가 환자 메트릭을 갖고 있는지(예를 들어, I 형 당뇨병을 갖고 있거나 갖지 않는지)를 나타내는 2진 값들을 갖는 벡터, 또는 환자가 각각의 환자 메트릭을 갖고 있는 정도를 나타내는 숫자 값들을 통해 벡터 표현으로 변환될 수 있다. 다양한 실시예들은, 본 기술의 시스템들 및 방법들에 의해 생성된 예측된 치유 파라미터들의 정확성을 개선하기 위해 이들 환자 메트릭들 중 임의의 하나 또는 환자 메트릭들의 일부 또는 전부의 조합을 이용할 수 있다. 한 예시적인 시도에서, DFU에 대한 초기 임상 방문 동안 촬영된 이미지 데이터가 임상 변수를 고려하지 않고 단독으로 분석되어, 약 67% 정확도로 DFU의 면적 감소 백분율을 정확하게 예측할 수 있다고 결정되었다. 환자 병력만에 기초한 예측들은 약 76% 정확했으며, 여기서 가장 중요한 피처들은: 상처 부위, BMI, 이전 상처의 수, HbA1c, 만성 신부전 스테이지 IV, 유형 II 대 I형 당뇨병, 만성 빈혈, 천식, 약물 사용, 흡연 상태, 당뇨병성 신경병증, 심부 정맥 혈전증, 이전의 심근 경색, 일시적인 허혈 발작, 및 수면 무호흡증이다. 이들 의료 변수들을 이미지 데이터와 결합하면, 우리는 예측 정확도가 약 78%까지 증가하는 것을 관찰했다.
도 25에 도시된 하나의 예시적인 실시예에서, 이미지 데이터의 1D 표현은 환자 메트릭들의 벡터 표현과 연결될 수 있다. 이 연결된 값은, 예측된 치유 파라미터를 출력하는, 완전 접속된 신경망에 대한 입력으로서 제공될 수 있다.
도 25에 도시된 시스템은 복수의 머신 학습 모델뿐만 아니라 환자 메트릭 벡터 생성기를 갖는 단일의 머신 학습 시스템으로서 간주될 수 있다. 일부 실시예에서, 이 전체 시스템은, CNN 및 완전 접속된 네트워크가 입력 이미지들로부터 예측된 치유 파라미터들을 생성할 수 있기 위하여 역전파를 통해 파라미터를 튜닝하도록 종단간 방식으로 훈련될 수 있고, 여기서, 환자 메트릭 벡터는 CNN과 완전 접속된 네트워크 사이에 전달되는 값들에 추가된다.
예시적인 머신 학습 모델들
인공 신경망은, 생물학적 신경망에서 영감을 받았지만 컴퓨팅 디바이스들에 의해 구현되도록 수정된 계산 엔티티들이라는 의미에서 인공적이다. 인공 신경망들은, 입력들과 출력들 사이의 복잡한 관계를 모델링하거나 입력들과 출력들 사이의 종속성이 용이하게 확인할 수 없는 데이터에서 패턴을 찾는데 이용된다. 신경망은 전형적으로, 입력 계층, 하나 이상의 중간("은닉") 계층, 및 출력 계층을 포함하고, 각각의 계층은 다수의 노드를 포함한다. 노드 수는 층들마다 다를 수 있다. 신경망은, 2개 이상의 은닉층을 포함할 때 "깊은" 것으로 간주된다. 각각의 계층 내의 노드들은 후속 계층 내의 일부 또는 모든 노드에 접속되고, 이들 접속의 가중치들은, 예를 들어 라벨링된 훈련 데이터 내의 대응하는 입력들이 주어질 경우 예상되는 출력들을 생성하도록 네트워크 파라미터들이 튜닝되는 역전파를 통해, 전형적으로 훈련 프로세스 동안 훈련 데이터에 기초하여 학습된다. 따라서, 인공 신경망은 훈련 동안 네트워크를 통해 흐르는 정보에 기초하여 그 구조(예를 들어, 접속 구성 및/또는 가중치들)를 변경하도록 구성된 적응형 시스템일 수 있고, 은닉 계층들의 가중치들은 데이터 내의 의미있는 패턴들의 인코딩으로서 간주될 수 있다.
완전 접속된 신경망은, 입력 계층 내의 각각의 노드가 후속 계층(제1 은닉 계층) 내의 각각의 노드에 접속되고, 그 첫번째 은닉 계층 내의 각각의 노드는 차례로 후속 은닉 계층 내의 각각의 노드에 접속되고, 최종 은닉 계층 내의 각각의 노드는 출력 계층 내의 각각의 노드에 접속될 때까지 이러한 방식으로 계속되는 신경망이다.
오토인코더들은 인코더와 디코더를 포함하는 신경망들이다. 소정의 오토인코더들의 목표는, 인코더로 입력 데이터를 압축한 다음, 디코더로 이 인코딩된 데이터를 압축해제하여, 출력이 원래 입력 데이터의 양호한/완벽한 재구성이되도록 하는 것이다. 도 24에 예시된 오토인코더 신경망 등의 본 명세서에 설명된 예시적인 오토인코더 신경망들은, (예를 들어, 벡터 또는 행렬 형태로 구조화된) 상처의 이미지의 이미지 픽셀 값들을 그 입력 층으로의 입력들로서 취할 수 있다. 후속하는 하나 이상의 계층 또는 "인코더 계층들"은 그 차원을 낮춤으로써(예를 들어, 원래의 n차원보다 더 적은 수의 차원을 이용하여 입력을 표시함으로써) 이 정보를 인코딩하고, 인코더 계층들에 후속되는 추가적인 하나 이상의 은닉 계층("디코더 계층들")은 이 정보를 디코딩하여 출력 계층에서 출력 피처 벡터를 생성한다. 오토인코더 신경망에 대한 한 예시적인 훈련 프로세스는, 오토인코더가 제공된 입력과 동일한 출력을 생성하는 그 은닉 계층들의 파라미터들을 학습한다는 점에서 비지도형일 수 있다. 따라서, 입력 및 출력 계층들 내의 노드 수는 전형적으로 동일하다. 차원 축소는, 오토인코더 신경망이 입력 이미지들의 가장 두드러진 피처를 학습하는 것을 허용하며, 여기서 오토인코더의 가장 안쪽 계층(또는 또 다른 안쪽 계층)은 입력의 "피처 감소" 버전을 나타낸다. 일부 예에서, 이것은, 예를 들어, 약 1백만 픽셀(각각의 픽셀 값은 이미지의 별개의 피처로서 간주될 수 있음)을 갖는 이미지를 약 50개의 값의 피처 세트로 감소시키는 역할을 할 수 있다. 이미지들의 이 축소된-차원 표현은, 예측된 치유 파라미터를 출력하기 위하여, 또 다른 머신 학습 모델, 예를 들어, 도 25의 분류기 또는 적절한 CNN 또는 기타의 신경망에 의해 이용될 수 있다.
CNN은 인공 신경망의 한 유형이며, 전술된 인공 신경망들과 마찬가지로, CNN은 노드들로 구성되며, 노드들 사이에서 학습가능한 가중치들을 갖는다. 그러나, CNN의 계층들은 각각의 이미지 프레임(예를 들어, 폭 및 높이)의 픽셀 값들의 2x2 어레이 및 이미지들의 시퀀스 내의 이미지 프레임의 수(예를 들어, 깊이)에 대응하는 폭, 높이 및 깊이의 3차원으로 배열된 노드들을 가질 수 있다. 일부 실시예에서, 계층의 노드들은, 수용 필드라고 불리는, 선행하는 층의 폭 및 높이의 작은 영역에만 국부적으로 접속될 수 있다. 은닉 계층 가중치들은 수용 필드에 적용되는 콘볼루션 필터의 형태를 취할 수 있다. 일부 실시예에서, 콘볼루션 필터들은 2차원일 수 있으므로, 동일한 필터를 갖는 콘볼루션들은 입력 볼륨의 각각의 프레임(또는 이미지의 콘볼루션된 변환)에 대해 또는 프레임들의 지정된 서브세트에 대해 반복될 수 있다. 다른 실시예들에서, 콘볼루션 필터들은 3차원일 수 있으므로, 입력 볼륨의 노드들의 전체 깊이를 통해 연장된다. CNN의 각각의 콘볼루션 계층 내의 노드들은 가중치들을 공유하되, 주어진 계층의 콘볼루션 필터가 입력 볼륨의 전체 폭과 높이에 걸쳐(예를 들어, 전체 프레임에 걸쳐) 복제되어, 훈련가능한 가중치들의 전체 수를 감소시키기 훈련 데이터 외부의 데이터 세트들에 대한 CNN의 적용가능성을 증가시키도록 공유할 수 있다. 한 계층의 값은 후속 계층에서의 계산 수를 감소시키기 위해 푸울링될 수 있고(예를 들어, 소정의 픽셀들을 나타내는 값들은 전방으로 전달되는 반면 다른 픽셀들은 폐기됨), 또한 CNN 푸울 마스크들의 깊이를 따라 임의의 폐기된 값들을 재도입하여 데이터 포인트의 수를 이전 크기로 되돌릴 수 있다. 선택사항으로서 일부가 완전히 접속되는 다수의 계층들이 적층되어 CNN 아키텍쳐를 형성할 수 있다. 훈련 동안에, 인공 신경망은 그 훈련 데이터의 쌍들에 노출될 수 있고, 입력이 제공될 때 한 쌍의 출력을 예측할 수 있도록 그 파라미터들을 수정할 수 있다.
인공 지능이란, 전형적으로는 인간 지능을 요구하는 것으로 간주되는 작업들을 수행할 수 있는 컴퓨터화된 시스템들을 말한다. 여기서, 개시된 인공 지능 시스템들은, 개시된 기술 없이는, 달리 인간 의사의 기술과 지능을 보통은 요구할 수 있는 이미지(및 기타의 데이터) 분석을 수행할 수 있다. 유익하게도, 개시된 인공 지능 시스템들은 상처 치유를 평가하기 위해 30일의 대기 시간을 요구하지 않고 초기 환자 방문시 이러한 예측을 할 수 있다.
학습하는 능력은, 이 능력이 없는 시스템은 일반적으로 경험으로부터 더 지능적으로 될 수 없기 때문에, 지능의 한 중요한 양태이다. 머신 학습은, 명시적으로 프로그래밍되지 않고도 학습하는 능력을 컴퓨터들에게 주는, 예를 들어, 인공 지능 시스템들이 복잡한 작업들을 학습하거나 변화하는 환경들에 적응할 수 있게 하는, 컴퓨터 과학 분야이다. 개시된 머신 학습 시스템들은 많은 양의 라벨링된 훈련 데이터에 노출되는 것을 통해 상처 치유 가능성을 결정하는 것을 학습할 수 있다. 이 머신 학습을 통해, 개시된 인공 지능 시스템들은 (MSI 등의 이미지 데이터에 캡처된) 상처의 외관과 상처의 치유 가능성 사이의 새로운 관계를 학습할 수 있다.
개시된 인공 지능 머신 학습 시스템은, 예를 들어 여기서 다양한 촬영 시스템을 참조하여 설명된 바와 같이, 하나 이상의 메모리 및 하나 이상의 프로세서를 갖는 컴퓨터 하드웨어를 포함한다. 본 기술의 임의의 머신 학습 시스템 및/또는 방법은, 본 개시내용의 다양한 촬영 시스템 및 디바이스의 프로세서들 및/또는 메모리 상에서 또는 이와 통신하여 구현될 수 있다.
예시적인 다중스펙트럼 DFU 촬영 구현
본 명세서에 개시된 머신 학습 시스템들 및 방법들의 한 예시적인 응용에서, 0일차에 촬영된 후, 30일차에 촬영된 상처의 면적 감소 백분율(PAR)을 예측하기 위해 전술된 것들과 일치하는 머신 학습 알고리즘들이 이용되었다. 이 예측을 달성하기 위해, MSI 데이터 및 임상 변수들을 입력으로서 취하고 예측된 PAR을 나타내는 스칼라 값을 출력하도록 머신 학습 알고리즘이 훈련되었다. 30일 후, 각각의 상처가 평가되어 그 실제 PAR을 측정했다. 예측된 PAR은 상처에 관해 수행된 30일 치유 평가 동안 측정된 실제 PAR과 비교되었다. 알고리즘의 성능은 결정 계수(
Figure pct00022
)를 이용하여 채점되었다.
이 예시적인 응용의 머신 학습 알고리즘은 DFU 이미지 데이터베이스로부터의 데이터를 이용하여 핏팅된 결정 트리 분류기들의 배깅 앙상블(bagging ensemble)이었다. XGBoost 알고리즘 등의 다른 적절한 분류기 앙상블들이 동등하게 구현될 수 있다. DFU 이미지들의 데이터베이스는, 15명의 피험자로부터 획득된 당뇨병성 족부 궤양의 29개의 개개의 이미지를 포함했다. 각각의 이미지에 대해, 30일차에 측정된 실제 PAR이 알려졌다. LOOCV(leave-one-out cross-validation) 절차를 이용하여 알고리즘 훈련이 수행되었다.
Figure pct00023
점수는 LOOCV의 각각의 폴드로부터의 테스트 이미지에 관한 예측된 결과들을 결합한 후 계산되었다.
MSI 데이터는 2D 이미지들의 8개 채널로 구성되었으며, 여기서, 8개 채널들 각각은 특정한 파장 필터에서 조직으로부터의 광의 확산 반사율을 나타낸다. 각각의 채널의 시야는 1044 픽셀들 x 1408 픽셀들의 해상도를 갖는 15 cm x 20 cm였다. 8개 파장대역은 다음을 포함했다 : 420 nm ± 20 nm; 525 nm ± 35 nm; 581 nm ± 20 nm; 620 nm ± 20 nm; 660 nm ± 20 nm; 726 nm ± 41 nm; 820 nm ± 20 nm; 및 855 nm ± 30 nm, 여기서 "±"는 각각의 스펙트럼 채널의 절반 최대에서의 전체 폭(full width at half maximum)을 나타낸다. 8개의 파장대역은 도 26에 나와 있다. 각각의 채널로부터, 다음과 같은 정량적 피처들이 계산되었다 : 모든 픽셀 값들의 평균, 모든 픽셀 값들의 중앙값, 및 모든 픽셀들 값들의 표준 편차.
추가로, 각각의 피험자로부터, 다음과 같은 임상 변수들이 획득되었다 : 연령, 만성 신장 질환의 레벨, 0일차 DFU의 길이, 및 0일차 DFU의 폭.
MSI 데이터큐브 내의 1 채널 내지 8개 채널들을 이용한 8개 채널(파장 대역)의 모든 가능한 조합들로부터 추출된 피처들, 총
Figure pct00024
개의 상이한 피처 세트들을 이용하여 별개의 알고리즘들이 생성되었다. 각각의 조합으로부터의
Figure pct00025
값들이 계산되었고 가장 작은 것부터 가장 큰 것 순으로 정렬되었다.
Figure pct00026
값의 95% 신뢰 구간이 각각의 피처 세트에 관해 훈련된 알고리즘의 예측 결과들로부터 계산되었다. 피처 세트가 랜덤 기회에 비해 개선을 제공할 수 있는지를 결정하기 위해, 피처 세트들이 식별되었고, 여기서, 0.0 값은 그 피처 세트에 관해 훈련된 알고리즘 결과들의 95% CI 내에 포함되지 않았다. 추가로, 모든 피처 세트에 모든 임상 변수를 포함시켜 동일한 분석이 255회 추가로 수행되었다. 임상 변수들이 알고리즘의 성능에 영향을 미쳤는지를 결정하기 위해, 임상 변수들을 이용하여 훈련된 255개 알고리즘들의 평균
Figure pct00027
값이 t-테스트를 이용한 임상 변수들 없이 훈련된 255개 알고리즘들과 비교되었다. 분석의 결과들은 아래의 표 2와 표 3에 나와 있다. 표 2는 임상 변수들을 포함하지 않고 이미지 데이터만을 포함하는 피처 세트들의 성능을 나타낸다.
Figure pct00028
표 2 임상 데이터를 포함하지 않은 피처 세트들에 관해 개발된 최고 성능의 알고리즘들
표 2에 도시된 바와 같이, 임상 피처들을 포함하지 않은 피처 세트들 중에서, 최고 성능의 피처 세트는 MSI 데이터에서 8개의 가능한 채널들 중 3개만을 포함했다. 726 nm 파장대역이 모든 상위 5개 피처 세트에 나타나는 것으로 관찰되었다. 하위 5개 피처 세트 각각에서 하나의 파장대역만이 나타난다. 또한, 726 nm 파장대역이 상위 5개 피처 세트 각각에 나타났지만 726 nm 파장대역이 단독으로 이용될 때 최악의 성능을 보인 것이 관찰되었다. 아래의 표 3은, 임상 변수들, 즉, 연령, 만성 신장 질환의 레벨, 0일차 DFU의 길이, 0일차 DFU의 폭 뿐만 아니라 이미지 데이터를 포함한 피처 세트들의 성능을 나타낸다.
Figure pct00029
표 3 임상 데이터를 포함한 피처 세트들에 관해 개발된 최고 성능의 알고리즘들
임상 변수들을 포함한 피처 세트들로부터, 최고 성능의 피처 세트는 MSI 데이터 내의 가능한 채널들 8개 모두를 포함했다. 855 nm 파장대역은 모든 상위 5개 피처 세트에서 나타난다. 임상 변수들을 포함하거나 포함하지 않은 모델들로부터의 히스토그램들은, 각각의 분포의 평균을 나타내는 수직선들과 함께 도 27에 나와 있다.
임상 피처들의 중요성을 비교하는데 있어서, 임상 변수들이 없는 모든 피처 세트들 사이의 평균
Figure pct00030
이 임상 변수들을 포함한 모든 피처 세트들로부터의 평균
Figure pct00031
과 동일한지가 결정되었다. 임상 변수들 없는 피처 세트들에 관해 훈련된 모델들로부터의 평균
Figure pct00032
은 0.31, 임상 변수들로 훈련된 모델들로부터의 평균은 0.32로 결정되었다. 평균들 사이의 차이에 대한 t-테스트를 계산할 때, p-값은 0.0443이었다. 따라서, 임상 변수들로 훈련된 모델들이 임상 피처들이 없이 훈련된 모델들보다 훨씬 더 정확하다는 것이 결정되었다.
이미지 데이터로부터의 피처들의 추출
전술된 예시적인 응용이, 평균, 표준 편차 및 중앙 픽셀 값들을 추출했지만, 예측된 치유 파라미터들을 생성하는데 이용하기 위해 이미지 데이터로부터 다양한 다른 피처들이 추출될 수 있다는 것을 이해할 것이다. 피처 범주들은, 국소적, 반-국소적, 및 전역적 피처들을 포함한다. 국소적 피처들은, 이미지 패치에서 텍스처를 나타낼 수 있는 반면, 전역적 피처들은, 윤곽선 표현, 형상 설명자, 및 텍스처 피처들을 포함할 수 있다. 전역적 텍스처 피처들과 국소적 피처들은, 텍스처가 계산되는 지원이 다양하기 때문에 이미지에 관해 상이한 정보를 제공한다. 일부 경우에, 전역적 피처들은 단일 벡터로 전체 물체를 일반화하는 능력을 갖는다. 반면에, 국소적 피처들은, 이미지 내의 복수의 포인트들에서 계산되고, 결과적으로 폐색 및 클러터(clutter)에 더 견고하다. 그러나, 이들은 이미지 당 다양한 수의 피처 벡터가 있는 경우들을 처리하기 위해 전문화된 분류 알고리즘들을 요구할 수 있다.
국소적 피처들은, 예를 들어, SIFT(scale-invariant feature transform), SURF(Speeded-up Robust Features), FAST(features from accelerated segment test), BRISK(Binary Robust Invariant Scalable Keypoint), Harris 코너 검출 연산자, BRIEF(binary robust independent elementary features), 지향형 FAST 및 회전형 BRIEF(ORB) 및 KAZE 피처들을 포함할 수 있다. 반-국소적 피처들은, 예를 들어, 작은 윈도우들에서는 엣지들, 스플라인들, 라인들, 및 모멘트들을 포함할 수 있다. 전역적 피처들은, 예를 들어, 컬러, Gabor 피처들, 웨이블릿 피처들, Fourier 피처들, 텍스처 피처들(예를 들어, 1차, 2차 및 고차 모멘트들), 1D, 2D 및 3D 콘볼루션들 또는 은닉 계층들 및 주성분 분석(PCA; principal component analysis)으로부터의 신경망 피처들을 포함할 수 있다.
예시적인 RGB DFU 촬영 응용
예측된 치유 파라미터 생성의 추가적인 예로서, 사진 디지털 카메라 등으로부터의 RGB 데이터에 기초하여 유사한 MSI 방법들이 이용될 수 있다. 이 시나리오에서, 알고리즘은 RGB 이미지, 및 선택사항으로서 피험자의 병력 또는 기타의 임상 변수들로부터 데이터를 취하여, DFU가 30일의 표준 상처 관리 요법에 반응할지를 나타내는 조건부 확률 등의 예측된 치유 파라미터를 출력할 수 있다. 일부 실시예에서, 조건부 확률은,
Figure pct00033
로 쓸 수 있는
Figure pct00034
로 파라미터화된 모델에 대해 입력 데이터
Figure pct00035
가 주어질 경우 문제의 DFU가 비치유일 확률이다.
RGB 데이터에 대한 채점 방법들은 전술된 예시적인 MSI 응용에 대한 것들과 유사할 수 있다. 한 예에서, 예측된 비치유 영역은 DFU 등의 상처에 관해 수행된 30일 치유 평가 동안 측정된 실제 비치유 영역과 비교될 수 있다. 이 비교는 알고리즘의 성능을 나타낸다. 이 비교를 수행하는데 적용되는 방법은 이들 출력 이미지들의 임상 결과에 기초할 수 있다.
이 예시적인 응용에서, 치유 예측 알고리즘에 의해 생성된 각각의 예측된 치유 파라미터에 대해 4개의 결과가 가능하다. True Positive(TP) 결과에서, 상처는 50% 미만의 면적 감소를 보여주고(예를 들어, DFU는 비치유중), 알고리즘은 50% 미만의 면적 감소를 예측한다(예를 들어, 디바이스는 비치유 예측을 출력함). True Negative(TN) 결과에서, 상처는 적어도 50%의 면적 감소를 보여주고(예를 들어, DFU는 치유중), 알고리즘은 적어도 50% 면적 감소를 예측한다(예를 들어, 디바이스는 치유 예측을 출력함). 거짓 양성(FP) 결과에서, 상처는 적어도 50% 면적 감소를 보여 주지만, 알고리즘은 50% 미만의 면적 감소를 예측한다. 거짓 음성(FN) 결과에서, 상처는 50% 미만의 면적 감소를 보여 주지만, 알고리즘은 적어도 50%의 면적 감소를 예측한다. 실제 치유의 예측 및 평가 후, 이들 결과는 아래의 표 4에 도시된 바와 같이, 정확도, 감도 및 특이성의 성능 메트릭들을 이용하여 요약될 수 있다.
Figure pct00036
표 4 이미지들에 관한 예측들을 평가하는데 이용되는 표준 성능 메트릭들.
DFU 이미지들의 데이터베이스는 소급적으로(retrospectively) 획득되었고 82명의 피험자로부터 당뇨병성 족부 궤양의 149개의 개개의 이미지를 포함했다. 이 데이터 세트의 DFU들 중, 69%는 30일차에 타겟 목표 50% PAR에 도달했기 때문에 "치유중"으로 간주되었다. 평균 상처 면적은 3.7 cm2였고, 중앙 상처 면적은 0.6 cm2였다.
컬러 사진 이미지들(RGB 이미지들)은 개발된 모델들의 입력 데이터로서 이용되었다. 촬영된 RGB는 2D 이미지들의 3개 채널로 구성되었고, 여기서, 3개 채널 각각은 전통적인 컬러 카메라 센서에서 이용되는 파장들에서 조직으로부터의 광의 확산 반사율을 나타냈다. 휴대형 디지털 카메라를 이용하여 임상의에 의해 이미지들이 캡처되었다. 촬영기, 작동 거리, 및 시야각(FOV)의 선택은 이미지들 간에 달랐다. 알고리즘 훈련 전에, 궤양이 FOV의 중심에 있는지를 보장하기 위해 이미지들이 수동으로 잘라내어졌다. 자르기 후, 이미지들은, 3 채널 x 256 픽셀들 x 256 픽셀들의 이미지 크기로 보간되었다. 이 보간 단계 동안 원본 이미지의 종횡비 유지는 제어되지 않았다. 그러나, 원하는 경우 이들 전처리 단계들 전반에 걸쳐 종횡비가 유지될 수 있다. 각각의 피험자로부터, 병력, 이전 상처들, 및 혈액 검사를 포함한 임상 데이터 세트(예를 들어, 임상 변수들 또는 건강 메트릭 값들)도 역시 획득되었다.
이 분석을 위해 2개의 유형의 알고리즘이 개발되었다. 각각의 알고리즘의 목표는, 처음에 전통적인 머신 학습 분류 접근법에서 환자 건강 메트릭들과 결합될 수 있는 이미지 데이터에 대한 새로운 표현을 식별하는 것이었다. PCA(주성분 분석) 또는 SIFT(scale-invariant feature transform) 등의 이 이미지 표현을 생성하는데 이용할 수 있는 많은 방법이 있다. 이 예에서, 콘볼루션 신경망(CNN)들을 이용하여 행렬(차원이 3 채널 x 265 픽셀 x 256 픽셀)로부터의 이미지들을
Figure pct00037
의 벡터로 변환했다. 한 예에서, 별도로 훈련된 비지도형 접근법을 이용하여 이미지들을 압축한 다음, DFU 치유를 예측하는 머신 학습이 뒤따랐다. 제2 예에서, DFU 치유를 예측하기 위해 종단간 지도형 접근법이 이용되었다.
비지도형 피처 추출 접근법에서, 예를 들어 도 24의 방법과 일치하는, 오토인코더 알고리즘이 이용되었다. 한 예시적인 오토인코더가 도 28에 개략적으로 나와 있다. 오토인코더는 인코더 모듈과 디코더 모듈을 포함했다. 인코더 모듈은 16-계층 VGG 콘볼루션 네트워크였다. 16번째 계층은 압축된 이미지 표현을 나타냈다. 디코더 모듈은, 업샘플링 기능들이 추가적인 되고 푸울링 기능들이 제거된 16-계층 VGG 네트워크였다. 디코더 계층의 출력의 각각의 예측된 픽셀 값(
Figure pct00038
에서)에 대해, 손실은 평균 제곱 오차(MSE)로 계산되었으며, 여기서 타겟 값은 원본 이미지의 픽셀 값들이었다.
오토인코더는 PASCAL VOC(Visual Object Class) 데이터를 이용하여 미리훈련되었고 현재 데이터세트의 DFU 이미지를 이용하여 정밀-튜닝되었다. 3 채널 x 265 픽셀 x 256 픽셀(총 65,536개의 픽셀)을 포함하는 개개의 이미지가 50개 데이터 포인트의 단일 벡터들로 압축되었다. 일단 훈련이 끝나고 나면, 데이터 세트 내의 모든 이미지에 대해 동일한 인코더-디코더 알고리즘이 이용되었다.
압축된 이미지 벡터의 추출시에, 압축된 이미지 벡터는 제2 지도형 머신 학습 알고리즘에 대한 입력으로서 이용되었다. 이미지 피처들과 환자 피처들의 조합은, 로지스틱 회귀, K-최근접 이웃들, 지원 벡터 머신, 및 다양한 결정 트리 모델들을 포함한, 다양한 머신 학습 알고리즘을 이용하여 테스트되었다. 압축된 이미지 벡터와 환자 임상 변수들을 입력들로서 이용하여 DFU 치유를 예측하는 지도형 머신 학습 알고리즘의 한 예가 도 29에 개략적으로 예시되어 있다. 머신 학습 알고리즘은, 다층 퍼셉트론(perceptron), 2차 판별 분석, na
Figure pct00039
ve Bayes, 또는 이러한 알고리즘들의 앙상블 등의, 다양한 알려진 머신 학습 알고리즘들 중 하나일 수 있다.
전술된 비지도형 피처 추출 접근법의 대안으로 조사된, 종단간 머신 학습 접근법은 도 30에 개략적으로 예시되어 있다. 종단간 접근법에서, 16-계층 VGG CNN은 환자 건강 메트릭 데이터를 이미지 벡터에 연결함으로써 제1 완전 접속 계층에서 수정되었다. 이러한 방식으로, 인코더 모듈과 후속 머신 학습 알고리즘이 동시에 훈련될 수 있다. CNN의 성능을 개선하거나 목적을 변경하기 위해 전역적 변수들(예를 들어, 환자 건강 메트릭들 또는 임상 변수들)을 포함하는 다른 방법들이 제안되었다. 가장 널리 이용되는 방법은 피처별 선형 변조(FiLM; feature-wise linear modulation) 생성기이다. 지도형 머신 학습 알고리즘들의 경우, k-폴드 교차 검증 절차를 이용하여 훈련이 수행되었다. 각각의 이미지의 결과들은, True Positive, True Negative, False Positive, 또는 False Negative 중 하나로서 계산되었다. 이들 결과는 위의 표 4에 설명된 성능 메트릭들을 이용하여 요약되었다.
비지도형 피처 추출(오토인코더) 및 도 28 및 도 29의 머신 학습 접근법으로부터의 예측들의 정확도는, 도 31에 도시된 바와 같이, 7개의 상이한 머신 학습 알고리즘과 3개의 상이한 입력 피처 조합들을 이용하여 획득되었다. 각각의 알고리즘은 3-폴드 교차 검증을 이용하여 훈련되었고, 평균 정확도(± 95% 신뢰 구간)가 보고된다. 이 접근법을 이용하여 훈련된 2개의 알고리즘만이 기준 정확도를 초과했다. 기준 정확도는 na
Figure pct00040
ve 분류기가 모든 DFU를 치유중으로서 예측했을 때 발생했다. 기준을 초과한 2개의 알고리즘은, 로지스틱 회귀, 및 이미지 데이터와 환자 데이터의 조합을 포함하는 지원 벡터 머신들이었다. DFU 치유를 예측하고 이들 모델에서 이용된 중요한 환자 건강 메트릭들은 다음을 포함했다: 상처 부위; 체질량 지수(BMI); 이전 상처 수; 헤모글로빈 A1c(HbA1c); 신부전; II형 대 I형 당뇨병; 빈혈증; 천식; 약물 사용; 흡연 상태; 당뇨병성 신경병증; 심부 정맥 혈전증(DVT); 또는 이전 심근 경색증(MI) 및 이들의 조합.
도 30의 종단간 머신 학습 접근법을 이용한 결과들은, 도 32에 도시된 바와 같이, 기준보다 훨씬 우수한 성능을 보여주었다. 이 접근법은 비지도형 접근법보다 크게 양호하지는 않았지만, 평균 정확도는 시도된 임의의 다른 방법보다 높았다.
상처 부위 일부의 치유 예측
추가의 예시적인 실시예들에서, 전체 상처에 대한 단일 치유 확률을 생성하는 것 외에도, 본 기술의 시스템들 및 방법들은 30일간의 표준 상처 관리 후에 치유되지 않을 개개의 상처 내의 조직 영역을 추가로 예측할 수 있다. 이 출력을 달성하기 위해, 머신 학습 알고리즘은, MSI 또는 RGB 데이터를 입력으로서 이용하고 상처 부분들에 대한 (예를 들어, 상처 이미지 내의 개개의 픽셀들 또는 픽셀들의 서브세트에 대한) 예측된 치유 파라미터들을 생성하도록 훈련되었다. 본 기술은, 30일 이내에 치유될 것으로 예측되지 않는 궤양 조직의 영역을 강조하는 이미지 등의 시각적 표현을 출력하도록 더 훈련될 수 있다.
도 33은 치유 예측 및 시각적 표현 생성의 한 예시적인 프로세스를 나타낸다. 도 33에 도시된 바와 같이, 본 명세서의 다른 곳에서 설명되는 바와 같이, 스펙트럼 데이터큐브가 획득된다. 이 데이터큐브는 처리를 위해 머신 학습 소프트웨어에 전달된다. 머신 학습 소프트웨어는, 다음과 같은 단계들 : 전처리, 머신 학습 상처 평가 모델, 및 후처리 중 일부 또는 전부를 구현할 수 있다. 머신 학습 모듈은, 분류된 이미지의 형태로 사용자에게 시각적으로 출력될 수 있는 결과들을 생성하기 위해 후처리 모듈에 의해 처리되어(예를 들어, 확률들의 임계화) 조건부 확률 맵을 출력한다. 도 33의 사용자에게 출력된 이미지에 도시된 바와 같이, 시스템은 치유 픽셀들과 비치유 픽셀들이 상이한 시각적 표현들로 디스플레이되도록 상처의 이미지가 사용자에게 디스플레이되게 할 수 있다.
도 33의 프로세스는 DFU 이미지 세트에 적용되었고, 예측된 비치유 영역은 DFU에 관해 수행된 30일 치유 평가 동안 측정된 실제 비치유 영역과 비교되었다. 이 비교는 알고리즘의 성능을 나타낸다. 이 비교를 수행하는데 적용되는 방법은 이들 출력 이미지들의 임상 결과에 기초했다. DFU 이미지들의 데이터베이스는, 19명의 피험자로부터 획득된 당뇨병성 족부 궤양의 28개의 개개의 이미지를 포함했다. 각각의 이미지에 대해, 표준 상처 관리 30일 후에도 치유되지 않은 실제 상처 부위가 알려져 있었다. LOOCV(leave-one-out cross-validation) 절차를 이용하여 알고리즘 훈련이 수행되었다. 각각의 이미지의 결과들은, True Positive, True Negative, False Positive, 또는 False Negative 중 하나로서 계산되었다. 이들 결과는 위의 표 4에 설명된 성능 메트릭들을 이용하여 요약되었다.
콘볼루션 신경망을 이용하여 각각의 입력 이미지에 대한 조건부 확률 맵을 생성했다. 알고리즘은, 입력 계층, 콘볼루션 계층들, 디콘볼루션 계층들, 및 출력 계층을 포함한다. MSI 또는 RGB 데이터는 전형적으로 콘볼루션 계층에 입력된다. 콘볼루션 계층은 전형적으로 콘볼루션 스테이지(예를 들어, 아핀 변환)로 구성되며 그 출력은 결국 검출기 스테이지(예를 들어, 정류된 선형 [ReLU] 등의 비선형 변환)에 대한 입력으로서 이용되며, 그 결과들은 추가적인 콘볼루션들 및 검출기 스테이지들을 거칠 수 있다. 이들 결과는 푸울링 함수에 의해 다운 샘플링되거나 콘볼루션 계층의 결과들로서 직접 이용될 수 있다. 콘볼루션 계층의 결과들은 다음 계층에 대한 입력으로서 제공된다. 디콘볼루션 계층은, 전형적으로 역 풀링 계층에서 시작하여 콘볼루션 및 검출기 스테이지들이 후속된다. 전형적으로, 이들 계층은, 입력 계층, 콘볼루션 계층들, 그 다음, 디콘볼루션 계층의 순서로 조직화된다. 이러한 조직화는, 종종, 인코더 계층이 먼저 있고 디코더 계층이 후속되는 것으로 언급된다. 출력 계층은, 전형적으로 이전 계층으로부터 출력된 텐서의 차원들 중 하나에 걸쳐 각각의 벡터에 적용된 복수의 완전 접속된 신경망으로 구성된다. 이들 완전 접속된 신경망들로부터의 결과들의 집계는 조건부 확률 맵이라고 불리는 행렬이다.
조건부 확률 맵 내의 각각의 엔트리는 원본 DFU 이미지의 한 영역을 나타낸다. 이 영역은 입력 MSI 이미지의 픽셀들과의 1-대-1 맵핑이거나, n-대-1 맵핑일 수 있고, 여기서 n은 원본 이미지 내의 픽셀들의 어떤 집계이다. 이 맵에서의 조건부 확률 값들은 이미지의 그 영역 내의 조직이 표준 상처 관리에 반응하지 않을 확률을 나타낸다. 그 결과는 원본 이미지 내의 픽셀들의 세그먼트화며, 여기서, 예측된 비치유 영역들은 예측된 치유 영역들로부터 세그먼트화된다.
콘볼루션 신경망 내의 한 계층의 결과들은 또 다른 소스로부터의 정보에 의해 수정될 수 있다. 이 예에서, 피험자의 병력 또는 치료 계획(예를 들어, 여기서 설명된 환자 건강 메트릭들 또는 임상 변수들)으로부터의 임상 데이터가 이러한 수정의 소스로서 이용될 수 있다. 따라서, 콘볼루션 신경망의 결과들은 비-촬영 변수의 레벨에 따라 컨디셔닝될 수 있다. 이를 위해, 도 34에 도시된 바와 같이 피처별 선형 변환(FiLM) 계층들은 네트워크 아키텍쳐에 통합될 수 있다. FiLM 계층은 콘볼루션 신경망의 계층들 중 하나에 적용되는 아핀 변환의 파라미터들을 학습하도록 훈련된 머신 학습 알고리즘이다. 이 머신 학습 알고리즘에 대한 입력은 값들의 벡터이며, 이 경우 환자 건강 메트릭 값들 또는 임상 변수들의 형태로 된 임상적으로 관련있는 환자 병력이다. 이 머신 학습 알고리즘의 훈련은 콘볼루션 신경망의 훈련과 동시에 달성될 수 있다. 다양한 입력 및 머신 학습 알고리즘을 갖춘 하나 이상의 FiLM 계층이 콘볼루션 신경망의 다양한 계층에 적용될 수 있다.
조건부 확률 맵핑을 위한 입력 데이터는, 다중스펙트럼 촬영(MSI) 데이터 및 컬러 사진 이미지들(RGB 이미지들)을 포함했다. MSI 데이터는 2D 이미지들의 8개 채널로 구성되었으며, 여기서, 8개 채널들 각각은 특정한 파장 필터에서 조직으로부터의 광의 확산 반사율을 나타낸다. 각각의 채널의 시야는 1044 픽셀들 x 1408 픽셀들의 해상도를 갖는 15cm x 20cm였다. 8개 파장들은 다음을 포함했다 : 도 26에 나타낸 바와 같이, 420 nm ± 20 nm, 525 nm ± 35 nm, 581 nm ± 20 nm, 620 nm ± 20 nm, 660 nm ± 20 nm, 726 nm ± 41 nm, 820 nm ± 20 nm, and 855 nm ± 30 nm. RGB 이미지들은 2D 이미지들의 3개 채널을 포함했고, 여기서, 3개 채널 각각은 전통적인 컬러 카메라 센서에서 이용되는 파장들에서 조직으로부터의 광의 확산 반사율을 나타냈다. 각각의 채널의 시야는 1044 픽셀들 x 1408 픽셀들의 해상도를 갖는 15 cm x 20 cm였다.
치유 확률에 기초하여 이미지 세그먼트화를 수행하기 위해, SegNet이라 불리는 CNN 아키텍쳐가 이용되었다. 이 모델은, RGB 이미지들을 입력으로서 취하여 조건부 확률 맵을 출력하기 위해 원래의 저자에 의해 설명된 바와 같이 이용되었다. 추가로, 이것은 입력 계층에서 8 채널 MSI 이미지들을 활용하도록 수정되었다. 마지막으로, SegNet 아키텍쳐는 FiLM 계층을 포함하도록 수정되었다.
치유 및 비치유 영역들로의 DFU 이미지의 세그먼트화가 달성될 수 있음을 보여주기 위해, 각각이 상이한 입력들을 이용하는 다양한 심화 학습 모델들이 개발되었다. 이들 모델은 다음과 같은 2개의 입력 피처 범주를 이용했다 : MSI 데이터 단독, 및 RGB 이미지 단독. 다양한 입력 피처 외에도, 알고리즘 훈련의 다수의 양태들은 다양했다. 이들 변형 중 일부는, PASCAL VOC(시각적 객체 클래스) 데이터세트를 이용한 모델의 사전훈련, 또 다른 유형의 조직 상처의 이미지 데이터베이스를 이용한 모델의 사전훈련, 필터 뱅크를 이용한 입력 계층의 커널들의 사전명시, 조기 중단, 알고리즘 훈련 동안 랜덤 이미지 증강, 추론 동안 랜덤 이미지 증강의 결과들을 평균하여 단일의 집계된 조건부 확률 맵의 생성을 포함했다.
2개의 피처 입력 범주 각각으로부터의 상위 2개의 성능 모델이 랜덤 기회보다 더 양호한 성능을 보이는 것으로 식별되었다. RGB 데이터가 MSI 데이터로 대체됨에 따라 결과들이 향상되었다. 이미지 기반의 오류의 수가 9에서 7로 감소했다. 그러나, MSI 및 RGB 방법들 양쪽 모두는 DFU 치유 가능성에 대한 조건부 확률 맵을 생성할 수 있는 것으로 결정되었다.
SegNet 아키텍쳐가 상처 이미지들에 대해 바람직한 세그먼트화 정확도를 줄 수 있다고 결정하는 것 외에도, 치유에 대한 조건부 확률 맵핑에 기초하여 DFU 이미지들 또는 기타의 상처 이미지들을 세그먼트화하는 훈련 시스템들에서의 이용을 위해 다른 유형들의 상처 이미지들이 예기치 않게 적합할 수 있다는 것도 결정되었다. 전술된 바와 같이, SegNet CNN 아키텍쳐는, DFU 이미지 데이터를 훈련 데이터로서 이용하여 미리훈련될 때 DFU 이미지 세그먼트화에 적합할 수 있다. 그러나, 일부 경우에는 소정 유형들의 상처들에 대해, 적절하게 큰 훈련 이미지 세트가 이용가능하지 않을 수 있다. 도 35는, 한 예시적인 컬러 DFU 이미지(A) 및 상이한 세그먼트화 알고리즘들에 의해 예측된 치유 및 비치유 영역들로의 DFU 세그먼트화의 4가지 예를 나타낸다. 초기 평가일에 캡처된 이미지(A)에서, 파선은 4주 후의 후속 평가에서 비치유로서 식별된 상처 부분을 나타낸다. 이미지들 (B) 내지 (E)에서, 각각의 대응하는 세그먼트화 알고리즘은 음영으로 표시된 예측된 비치유 조직의 한 섹션을 생성한다. 이미지(E)에 도시된 바와 같이, DFU 이미지 데이터베이스가 아니라 화상 이미지 데이터베이스를 이용하여 미리훈련된 SegNet 알고리즘은, 그럼에도 불구하고, 경험적으로 결정된 비치유 영역에 대응하는 이미지 (A)에서의 점선의 윤곽과 거의 일치하는 비치유 조직 영역에 대한 매우 정확한 예측을 생성했다. 대조적으로, DFU 이미지 데이터(이미지 (B))로 훈련된 na
Figure pct00041
ve Bayes 선형 모델, DFU 이미지 데이터(이미지 (C))로 훈련된 로지스틱 회귀 모델, PACAL VOC 데이터(이미지 (D))를 이용하여 미리훈련된 SegNet 모두는 열등한 결과를 보였으며, 각각의 이미지 (B) 내지 (D)는 비치유 조직의 훨씬 크고 부정확한 형상의 영역을 나타낸다.
DFU 이미지들의 예시적인 개개의 파장 분석
추가적인 예시적인 구현들에서, 30일차 상처의 면적 감소 백분율(PAR), 및/또는 조건부 확률 맵 형태의 세그먼트화가, MSI 또는 RGB 이미지 데이터를 이용해서가 아니라, 단일 파장 대역의 이미지 데이터에 기초하여 추가로 수행될 수 있음이 밝혀졌다. 이 방법을 달성하기 위해, 단일 파장 대역 이미지로부터 추출된 피처들을 입력으로서 취하고 예측된 PAR을 나타내는 스칼라 값을 출력하도록 머신 학습 알고리즘이 훈련되었다.
모든 이미지는 기관 감사 위원회(IRB; institutional review board) 승인 임상 연구 프로토콜에 따라 피험자들로부터 획득되었다. 데이터세트는 17명의 피험자로부터 획득된 당뇨병성 족부 궤양의 28개의 개개의 이미지를 포함했다. 각각의 피험자는 상처들의 치료를 위해 처음 방문시에 촬영되었다. 상처들은, 그들의 가장 긴 치수에서의 폭이 적어도 1.0 cm이었다. 표준 상처 관리 요법을 처방받은 피험자만 연구에 포함되었다. 치료 30일 후 실제 PAR을 결정하기 위해, 임상의가 일상적인 후속 방문 동안 DFU 치유 평가를 수행했다. 이 치유 평가에서, 상처의 이미지가 수집되어 0일차에 촬영된 이미지와 비교되어 PAR을 정확하게 정량화했다.
분류기 앙상블들 등의 다양한 머신 학습 알고리즘이 이용될 수 있다. 이 분석에서 회귀를 위한 2개의 머신 학습 알고리즘이 이용되었다. 하나의 알고리즘은 결정 트리 분류기(배깅된 트리)의 배깅 앙상블이었고, 제2 알고리즘은 랜덤 포레스트 앙상블이었다. 머신 학습 회귀 모델을 훈련하는데 이용된 모든 피처는, 연구에 포함된 DFU에 대한 초기 방문시의 치료 이전에 획득된 DFU 이미지로부터 획득되었다.
가시 및 근적외선 스펙트럼의 고유한 파장들로부터 각각의 DFU에 대한 8개의 그레이스케일 이미지가 획득되었다. 각각의 이미지의 시야는, 1044 픽셀 x 1408 픽셀의 해상도를 갖는 약 15 cm x 20 cm였다. 8개의 고유한 파장은 다음과 같은 파장 대역들을 가진 광학 대역통과 필터 세트를 이용하여 선택되었다 : 도 26에 나타낸 바와 같이, 420 nm ± 20 nm, 525 nm ± 35 nm, 581 nm ± 20 nm, 620 nm ± 20 nm, 660 nm ± 20 nm, 726 nm ± 41 nm, 820 nm ± 20 nm, and 855 nm ± 30 nm.
각각의 원시 1044 픽셀 x 1408 픽셀의 이미지는, 각각의 픽셀에 대해, 그 픽셀에 대한 반사 강도 값을 포함했다. 반사 강도 값들의 제1 및 제2 모멘트(예를 들어, 평균 및 표준 편차)를 포함한, 반사 강도 값들에 기초하여 정량적 피처들이 계산되었다. 또한, 중앙값도 계산되었다.
이들 계산 후에, 필터 세트가 선택사항으로서 개별적으로 원시 이미지에 적용하여 복수의 이미지 변환을 생성할 수 있다. 하나의 특정한 예에서, 총 512개의 필터가 이용될 수 있고, 각각은 치수 7 픽셀 x 7 픽셀 또는 또 다른 적절한 커널 크기를 가진다. 도 36은 한 예시적인 구현에서 이용될 수 있는 512개의 7x7 필터 커널들의 예시적인 세트를 나타낸다. 이러한 비제한적인 예시적인 필터 세트는 DFU 세그먼트화를 위한 콘볼루션 신경망(CNN)의 훈련을 통해 획득될 수 있다. 도 36에 예시된 512개의 필터는 CNN의 입력 계층 내의 제1 세트의 커널들로부터 획득되었다. 이들 필터의 "학습"은, 필터 뱅크에 포함된 Gabor 필터들의 큰 편차를 방지하기 위해 그들의 가중치 업데이트를 제한함으로써 정규화되었다.
콘볼루션에 의해 원시 이미지에 필터들이 적용될 수 있다. 이들 필터 콘볼루션들의 결과인 512개의 이미지로부터, 단일의 3D 행렬이, 차원 512 채널 x 1044 픽셀 x 1408 픽셀로 구성될 수 있다. 그 다음, 이 3D 행렬로부터 추가적인 피처들이 계산될 수 있다. 예를 들어, 일부 실시예에서, 3D 행렬의 강도 값들의 평균, 중앙값, 및 표준 편차는, 머신 학습 알고리즘으로의 입력을 위한 추가적인 피처들로서 계산될 수 있다.
전술된 6개의 피처(예를 들어, 원시 이미지의 및 원시 이미지에 콘볼루션 필터들을 적용하여 구성된 3D 행렬의, 픽셀 값들의 평균, 중앙값 및 표준 편차)에 추가하여, 추가적인 피처들 및/또는 이러한 피처들의 선형 또는 비선형 조합들이 원한다면 추가로 포함될 수 있다. 예를 들어, 2개의 피처의 곱 또는 비율은 알고리즘에 대한 새로운 입력 피처로서 이용될 수 있다. 한 예에서, 평균과 중앙값의 곱은 추가적인 입력 피처로서 이용될 수 있다.
LOOCV(leave-one-out cross-validation) 절차를 이용하여 알고리즘 훈련이 수행되었다. 테스트 세트를 위해 하나의 DFU가 선택되었고 나머지 DFU 이미지들은 훈련 세트로서 이용되었다. 훈련 후, 모델은, 유지된 DFU 이미지에 대한 면적 감소 백분율을 예측하는데 이용되었다. 일단 이것이 이루어지고 나면, 유지된 이미지가 전체 세트의 DFU 이미지들에 반환되어 이 프로세스가 상이한 유지된 이미지와 함께 반복될 수 있게 했다. LOOCV는, 각각의 DFU 이미지가 일단 유지된 세트의 일부가 될 때까지 반복되었다. 교차 검증의 모든 폴드에 걸쳐 테스트 세트 결과들을 축적한 후, 모델의 전체 성능이 계산되었다.
각각의 DFU 이미지에 대한 예측된 면적 감소 백분율은 DFU에 관해 수행된 30일 치유 평가 동안 측정된 실제 면적 감소 백분율과 비교되었다. 알고리즘의 성능은 결정 계수(
Figure pct00042
)를 이용하여 채점되었다.
Figure pct00043
값은 각각의 개개의 파장의 유용성을 결정하는데 이용되었으며, 이것은 DFU 이미지로부터 추출된 피처들에 의해 설명된 DFU 면적 감소 백분율에서의 분산의 비율의 측정치이다.
Figure pct00044
값은 다음과 같이 정의된다:
Figure pct00045
여기서,
Figure pct00046
는 DFU
Figure pct00047
에 대한 실제 PAR이고,
Figure pct00048
는 데이터 세트 내의 모든 DFU에 걸친 평균 PAR이며,
Figure pct00049
는 DFU
Figure pct00050
에 대한 예측된 PAR이다.
Figure pct00051
값의 95% 신뢰 구간이 각각의 피처 세트에 관해 훈련된 알고리즘의 예측 결과들로부터 계산되었다. 95% CI는 다음과 같은 방정식을 이용하여 계산되었다 :
Figure pct00052
여기서,
Figure pct00053
이 방정식에서,
Figure pct00054
은 데이터 세트 내의 DFU 이미지의 총 수이고,
Figure pct00055
는 모델 내의 예측자들의 총 수이다.
목표는 8개의 개개의 파장들 각각이 회귀 모델에서 독립적으로 이용되어 랜덤 기회보다 훨씬 더 양호한 결과를 달성할 수 있는고 결정하는 것이었다. 피처 세트가 랜덤 기회에 비해 개선을 제공할 수 있는지를 결정하기 위해, 피처 세트들이 식별되었고, 여기서, 제로는 그 피처 세트에 관해 훈련된 알고리즘에 대한
Figure pct00056
의 95% CI 내에 포함되지 않았다. 이를 위해, 8개의 별개의 실험이 수행되었으며, 여기서 모델들은 다음과 같은 6개의 원래 피처들로 훈련되었다 : 원시 이미지의 평균, 중앙값, 및 표준 편차; 콘볼루션 필터들의 적용에 의한 원시 이미지 변환으로부터 생성된 3D 행렬의 평균, 중앙값, 및 표준 편차. 랜덤 포레스트와 배깅된 트리 모델들이 훈련되었다. 교차 검증에서 우수한 성능을 가진 알고리즘에 대한 결과들이 보고되었다. 이들 8개 모델의 결과들이 검토되어 하한 95% CI가 0보다 큰지를 결정했다. 그렇지 않다면, 6개의 원래 피처의 비선형 조합들에 의해 생성된 추가적인 피처들이 이용되었다.
6개의 원래 피처를 이용하여, 검사된 8개 파장 중 7개를 이용하여 DFU 데이터세트로부터의 면적 감소 백분율의 상당한 양의 분산을 설명하는 회귀 모델들을 생성할 수 있다. 가장 효과적인 것부터 가장 덜 효과적인 것까지의 순서로, 7개 파장은 다음과 같았다 : 660 nm; 620 nm; 726 nm; 855 nm; 525 nm; 581 nm; 및 420 nm. 최종 파장인 820 nm는 3D 행렬의 평균과 중앙값의 곱이 추가적인 피처로서 포함된 경우 중요한 것으로 밝혀졌다. 이들 시도의 결과들이 표 5에 요약되어 있다.
Figure pct00057
표 5 8개의 고유한 파장 이미지에 대해 개발된 회귀 모델들의 결과들
따라서, 본 명세서에 설명된 촬영 및 분석 시스템들 및 방법들이 단일 파장 대역 이미지에 기초하여 하나 이상의 예측된 치유 파라미터를 정확하게 생성할 수 있다는 것을 보였다. 일부 실시예에서, 단일 파장 대역의 이용은, 원시 이미지 데이터의 및/또는 원시 이미지 데이터에 하나 이상의 필터를 적용하여 생성된 이미지 세트 또는 3D 행렬의 평균, 중앙값 또는 표준 편차 등의, 이미지로부터의 하나 이상의 종합 정량적 피처의 계산을 용이화할 수 있다.
예시적인 상처 이미지 세그먼트화 시스템들 및 방법들
전술된 바와 같이, 개개의 파장 또는 복수의 파장에서의 반사율 데이터를 포함한 스펙트럼 이미지들은 여기서 설명된 머신 학습 기술을 이용하여 분석되어, 전체 상처 치유(예를 들어, 면적 감소 백분율) 및/또는 상처의 부분들과 연관된 치유(예를 들어, 상처 이미지의 개개의 픽셀 또는 픽셀들의 서브세트와 연관된 치유 확률) 등의, 상처 치유와 연관된 파라미터들을 안정적으로 예측할 수 있다. 더욱이, 본 명세서에 개시된 방법들 중 일부는, "상처 픽셀들"인 것으로 결정된 상처 이미지의 픽셀들, 또는 캘러스, 정상 피부, 배경 또는 기타의 비상처 조직 영역들이 아닌 상처 조직 영역에 대응하는 픽셀들의 서브세트에 기초하여 계산된, 종합 정량적 피처들, 예를 들어, 평균, 표준 편차, 중앙값 등의 통계적 양들에 적어도 부분적으로 기초하여 상처 치유 파라미터들을 예측한다. 따라서, 한 세트의 상처 픽셀들에 기초하여 이러한 예측의 정확도를 향상시키거나 최적화하기 위해서, 상처 이미지 내의 상처 픽셀들의 서브세트를 정확하게 선택하는 것이 바람직하다.
통상적으로, 상처 픽셀들 및 비-상처 픽셀들로의 DFU의 이미지 등의 이미지의 세그먼트화는, 예를 들어 이미지를 검사하고 이미지에 기초하여 상처 픽셀 세트를 선택하는 의사 또는 다른 임상의에 의해 수동으로 수행되었다. 그러나, 이러한 수동 세그먼트화는 시간이 많이 걸리고 비효율적이며, 잠재적으로 인적 오류가 발생할 가능성이 있다. 예를 들어, 면적과 부피를 계산하는데 이용되는 공식들은 상처들의 볼록한 형상을 측정하는데 요구되는 정확성과 정밀도가 부족하다. 또한, 상처의 실제 경계를 식별하고 상피 성장(epithelial growth) 등의 상처 내의 조직의 분류를 식별하는 것은, 높은 수준의 역량을 요구한다. 상처 측정치에서의 변화는 종종 치료 효능을 결정하는데 이용되는 중요한 정보이기 때문에, 초기 상처 측정에서의 오류는 부정확한 치료 결정을 초래할 수 있다.
이를 위해, 본 기술의 시스템들 및 방법들은 상처 마진의 자동화된 검출 및 상처 부위에서의 조직 유형들의 식별에 적합하다. 일부 실시예에서, 본 기술의 시스템 및 방법은, 적어도 상처 픽셀들 및 비-상처 픽셀들로의 상처 이미지들의 자동화된 세그먼트화를 위해 구성될 수 있어서, 상처 픽셀들의 서브세트에 기초하여 계산된 임의의 종합 정량적 피처들이 원하는 수준의 정확도를 달성하게 할 수 있다. 더욱이, 예측된 치유 파라미터들을 반드시 추가로 생성하지 않고도, 상처 및 비-상처 픽셀들로 및/또는 상처 또는 비-상처 픽셀들의 하나 이상의 서브클래스로 상처 이미지를 세그먼트화할 수 있는 시스템들 또는 방법들을 구현하는 것이 바람직할 수 있다.
상처들의 컬러 사진들을 이용하여 당뇨병성 족부 궤양 이미지들의 데이터세트가 개발될 수 있다. 이 데이터의 취득에서 다양한 컬러 카메라 시스템이 이용될 수 있다. 하나의 예시적인 구현에서, 총 349개의 이미지가 이용되었다. 숙련된 의사 또는 다른 임상의는 소프트웨어 프로그램을 이용하여 각각의 상처 이미지에서 상처, 캘러스, 정상 피부, 배경 및/또는 기타 임의의 유형들의 픽셀 범주들을 식별하고 라벨링할 수 있다. 실측자료 마스크라고 알려진 결과적인 라벨링된 이미지들은, 이미지 내의 라벨링된 범주들의 수에 대응하는 다수의 컬러를 포함할 수 있다. 도 37은 DFU(좌측) 및 대응하는 실측자료 마스크(우측)의 한 예시적인 이미지를 나타낸다. 도 37의 예시적인 실측자료 마스크는, 배경 픽셀들에 대응하는 보라색 영역, 캘러스 픽셀들에 대응하는 황색 영역, 및 상처 픽셀들에 대응하는 청록색 영역을 포함한다.
한 세트의 실측자료 이미지들에 기초하여 CNN(Convolutional Neural Network)은 이들 조직 범주의 자동화된 세그먼트화에 이용될 수 있다. 일부 실시예에서, 알고리즘 구조는 복수의 콘볼루션 계층을 갖는 얕은 U-net일 수 있다. 한 예시적인 구현에서, 바람직한 세그먼트화 결과들은 31개의 콘볼루션 계층으로 달성되었다. 그러나, 이미지 세그먼트화를 위한 많은 다른 알고리즘들을 적용하여 원하는 출력을 달성할 수 있다.
예시적인 세그먼트화 구현에서, DFU 이미지 데이터베이스는 알고리즘 훈련을 위해 269개의 훈련 세트 이미지, 하이퍼파라미터 선택을 위해 40개의 테스트 세트 이미지, 검증을 위해 40개의 검증 세트 이미지가 이용되도록, 3개의 세트로 무작위로 분할되었다. 알고리즘은 경사 하강법으로 훈련되었고 테스트 세트 이미지들의 정확도가 모니터링되었다. 테스트 세트 정확도가 최대화되면 알고리즘 훈련이 중단되었다. 이 알고리즘의 결과들은 검증 세트를 이용하여 결정되었다.
검증 세트의 각각의 이미지에 대한 U-net 알고리즘으로부터의 결과들은 그들의 대응하는 실측자료 마스크와 비교되었다. 이 비교는 픽셀별 기반으로 이루어졌다. 3개의 조직 유형들 각각 내에서, 이 비교는 다음과 같은 범주들을 이용하여 요약되었다. True Positive(TP) 범주는, 관심대상의 조직 유형이 실측자료 마스크 내의 한 픽셀에 존재했고, 모델 예측된 조직 유형이 이 픽셀에 존재한, 총 픽셀 수를 포함했다. True Negative(TN) 범주는, 관심대상의 조직 유형이 실측자료 마스크 내의 한 픽셀에 존재하지 않았고, 모델 예측된 조직 유형이 이 픽셀에 존재하지 않은, 총 픽셀 수를 포함했다. False Positive(FP) 범주는, 관심대상의 조직 유형이 실측자료 마스크 내의 한 픽셀에 존재하지 않았고, 모델 예측된 조직 유형이 이 픽셀에 존재했던, 총 픽셀 수를 포함했다. False Negative(FN) 범주는, 관심대상의 조직 유형이 실측자료 마스크 내의 한 픽셀에 존재했고, 모델 예측된 조직 유형이 이 픽셀에 존재하지 않은, 총 픽셀 수를 포함했다. 이들 결과는 다음과 같은 메트릭들을 이용하여 요약되었다 :
정확도:
Figure pct00058
여기서,
Figure pct00059
은 검증 세트 내의 픽셀들의 총 수이다.
평균 다이스 점수(dice score):
Figure pct00060
여기서,
Figure pct00061
는 3개의 조직 유형을 나타낸다.
평균 IOU(intersection over union)
Figure pct00062
여기서,
Figure pct00063
는 3개의 조직 유형을 나타낸다.
일부 실시예에서, 알고리즘 훈련은 복수의 에포크에 걸쳐 수행될 수 있고, 정확도가 최적화되는 중간 수의 에포크들이 결정될 수 있다. 여기서 설명된 예시적인 구현에서, 이미지 세그먼트화를 위한 알고리즘 훈련은 80개의 에포크에 걸쳐 수행되었다. 훈련이 모니터링될 때, 에포크 73이 테스트 데이터세트에 대해 최상의 정확도를 달성한 것으로 결정되었다.
U-net 세그먼트화 알고리즘의 성능은 랜덤 기회보다 양호한 정확도로 계산되었다. U-net은 또한, 3개의 가능한 na
Figure pct00064
ve 접근법 모두를 능가했으며, 여기서, na
Figure pct00065
ve 분류기는 하나의 조직 클래스를 항상 예측하는데 이용된다. 잠재적인 과적합 문제에 관계없이, 검증 세트에 관한 모델 성능은 이들 요약 메트릭에 기초하여 타당성을 입증할 수 있었다.
도 38은 본 명세서에 설명된 방법들과 조합된 U-net 세그먼트화 알고리즘을 이용한 상처 이미지 세그먼트화의 3개의 예시적인 결과를 나타낸다. 우측 열에 있는 3개의 예시 DFU 이미지 각각에 대해, 여기서 설명된 바와 같이 훈련된 U-net 세그먼트화 알고리즘은 중간 열에 도시된 자동화된 이미지 세그먼트화 출력을 생성했다. 각각의 DFU 이미지에 대응하는 수동으로 생성된 실측자료 마스크는 도 38의 좌측 열에 나와 있으며, 여기서 설명된 방법들을 이용하여 획득될 수 있는 높은 세그먼트화 정확도를 시각적으로 나타낸다.
용어
여기서 설명된 모든 방법 및 작업은 컴퓨터 시스템에 의해 수행되고 완전히 자동화될 수 있다. 컴퓨터 시스템은, 일부 경우에, 설명된 기능들을 수행하기 위해 네트워크를 통해 통신하고 상호작용하는 복수의 별개의 컴퓨터들 또는 컴퓨팅 디바이스들(예를 들어, 물리적 서버들, 워크스테이션들, 스토리지 어레이, 클라우드 컴퓨팅 자원들 등)을 포함할 수 있다. 각각의 이러한 컴퓨팅 디바이스는, 전형적으로, 메모리 또는 기타의 비일시적인 컴퓨터 판독가능한 저장 매체 또는 디바이스(예를 들어, 고체 상태 저장 디바이스들, 디스크 드라이브들 등)에 저장된 프로그램 명령어들 또는 모듈들을 실행하는 프로세서(또는 복수의 프로세서)를 포함한다. 여기서 개시된 다양한 기능들은 이러한 프로그램 명령어들로 구현되거나, 컴퓨터 시스템의 주문형 집적 회로(예를 들어, ASIC들 또는 FPGA들)로 구현될 수 있다. 컴퓨터 시스템이 복수의 컴퓨팅 디바이스를 포함하는 경우, 이들 디바이스들은 동일한 위치에 있을 수도 있지만, 반드시 그럴 필요는 없다. 개시된 방법들 및 작업들의 결과는, 고체 상태 메모리 칩들 또는 자기 디스크들 등의 물리적 저장 디바이스를 상이한 상태로 변환함으로써 영구적으로 저장될 수 있다. 일부 실시예에서, 컴퓨터 시스템은 처리 자원들이 복수의 별개의 사업체 또는 다른 사용자들에 의해 공유되는 클라우드 기반의 컴퓨팅 시스템일 수 있다.
개시된 프로세스들은, 미리결정된 또는 동적으로 결정된 스케쥴 등의 이벤트에 응답하여, 사용자 또는 시스템 관리자에 의해 개시된 요구에 따라, 또는 어떤 다른 이벤트에 응답하여 시작할 수 있다. 프로세스가 시작될 때, 하나 이상의 비일시적인 컴퓨터 판독가능한 매체(예를 들어, 하드 드라이브, 플래시 메모리, 착탈식 매체 등)에 저장된 한 세트의 실행가능한 프로그램 명령어들이 서버 또는 기타의 컴퓨팅 디바이스의 메모리(예를 들어, RAM)에 로드될 수 있다. 실행가능한 명령어들은 컴퓨팅 디바이스의 하드웨어 기반의 컴퓨터 프로세서에 의해 실행될 수 있다. 일부 실시예에서, 프로세스 또는 그 부분들은 복수의 컴퓨팅 디바이스 및/또는 복수의 프로세서에서 직렬로 또는 병렬로 구현될 수 있다.
실시예에 따라, 본 명세서에 설명된 임의의 프로세스 또는 알고리즘의 소정의 동작들, 이벤트들 또는 기능들은 상이한 시퀀스로 수행되거나, 추가되거나, 병합되거나, 또는 완전히 생략될 수 있다(예를 들어, 설명된 모든 동작 또는 이벤트가 알고리즘 실행에 필요한 것은 아니다). 더욱이, 소정의 실시예들에서, 동작들 또는 이벤트들은, 예를 들어 다중-스레드형 처리, 인터럽트 처리, 또는 다중 프로세서 또는 프로세서 코어들을 통해 또는 순차적이 아니라 기타의 병렬 아키텍쳐로 동시에 수행될 수 있다.
본 명세서에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 루틴들, 및 알고리즘 단계들은, 전자 하드웨어(예를 들어, ASIC들 또는 FPGA 디바이스들), 컴퓨터 하드웨어에서 실행되는 컴퓨터 소프트웨어, 또는 이 둘의 조합으로서 구현될 수 있다. 더욱이, 본 명세서에서 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들 및 모듈들은, 프로세서 디바이스, 디지털 신호 프로세서("DSP"), 주문형 집적 회로("ASIC"), 필드 프로그래머블 게이트 어레이("FPGA") 또는 기타 프로그램가능한 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트, 또는 여기서 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합 등의, 머신에 의해 구현되거나 수행될 수 있다. 프로세서 디바이스는 마이크로프로세서일 수 있지만, 대안으로서, 프로세서 디바이스는, 제어기, 마이크로제어기, 또는 상태 머신, 이들의 조합 등일 수 있다. 프로세서 디바이스는 컴퓨터 실행가능 명령어들을 처리하도록 구성된 전기 회로를 포함할 수 있다. 또 다른 실시예에서, 프로세서 디바이스는, 컴퓨터 실행가능 명령어들을 처리하지 않고 로직 동작들을 수행하는 FPGA 또는 기타의 프로그램가능한 디바이스를 포함한다. 프로세서 디바이스는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 연계한 하나 이상의 마이크로프로세서, 또는 기타 임의의 이러한 구성으로서 구현될 수 있다. 본 명세서에서는 주로 디지털 기술과 관련하여 설명되었지만, 프로세서 디바이스는 또한, 주로 아날로그 컴포넌트들을 포함할 수도 있다. 예를 들어, 본 명세서에서 설명된 렌더링 기술들의 일부 또는 전부는 아날로그 회로, 또는 혼합된 아날로그와 디지털 회로로 구현될 수 있다. 컴퓨팅 환경은, 몇 가지 거명하자면, 마이크로프로세서 기반의 컴퓨터 시스템, 메인프레임 컴퓨터, 디지털 신호 프로세서, 휴대형 컴퓨팅 디바이스, 디바이스 제어기, 또는 기기 내의 계산 엔진을 포함한 그러나 이것으로 제한되지 않는 임의의 유형의 컴퓨터 시스템을 포함할 수 있다.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법, 프로세스, 루틴, 또는 알고리즘의 요소들은, 하드웨어, 프로세서 디바이스에 의해 실행되는 소프트웨어 모듈, 또는 이 둘의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은, RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 기타 임의의 형태의 비일시적인 컴퓨터 판독가능한 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서 디바이스에 결합되어, 프로세서 디바이스가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기입할 수 있게 한다. 대안으로서, 저장 매체는 프로세서 디바이스에 통합될 수 있다. 프로세서 디바이스와 저장 매체는 ASIC에 상주할 수 있다. ASIC는 사용자 단말기에 상주할 수 있다. 대안으로, 프로세서 디바이스 및 저장 매체는 사용자 단말기에 개별 컴포넌트들로서 상주할 수 있다.
특히, "~할 수 있는(can)", "~할 수 있는(could)", "~할 수 있는(might)", "~할 수 있는(may), "예를 들어(e.g.)" 등과 같은 여기서 사용된 조건적 용어는, 구체적으로 달리 명시되지 않는 한, 또는 문맥 내에서 다르게 이해되지 않는 한, 일반적으로는, 소정 실시예들이 소정 피처들, 요소들 또는 단계들을 포함하는 반면 다른 실시예들은 포함하지 않을 수 있다는 것을 전달하기 위한 것이다. 따라서, 이러한 조건적 용어는, 일반적으로, 피처들, 요소들 또는 단계들이 하나 이상의 실시예에 대해 임의의 방식으로 요구되거나, 임의의 특정 실시예에서 이들 피처들, 요소들 또는 단계들이 포함될지 또는 수행될지를 다른 입력이나 촉구없이 결정하기 위한 로직을 하나 이상의 실시예가 반드시 포함한다는 것을 암시하기 위한 것은 아니다. "포함하는", "내포하는", "갖는" 등의 용어들은 동의어이고 제약을 두지 않는 방식으로 포함적으로 사용되며, 추가적인 요소들, 피처들, 작용들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (배타적인 의미가 아니라) 포함적인 의미로 사용되므로, 예를 들어 요소들의 목록을 연결하는데 사용되는 경우, "또는"이라는 용어는 목록 내의 요소들 중 하나, 일부 또는 전부를 의미한다.
문구 "X, Y, 또는 Z" 중 적어도 하나" 등의 논리합 용어는, 구체적으로 달리 명시되지 않는 한, 또는 항목, 항 등을 제시하기 위해 일반적으로 사용될 때 문맥상 달리 이해되지 않는 한, X, Y, 또는 Z이거나, 이들의 임의의 조합(예를 들어, X, Y, 또는 Z)일 수 있다. 따라서, 이러한 논리합 용어는, 일반적으로, 소정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나, 및 Z 중 적어도 하나가 각각 존재할 것을 요구한다는 것을 암시하고자 함이 아니며 암시해서도 안 된다.
상기의 상세한 설명이 다양한 실시예에 적용되는 새로운 피처들을 도시, 기술 및 지적하였지만, 예시된 디바이스들 또는 알고리즘들의 형태 및 상세사항에서의 다양한 생략, 대체 및 변경이 본 개시내용의 범위로부터 벗어나지 않고 이루어질 수 있다는 것을 이해할 수 있다. 인식될 수 있는 바와 같이, 본 명세서에 설명된 소정의 실시예들은, 부 피처들은 다른 피처들과는 별개로 이용되거나 실시될 수 있기 때문에, 본 명세서에 개시된 모든 피처 및 이점을 제공하지는 않는 형태로 구현될 수 있다. 청구항들의 균등물들의 의미와 범위 내에 드는 모든 변경은 청구항들의 범위 내에 포함되어야 한다.

Claims (45)

  1. 상처 치유를 평가 또는 예측하기 위한 시스템으로서,
    당뇨병성 족부 궤양을 포함하는 조직 영역으로부터 반사된 후의 적어도 제1 파장의 광을 수집하도록 구성된 적어도 하나의 광 검출 요소; 및
    상기 적어도 하나의 광 검출 요소와 통신하는 하나 이상의 프로세서
    를 포함하고, 상기 하나 이상의 프로세서는 :
    상기 적어도 하나의 광 검출 요소로부터 신호 ―상기 신호는 상기 조직 영역으로부터 반사된 상기 제1 파장의 광을 나타냄― 를 수신하고;
    상기 신호에 기초하여, 상기 조직 영역을 묘사하는 복수의 픽셀을 갖는 이미지를 생성하고;
    상기 신호에 기초하여, 상기 복수의 픽셀 중의 적어도 서브세트의 각각의 픽셀에 대한 상기 제1 파장에서의 반사 강도 값을 결정하고;
    상기 서브세트의 각각의 픽셀의 상기 반사 강도 값들에 기초하여 상기 복수의 픽셀 중의 상기 서브세트의 하나 이상의 정량적 피처를 결정하고;
    하나 이상의 머신 학습 알고리즘을 이용하여, 상기 복수의 픽셀 중의 상기 서브세트의 상기 하나 이상의 정량적 피처에 기초해 적어도 하나의 스칼라 값 ―상기 적어도 하나의 스칼라 값은, 상기 이미지의 생성에 이어, 미리결정된 시구간에 걸쳐 상기 당뇨병성 족부 궤양의 예측된 치유량에 대응함― 을 생성하도록 구성된, 시스템.
  2. 제1항에 있어서, 상기 예측된 치유량은 상기 당뇨병성 족부 궤양의 예측된 면적 감소 백분율인, 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 스칼라 값은 복수의 스칼라 값을 포함하고, 상기 복수의 스칼라 값 중의 각각의 스칼라 값은 상기 서브세트의 개개의 픽셀 또는 상기 서브세트의 개개의 픽셀들의 서브그룹의 치유 확률에 대응하는, 시스템.
  4. 제3항에 있어서, 상기 하나 이상의 프로세서는 추가로, 사용자에게 디스플레이하기 위해 상기 복수의 스칼라 값의 시각적 표현을 출력하도록 구성된, 시스템.
  5. 제4항에 있어서, 상기 시각적 표현은, 상기 픽셀에 대응하는 상기 치유 확률에 기초하여 선택된 특정한 시각적 표현으로 디스플레이된 상기 서브세트의 각각의 픽셀을 갖는 상기 이미지를 포함하고, 상이한 치유 확률들과 연관된 픽셀들은 상이한 시각적 표현들로 디스플레이되는, 시스템.
  6. 제3항 내지 제5항 중 어느 한 항에 있어서, 상기 하나 이상의 머신 학습 알고리즘은, 상처, 화상 또는 궤양 이미지 데이터베이스를 이용하여 미리훈련된 SegNet을 포함하는, 시스템.
  7. 제6항에 있어서, 상기 상처 이미지 데이터베이스는 당뇨병성 족부 궤양 이미지 데이터베이스를 포함하는, 시스템.
  8. 제6항 또는 제7항에 있어서, 상기 상처 이미지 데이터베이스는 화상 이미지 데이터베이스를 포함하는, 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 미리결정된 시구간은 30일인, 시스템.
  10. 제1항 또는 제9항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 조직 영역을 갖는 환자에 대응하는 적어도 하나의 환자 건강 메트릭 값을 식별하도록 구성되고, 상기 적어도 하나의 스칼라 값은 상기 복수의 픽셀 중의 상기 서브세트의 상기 하나 이상의 정량적 피처 및 상기 적어도 하나의 환자 건강 메트릭 값에 기초하여 생성되는, 시스템.
  11. 제10항에 있어서, 상기 적어도 하나의 환자 건강 메트릭 값은, 인구통계학적 변수들, 당뇨병성 족부 궤양 이력 변수들, 순응도 변수들, 내분비 변수들, 심혈관 변수들, 근골격 변수들, 영양 변수들, 감염성 질환 변수들, 신장 변수들, 산부인과 변수들, 약물 사용 변수들, 기타의 질병 변수들 또는 실험실 값들로 구성된 그룹으로부터 선택된 적어도 하나의 변수를 포함하는, 시스템.
  12. 제10항에 있어서, 상기 적어도 하나의 환자 건강 메트릭 값은 하나 이상의 임상 피처를 포함하는, 시스템.
  13. 제12항에 있어서, 상기 하나 이상의 임상 피처는, 환자의 연령, 환자의 만성 신장 질환 레벨, 상기 이미지가 생성되는 날의 상기 당뇨병성 족부 궤양의 길이, 및 상기 이미지가 생성되는 날의 상기 당뇨병성 족부 궤양의 폭으로 구성된 그룹으로부터 선택된 적어도 하나의 피처를 포함하는, 시스템.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 제1 파장은, 420 nm ± 20 nm, 525 nm ± 35 nm, 581 nm ± 20 nm, 620 nm ± 20 nm, 660 nm ± 20 nm, 726 nm ± 41 nm, 820 nm ± 20 nm, 또는 855 nm ± 30 nm의 범위 내에 있는, 시스템.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 제1 파장은, 620 nm ± 20 nm, 660 nm ± 20 nm, 또는 420 nm ± 20 nm 범위 내에 있는, 시스템.
  16. 제15항에 있어서, 상기 하나 이상의 머신 학습 알고리즘은 랜덤 포레스트 앙상블(random forest ensemble)을 포함하는, 시스템.
  17. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 제1 파장은, 726 nm ± 41 nm, 855 nm ± 30 nm, 525 nm ± 35 nm, 581 nm ± 20 nm, 또는 820 nm ± 20 nm 범위 내에 있는, 시스템.
  18. 제17항에 있어서, 상기 하나 이상의 머신 학습 알고리즘은 분류기들의 앙상블을 포함하는, 시스템.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서, 적어도 상기 제1 파장의 광을 통과시키도록 구성된 광학 대역통과 필터를 더 포함하는 시스템.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 추가로:
    상기 이미지의 상기 복수의 픽셀을 상처 픽셀들 및 비-상처 픽셀들로 자동으로 세그먼트화하고;
    상기 상처 픽셀들을 포함하도록 상기 복수의 픽셀 중의 상기 서브세트를 선택하도록 구성된, 시스템.
  21. 제20항에 있어서, 상기 하나 이상의 프로세서는 추가로, 비-상처 픽셀들을, 캘러스 픽셀(callus pixel)들 및 배경 픽셀들로 자동으로 세그먼트화하도록 구성된, 시스템.
  22. 제20항에 있어서, 상기 하나 이상의 프로세서는 추가로, 비-상처 픽셀들을, 캘러스 픽셀들, 정상 피부 픽셀들, 및 배경 픽셀들로 자동으로 세그먼트화하도록 구성된, 시스템.
  23. 제20항 내지 제22항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 콘볼루션 신경망을 포함하는 세그먼트화 알고리즘을 이용하여 상기 복수의 픽셀을 자동으로 세그먼트화하는, 시스템.
  24. 제23항에 있어서, 상기 세그먼트화 알고리즘은, 복수의 콘볼루션 계층을 포함하는 U-Net과 복수의 콘볼루션 계층을 포함하는 SegNet 중 적어도 하나인, 시스템.
  25. 제1항 내지 제24항 중 어느 한 항에 있어서, 상기 복수의 픽셀 중의 상기 서브세트의 상기 하나 이상의 정량적 피처는 상기 복수의 픽셀의 하나 이상의 종합 정량적 피처를 포함하는, 시스템.
  26. 제25항에 있어서, 상기 복수의 픽셀 중의 상기 서브세트의 상기 하나 이상의 종합 정량적 피처는, 상기 서브세트의 상기 픽셀들의 상기 반사 강도 값들의 평균, 상기 서브세트의 상기 픽셀들의 상기 반사 강도 값들의 표준 편차, 및 상기 서브세트의 상기 픽셀들의 중앙 반사 강도 값으로 구성된 그룹으로부터 선택되는, 시스템.
  27. 제1항 내지 제26항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 추가로:
    복수의 이미지 변환을 생성하기 위해 콘볼루션에 의해 상기 이미지에 복수의 필터 커널을 개별적으로 적용하고;
    상기 복수의 이미지 변환으로부터 3D 행렬을 구성하고;
    상기 3D 행렬의 하나 이상의 정량적 피처를 결정하도록 구성되고, 상기 적어도 하나의 스칼라 값은 상기 복수의 픽셀 중의 상기 서브세트의 상기 하나 이상의 정량적 피처 및 상기 3D 행렬의 상기 하나 이상의 정량적 피처에 기초하여 생성되는, 시스템.
  28. 제27항에 있어서, 상기 3D 행렬의 하나 이상의 정량적 피처는, 상기 3D 행렬의 값들의 평균, 상기 3D 행렬의 값들의 표준 편차, 상기 3D 행렬의 중앙값, 및 상기 3D 행렬의 상기 평균과 상기 중앙값의 곱으로 구성된 그룹으로부터 선택되는, 시스템.
  29. 제28항에 있어서, 상기 적어도 하나의 스칼라 값은, 상기 서브세트의 상기 픽셀들의 상기 반사 강도 값들의 평균, 상기 서브세트의 상기 픽셀들의 상기 반사 강도 값들의 표준 편차, 상기 서브세트의 상기 픽셀들의 중앙 반사 강도 값, 상기 3D 행렬의 상기 값들의 상기 평균, 상기 3D 행렬의 상기 값들의 상기 표준 편차, 및 상기 3D 행렬의 상기 중앙값에 기초하여 생성되는, 시스템.
  30. 제1항 내지 제29항 중 어느 한 항에 있어서, 상기 적어도 하나의 광 검출 요소는 추가로, 상기 조직 영역으로부터 반사된 후의 적어도 제2 파장의 광을 수집하도록 구성되고, 상기 하나 이상의 프로세서는 추가로:
    상기 적어도 하나의 광 검출 요소로부터 제2 신호 ―상기 제2 신호는 상기 조직 영역으로부터 반사된 상기 제2 파장의 광을 나타냄― 를 수신하고;
    상기 제2 신호에 기초하여, 상기 복수의 픽셀 중의 적어도 상기 서브세트의 각각의 픽셀에 대한 상기 제2 파장에서의 반사 강도 값을 결정하고;
    상기 제2 파장에서의 각각의 픽셀의 상기 반사 강도 값들에 기초하여 상기 복수의 픽셀 중의 상기 서브세트의 하나 이상의 추가적인 정량적 피처를 결정하도록 구성되고,
    상기 적어도 하나의 스칼라 값은 상기 복수의 픽셀 중의 상기 서브세트의 상기 하나 이상의 추가적인 정량적 피처에 적어도 부분적으로 기초하여 생성되는, 시스템.
  31. 상처 평가를 위한 시스템으로서,
    상처를 포함하는 조직 영역으로부터 반사된 후의 적어도 제1 파장의 광을 수집하도록 구성된 적어도 하나의 광 검출 요소; 및
    상기 적어도 하나의 광 검출 요소와 통신하는 하나 이상의 프로세서
    를 포함하고, 상기 하나 이상의 프로세서는 :
    상기 적어도 하나의 광 검출 요소로부터 신호 ―상기 신호는 상기 조직 영역으로부터 반사된 상기 제1 파장의 광을 나타냄― 를 수신하고;
    상기 신호에 기초하여, 상기 조직 영역을 묘사하는 복수의 픽셀을 갖는 이미지를 생성하고;
    상기 신호에 기초하여, 상기 복수의 픽셀 중의 각각의 픽셀에 대한 상기 제1 파장에서의 반사 강도 값을 결정하고;
    머신 학습 알고리즘을 이용하여, 상기 복수의 픽셀의 개개의 반사 강도 값들에 기초하여, 상기 복수의 픽셀의 개개의 픽셀들을, 적어도, 상처 픽셀들을 포함하는 상기 복수의 픽셀의 제1 서브세트 및 비-상처 픽셀들을 포함하는 상기 복수의 픽셀의 제2 서브세트로 자동으로 세그먼트화하도록 구성된, 시스템.
  32. 제31항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 복수의 픽셀의 상기 제2 서브세트를 적어도 비-상처 픽셀들의 2개 범주로 자동으로 세그먼트화하도록 구성되고, 상기 적어도 2개의 범주는, 캘러스 픽셀들, 정상 피부 픽셀들, 및 배경 픽셀들로 구성된 그룹으로부터 선택되는, 시스템.
  33. 제31항 또는 제32항에 있어서, 상기 머신 학습 알고리즘은 콘볼루션 신경망을 포함하는, 시스템.
  34. 제33항에 있어서, 상기 머신 학습 알고리즘은, 복수의 콘볼루션 계층을 포함하는 U-Net과 복수의 콘볼루션 계층을 포함하는 SegNet 중 적어도 하나인, 시스템.
  35. 제31항 내지 제34항 중 어느 한 항에 있어서, 상기 머신 학습 알고리즘은, 상처들, 궤양들, 또는 화상들의 복수의 세그먼트화된 이미지를 포함하는 데이터세트에 기초하여 훈련되는, 시스템.
  36. 제31항 내지 제35항 중 어느 한 항에 있어서, 상기 상처는 당뇨병성 족부 궤양인, 시스템.
  37. 제31항 내지 제36항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 추가로, 사용자에게 디스플레이하기 위해 상기 세그먼트화된 복수의 픽셀의 시각적 표현을 출력하도록 구성된, 시스템.
  38. 제37항에 있어서, 상기 시각적 표현은, 상기 픽셀의 세그먼트화에 기초하여 선택된 특정한 시각적 표현으로 디스플레이된 각각의 픽셀을 갖는 상기 이미지를 포함하며, 상처 픽셀들 및 비-상처 픽셀들은 상이한 시각적 표현들로 디스플레이되는, 시스템.
  39. 제1항 내지 제30항 중 어느 한 항의 시스템을 이용하여 상처 치유를 예측하는 방법으로서,
    상기 조직 영역이 상기 광의 적어도 일부를 상기 적어도 하나의 광 검출 요소에 반사하도록 적어도 상기 제1 파장의 광으로 상기 조직 영역을 조명하는 단계;
    상기 시스템을 이용하여 상기 적어도 하나의 스칼라 값을 생성하는 단계; 및
    상기 미리결정된 시구간에 걸쳐 예측된 치유 파라미터를 결정하는 단계
    를 포함하는 방법.
  40. 제39항에 있어서, 상기 조직 영역을 조명하는 단계는 적어도 상기 제1 파장의 광을 방출하도록 구성된 하나 이상의 광 방출기를 활성화하는 단계를 포함하는, 방법.
  41. 제39항에 있어서, 상기 조직 영역을 조명하는 단계는 상기 조직 영역을 주변 광에 노출시키는 단계를 포함하는, 방법.
  42. 제39항 내지 제41항 중 어느 한 항에 있어서, 상기 예측된 치유 파라미터를 결정하는 단계는, 상기 미리결정된 시구간에 걸쳐 상기 상처의 예상되는 면적 감소 백분율을 결정하는 단계를 포함하는, 방법.
  43. 제39항 내지 제42항 중 어느 한 항에 있어서,
    상기 상처의 예측된 치유량의 결정에 이어 상기 미리결정된 시구간이 경과한 후 상기 상처의 하나 이상의 치수를 측정하는 단계;
    상기 미리결정된 시구간에 걸쳐 상기 상처의 실제 치유량을 결정하는 단계; 및
    적어도 상기 이미지 및 상기 상처의 실제 치유량을 훈련 데이터로서 제공함으로써 상기 하나 이상의 머신 학습 알고리즘 중의 적어도 하나의 머신 학습 알고리즘을 업데이트하는 단계
    를 더 포함하는 방법.
  44. 제39항 내지 제43항 중 어느 한 항에 있어서, 상기 예측된 치유 파라미터에 적어도 부분적으로 기초하여 표준 상처 관리 요법과 진보된 상처 관리 요법 중에서 선택하는 단계를 더 포함하는 방법.
  45. 제44항에 있어서, 상기 표준 상처 관리 요법과 진보된 상처 관리 요법 중에서 선택하는 단계는,
    상기 예측된 치유 파라미터가, 상기 상처, 바람직하게는 DFU가 30일 내에 50%보다 많이 치유 또는 봉합될 것임을 나타낼 때, 영양 상태의 최적화; 비활 조직을 제거하기 위한 임의의 수단에 의한 제거; 적절한 축축한 드레싱을 이용한 육아 조직의 깨끗하고 축축한 베드의 유지; 존재할 수 있는 임의의 감염을 해결하기 위해 필요한 요법; DFU를 동반한 사지말단에 대한 혈관 관류의 임의의 결함 해결; DFU로부터 압력의 오프로딩; 및 적절한 포도당 조절로 구성된 그룹으로부터 선택되는 하나 이상의 표준 요법을 표시하거나 적용하는 단계; 및
    상기 예측된 치유 파라미터가, 상기 상처, 바람직하게는 DFU가 30일 내에 50%보다 많이 치유 또는 봉합되지 않을 것임을 나타낼 때, 고압 산소 요법, 음압 상처 요법, 생체 공학 피부 대체물들, 합성 성장 인자들, 세포외 기질 단백질들, 기질 금속단백질 분해 효소 조절제, 및 전기 자극 요법으로 구성된 그룹으로부터 선택되는 하나 이상의 고급 관리 요법을 표시하거나 적용하는 단계
    를 포함하는, 방법.
KR1020217021623A 2018-12-14 2019-12-11 상처들의 평가, 치유 예측 및 치료를 위한 머신 학습 시스템들 및 방법들 KR20210101285A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862780121P 2018-12-14 2018-12-14
US62/780,121 2018-12-14
US201862780854P 2018-12-17 2018-12-17
US62/780,854 2018-12-17
US201962818375P 2019-03-14 2019-03-14
US62/818,375 2019-03-14
PCT/US2019/065820 WO2020123724A1 (en) 2018-12-14 2019-12-11 Machine learning systems and methods for assessment, healing prediction, and treatment of wounds

Publications (1)

Publication Number Publication Date
KR20210101285A true KR20210101285A (ko) 2021-08-18

Family

ID=71075815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217021623A KR20210101285A (ko) 2018-12-14 2019-12-11 상처들의 평가, 치유 예측 및 치료를 위한 머신 학습 시스템들 및 방법들

Country Status (7)

Country Link
US (1) US11948300B2 (ko)
EP (1) EP3893733A4 (ko)
JP (2) JP7261883B2 (ko)
KR (1) KR20210101285A (ko)
CN (1) CN113260303A (ko)
BR (1) BR112021011132A2 (ko)
WO (1) WO2020123724A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054768A1 (ko) * 2021-09-30 2023-04-06 주식회사 피플앤드테크놀러지 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법
KR20230111468A (ko) 2022-01-18 2023-07-25 부경대학교 산학협력단 기계학습을 이용한 흉터 조직 영역 검출을 위한 장치 및 방법
WO2023195831A1 (ko) * 2022-04-08 2023-10-12 (주)파인헬스케어 병원에서 욕창 상태를 결정하고 치료하기 위한 장치 및 장치의 동작 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11304604B2 (en) 2014-10-29 2022-04-19 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US20220240783A1 (en) 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
JP7261883B2 (ja) 2018-12-14 2023-04-20 スペクトラル エムディー，インコーポレイテッド 創傷の評価、治癒予測および治療のための機械学習システム
KR20210099126A (ko) 2018-12-14 2021-08-11 스펙트랄 엠디, 인크. 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법
WO2020163539A1 (en) * 2019-02-05 2020-08-13 University Of Virginia Patent Foundation System and method for fully automatic lv segmentation of myocardial first-pass perfusion images
US20210398676A1 (en) * 2020-06-19 2021-12-23 Neil Reza Shadbeh Evans Machine learning algorithms for detecting medical conditions, related systems, and related methods
WO2022197826A1 (en) * 2021-03-16 2022-09-22 Cornell University Systems and methods for using deep-learning algorithms to facilitate decision making in gynecologic practice
DE102021113153A1 (de) * 2021-05-20 2022-11-24 cureVision GmbH Mobile Dokumentationsvorrichtung für die Erfassung von Hautläsionen
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
CN113729638A (zh) * 2021-09-30 2021-12-03 广州尚衡信息科技有限公司 一种双光谱手面诊健康评估设备
CN113827234B (zh) * 2021-11-25 2022-03-18 之江实验室 一种基于高光谱人脸视频的远程脉搏波重建方法
ES2948438A1 (es) * 2022-02-16 2023-09-12 Woom Fertility S L Método implementado por computador para obtener el estado de fertilidad de una mujer
WO2023242673A1 (en) * 2022-06-14 2023-12-21 3M Innovative Properties Company Artificial intelligence techniques for generating a predicted future image of a wound
CN117274242B (zh) * 2023-11-17 2024-01-26 简阳市人民医院 一种基于图像识别的创面检测方法和系统
CN117877691B (zh) * 2024-03-13 2024-05-07 四川省医学科学院·四川省人民医院 一种基于图像识别的智能化伤口信息采集系统

Family Cites Families (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4170987A (en) 1977-11-28 1979-10-16 California Institute Of Technology Medical diagnosis system and method with multispectral imaging
US4693255A (en) 1985-04-22 1987-09-15 Beall Harry C Medical apparatus method for assessing the severity of certain skin traumas
AU650440B2 (en) 1989-12-14 1994-06-23 Applied Tissue Technologies, Llc A treatment system and method for wounds and other disorders
US5074306A (en) 1990-02-22 1991-12-24 The General Hospital Corporation Measurement of burn depth in skin
US5701902A (en) 1994-09-14 1997-12-30 Cedars-Sinai Medical Center Spectroscopic burn injury evaluation apparatus and method
GB9521784D0 (en) 1995-10-24 1996-01-03 Rosslyn Medical Ltd Diagnostic apparatus
US6081612A (en) 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
US6008889A (en) 1997-04-16 1999-12-28 Zeng; Haishan Spectrometer system for diagnosis of skin disease
US6058352A (en) 1997-07-25 2000-05-02 Physical Optics Corporation Accurate tissue injury assessment using hybrid neural network analysis
US6353753B1 (en) 1998-05-05 2002-03-05 Stephen Thomas Flock Optical imaging of deep anatomic structures
US6352517B1 (en) 1998-06-02 2002-03-05 Stephen Thomas Flock Optical monitor of anatomical movement and uses thereof
US5982497A (en) 1998-07-09 1999-11-09 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
DE19850350C1 (de) 1998-11-02 2000-09-28 Jena Optronik Gmbh Verfahren und Vorrichtung zur Erzeugung von Daten für die Diagnose des Schädigungsgrades von Hautgewebe eines Patienten
US6381488B1 (en) 1999-06-15 2002-04-30 Sandia Corporation Method and apparatus to measure the depth of skin burns
US6640132B1 (en) 1999-11-17 2003-10-28 Hypermed, Inc. Forensic hyperspectral apparatus and method
US7860554B2 (en) 2000-01-27 2010-12-28 National Research Council Of Canada Visible-near infrared spectroscopy in burn injury assessment
AU2001259435A1 (en) 2000-05-03 2001-11-12 Stephen T Flock Optical imaging of subsurface anatomical structures and biomolecules
US6638668B2 (en) 2000-05-12 2003-10-28 Ocean Optics, Inc. Method for making monolithic patterned dichroic filter detector arrays for spectroscopic imaging
EP1411824A2 (en) 2001-07-16 2004-04-28 Art Advanced Research Technologies Inc. Multi-wavelength imaging of highly turbid media
BR0212668A (pt) 2001-09-19 2004-08-24 Joule Microsystems Canada Inc Um espectrÈmetro incorporando filtragem combinada de sinal
US20060072109A1 (en) 2004-09-03 2006-04-06 Andrew Bodkin Hyperspectral imaging systems
TW512058B (en) 2001-12-24 2002-12-01 Yung-Jian Yang Spectral analysis system for burning and scalding injuries and device used in the system
CA2491703A1 (en) 2002-07-09 2004-01-15 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
CN100533127C (zh) 2002-12-02 2009-08-26 大河诊断私人有限公司 高波数拉曼光谱学用于测定组织的用途
US20050033145A1 (en) 2003-07-02 2005-02-10 Graham John S. Wearable tissue viability diagnostic unit
US7693069B2 (en) 2003-07-28 2010-04-06 Alcatel-Lucent Usa Inc. Method, apparatus and system for improved inter-domain routing convergence
RU2372117C2 (ru) 2003-09-18 2009-11-10 Аркюо Медикал, Инк. Способ опто-термо-механического воздействия на биологическую ткань и устройство для его осуществления
US7920908B2 (en) 2003-10-16 2011-04-05 David Hattery Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue
CN1875638A (zh) 2003-11-11 2006-12-06 奥林巴斯株式会社 多谱图像捕捉装置
US7433042B1 (en) 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
US7648808B2 (en) 2004-01-12 2010-01-19 Ocean Thin Films, Inc. Patterned coated dichroic filter
US8583216B2 (en) 2004-04-27 2013-11-12 University Of Utah Research Foundation Skin type assessment and nevi screening for skin cancer with a noninvasive, portable reflectance spectrophotometer
US20070179482A1 (en) 2004-05-07 2007-08-02 Anderson Robert S Apparatuses and methods to treat biological external tissue
SE0402576D0 (sv) 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US8224425B2 (en) 2005-04-04 2012-07-17 Hypermed Imaging, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
US8548570B2 (en) 2004-11-29 2013-10-01 Hypermed Imaging, Inc. Hyperspectral imaging of angiogenesis
EP1835845A4 (en) 2004-12-28 2008-09-10 Hypermed Inc HYPERSPECTRAL / MULTISPECTRAL IMAGERY FOR THE DETERMINATION, EVALUATION AND MONITORING OF SYSTEMIC PHYSIOLOGY OR IMPACT CONDITIONS
US7729750B2 (en) 2005-01-20 2010-06-01 The Regents Of The University Of California Method and apparatus for high resolution spatially modulated fluorescence imaging and tomography
US20060241495A1 (en) 2005-03-23 2006-10-26 Eastman Kodak Company Wound healing monitoring and treatment
US8971984B2 (en) 2005-04-04 2015-03-03 Hypermed Imaging, Inc. Hyperspectral technology for assessing and treating diabetic foot and tissue disease
CA2604829C (en) 2005-04-04 2018-05-15 Hypermed, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
US8106956B2 (en) 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
EP1952106B1 (en) 2005-11-04 2014-08-27 George Themelis System for multispectral imaging
EP1988821B1 (en) 2006-01-05 2023-06-28 University Of Virginia Patent Foundation Method, system and computer program product for evaluation of blood glucose variability in diabetes from self-monitoring data
JP4655991B2 (ja) 2006-04-21 2011-03-23 カシオ計算機株式会社 撮像装置及び電子ズーム方法と、プログラム
WO2008033909A2 (en) 2006-09-12 2008-03-20 The General Hospital Corporation Apparatus, probe and method for providing depth assessment in an anatomical structure
AU2008204997A1 (en) 2007-01-05 2008-07-17 Myskin, Inc. System, device and method for dermal imaging
US20120321759A1 (en) 2007-01-05 2012-12-20 Myskin, Inc. Characterization of food materials by optomagnetic fingerprinting
US8639309B2 (en) 2007-07-31 2014-01-28 J&M Shuler, Inc. Method and system for monitoring oxygenation levels of compartments and tissue
US7857803B1 (en) 2007-03-19 2010-12-28 The United States Of America As Represented By The Secretary Of The Army Burn patient resuscitation system and method
JP2008283442A (ja) 2007-05-10 2008-11-20 Olympus Corp 撮像装置
JP2010532699A (ja) 2007-07-06 2010-10-14 インダストリアル リサーチ リミテッド レーザスペックル画像化システム及び方法
US20090072142A1 (en) 2007-09-14 2009-03-19 Forensicare Incorporated Scanning system and techniques for medical and/or forensic assessment using the same
US20090118600A1 (en) 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
US8509879B2 (en) 2007-11-06 2013-08-13 The Regents Of The University Of California Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging
US20100210931A1 (en) 2008-04-04 2010-08-19 Modulate Imaging Inc. Method for performing qualitative and quantitative analysis of wounds using spatially structured illumination
AU2009239460B2 (en) * 2008-04-21 2015-04-23 Drexel University Methods for measuring changes in optical properties of wound tissue and correlating near infrared absorption (fNIR) and diffuse reflectance spectroscopy scattering (DRS) with tissue neovascularization and collagen concentration to determine whether wound is healing
US8606344B2 (en) 2008-04-30 2013-12-10 Board Of Regents, The University Of Texas System Integrated patient bed system
US8838211B2 (en) 2008-04-30 2014-09-16 Board Of Regents, The University Of Texas System Multi-wavelength diagnostic imager
EP2291640B1 (en) 2008-05-20 2018-12-26 University Health Network Device and method for fluorescence-based imaging and monitoring
US20090318815A1 (en) 2008-05-23 2009-12-24 Michael Barnes Systems and methods for hyperspectral medical imaging
US8694266B2 (en) 2008-06-05 2014-04-08 The Regents Of The University Of Michigan Multimodal spectroscopic systems and methods for classifying biological tissue
US9572494B2 (en) 2008-08-12 2017-02-21 New Jersy Institute of Technology Method and apparatus for multi-spectral imaging and analysis of skin lesions and biological tissues
JP2010043979A (ja) 2008-08-13 2010-02-25 Yuichi Kamata 分光画像計測装置
US8488863B2 (en) 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
CA2753916C (en) 2009-04-29 2020-08-25 Genomedx Biosciences Inc. Systems and methods for expression-based classification of thyroid tissue
EP2267654A1 (en) 2009-06-23 2010-12-29 Research in Motion Limited Adjustment of sharpness during digital zoom in digital photography
CN101627902B (zh) 2009-07-15 2011-12-28 深圳先进技术研究院 基于环境光的低功耗、高精度光电容积描记信号前端处理模块
CN102473238B (zh) 2009-08-20 2014-08-06 皇家飞利浦电子股份有限公司 用于图像分析的系统和方法
CN102576458B (zh) 2009-10-06 2015-08-19 皇家飞利浦电子股份有限公司 用于获得第一信号进行分析以便表征该第一信号的至少一个周期性分量的方法和系统
EP2501288B1 (en) 2009-11-19 2016-12-21 Modulated Imaging Inc. Method and apparatus for analysis of turbid media via single-element detection using structured illumination
US9823127B2 (en) 2010-01-22 2017-11-21 Duke University Systems and methods for deep spectroscopic imaging of biological samples with use of an interferometer and spectrometer
US8692912B2 (en) 2010-01-25 2014-04-08 Pixelteq, Inc. Multi-spectral camera
JP2011188481A (ja) 2010-02-10 2011-09-22 Panasonic Corp 撮像装置
US8294570B2 (en) 2010-02-24 2012-10-23 Clawson Jeffrey J Burn diagnostic and intervention tool for emergency dispatch
US20130051651A1 (en) 2010-05-07 2013-02-28 Purdue Research Foundation Quantitative image analysis for wound healing assay
US20120078088A1 (en) 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
BR112013018023B1 (pt) 2011-01-19 2021-09-08 The Regents Of The University Of California Aparelho e sistema para monitorar e método para realizar monitoramento em tempo real de oxigenação por perfusão de região de tecido alvo de paciente
US8761853B2 (en) 2011-01-20 2014-06-24 Nitto Denko Corporation Devices and methods for non-invasive optical physiological measurements
US8994819B2 (en) 2011-02-04 2015-03-31 Raytheon Company Integrated optical detection system
US8694067B2 (en) 2011-02-15 2014-04-08 General Electric Company Sensor, apparatus and method for non-invasively monitoring blood characteristics of a subject
US9372118B1 (en) 2011-03-07 2016-06-21 Fluxdata, Inc. Apparatus and method for multispectral based detection
CA2828705A1 (en) 2011-03-07 2012-09-13 Wake Forest University Health Sciences Delivery system
JP5704984B2 (ja) 2011-03-22 2015-04-22 キヤノン株式会社 撮像装置
US20120288230A1 (en) 2011-05-13 2012-11-15 Kestrel Labs, Inc. Non-Reflective Optical Connections in Laser-Based Photoplethysmography
US8891087B2 (en) 2011-06-01 2014-11-18 Digital Light Innovations System and method for hyperspectral imaging
CN103765567A (zh) 2011-06-24 2014-04-30 科磊股份有限公司 使用光致发光成像检验发光半导体装置的方法和设备
KR101134770B1 (ko) 2011-07-22 2012-04-13 양완석 휴대용 인체외시경 영상장치
US8942459B2 (en) 2011-09-12 2015-01-27 Perkinelmer Cellular Technologies Germany Gmbh Methods and apparatus for fast identification of relevant features for classification or regression
US9295402B1 (en) 2012-01-17 2016-03-29 University Of Washington Through Its Center For Commercialization Methods and systems for assessing a burn injury
WO2013110021A1 (en) 2012-01-20 2013-07-25 Harvard Bioscience, Inc. Method for evaluating tissue injuries
US20150044098A1 (en) * 2012-01-30 2015-02-12 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
US10575737B2 (en) 2012-04-27 2020-03-03 Novadaq Technologies ULC Optical coherent imaging medical device
US9031306B2 (en) 2012-05-02 2015-05-12 The Regents Of The University Of California Diagnostic and prognostic histopathology system using morphometric indices
US9593982B2 (en) 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9766382B2 (en) 2012-06-05 2017-09-19 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device
RU2616653C2 (ru) 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
US9036877B2 (en) 2012-06-20 2015-05-19 Xerox Corporation Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching
US9547178B2 (en) 2012-08-15 2017-01-17 Semrock. Inc. Dichroic image splitter
WO2014041543A1 (en) 2012-09-13 2014-03-20 Polyheal Ltd. Improved wound healing compositions comprising microspheres
CN105190308B (zh) 2012-11-07 2021-05-28 调节成像公司 用于测量混浊样本的设备和方法
EP2943761B1 (en) 2013-01-10 2023-11-29 Akoya Biosciences, Inc. Multispectral imaging system and methods
US20140213910A1 (en) 2013-01-25 2014-07-31 The Regents Of The University Of California Method and apparatus for performing qualitative and quantitative analysis of burn extent and severity using spatially structured illumination
CA3053060C (en) 2013-01-31 2022-04-19 Ventana Medical Systems, Inc. Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays
US11653874B2 (en) * 2013-02-01 2023-05-23 Acceleritas Corporation Method and system for characterizing tissue in three dimensions using multimode optical measurements
WO2014121152A1 (en) 2013-02-01 2014-08-07 Farkas Daniel Method and system for characterizing tissue in three dimensions using multimode optical measurements
GB201302451D0 (en) 2013-02-12 2013-03-27 Isis Innovation Method and system for signal analysis
AU2014224230A1 (en) * 2013-03-06 2015-09-24 Marika Pty Ltd Assessing optical density gradients and variations
WO2014143235A1 (en) 2013-03-14 2014-09-18 Integrated Plasmonics Corporation Ambient light assisted spectroscopy
MX2016001866A (es) 2013-08-14 2016-06-14 Univ Nanyang Tech Sistemas para valoración de revascularización.
CN103815875B (zh) 2013-10-28 2015-06-03 重庆西南医院 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统
US10032287B2 (en) 2013-10-30 2018-07-24 Worcester Polytechnic Institute System and method for assessing wound
WO2015103614A2 (en) 2014-01-06 2015-07-09 The Florida International University Board Of Trustees Near infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features
US20150208923A1 (en) 2014-01-28 2015-07-30 The Texas A&M University System Non-Invasive Monitoring of Tissue Mechanical Properties
WO2015116823A1 (en) 2014-01-29 2015-08-06 The Johns Hopkins University System and method for wound imaging and debridement
DE102014002514B4 (de) 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
US9648254B2 (en) 2014-03-21 2017-05-09 Hypermed Imaging, Inc. Compact light sensor
EP2955496B1 (en) 2014-05-01 2023-09-06 Rebellion Photonics, Inc. Dual band divided aperture infrared spectral imager (daisi) for chemical detection
DE102014106974A1 (de) 2014-05-16 2015-11-19 Cubert GmbH Räumlich und spektral auflösende Hyperspektralkamera und Verfahren
CA2950751A1 (en) 2014-06-04 2015-12-10 University Of Massachusetts Medical School Hyperspectral imaging for prediction of skin injury after exposure to thermal energy or ionizing radiation
CN106714670A (zh) 2014-07-24 2017-05-24 大学健康网络 用于诊断目的的数据的收集和分析
US10117617B2 (en) 2014-10-08 2018-11-06 Revealix, Inc. Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly
US11304604B2 (en) 2014-10-29 2022-04-19 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US20220142484A1 (en) 2014-10-29 2022-05-12 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US9717417B2 (en) 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US11206388B2 (en) 2014-12-01 2021-12-21 Sony Corporation Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
WO2016087589A1 (en) 2014-12-03 2016-06-09 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
US9990472B2 (en) 2015-03-23 2018-06-05 Ohio State Innovation Foundation System and method for segmentation and automated measurement of chronic wound images
US11037070B2 (en) 2015-04-29 2021-06-15 Siemens Healthcare Gmbh Diagnostic test planning using machine learning techniques
WO2016196224A1 (en) 2015-05-29 2016-12-08 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
WO2016203470A1 (en) 2015-06-15 2016-12-22 Agrowing Ltd Multispectral imaging apparatus
WO2017026296A1 (ja) 2015-08-10 2017-02-16 株式会社リコー 試料測定装置
CN113694077A (zh) 2015-08-13 2021-11-26 索马根尼科斯公司 用于伤口愈合的短小发夹rna与微rna的组合物以及方法
WO2017053609A1 (en) 2015-09-22 2017-03-30 Hypermed Imaging, Inc. Methods and apparatus for imaging discrete wavelength bands using a mobile device
CN108882896B (zh) 2015-09-23 2022-05-27 史赛克欧洲运营有限公司 用于评定组织的治愈的方法和系统
EP3367887A4 (en) 2015-10-28 2019-05-22 Spectral MD Inc. TIME-RESOLVED MULTISPECTRAL OPTICAL IMAGING METHODS, REFLECTIVE MODE AND FABRIC CLASSIFICATION APPARATUSES
NL2015804B1 (en) 2015-11-17 2017-06-02 Quest Photonic Devices B V Hyperspectral 2D imaging device.
US10572997B2 (en) 2015-12-18 2020-02-25 Given Imaging Ltd. System and method for detecting anomalies in an image captured in-vivo using color histogram association
US11660012B2 (en) 2016-04-15 2023-05-30 The Regents Of The University Of California Assessment of wound status and tissue viability via analysis of spatially resolved THz reflectometry maps
GB2550582B (en) 2016-05-23 2020-07-15 Bluedrop Medical Ltd A skin inspection device identifying abnormalities
US10013811B2 (en) 2016-06-13 2018-07-03 Umm-Al-Qura University Hyperspectral image visualization in patients with medical conditions
US10838190B2 (en) 2016-06-21 2020-11-17 Sri International Hyperspectral imaging methods and apparatuses
WO2018018160A1 (en) 2016-07-29 2018-02-01 Novadaq Technologies ULC Methods and systems for characterizing tissue of a subject utilizing machine learning
US10223788B2 (en) 2016-08-31 2019-03-05 International Business Machines Corporation Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
US10248713B2 (en) 2016-11-30 2019-04-02 Business Objects Software Ltd. Time series analysis using a clustering based symbolic representation
US10469772B2 (en) 2016-12-27 2019-11-05 Urugus S.A. Hyper-spectral imaging when observed object is still
US10145740B2 (en) 2017-02-27 2018-12-04 Visera Technologies Company Limited Sensing multiple peak wavelengths using combination of dual-band filters
US10806334B2 (en) 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
US20220240783A1 (en) 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
US11003933B2 (en) 2017-08-15 2021-05-11 Noblis, Inc. Multispectral anomaly detection
EP3697300A4 (en) 2017-10-17 2020-10-14 Kronikare Pte Ltd SYSTEM AND METHOD FOR FACILITATING ANALYSIS OF A WOUND IN A TARGET SUBJECT
CN111356909B (zh) 2017-11-16 2023-07-04 多传感器科学公司 用于使用扫描照明器及光学传感器进行多光谱成像及气体检测的系统及方法
US20190290117A1 (en) 2018-03-22 2019-09-26 Kabushiki Kaisha Topcon Interferometric fundus imaging method
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
KR20210099126A (ko) 2018-12-14 2021-08-11 스펙트랄 엠디, 인크. 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법
JP7261883B2 (ja) 2018-12-14 2023-04-20 スペクトラル エムディー，インコーポレイテッド 創傷の評価、治癒予測および治療のための機械学習システム
EP4110166A4 (en) 2020-02-28 2024-03-27 Spectral Md Inc MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT
WO2022015597A1 (en) 2020-07-13 2022-01-20 Spectral Md, Inc. Spectral imaging systems and methods for histological assessment of wounds
EP4314739A1 (en) 2021-03-30 2024-02-07 Spectral MD, Inc. System and method for high precision snapshot multi-spectral imaging based on multiplexed illumination

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054768A1 (ko) * 2021-09-30 2023-04-06 주식회사 피플앤드테크놀러지 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법
KR20230111468A (ko) 2022-01-18 2023-07-25 부경대학교 산학협력단 기계학습을 이용한 흉터 조직 영역 검출을 위한 장치 및 방법
WO2023195831A1 (ko) * 2022-04-08 2023-10-12 (주)파인헬스케어 병원에서 욕창 상태를 결정하고 치료하기 위한 장치 및 장치의 동작 방법

Also Published As

Publication number Publication date
JP7261883B2 (ja) 2023-04-20
EP3893733A4 (en) 2022-10-12
WO2020123724A1 (en) 2020-06-18
CN113260303A (zh) 2021-08-13
JP2022513486A (ja) 2022-02-08
BR112021011132A2 (pt) 2021-08-31
JP2023085517A (ja) 2023-06-20
EP3893733A1 (en) 2021-10-20
WO2020123724A4 (en) 2020-08-06
US11948300B2 (en) 2024-04-02
US20230222654A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
US10783632B2 (en) Machine learning systems and method for assessment, healing prediction, and treatment of wounds
JP7261883B2 (ja) 創傷の評価、治癒予測および治療のための機械学習システム
US20230181042A1 (en) Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
US11182888B2 (en) System and method for high precision multi-aperture spectral imaging
US20230148951A1 (en) Spectral imaging systems and methods for histological assessment of wounds
US20230206413A1 (en) System and method for high precision multi-aperture spectral imaging
US9619883B2 (en) Systems and methods for evaluating hyperspectral imaging data using a two layer media model of human tissue
CN108471949A (zh) 组织分类用反射模式多光谱时间分辨光学成像方法和设备
Shen et al. Open-source mobile multispectral imaging system and its applications in biological sample sensing
US11686618B2 (en) Hyperspectral imaging method and device
CN107822592A (zh) 用于测量组织氧合的系统和方法
WO2023141216A2 (en) System and method for topological characterization of tissue

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal