TWI747372B - 偵測臨床表徵的方法以及影像系統 - Google Patents

偵測臨床表徵的方法以及影像系統 Download PDF

Info

Publication number
TWI747372B
TWI747372B TW109123389A TW109123389A TWI747372B TW I747372 B TWI747372 B TW I747372B TW 109123389 A TW109123389 A TW 109123389A TW 109123389 A TW109123389 A TW 109123389A TW I747372 B TWI747372 B TW I747372B
Authority
TW
Taiwan
Prior art keywords
image
patient
rgb
subject
detecting
Prior art date
Application number
TW109123389A
Other languages
English (en)
Other versions
TW202115678A (zh
Inventor
蘇東弘
周承復
陳善青
Original Assignee
仁寶電腦工業股份有限公司
國立臺灣大學醫學院附設醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 仁寶電腦工業股份有限公司, 國立臺灣大學醫學院附設醫院 filed Critical 仁寶電腦工業股份有限公司
Publication of TW202115678A publication Critical patent/TW202115678A/zh
Application granted granted Critical
Publication of TWI747372B publication Critical patent/TWI747372B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0257—Proximity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Dermatology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本發明提供一種偵測臨床表徵的方法及影像系統。本方法之影像系統具有RGB影像感測器以及處理裝置影像系統。藉由RGB影像感測器將能夠擷取患者或受檢者的影像以產生RGB影像，而藉由處理裝置則能利用RGB影像來偵測患者或受檢者的臨床表徵。

Description

偵測臨床表徵的方法以及影像系統
本發明是關於一種用於偵測臨床表徵的技術。
在現代醫學中，視診與觀察是醫護人員進行臨床檢查的第一步。一般情況下，從醫護人員一見到患者或受檢者時即開始視診，而整個視診過程會持續到醫護人員為病患或受檢者身體檢查完畢為止。
揭露一套用於偵測臨床表徵的方法及影像系統。
根據例示性的實施例之一，此發明所提出的方法應用於具有RGB影像感測器及處理裝置的影像系統。方法包含以下步驟：藉由RGB影像感測器擷取患者或受檢者的影像以產生RGB影像，及藉由處理裝置透過分析RGB影像來偵測患者或受檢者的臨床表徵。
根據例示性的實施例之一，影像系統包括RGB影像感測器及具有記憶體及處理器的處理裝置。RGB影像感測器用於擷取患者或受檢者的身體特定部位以產生RGB影像，記憶體用於儲存資料，處理器則用於分析RGB影像並偵測患者或受檢者的臨床表徵。
為了使本發明的前述特徵及優點便於理解，下文將詳細描述帶有附圖的一些實施例。而前部分的大略敘述與這之後的詳細描述都將基於一些實施例，目的為盡可能的對所提出之發明提供說明與解釋。
如同一般專利構想揭露書，此摘要文件雖然無法包含關於本發明之所有層面之實施例，但並不代表此文件將以任何方式進行限制或限定本發明。此外，本發明將包含所屬領域的技術人員認為容易或明顯各種可能的改良與修改。 【圖例的簡要說明】
隨附圖例可以幫助提供對本發明的進一步理解，而圖例已併入於本說明書中且構成本說明書的一部分。圖例是用於幫助說明本發明的實施例，且連同本說明書所提的具體實施方式一起用以解釋本發明的原理。
圖1說明根據本發明的例示性實施例中的一個影像系統的示意圖。
圖2說明根據本發明的例示性實施例中的一個偵測臨床表徵之方法的流程圖。
圖3說明根據本發明的例示性實施例中的一個關於正面臉部影像的感興趣區域（regions of interests，ROI）之識別方法。
圖4說明根據本發明的例示性實施例中的一個關於側面臉部影像的ROI之識別方法。
圖5說明根據本發明的例示性實施例中的一個關於舌部影像的ROI之識別方法。
圖6說明根據本發明的例示性實施例中的一個關於耳部影像的ROI之識別方法。
圖7說明根據本發明的例示性實施例中的一個關於手掌影像的ROI之識別方法。
圖8說明根據本發明的例示性實施例中的一個關於手背影像的ROI之識別方法。
圖9說明根據本發明的例示性實施例中的一個關於顏色校準的架構。
圖10說明根據本發明的例示性實施例中的一個關於影像系統的示意圖。
圖11說明根據本發明的例示性實施例中的一個用於偵測臨床表徵之平台的功能圖。
圖12說明根據本發明的例示性實施例中的一個基於深度學習神經網路（deep learning neural network，DNN）的關鍵區域定位之架構。
圖13說明根據本發明的例示性實施例中的一個基於深度學習神經網路的區域分類之架構。
圖14說明根據本發明的例示性實施例中的一個基於深度學習神經網路的異常區域偵測之架構。
圖15說明根據本發明的例示性實施例中的一個用於建議進一步檢查的整合式推薦系統。
圖16說明根據本發明的例示性實施例中的一個病患臨床結果預測架構。
圖17說明根據本發明的例示性實施例中的一個用於建議進一步檢查的整合式推薦系統之簡化版。
圖18說明根據本發明的例示性實施例中的一個病患臨床結果預測架構之簡化版。
為使本申請案的上述特徵及優點更容易理解，如下將詳細描述帶有附圖的若干實施例。
數位醫療的發展使得醫療模式能自精準醫療提升至精準健康。對於使用者而言，能夠隨時監測他或她自身的健康狀況是有益且有其需求的。
如本文中所描述，視診、觀察、以及檢查在本發明的範疇內，其經由本文中所揭露的方法及系統來實施。而受檢者可被評估的項目包括：發育狀況、營養狀況、體型、身體狀況、心理狀態、臉部表情、坐姿、站姿與身體姿態。針對特定目的進行身體特定部位的視診，提供身體徵象和重要資訊，並以此來幫助臨床推理及診斷。
視診通常自頭部檢查開始，其主要涉及頭部、眼、耳、鼻、喉/口以及頸部。手部、四肢以及皮膚亦提供重要線索以評估潛在慢性病或急性病。即使在沒有特定設備的情況下，某些疾病的外部表現在詳細視診下即可被直接看見。專業醫護人員可將經由視診所獲得的資訊與患者的病史以及當前健康狀況整合在一起協助診療。
視診包含識別身體部位界標、量測大小、與其他界標的相對定位、形狀、位置、排列、顏色、對稱性以及不常見的特徵。而較長時間的視診則有助於偵測受檢者的動作問題及呼吸型態。
在現代醫學中，視診及觀察是臨床檢查的第一步，其通常自頭部檢查開始。然而，視診常是根據醫師多年經驗而所做的主觀診斷，需要多年的訓練及臨床執業。另一方面，對於患有急性疾病、慢性疾病或是無法獲得充足醫療保健服務之區域或情況下的受檢者而言，自我健康監測是非常重要的。
在本發明中，將提出客觀且有效的自我健康檢測，包括影像系統以及檢測方法，用以偵測有意義的臨床表徵，以提供與受檢者健康狀況相關的早期、細微但關鍵的資訊。而此資訊將有助於醫護人員或使用者發現與健康狀況或某些疾病相關的異常身體徵象，且可探索疾病發作之前新穎的身體表徵。
以下將會更詳細的描述本發明的一些實施例和與其相對應的圖例，然而並非本申請案之所有範例皆呈現於此。實際上，本發明的各種實施例可以多種不同形式實施，且不應受限於本文中所闡述的實施例；確切地說，提供這些不同的實施例是為了使本專利申請書符合法律需求。此文中，相同的參考數字表示相同的元件。此外，術語「患者」及「受檢者」在本發明中會交替使用。
圖1說明根據本發明的例示性實施例中的一個影像系統的示意圖。在圖1中首先介紹影像處理器的一些所選定組件及其配置。結合圖2更詳細地揭露組件的功能。
參考圖1，影像系統100將包含RGB影像感測器110及處理裝置120。處理裝置120將包含記憶體122及處理器124。記憶體122將用於儲存影像、程式化之程式碼、設置值或者類似的資料，而記憶體可為任何形式的固定或可動裝置，諸如隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體、硬碟機或其他類似裝置、積體電路或上述的組合。
在一些實施例中，處理器124用於執行臨床表徵之偵測，而處理器包含了一至多個的北橋、南橋、場域可編程邏輯閘陣列（field programmable array，FPGA）、可程式化邏輯裝置（programmable logic device，PLD）、特殊應用積體電路（application specific integrated circuit，ASIC）、其他類似裝置或上述的組合。在一些實施例中，處理器124可為中央處理器（central processing unit，CPU）、可程式化通用或專用微處理器、數位訊號處理器（digital signal processor，DSP）、圖形處理器（graphics processing unit，GPU），或其他類似裝置、積體電路或上述的組合。
在一個例示性實施例中，RGB影像感測器110及處理裝置120可整合於影像系統100中，使之成為一個一體式裝置，如智慧型手機、平板電腦等等。在另一例示性實施例中，處理裝置120也可為桌上型電腦、膝上型電腦、伺服器電腦、平板電腦（tabular computer）、工作站、雲端儲存器以及計算裝置、能夠經由通信介面以有線或無線的方式連接至RGB影像感測器110的電腦系統或平台。在一些實施例中，通信介面為能夠與任何有線或無線通信標準相容，並使之可與其他裝置傳輸資料的一個傳輸介面。
圖2說明根據本發明的例示性實施例中的一個偵測臨床表徵之方法的流程圖。在一些實施例中，圖2的步驟可藉由如圖1中所說明的影像系統100來實施。
參考圖1與圖2，RGB影像感測器110將擷取患者或受檢者的影像以產生RGB影像（步驟S202）。於本文中，RGB影像感測器110可採集受檢者的臉部或身體部位的RGB影像。接下來，處理裝置120中的處理器124將利用RGB影像來偵測患者或受檢者的臨床表徵（步驟S204）。在一個例示性實施例中，處理器124可將RGB影像的輸入尺寸設定為具有MRGB × NRGB × 3像素，並將之用於偵測受檢者的臨床表徵。在另一例示性實施例中，處理器124可進一步藉由使用獨立成分分析（independent-component analysis，ICA）技術自RGB影像提取黑色素成分及血紅素成分，以此產生黑色素影像及血紅素影像，下一步則將RGB影像連同黑色素影像及血紅素影像一起設定為尺寸具有MRGB × NRGB × 5像素的輸入資料，並用於偵測受檢者的臨床表徵。在收集輸入資料後，處理器124可基於來自現代西醫及中醫的知識來識別感興趣區域（regions of interests，ROI）中的臨床表徵。在一個例示性實施例中，處理器124將進一步地把患者或受檢者的臨床表徵與他/她的醫療記錄整合在一起。下文將說明特定範例。
圖3說明根據本發明的例示性實施例中的一個關於正面臉部影像的ROI之識別方法。
參考圖3，可自正面臉部影像310識別多種ROI。而正面臉部影像310中的ROI可包含前額320、鼻根330、鼻樑340、鼻尖及鼻翼350、口部360、眼部及眼白370、臉頰380、眉390、全臉部392以及頸部394。
圖4說明根據本發明的例示性實施例中的一個關於側面臉部影像的ROI之識別方法。
參考圖4，側面臉部影像410中的ROI可包含頸部420及下頜430。
圖5說明根據本發明的例示性實施例中的一個關於舌部影像的ROI之識別方法。
參考圖5，舌部影像510或正面臉部影像310中的ROI可包含舌根520、舌體530、舌尖540以及舌側550。
圖6說明根據本發明的例示性實施例中的一個關於耳部影像的ROI之識別方法。
參考圖6，耳部影像610或側面臉部影像410中的ROI可包含耳垂620、耳輪及三角窩630、對耳輪640、耳甲650、對耳屏660、外耳道670以及耳屏680。
圖7說明根據本發明的例示性實施例中的一個關於手掌影像的ROI之識別方法。
參考圖7，手掌影像710中的ROI可包含拇指指間關節摺痕720、拇指掌指關節摺痕725、食指遠端730、食指近端735、中指遠端740、中指近端745、無名指遠端750、無名指近端755、小指遠端760、小指近端765、魚際隆起770、小魚際隆起775。
圖8說明根據本發明的例示性實施例中的一個關於手背影像的ROI之識別方法。
參考圖8，手背影像810中的ROI可包含拇指指甲820、拇指遠端指間關節825、食指指甲830、食指近端指間關節835、中指指甲840、中指近端指間關節845、無名指指甲850、無名指近端指間關節855、小指指甲860以及小指近端指間關節865。
而在一些實施例中，顏色校準可做為對RGB影像執行臨床表徵偵測之前的前處理步驟。圖9說明根據本發明的例示性實施例中的一個關於顏色校準的架構。
參考圖9，為了能提供對於影像中外部皮膚顏色的客觀測量，影像擷取之地點為一具有可控光源的診間，且該診間不受外部光源影響或僅受有所限度之外部光源影響，此外還包含了顏色檢查器910（例如一張具有24個不同顏色色塊的卡片）將於影像擷取時使用。一旦擷取了包含受檢者以及顏色檢查器910的影像，就能夠利用顏色單應性映射的方式在擷取的影像920上應用顏色校準演算法930，以產生顏色校準之影像940。對於在不同光源下對於受檢者影像所進行的識別與分析，顏色校準能使結果更穩定。而在一些實施例中，具有預定大小的顏色檢查器亦將用作於測量所擷取之影像920中，ROI的相對大小。根據傳統中醫的五行理論950，五個顏色分別可以關聯到體內五個作用各不相同之身體器官。舉例來說，紅色是與心臟相關的顏色 - 當心臟活動增加時臉部顏色變紅。類似地，白色與肺功能相關，黃色與脾臟功能和胃功能相關，綠色與肝功能相關，藍色則與腎功能相關。顏色校準架構將能夠有效的確保後續分析時影像顏色的正確性。
圖10說明根據本發明例示性實施例中的一個關於影像系統的示意圖。
參考圖10，一個多模態的影像系統1010，其形式可以為一個智慧鏡或者其他類型的裝置，其中可包含一個RGB影像感測器1020、一個高光譜影像感測器1030以及一個熱影像感測器1040。RGB影像感測器1020對於受檢者的多個不同臉部與身體部位，將擷取高解析度之三通道RGB影像及影片1022。在一些實施例中，當擷取影像及影片時，一個用於穩定鏡子的支架可以幫助減少擷取影像時的晃動。影像上可以提供身體部位之顏色、色調與形態的資訊，而影片上則可提供連續時間的動態資訊，例如呼吸型態、眼球運動、手部震顫等等。高光譜影像感測器1030將擷取受檢者多個不同臉部與身體部位的高光譜影像1032，此影像是蒐集人體皮膚所反射之可見連續光譜之快速取像技術（例如於少於兩秒或更快的時間內在410奈米至700奈米之間每隔10奈米擷取一張影像）來進行3D高光譜影像重建。LED光源1050將用於在擷取深度圖以及皮膚影像時，為全可見光光譜提供充足的照明，足夠的照明是成功顏色校準的重要基礎。距離感測器1052將根據RGB影像感測器1020、高光譜影像感測器1030以及熱影像感測器1040的光學特性來量測感測器和受檢者之間的距離並進一步建議可能的最佳距離以及提供身體形態特徵的尺寸定量資訊。通過光學分析1034，分別對定量的黑色素1036、血氧飽和度1037以及血液與總血紅素分布1038產生三個高解析度影像（MH × NH × 3像素）。熱影像感測器1040將擷取受檢者的影像並產生具有較低解析度（MT × NT × 1像素）的熱影像1042以量測人體皮膚的溫度。由來自RGB影像感測器1020的三通道RGB影像、來自高光譜影像感測器1030的黑色素影像、血氧飽和度影像、血液與總血紅素分布影像，以及來自熱影像感測器1040的熱影像，都將藉由傳統的影像配准演算法1060重新按比例進行調整與校準，並產生尺寸為MR × NR × 7像素的配准影像1070，以此作為後續分析的輸入資料。而當僅使用RGB感測器1020時，僅會將三個通道（MR × NR × 3）的影像用作於後續分析的輸入資料且不需要影像配准。類似地，當僅使用RGB感測器1020與熱感測器1040時，僅會產生四個通道（MR × NR × 4）的影像作為後續分析的輸入資料，而當僅使用RGB感測器1020與高光譜感測器1030時，僅會產生六個通道（MR × NR × 6）的影像作為後續分析的輸入資料。
圖11說明根據本發明的例示性實施例中的一個用於偵測臨床表徵之平台的功能圖。
參考圖11，一個影像系統（例如智慧型手機或平板電腦1110的單模態光學裝置，或是多模態的影像系統1120）、網路伺服器1130以及臨床表徵偵測平台1140。在此例示性實施例中，臨床表徵偵測平台1140可藉由網路伺服器1130來操作，而臨床表徵偵測平台1140包含了基於深度學習神經網路的關鍵區域定位1141、基於深度學習神經網路的區域分類1142、基於深度學習神經網路的異常區域偵測1143，並產生偵測到的臨床表徵1144的集合。在一些實施例中，受檢者可使用顏色檢查器1111及影像系統（1110或1120）的引導軟體以擷取他或她的正面臉部1131、舌部特寫1132、臉部的右側1133、臉部的左側1134、手掌1135、手背1136、右耳特寫1137以及左耳特寫1138的影像與影片。能夠提供有用臨床資訊的臉部區域影像除了正面與側面的臉部以外，頭髮、頸部以及肩部等亦能提供有用的臨床資訊。所收集的影像及影片將會自動上傳至網路伺服器1130。隨後利用基於現代醫療知識結合深度學習神經網路的關鍵區域定位1141來識別ROI。使用本文中所揭露的系統及裝置，分別收集並分類健康個體及患有特定疾病之受檢者的影像作為對照組及實驗組，並利用基於深度學習神經網路的區域分類演算法1142來判定在健康個體及患病的受檢者兩組之間，在哪些區域上的表現不同。在各組之間具有辨別能力的ROI可用來確認現有知識，或者用於發現新的證據來解釋觀察到的臨床表徵，並且推斷發生疾病的病因。在一些實施例中，亦可藉由基於深度學習神經網路的異常區域偵測1143來偵測異常區域。在一些實施例中，這些異常區域由醫療專家及醫生進行標記，這些異常區域大部分發生於患者中，但有時亦發生於健康個體中。藉由將基於深度學習神經網路的關鍵區域定位1141、基於深度學習神經網路的區域分類1142以及基於深度學習神經網路的異常區域偵測1143的輸出合併，成為臨床表徵的整合1144作為平台的主要輸出。這些臨床表徵會基於醫療記錄中的臨床表徵表示法（Clinical Sign Representation in Medical Records，CSRMR）1151以文字為主的醫療記錄方式來表示，且基於深度學習神經網路的推薦檢查1152及患者結果預測1153將作為平台的二級輸出。圖12至圖18中提供了更多臨床表徵偵測平台1140的細節，將更有助於理解。
圖12說明根據本發明的例示性實施例中的一個基於深度學習神經網路的關鍵區域定位之架構。
參考圖12，基於深度學習神經網路的區域定位架構1210將使用由包含醫師以及資料科學領域的專家所標記之標註良好的資料集。利用基於深度學習神經網路的定位演算法，例如單次多框偵測器（single shot multibox detector，SSD）、YOLO或快速的R-CNN，以此配准影像1220進行關鍵ROI 1230的偵測。而在一些實施例中，這些關鍵ROI 1230的區域在不同的患者之間可能會存在些微的大小差異。
圖13說明根據本發明的例示性實施例中的一個基於深度學習神經網路的區域分類之架構。
參考圖13，由於大多數當前最新的深度學習神經網路架構（例如AlexNet、VGGNet以及ResNet）通常使用長寬尺寸為224 × 224像素的輸入，因此首先在圖12中的關鍵ROI 1230上執行墊零使區域成為方形，使得影像進行縮放後仍能保持影像特徵的長寬比。接著，將方形區域之長寬尺寸調整至大小224 × 224，並將7個通道1320（包含來自RGB影像感測器的紅色/綠色/藍色通道、來自熱影像感測器的熱通道以及來自高光譜影像感測器的黑色素/血氧飽和度/血液與總血紅素分布通道）饋入至基於深度學習神經網路的區域分類架構1310中，以判定健康族群及患病族群之間的差異1330。在一些實施例中，全部7個通道皆被使用，以識別病患之臨床表徵會出現的重要的特徵以及潛在的病因。此種先進行區域定位，並接續區域分類的方法，適用於所有圖3至圖8中的所有臉部、舌部與手部影像。
圖14說明根據本發明的例示性實施例中的一個基於深度學習神經網路的異常區域偵測之架構。
參考圖14，基於深度學習神經網路的異常區域定位架構1410使用由醫療專家及醫生所標記之標註良好的資料集，以此來識別出異常區域，這些異常區域可能具有如表1、表2以及表3中所列出之在皮膚或其他身體部位上具有的異常形態、溫度、血液與總血紅素、血氧飽和度或黑色素分布。本文中，表1提供基於頭部檢查的臨床表徵及醫學病況清單。表2提供具有異常溫度、血液與總血紅素、血氧飽和度或黑色素分布的臨床表徵清單。表3提供了三個不同模態之影像感測器所擷取的臨床表徵清單，而這三個影像感測器分別為RGB影像感測器、熱影像感測器以及高光譜影像感測器臨床表徵。而類似於圖12中的關鍵區域定位架構1210，異常區域定位架構1410會將配准影像1420作為輸入，並輸出異常ROI 1430，而這些異常ROI可在患者及健康個體二者中被識別。 表1：基於頭部檢查的臨床表徵及醫學病況清單。
索引 身體部位 臨床表徵 醫學病況
T1-1 臉部 皮膚或嘴唇蒼白 貧血
T1-2 臉部 臉部變色 皮疹、雀斑或白斑病
T1-3 臉部 臉部變色分布情形 皮疹、雀斑或白斑病
T1-4 臉部 臉部變色區域 皮疹、雀斑或白斑病
T1-5 臉部 嘴唇及舌部濕潤度或乾裂 脫水
T1-6 臉部 前額、眼部周圍以及口部周圍的皺紋 老化
T1-7 臉部 髮色 老化
T1-8 臉部 臉部痤瘡 皮膚病狀
T1-9 臉部 臉部痤瘡分布情形 皮膚病狀
T1-10 臉部 臉部痤瘡數目 皮膚病狀
T1-11 臉部 臉部對稱/不對稱 神經疾病，諸如臉部麻痺、抽動或中風
T1-12 臉部 圓形臉部 滿月臉
T1-13 臉部 鼻及嘴唇的大小 肢端肥大症
T1-14 臉部 頰部肌肉豐滿程度 營養狀況或惡病體質
T1-15 臉部 局部性腫大 特定位置的腫瘤
T1-16 臉部 臉部腫大的位置 特定位置的腫瘤
T1-17 臉部 眉毛、鼻、嘴唇以及耳朵的相對位置 遺傳病症
T1-18 臉部 相對於頸部及身體的頭部位置 頸部肌肉無力
T1-19 臉部 臉部表情 疼痛
T1-20 臉部 髮際線後退 禿髮
T1-21 臉部 臉部一側向下垂 貝爾氏麻痹（臉部麻痺）
T1-22 臉部 異常的肌肉痙攣和身體患部彎曲或扭曲 肌張力不全症
T1-23 臉部 頸部隨機地痙攣和頭部扭曲到不舒服的位置 頸肌張力不全症（痙攣性斜頸）
T1-24 臉部 四肢顫抖、肌肉僵硬、平衡問題以及說話困難 帕金森氏症
T1-25 臉部 不自主的動作及聲音抽搐 妥瑞氏症候群
T1-26 眼部 眼白黃色且與血清膽紅素含量相關 黃疸
T1-27 眼部 眼球紅色（結膜下區域） 結膜下出血或結膜炎
T1-28 眼部 眼部及眼袋下部的黑暗區域 過敏或失眠
T1-29 眼部 眼部突起 甲狀腺功能亢進或其他眼部疾病
T1-30 眼部 上部眼瞼下垂 重症肌無力或其他眼部疾病
T1-31 眼部 瞳孔的自發運動 眼球震顫或其他神經、眼部以及耳部疾病
T1-32 眼部 眼瞼周圍黃色結節 皮膚下的淡黃色膽固醇集合或黃色瘤，預測高脂血症
T1-33 眼部 眉的大小長度 甲狀腺功能低下：眉長度短於眼睛（眼外眥）與甲狀腺功能低下相關且可用以代表為甲狀腺功能低下
T1-34 眼部 眼眶周圍區域的腫脹或水腫 甲狀腺眼病變、過敏或腎臟疾病或心臟病
T1-35 眼部 在閉合眼部時，眼瞼抽動或震顫 甲狀腺功能亢進
T1-36 眼部 不能完全閉合眼瞼（兔眼） 甲狀腺疾病或貝爾氏麻痺
T1-37 眼部 眼瞼抽搐 眼瞼痙攣
T1-38 眼部 眼瞼內翻（瞼內翻） 眼部感染、發炎或肌肉無力
T1-39 眼部 眼瞼外翻（瞼外翻） 肌肉無力、臉部麻痺或遺傳病症（例如唐氏症）
T1-40 眼部 眼瞼腫脹或發紅 眼部感染、發炎（例如麥粒腫、眼瞼炎）
T1-41 眼部 角膜上的三角形組織 翼狀贅肉或眼瞼裂斑
T1-42 眼部 虹膜前方存在發白、灰色或藍色的弧線或環 老化（例如老年環）
T1-43 眼部 眼瞼發炎 眼瞼炎
T1-44 耳部 耳廓發青 發紺
T1-45 耳部 耳廓蒼白或發紅 血管舒張不穩定
T1-46 耳部 耳廓組織突起 耳前皮膚贅瘤，為正常的變異
T1-47 耳部 沿耳廓邊緣的少量發白的尿酸結晶 痛風
T1-48 耳部 耳廓周圍皮膚隆起及有小開口 皮脂囊腫
T1-49 耳部 耳朵位置較低或者角度異常 遺傳症候群（例如，唐氏症、特納症候群（Turner syndrome）、努南症候群（Noonan syndrome）、巴陶氏症候群（Patau syndrome）、迪喬治氏症候群（DiGeorge syndrome）、貓哭症（Cri du chat syndrome）、愛德華症候群（Edwards syndrome）以及X染色體脆折症）或腎臟異常
T1-50 鼻 鼻樑凹陷 鼻骨斷裂或先前的鼻軟骨發炎
T1-51 鼻 鼻翼搧動 呼吸窘迫
T1-52 鼻 吸氣時鼻孔變窄，及用口呼吸 慢性鼻阻塞
T1-53 口部 乾燥及破裂的嘴唇 脫水（例如唇炎）
T1-54 口部 口部邊角的深裂紋 感染、刺激、營養缺乏（鐵及維生素B）
T1-55 口部 口部過度閉合 嘴角浸潤發炎
T1-56 口部 嘴唇腫脹 感染或過敏（血管性水腫）
T1-57 口部 嘴唇蒼白 貧血
T1-58 口部 口周圍蒼白 甲型鏈球菌感染所致的猩紅熱
T1-59 口部 發紺（藍紫色嘴唇） 與呼吸道或心臟血管病況相關聯的缺氧
T1-60 口部 嘴唇及頰黏膜上有圓形、橢圓形或不規則的藍灰色斑點 黑斑息肉症候群
T1-61 口部 病灶、斑塊、囊泡、結節以及潰瘍 感染、刺激或皮膚癌
T1-62 皮膚 蒼白的色調 貧血
T1-63 皮膚 黃色的色調 黃疸或胡蘿蔔素血症
T1-64 皮膚 藍色的色調 低氧血症
T1-65 皮膚 眼部及眼袋下部的黑暗區域 過敏或失眠
T1-66 皮膚 皮膚腫脹/繃緊或帶有眩光的光滑表面 水腫
T1-67 皮膚 疤 損傷
表2：具有異常溫度、血液與總血紅素、血氧飽和度或黑色素分布的臨床表徵清單
索引 身體部位 臨床表徵 醫學病況
T2-1 特定關鍵區域或任何其他身體部位 高溫或低溫 複雜疼痛症候群
T2-2 特定關鍵區域或任何其他身體部位 高溫或低溫 運動損傷
T2-3 特定關鍵區域或任何其他身體部位 高溫或低溫 類風濕性關節炎
T2-4 特定關鍵區域或任何其他身體部位 高溫或低溫 發熱篩查
T2-5 特定關鍵區域或任何其他身體部位 高溫或低溫 燒傷
T2-6 特定關鍵區域或任何其他身體部位 高溫或低溫 皮膚移植
T2-7 特定關鍵區域或任何其他身體部位 極端血流量 血友病或其他與血流量相關的病況
T2-8 特定關鍵區域或任何其他身體部位 血流量不足 循環不佳或其他與血流量相關的病況
T2-9 特定關鍵區域或任何其他身體部位 高血含量 腫瘤或其他與血氧含量相關疾病
T2-10 特定關鍵區域或任何其他身體部位 低血含量 循環不佳或其他與血氧含量相關疾病
T2-11 特定關鍵區域或任何其他身體部位 高含量黑色素 皮膚色素沉著或其他與黑色素相關的病況
T2-12 特定關鍵區域或任何其他身體部位 低含量黑色素 白化病或其他與黑色素相關的病況
表3：由包含RGB影像感測器、熱影像感測器、高光譜影像感測器的三個不同模態之影像感測器，所擷取的臨床表徵清單
索引 身體部位 醫學病況 於RGB影像中所呈現之臨床表徵 - 大小、形狀、對稱、病變、形態、相對位置 於高光譜影像中所呈現之臨床表徵 - 血液、灌流、氧合、色素沉著 於熱影像中所呈現之臨床表徵 - 溫度、發炎、發燒
T3-1 臉部 貧血 皮膚/嘴唇顏色蒼白 血液之訊號減少 溫度降低
T3-2 皮膚 皮膚癌 色素沉著 色素沉著 溫度升高
T3-3 皮膚 創傷 創傷形狀、特性 血液之訊號改變 溫度改變
T3-4 皮膚 血管炎 顏色、特性 血流增加 溫度升高
T3-5 手部 發紺 皮膚顏色偏藍 含氧量減少 溫度降低
T3-6 腿部 周邊動脈阻塞疾病 皮膚顏色蒼白 血流量及氧合量減少 溫度降低
T3-7 關節 發炎 關節顏色發紅、變形 血流量增大 溫度升高
此外，表4描述了於表1至表3的臨床表徵及醫學病況的集合。此清單稱為臨床表徵之文字醫療紀錄（Clinical Sign Representation in Medical Record，CSRMR），為一種新穎且基於文字為主之醫療記錄中臨床表徵的表示方式，且可針對每一患者進行重新審閱。將基於圖像的臨床表徵轉化為基於文字為主的醫療記錄(臨床表徵之文字醫療紀錄)，則可利用深度學習神經網路或其他機器學習方法來處理這些資訊以進行檢查推薦以及臨床結果預測。 表4：描述於表1至表3中的臨床表徵及醫學病況的集合
索引 身體部位 臨床表徵 醫學病況 患者核對
T1-1 臉部 皮膚或嘴唇蒼白 貧血 是或否
T1-2~67 … … … 是或否
T2-1 特定關鍵區域或任何其他身體部位 高溫或低溫 複雜疼痛症候群 是或否
T2-2~12 … … … 是或否
T3-1 臉部 皮膚/嘴唇的顏色、低血液含量、灌流不佳、溫度較低 貧血 是或否
T3-2~7 … … … 是或否
圖15說明根據本發明的例示性實施例中的一個用於進一步檢查的整合式推薦系統1510。
參考圖15，鑒於所收集的影像1520，所有ROI 1550將由關鍵區域定位1530及異常區域偵測1540處理，而這些基於影像的ROI，可藉由臨床表徵之文字醫療紀錄(CSRMR) 1560轉換成一組新的基於文字為主的醫療記錄，且這些資訊可在快速健康照護互通資源（Fast Healthcare Interoperability Resources，FHIR）格式1570（下文稱作「FHIR格式醫療記錄」）中進一步表示。FHIR是一種廣泛用來描述電子病歷（Electronic Health Record，EHR）的數據格式，其能將資料以一致、分層以及彈性的方式表示，並用於患者的結果預測。使用此表示法作為輸入，利用基於深度學習神經網路的預測模型1575或其他機器學習分類器（例如自組織映射），能針對患者產生推薦的檢查1580。此整合式推薦系統使用由醫療專家及醫生所標記的標註良好的資料集，以針對患有特定醫學病況的患者來推薦的合適的檢查。
圖16說明根據本發明的例示性實施例中的一個病患結果預測架構1610。
參考圖16，鑒於所收集的影像1620，經由關鍵區域定位1630及異常區域偵測1640識別所有ROI 1650，而這些ROI可藉由臨床表徵之文字醫療紀錄(CSRMR) 1660轉換為一組新的醫療記錄。此資訊可與患者的原始醫療記錄（包含患者基本資料以及醫療資料）1670合併，從而以FHIR格式1675進一步表示。FHIR格式醫療記錄將饋入至基於深度學習神經網路的預測模型1680或其他機器學習分類器（例如基於遞歸神經網路的架構）中，以輸出患者的預測結果1690，例如死亡、再入院、住院天數、推斷出院診斷或其他患者的臨床結果估計。
圖17說明根據本發明的例示性實施例中的一個用於進一步檢查的整合式推薦系統之簡化版1710。
參考圖17，鑒於所收集的影像1720，經由關鍵區域定位1730識別所有關鍵ROI 1740。所有關鍵ROI在沒有包含異常ROI（其中影像的數目可能會因患者的狀況而有所不同）的情況下可饋入至基於深度學習神經網路的預測模型1750或其他機器學習分類器（例如自組織映射）中以產生推薦檢查1760。類似於圖15，此整合式推薦系統使用由醫療專家及醫生所標記的標註良好的資料集，以針對患有特定醫學病況的患者來推薦合適的檢查。
圖18說明根據本發明的例示性實施例中的一個病患結果預測架構之簡化版1810。
參考圖18，鑒於所收集的影像1820，所有關鍵ROI 1840將由關鍵區域定位1830識別。在沒有異常ROI的情況下，影像的數目可能會因患者而有所不同，關鍵ROI可饋入至基於深度學習神經網路的預測模型1850或其他機器學習分類器（例如基於遞歸神經網路的架構）中，以輸出患者的預測結果1860，例如死亡、再入院、住院天數、推斷出院診斷或其他對於患者臨床結果估計。
如上所說明，影像系統可為單模態的光學裝置，諸如智慧型電話或平板電腦上的消費者等級RGB照相機，或根據一些實施例，可為具有熱影像感測器或高光譜影像感測器等額外模組的更全面的影像設備。臨床表徵之資訊可自患者的頭部、眼部、耳朵、鼻、喉部/口部、舌部、頸部、手部、四肢、皮膚以及任何身體部位獲得臨床表徵，臨床表徵可提供重要線索以評估潛在醫學病況，而前部分所說明之系統則可以偵測表1中所列出的臨床表徵清單。
在實際應用中，本文中所揭露的系統及裝置能廣泛地使用於尚未就診前的在家用戶，以及作為在老人安養中心及療養院中的遠距醫療設備使用。另外，其也可由醫師使用於影像記錄檢測（而非僅是文字敘述），其能提供更精確、可轉移並可重複使用，以及此病患在不同時間健康狀態比較的功能。之後的系統將更全面且可偵測表2及表3中所列的額外的臨床表徵。在一些實施例中會使用更複雜及更昂貴的系統，其將用於醫療中心及教學醫院且提供用於精準健康及精準醫學的關鍵資訊。與其他先前的研究相比，本文所揭露的系統可基於影像、影片以及機器學習分析（例如基於深度學習神經網路的計算模型），來偵測更多種類與更全面的臨床表徵的集合，並進一步推薦檢查及預測臨床結果。
在使用中，將會藉由使用RGB影像感測器擷取患者的影像以產生RGB影像，而處理裝置將會基於RGB影像來偵測患者的臨床表徵。
鑒於上述描述，此影像系統與分析方法將可以由頭部或任何其他身體部位的檢查以偵測有意義的臨床表徵，這些表徵可以提供患者健康狀況相關的細微且關鍵的訊息。從而使得患者能夠理解他/她的健康狀況，且可藉由非侵入式及方便的方式來發現疾病的早期階段。
用於本申請案所揭露之發明中的範例，其中所詳細描述的元件、動作或指令不應解釋成對本發明來說為絕對關鍵或必要的，除非有明確地如此描述。另外，於本文中所使用的不定冠詞「一」，其可以包含一個以上項目。若欲表示僅有一個項目，則將使用術語「單一」或類似文字。此外，於本文中所使用的「任何」，當其後接續了多個項目或多個類別，則其意同於「任何」、「任何組合」、「任何倍數」和/或「多個倍數的任何組合」的類別或項目。另外，於本文中所使用的術語「集合」，其可表示包含任何數目的項目，且也包含零個。另外，於本文中所使用的術語「數目」，其包含任何數目，其中也包含零個。
對於本領域技術人員顯而易見的是，將可以在不脫離本發明的範疇或精神的情況下，對所揭露之範例的結構進行各種修改和變化。鑒於前述內容，本發明所涵蓋的範圍包括了本發明的修改及改變，其限制條件為所述修改及改變屬於以下申請專利範圍及其等效物的範疇內。
100:影像系統 110:RGB影像感測器 120:處理裝置 122:記憶體 124:處理器 310:正面臉部影像 320:前額 330:鼻根 340:鼻樑 350:鼻尖及鼻翼 360:口部 370:眼部及眼白 380:臉頰 390:眉 392:全臉部 394、420:頸部 410:側面臉部影像 430:下頜 510:舌部影像 520:舌根 530:舌體 540:舌尖 550:舌側 610:耳部影像 620:耳垂 630:耳輪及三角窩 640:對耳輪 650:耳甲 660:對耳屏 670:外耳道 680:耳屏 710:手掌影像 720:拇指指間關節摺痕 725:拇指掌指關節摺痕 730:食指遠端 735:食指近端 740:中指遠端 745:中指近端 750:無名指遠端 755:無名指近端 760:小指遠端 765:小指近端 770:魚際隆起 775:小魚際隆起 810:手背影像 820:拇指指甲 825:拇指遠端指間關節 830:食指指甲 835:食指近端指間關節 840:中指指甲 845:中指近端指間關節 850:無名指指甲 855:無名指近端指間關節 860:小指指甲 865:小指近端指間關節 910:顏色檢查器 920:擷取的影像 930:顏色校準演算法 940:顏色校準影像 950:傳統中醫的五行理論 1010:多模態影像系統 1020:RGB影像感測器 1022:RGB影像 1030:高光譜影像感測器 1032:高光譜影像 1034:光學分析 1036:黑色素 1037:血氧飽和度 1038:血液與總血紅素 1040:熱影像感測器 1042:熱影像 1050:LED光源 1052:距離感測器 1060:影像配准演算法 1070、1220、1420:配准影像 1110:平板電腦 1120:多模態影像系統 1130:網路伺服器 1131:正面臉部 1132:舌部特寫 1133:臉部的右側 1134:臉部的左側 1135:手掌 1136:手背 1137:右耳特寫 1138:左耳特寫 1140:臨床表徵偵測平台 1141:基於深度學習神經網路的關鍵區域定位 1142:基於深度學習神經網路的區域分類 1143:基於深度學習神經網路的異常區域偵測 1144:臨床表徵集合 1151:臨床表徵之文字醫療紀錄 1152:基於深度學習神經網路的推薦檢查 1153:患者結果預測 1210:基於深度學習神經網路的區域定位架構 1230、1740、1840:關鍵ROI 1310:基於深度學習神經網路的區域分類架構 1320:基於深度學習神經網路的區域分類輸入 1330:基於深度學習神經網路的區域分類輸出 1410:基於深度學習神經網路的異常區域定位架構 1420:基於深度學習神經網路的異常區域定位輸入 1430:基於深度學習神經網路的異常區域定位輸出異常ROI 1510:整合式推薦系統 1520、1620、1720、1820:所收集的影像 1530、1630、1730、1830:關鍵區域定位 1540、1640:異常區域偵測 1550、1650:所有ROI集合 1560、1660:CSRMR臨床表徵之文字醫療紀錄 1570、1675:FHIR format快速健康照護互通資源格式 1575、1680、1750、1850:基於深度學習神經網路的預測模型 1580、1760:推薦檢查 1610:結果預測架構 1670:患者的原始醫療記錄（包含基本資料及醫療資料） 1690、1860:患者的預測結果 1710:整合式推薦系統之簡化版 1810:結果預測架構之簡化版 S202:擷取患者或受檢者的影像以產生RGB影像 S204:基於RGB影像而偵測患者或受檢者的臨床表徵
S202:擷取患者或受檢者的影像以產生RGB影像
S204:利用RGB影像來偵測患者或受檢者的臨床表徵

Claims (23)

  1. 一種偵測臨床表徵的方法，適用於具有RGB影像感測器及處理裝置的影像系統，所述方法包括：藉由所述RGB影像感測器擷取患者或受檢者的臉部或身體部位的影像以產生RGB影像；以及藉由所述處理裝置基於所述RGB影像而偵測所述患者或受檢者的臨床表徵。
  2. 如請求項1之偵測臨床表徵的方法，其中在產生所述RGB影像的步驟之後，所述方法更包括：將每一RGB通道中的所述RGB影像設定為用於偵測所述患者或受檢者的所述臨床表徵的輸入。
  3. 如請求項1之偵測臨床表徵的方法，其中在產生所述RGB影像的所述步驟之後，所述方法更包括：自所述RGB影像提取黑色素成分及血紅素成分以產生黑色素影像及血紅素影像；以及將每一RGB通道中的所述RGB影像、所述黑色素影像以及所述血紅素影像設定為用於偵測所述患者或受檢者的所述臨床表徵的輸入。
  4. 如請求項1之偵測臨床表徵的方法，其中基於所述RGB影像而偵測所述患者或受檢者之所述臨床表徵的步驟包括：基於深度學習神經網路(deep learning neural network，DNN)的定位演算法而自所述RGB影像定位至少一個關鍵感興趣區域(region of interest，ROI)；基於深度學習神經網路的分類演算法自所述RGB影像判定 至少一個異常ROI；以及基於所述關鍵ROI及所述異常ROI中的至少一者而識別所述臨床表徵。
  5. 如請求項4之偵測臨床表徵的方法，更包括：將所述至少一個關鍵ROI饋入至機器學習分類器以產生所述患者或受檢者的預測結果。
  6. 如請求項4之偵測臨床表徵的方法，更包括：將所述至少一個關鍵ROI饋入至機器學習分類器以產生用於所述患者或受檢者的推薦檢查。
  7. 如請求項4之偵測臨床表徵的方法，更包括：將所述至少一個關鍵ROI及所述至少一個異常ROI轉換為基於文字為主的醫療記錄；將所述基於文字為主的醫療記錄轉換為FHIR格式醫療記錄；以及將所述FHIR格式醫療記錄饋入至機器學習分類器以產生用於所述患者或受檢者的推薦檢查。
  8. 如請求項4之偵測臨床表徵的方法，更包括：將所述至少一個關鍵ROI及所述至少一個異常ROI轉換為基於文字為主的醫療記錄；獲得所述患者或受檢者的原始醫療記錄，其中所述原始醫療記錄包括基本資料及醫療資料；將所述基於文字為主的醫療記錄及所述原始醫療記錄合併且轉換為經合併的FHIR格式醫療記錄；以及將所述FHIR格式醫療記錄饋入至機器學習分類器以產生所 述患者或受檢者的預測結果。
  9. 如請求項1之偵測臨床表徵的方法，其中所述影像系統更包括熱影像感測器，且其中所述方法更包括：藉由所述熱影像感測器擷取所述患者或受檢者的影像以產生熱影像。
  10. 如請求項9之偵測臨床表徵的方法，其中在產生所述RGB影像的所述步驟之後，所述方法更包括：將每一RGB通道中的所述RGB影像及所述熱影像設定為用於偵測所述患者或受檢者的所述臨床表徵的輸入。
  11. 如請求項1之偵測臨床表徵的方法，其中所述影像系統更包括高光譜影像感測器，且其中所述方法更包括：藉由所述高光譜影像感測器擷取所述患者或受檢者的影像以產生高光譜影像。
  12. 如請求項11之偵測臨床表徵的方法，其中在產生所述RGB影像的所述步驟之後，所述方法更包括：自所述高光譜影像提取黑色素體積分率、血氧飽和度以及總血紅素體積分率以產生所述黑色素影像、血氧飽和度影像以及血液與總血紅素影像；以及將每一RGB通道中的所述RGB影像、所述黑色素影像、所述血氧飽和度影像以及所述血液與總血紅素影像設定為用於偵測所述患者或受檢者的所述臨床表徵的輸入。
  13. 如請求項1之偵測臨床表徵的方法，其中所述影像系統更包括熱影像感測器及高光譜影像感測器，且其中所述方法更包括： 藉由所述熱影像感測器及所述高光譜影像感測器擷取所述患者或受檢者的影像以分別產生熱影像及高光譜影像。
  14. 如請求項13之偵測臨床表徵的方法，其中在產生所述RGB影像的所述步驟之後，所述方法更包括：自所述高光譜影像提取定量的黑色素、血氧飽和度以及血液與總血紅素分布以產生所述黑色素影像、所述血氧飽和度影像以及所述血液與血紅素分布影像；以及將每一RGB通道中的所述RGB影像、所述熱影像、所述黑色素影像、所述血氧影像以及所述血紅素影像設定為用於偵測所述患者或受檢者的所述臨床表徵的輸入。
  15. 如請求項1之偵測臨床表徵的方法，其中所述影像系統更包括光源及顏色檢查器，且其中藉由所述RGB影像感測器擷取所述患者或受檢者的所述影像以產生RGB影像的步驟更包括：控制所述光源；藉由所述RGB影像感測器擷取所述患者或受檢者及顏色檢查器的影像；以及在所述患者或受檢者及所述顏色檢查器的所述擷取的影像上應用顏色校準演算法以產生所述RGB影像。
  16. 如請求項15之偵測臨床表徵的方法，其中具有預定大小的所述顏色檢查器用作相對參考以判定所述擷取的影像中的至少一個感興趣區域(ROI)的大小。
  17. 如請求項1之偵測臨床表徵的方法，其中所述影像系統更包括距離感測器，且其中在藉由所述RGB影像感測器擷取 所述患者或受檢者的所述影像的所述步驟之前，所述方法更包括：藉由所述距離感測器建議在所述RGB感測器與所述患者或受檢者之間的最佳距離。
  18. 如請求項1之偵測臨床表徵的方法，其中所述RGB影像為頭部影像或任何其他身體部位的影像。
  19. 一種影像系統，包括：RGB影像感測器，用於擷取患者或受檢者的臉部或身體部位的影像以產生RGB影像；以及處理裝置，包括：記憶體，用於儲存資料；以及處理器，用於自所述RGB影像感測器獲得所述RGB影像且基於所述RGB影像而偵測所述患者或受檢者的臨床表徵。
  20. 如請求項19之影像系統，更包括：熱影像感測器，用於擷取所述患者或受檢者的影像以產生用於偵測所述臨床表徵的熱影像。
  21. 如請求項19之影像系統，更包括：高光譜影像感測器，用於擷取所述患者或受檢者的影像以產生用於偵測所述臨床表徵的高光譜影像。
  22. 如請求項19之影像系統，更包括：光源，在影像擷取期間可控制其亮度，以及顏色檢查器，其中所述RGB影像感測器擷取所述患者或受檢者及所述顏色檢查器的影像，且所述處理裝置將顏色校準演算法應用於所述擷取的影像上以產生經校準的RGB影像。
  23. 如請求項19之影像系統，更包括：距離感測器，用於量測在所述RGB感測器與所述患者或受檢者之間的距離，且建議在所述RGB感測器與所述患者或受檢者之間的最佳距離。
TW109123389A 2019-07-10 2020-07-10 偵測臨床表徵的方法以及影像系統 TWI747372B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962872695P 2019-07-10 2019-07-10
US62/872,695 2019-07-10

Publications (2)

Publication Number Publication Date
TW202115678A TW202115678A (zh) 2021-04-16
TWI747372B true TWI747372B (zh) 2021-11-21

Family

ID=74101534

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123389A TWI747372B (zh) 2019-07-10 2020-07-10 偵測臨床表徵的方法以及影像系統

Country Status (2)

Country Link
US (1) US11779222B2 (zh)
TW (1) TWI747372B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12014500B2 (en) 2019-04-14 2024-06-18 Holovisions LLC Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
US11699514B2 (en) * 2020-05-27 2023-07-11 International Business Machines Corporation Predictive dual machine translation
CN112971718A (zh) * 2021-02-05 2021-06-18 北京鹰之眼智能健康科技有限公司 证候识别方法、装置、电子设备及存储介质
TWI796684B (zh) * 2021-05-03 2023-03-21 中國醫藥大學 非侵入性血紅素濃度評估方法及其評估系統
CN113598761B (zh) * 2021-05-10 2024-10-08 浙江大学台州研究院 一种基于ccd的双波长红外血氧检测系统
US11354924B1 (en) * 2021-05-17 2022-06-07 Vr Media Technology, Inc. Hand recognition system that compares narrow band ultraviolet-absorbing skin chromophores
CN113486737A (zh) * 2021-06-22 2021-10-08 卓尔智联(武汉)研究院有限公司 一种检测方法、装置、检测设备及存储介质
JP7525851B2 (ja) 2021-06-30 2024-07-31 サイロスコープ インコーポレイテッド 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム
US20230020654A1 (en) * 2021-07-16 2023-01-19 Mindset Medical, Inc. Intelligent medical assessment and communication system with artificial intelligence
US20230060942A1 (en) * 2021-08-26 2023-03-02 Hypatia Group, Inc. Health Monitoring System with Precision Eye-Blocking Filter
WO2023057232A1 (en) * 2021-10-04 2023-04-13 Biotronik Se & Co. Kg System and method for supporting a patient's health control
CN116916813A (zh) * 2021-10-12 2023-10-20 杏泽科技股份有限公司 用于生理信号数据与位置信息收集及呈现的方法以及实现该方法的服务器及系统
TWI810680B (zh) * 2021-10-18 2023-08-01 長庚醫療財團法人林口長庚紀念醫院 前後骨盆放射影像分析方法及系統
CN113888540B (zh) * 2021-12-06 2022-03-18 深圳市海谱纳米光学科技有限公司 一种用于人脸皮肤成分图像的分离方法和系统
CN114240934B (zh) * 2022-02-21 2022-05-10 深圳大学 一种基于肢端肥大症的图像数据分析方法及系统
JPWO2023181527A1 (zh) * 2022-03-23 2023-09-28
CN116077024B (zh) * 2023-02-20 2023-07-07 北京鹰之眼智能健康科技有限公司 基于头部红外图像的数据处理方法、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM569679U (zh) * 2018-07-13 2018-11-11 昇雷科技股份有限公司 Physiological signal detection robot
TW201902411A (zh) * 2017-06-09 2019-01-16 多田智裕 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19844045A1 (de) 1998-09-25 2000-03-30 Panz Ulla Monika Anordnung und Verfahren zum Beleuchten einer Hautpartie eines Probanden
US7283106B2 (en) 2004-08-02 2007-10-16 Searete, Llc Time-lapsing mirror
US9155373B2 (en) 2004-08-02 2015-10-13 Invention Science Fund I, Llc Medical overlay mirror
TWI296110B (en) 2004-12-31 2008-04-21 Committee On Chinese Medicine And Pharmacy Dept Of Health Tongue diagnosis systems and methods
CN1758257A (zh) 2005-09-27 2006-04-12 叶声 以医学影像为中心的医学信息管理和搜寻系统
US20080139966A1 (en) 2006-12-07 2008-06-12 The Hong Kong Polytechnic University Automatic tongue diagnosis based on chromatic and textural features classification using bayesian belief networks
CN101496715B (zh) 2008-01-29 2012-12-05 上海道生医疗科技有限公司 中医面色诊断仪
US20090226059A1 (en) * 2008-02-12 2009-09-10 Richard Levenson Tissue Processing And Assessment
CN101999881B (zh) 2009-09-01 2013-04-03 上海道生医疗科技有限公司 中医望诊检测装置
CN101999879B (zh) 2009-09-01 2013-01-23 上海道生医疗科技有限公司 中医舌面象数据采集装置
US20110152663A1 (en) 2009-12-22 2011-06-23 Kabushiki Kaisha Toshiba Medical image diagnostic apparatus, medical image display device, personal information management system
US9788917B2 (en) 2010-03-17 2017-10-17 ClearCorrect Holdings, Inc. Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning
CN101828905B (zh) 2010-05-13 2011-08-24 南京航空航天大学 中医色诊系统
KR101220399B1 (ko) 2010-10-01 2013-01-09 한국 한의학 연구원 통합정보를 이용한 체질정보 분석방법
WO2012096109A1 (ja) 2011-01-11 2012-07-19 株式会社 東芝 画像診断装置、画像診断方法、医用画像サーバ及び医用画像保存方法
TW201301075A (zh) 2011-06-29 2013-01-01 Medincom Technology Corp 醫療影像知識管理系統與其知識內容產生方法
WO2013116316A1 (en) 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
TWI492737B (zh) 2012-12-11 2015-07-21 Ind Tech Res Inst 生理資訊量測系統及其方法
EP2762066A1 (en) * 2013-02-05 2014-08-06 Koninklijke Philips N.V. System and method for determining vital sign information of a subject
CN104969543B (zh) 2013-02-14 2019-04-02 松下知识产权经营株式会社 电子镜装置
CN110009635B (zh) 2013-03-13 2023-04-28 Fdna公司 用于在对象可能受医学状况影响时进行鉴别的系统、方法和计算机可读介质
US20140320611A1 (en) 2013-04-29 2014-10-30 nanoLambda Korea Multispectral Multi-Camera Display Unit for Accurate Color, Multispectral, or 3D Images
KR101523843B1 (ko) 2013-09-24 2015-05-29 한국 한의학 연구원 설진기 재현성 측정 장치 및 방법
US20160210746A1 (en) 2013-10-01 2016-07-21 Konica Minolta, Inc. Organ imaging device
US20160157725A1 (en) * 2014-12-08 2016-06-09 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
US9750420B1 (en) 2014-12-10 2017-09-05 Amazon Technologies, Inc. Facial feature selection for heart rate detection
CN107205663A (zh) * 2015-01-19 2017-09-26 皇家飞利浦有限公司 用于皮肤检测的设备、系统和方法
US9848780B1 (en) 2015-04-08 2017-12-26 Google Inc. Assessing cardiovascular function using an optical sensor
CN104825136B (zh) 2015-05-26 2018-08-10 高也陶 传统中医面区色部信息采集及分析系统和方法
US10395300B2 (en) 2015-12-21 2019-08-27 International Business Machines Corporation Method system and medium for personalized expert cosmetics recommendation using hyperspectral imaging
CN108430326A (zh) 2015-12-22 2018-08-21 皮克特鲁斯公司 基于图像确定胆红素
CA3013959C (en) * 2016-02-17 2024-05-28 Nuralogix Corporation System and method for detecting physiological state
US10579203B2 (en) 2016-04-13 2020-03-03 Intel Corporation Wellness mirror
US20170319148A1 (en) 2016-05-04 2017-11-09 Mimitec Limited Smart mirror and platform
CN106691388A (zh) 2017-01-10 2017-05-24 武汉大学 一种用于中医面诊的图像采集装置
TWI627940B (zh) 2017-01-16 2018-07-01 華廣生技股份有限公司 Physiological parameter monitoring system
US10052026B1 (en) 2017-03-06 2018-08-21 Bao Tran Smart mirror
US11026634B2 (en) 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters
US10922395B2 (en) * 2018-01-05 2021-02-16 Stmicroelectronics, Inc. Facial authentication systems and methods utilizing time of flight sensing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201902411A (zh) * 2017-06-09 2019-01-16 多田智裕 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
TWM569679U (zh) * 2018-07-13 2018-11-11 昇雷科技股份有限公司 Physiological signal detection robot

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
;蔡心怡;黃國政;張漢釗;張中興，"應用於人體血氧濃度分析的皮膚影像檢測法"， 第13屆全國AOI論壇與展覽， https://aoiea.itri.org.tw/tc/knowledge_1_in.aspx?id=534&chk=63ecb4^&rn^c6-d8ea-49af-bbd2-429929a93665¶m=pn%3D16%26key%3D (全文下載)，2018/03/09 *
Esteva A, Kuprel B, Novoa RA, et al. "Dermatologist-level classification of skin cancer with deep neural networks", Nature, 2017, vol. 542, p115-8 *
Esteva A, Kuprel B, Novoa RA, et al. "Dermatologist-level classification of skin cancer with deep neural networks", Nature, 2017, vol. 542, p115-8。
蔡心怡;黃國政;張漢釗;張中興，"應用於人體血氧濃度分析的皮膚影像檢測法"， 第13屆全國AOI論壇與展覽， https://aoiea.itri.org.tw/tc/knowledge_1_in.aspx?id=534&chk=63ecb4^&rn^c6-d8ea-49af-bbd2-429929a93665¶m=pn%3D16%26key%3D (全文下載)，2018/03/09。

Also Published As

Publication number Publication date
TW202115678A (zh) 2021-04-16
US20210007606A1 (en) 2021-01-14
US11779222B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
TWI747372B (zh) 偵測臨床表徵的方法以及影像系統
US10219736B2 (en) Methods and arrangements concerning dermatology
Sanyal et al. Algorithms for monitoring heart rate and respiratory rate from the video of a user’s face
Jeong et al. Introducing contactless blood pressure assessment using a high speed video camera
Hegde et al. Autotriage-an open source edge computing raspberry pi-based clinical screening system
Casalino et al. A mHealth solution for contact-less self-monitoring of blood oxygen saturation
US10004410B2 (en) System and methods for measuring physiological parameters
US20140313303A1 (en) Longitudinal dermoscopic study employing smartphone-based image registration
US20160188831A1 (en) Capturing data for individual physiological monitoring
EP2987106A1 (en) Physiologic data acquisition and analysis
JP2007125151A (ja) 診断システム及び診断装置
CN106202943A (zh) 一种健康分析设备、服务器及系统
WO2006064635A1 (ja) 診断システム
CN110960193A (zh) 基于面部和舌部图像采集的中医诊断分析系统及其方法
Bae et al. Quantitative screening of cervical cancers for low-resource settings: pilot study of smartphone-based endoscopic visual inspection after acetic acid using machine learning techniques
WO2016067892A1 (ja) 健康度出力装置、健康度出力システムおよびプログラム
KR20220146251A (ko) 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법
Khanam et al. Non-contact automatic vital signs monitoring of neonates in NICU using video camera imaging
KR102123121B1 (ko) 사용자의 신원 파악이 가능한 혈압 모니터링 방법 및 시스템
US20100150405A1 (en) System and method for diagnosis of human behavior based on external body markers
Stogiannopoulos et al. A non-contact SpO 2 estimation using video magnification and infrared data
Talukdar et al. Evaluation of a camera-based monitoring solution against regulated medical devices to measure heart rate, respiratory rate, oxygen saturation, and blood pressure
KR102132959B1 (ko) 사용자의 신원 파악이 가능한 심박동수 모니터링 방법 및 시스템
Khalili Moghaddam et al. Ex vivo biosignatures
Hernandez et al. Stress measurement from tongue color imaging