TWI806152B - 基於深度學習的遠端舌診方法及電腦程式產品以及裝置 - Google Patents

基於深度學習的遠端舌診方法及電腦程式產品以及裝置 Download PDF

Info

Publication number
TWI806152B
TWI806152B TW110133841A TW110133841A TWI806152B TW I806152 B TWI806152 B TW I806152B TW 110133841 A TW110133841 A TW 110133841A TW 110133841 A TW110133841 A TW 110133841A TW I806152 B TWI806152 B TW I806152B
Authority
TW
Taiwan
Prior art keywords
mentioned
convolutional neural
tongue diagnosis
doctor
deep learning
Prior art date
Application number
TW110133841A
Other languages
English (en)
Other versions
TW202217843A (zh
Inventor
顏士淨
陳文鋕
邱顯棟
葉士誠
林鈺錦
李宸綾
Original Assignee
國立東華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立東華大學 filed Critical 國立東華大學
Publication of TW202217843A publication Critical patent/TW202217843A/zh
Application granted granted Critical
Publication of TWI806152B publication Critical patent/TWI806152B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)

Abstract

本發明涉及一種基於深度學習的遠端舌診方法、電腦程式產品以及裝置。該方法由處理單元執行，包含：通過網路從客戶端裝置接收看病請求和看病資訊，上述看病資訊包含拍攝照片；將拍攝照片輸入多個局部偵測卷積神經網路以獲取關聯於拍攝照片中的舌頭的多個類別的分類結果；在顯示單元上顯示遠端舌診應用程式的畫面，其中，上述畫面包含多個類別的分類結果；獲取相應於多個類別的分類結果的醫囑；以及通過網路回覆醫囑給客戶端裝置。通過如上所述的使用多個局部偵測卷積神經網路進行舌診，可提升遠端醫療的正確性。

Description

基於深度學習的遠端舌診方法及電腦程式產品以及裝置
本發明涉及智慧疾病診斷，尤指一種基於深度學習的遠端舌診方法及電腦程式產品以及裝置。
舌診是一種通過目視檢查舌頭和其各種表現的疾病和病徵的診斷方法，舌頭提供反映體內器官狀態的重要線索。就像中醫的其他診斷方法，舌診是以“外在反映內在”的原則為基礎，外在的構造通常反映內在的構造，並且能夠提供我們內部失和的重要訊號。傳統上，圖像辨識方法常用來完成電腦化舌診，然而，這只能辨識出與顏色相關的有限舌頭特徵。因此，本發明提出一種基於深度學習的遠端舌診方法及電腦程式產品以及裝置，用於辨認出較圖像辨識方法更多的舌頭特徵，提升遠端醫療的正確性。
有鑑於此，如何減輕或消除上述相關領域的缺失，實為有待解決的問題。
本說明書涉及一種基於深度學習的遠端舌診方法的實施例，以處理單元執行，包含：通過網路從客戶端裝置接收看病請求和看病資訊，上述看病資訊包含拍攝照片；將拍攝照片輸入多個局部偵測卷積神經網路以獲取關聯於拍攝照片中的舌頭的多個類別的分類結果，其中，多個局部偵測卷積神經網路的數目等於多個類別的數目，每個局部偵測卷積神經網路只用於產生一個類別的分類結果；在顯示單 元上顯示遠端舌診應用程式的畫面，其中，上述畫面包含多個類別的分類結果；獲取相應於多個類別的分類結果的醫囑；以及通過網路回覆醫囑給客戶端裝置。
本說明書還涉及一種電腦程式產品的實施例，包含在被處理單元載入並執行時完成如上所述方法的程式碼。
本說明書還涉及一種基於深度學習的遠端舌診裝置的實施例，包含：通訊介面；顯示單元；以及處理單元。處理單元用於通過通訊介面和網路從客戶端裝置接收看病請求和看病資訊，上述看病資訊包含拍攝照片；將拍攝照片輸入多個局部偵測卷積神經網路以獲取關聯於拍攝照片中的舌頭的多個類別的分類結果，其中，多個局部偵測卷積神經網路的數目等於多個類別的數目，每個局部偵測卷積神經網路只用於產生一個類別的分類結果；在顯示單元上顯示遠端舌診應用程式的畫面，其中，上述畫面包含多個類別的分類結果；獲取相應於多個類別的分類結果的醫囑；以及通過通訊介面和網路回覆醫囑給客戶端裝置。
上述實施例的優點之一，通過如上所述的使用多個局部偵測卷積神經網路進行舌診，可提升遠端醫療的正確性。
本發明的其他優點將搭配以下的說明和圖式進行更詳細的解說。
110:訓練裝置
120:訓練影像
125:驗證影像
130:舌診模型
140:平板電腦
150:拍攝照片
30:舌診應用程式的畫面
310:預覽視窗
320:儲存按鈕
330:離開按鈕
340:結果視窗
350:類別名稱提示
360:分類結果
410:處理單元
420:顯示單元
430:輸入裝置
440:儲存裝置
450:記憶體
460:通訊介面
S510~S550:方法步驟
S610~S670:方法步驟
S710~S730:方法步驟
S810~S860:方法步驟
90:遠端舌診系統
900:網路
910:遠端舌診電腦
930:桌上型電腦
950:平板電腦
970:手機
1000:遠端看病應用程式的畫面
1010:照片預覽視窗
1022:症狀下拉選單
1024:症狀文字輸入框
1030:用藥情形文字輸入框
1040:儲存按鈕
1050:上傳按鈕
1060:離開按鈕
1100:就診者
1200:QR碼
1300:遠端舌診應用程式的畫面
1312:預覽視窗
1314:綜合分析結果視窗
1322:打開按鈕
1324:儲存按鈕
1326:回覆病患按鈕
1328:離開按鈕
1330:類別名稱提示
1340:分類結果
1350:症狀視窗
1360:用藥情形視窗
1370:醫囑文字輸入框
S1410~S1450:方法步驟
S1532~S1538:方法步驟
圖1為依據本發明實施例的兩階段示意圖。
圖2為依據本發明實施例的舌診示意圖。
圖3為依據本發明實施例的舌診應用程式的畫面示意圖。
圖4為依據本發明實施例的訓練裝置和平板電腦的硬體架構圖。
圖5和圖6為依據本發明實施例的深度學習的方法流程圖。
圖7和圖8為依據本發明實施例的基於深度學習的舌診方法的流程圖。
圖9為依據本發明實施例的遠端舌診系統的系統架構圖。
圖10為依據本發明實施例的遠端看病應用程式的畫面示意圖。
圖11為依據本發明實施例的就診者自拍示意圖。
圖12為依據本發明實施例的藥物容器示意圖。
圖13為依據本發明實施例的遠端舌診應用程式的畫面示意圖。
圖14和圖15為依據本發明實施例的基於深度學習的遠端舌診方法的流程圖。
以下說明為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如”第一”、”第二”、”第三”等詞是用來修飾權利要求中的元件，並非用來表示之間具有優先順序，前置關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
必須了解的是，當元件描述為”連接”或”耦接”至另一元件時，可以是直接連結、或耦接至其他元件，可能出現中間元件。相反地，當元件描述為”直接連接”或”直接耦接”至另一元件時，其中不存在任何中間元件。使用來描述元件之間關係的其他語詞也可類似方式解讀，例如”介於”相對於”直接介於”，或者是”鄰接”相對於”直接鄰接”等等。
在一些實施方式中，舌診應用程式可使用圖像辨識演算法來辨認出影像中的舌頭具有何種特徵，傳統上，這樣的演算法對與顏色高度相關的特徵上，例如，“舌色”、“苔色”等，具有較佳的辨識結果。但是，對於與顏色較不高度相關的特徵上，例如，“舌型”、“舌苔”、 “津液”、“齒痕舌”、“朱點”、“瘀點”及“裂紋舌”等，則辨認效果不佳。
為了克服圖像辨識演算法的缺點，本發明的實施例提出以深度學習為基礎的舌診方法，分為三個階段：訓練階段、驗證階段和實時判斷階段。參考圖1，在訓練階段，訓練裝置110接收多個包含舌頭的影像120(又可稱為訓練影像)，以及每個影像在多個類別項目上的標籤。雖然圖1的影像120是灰階圖片，但這只是作為範例說明，所屬技術領域人員可輸入高解析度的全彩影像作為訓練的來源。類別項目可包含“舌色”、“舌型”、“苔色”、“舌苔”、“津液”、“齒痕舌”、“朱點”、“瘀點”及“裂紋舌”。的工程師可操作訓練裝置110的人機介面(Man Machine Interface，MMI)，針對每個影像120為每個類別加上標籤(Tag)。例如，針對舌色類別，可標記為“淡紅”、“紅”、“淡白”或“紫暗”。針對舌型類別，可標記為“中等”、“胖大”、“歪斜”或“瘦薄”。針對苔色類別，可標記為“白”、“黃”或“灰”。針對舌苔類別，可標記為“薄苔”、“厚苔”、“膩苔”或“剝苔”。針對津液類別，可標記為“平”、“多”或“少”。針對齒痕舌類別，可標記為“是”或“否”。針對朱點類別，可標記為“是”或“否”。針對瘀點類別，可標記為“是”或“否”。針對裂紋舌類別，可標記為“是”或“否”。每個影像120及其在每個類別上的標籤會以特定資料結構儲存在訓練裝置110中的非揮發性儲存裝置。接著，訓練裝置110中的處理單元載入並執行相關程式碼，用於依據影像120及其在每個類別上的標籤進行深度學習(Deep Learning)，並且深度學習後產生的舌診模型130會進一步接受驗證。
在驗證階段，訓練裝置110接收多個包含舌頭的影像125(又可稱為驗證影像)，每個影像在多個類別項目上的標籤，以及驗證影像125的答案。接著，將驗證影像125輸入到已經訓練好的舌診模型130，用以將驗證影像150經過適當的影像前處理後，在不同類別上 分類。訓練裝置110可比較驗證影像150的答案和舌診模型130的分類結果，依據結果判斷舌診模型130的準確度是否通過驗證。如果通過驗證，則將舌診模型130提供給平板電腦140；否則，調整深度學習的參數後重新訓練。
參考圖2，在實時判斷階段，醫師可拿起平板電腦140對準就診者拍照。平板電腦所執行的舌診應用程式可將拍攝照片150輸入到已經驗證過的舌診模型130，用以將拍攝照片150經過適當的影像前處理後，在不同類別上分類。平板電腦140上的螢幕會顯示出每個類別的分類結果，接著，醫師根據顯示結果對就診者做更深入的詢問及診斷。
參考圖3，舌診應用程式的畫面30包含預覽視窗310、按鈕320和330、結果視窗340、類別名稱提示350和分類結果360。預覽視窗310顯示平板電腦上的相機所拍攝到的就診者的照片。類別名稱提示350，例如包含“舌色”、“舌型”、“苔色”、“舌苔”、“津液”、“齒痕舌”、“朱點”、“瘀點”及“裂紋舌”，並且在類別名稱提示250的下方顯示其分類結果360。結果視窗340還顯示分類結果360的綜合分析的文字描述。當按下“儲存”按鈕320時，舌診應用程式將拍攝照片150和分類結果360以指定資料結構儲存到儲存裝置。當按下“離開”按鈕330時，結束舌診應用程式。
圖4係依據本發明實施例的運算裝置的系統架構圖。此系統架構可實施於訓練裝置110和平板電腦140中之任一者，至少包含處理單元410。處理單元410可使用多種方式實施，例如以專用硬體電路或通用硬體(例如，單一處理器、具平行處理能力的多處理器、圖形處理器或其他具運算能力的處理器)，並且在執行程式碼或軟體時，提供之後所描述的功能。系統架構另包含記憶體450及儲存裝置440，記憶體450儲存程式碼執行過程中需要的資料，例如，待分析的影像、變數、資料表(Data Tables)、舌診模型130等，儲存裝置440 可以是硬碟、固態硬碟、閃存記憶碟等，用於儲存各式各樣的電子檔案，例如影像120及其在每個類別上的標籤、舌診模型130、拍攝照片150和其分類結果360等。系統架構另包含通訊介面460，讓處理單元410可藉以跟其他電子裝置進行溝通。通訊介面460可以是無線電信通訊模組(Wireless Telecommunications Module)、區域網路(Local Area Network,LAN)通訊模組或無線區域網路通訊模組(WLAN)。無線電信通訊模組(Wireless Telecommunications Module)可包含支援2G、3G、4G、5G或以上技術世代的任意組合的調變解調器(Modem)。輸入裝置430可包含鍵盤、滑鼠、觸控面板等。使用者(例如，醫師、就診者或工程師)可按壓鍵盤上的硬鍵來輸入字元，藉由操作滑鼠來控制鼠標，或者是在觸控面板製造手勢來控制執行中的應用程式。手勢可包含單擊、雙擊、單指拖曳、多指拖曳等，但不限定於此。系統架構包含顯示單元420，而顯示單元420包含顯示面板(例如，薄膜液晶顯示面板、有機發光二極體面板或其他具顯示能力的面板)，用以顯示輸入的字元、數字、符號、拖曳鼠標的移動軌跡或應用程式所提供的畫面，提供給使用者觀看。
在平板電腦140中，輸入裝置430還可包含攝像頭，用於感測特定焦距上的R、G、B光線強度，並依據感測到的值產生就診者的拍攝照片150。平板電腦140的一面上可設置顯示面板，用於顯示舌診應用程式的畫面30，並且在另一面上設置攝像頭。
在訓練階段的一些實施例中，深度學習的結果(也就是舌診模型130)可為卷積神經網路(Convolutional Neural Network，CNN)。卷積神經網路是一種簡化人工神經網路(Artificial Neural Network，ANN)的架構，把一些在圖像處理中實際上用不到的參數給過濾掉，使得相較於深度神經網路(Deep Neural Network，DNN)使用較少的參數來處理，提升訓練的效率。卷積神經網路由多個卷積層 (Convolution Layers)、池化層(Pooling Layers)和關聯權重，以及頂端的全連接層(Fully Connected Layers)組成。
在一些建構舌診模型130的實施例中，可將多個訓練影像120及其所有類別的標籤輸入到深度學習演算法，用於產生可以辨認拍攝照片150的全局偵測卷積神經網路(Full-detection CNN)。參考圖5所示由訓練裝置110中的處理單元410於載入並執行相關程式碼時所執行的深度學習方法，詳細說明如下：
步驟S510：蒐集多個訓練影像120，其中每個訓練影像還具有多個分類的標籤。例如，一訓練影像攜帶9個類別的標籤為{“淡白”，“中等”，“白”，“薄苔”，“平”，“否”，“是”，“否”，“是”}。
步驟S520：設定變數j=1。
步驟S531：依據訓練影像120的多個分類的標籤對蒐集到的訓練影像進行第j次的卷積運算(Convolution)，用於產生卷積層(Convolution Layers)和關聯權重。
步驟S533：對卷積運算的結果進行第j次的最大池化運算(Max Pooling)，用於產生池化層(Pooling Layers)和關聯權重。
步驟S535：判斷變數j是否等於MAX(j)。如果是，流程繼續進行步驟S541的處理；否則，流程繼續進行步驟S537的處理。MAX(j)是一個預設的常數，用來表示卷積運算和最大池化運算的執行次數。
步驟S537：設定變數j為j+1。
步驟S539：對最大池化的運算結果進行第j次的卷積運算，用於產生卷積層和關聯權重。
換句話說，步驟S533至S539形成一個執行MAX(j)次的迴圈。
步驟S550：將之前的運算結果(例如，卷積層、池化層、關聯權重等)平化展開(Flatten)以產生全局偵測卷積神經網路。舉例來說，全局偵測卷積神經網路能夠從一張拍攝照片辨認出上述9個類別中的每一個的分類結果。
在另一些建構舌診模型130的實施例中，可產生多個具有辨認拍攝照片150的特定類別的局部偵測卷積神經網路(Partial-detection CNN)。參考圖6所示由訓練裝置110中的處理單元410於載入並執行相關程式碼時所執行的深度學習方法，詳細說明如下：
步驟S610：設定變數i=1。
步驟S620：蒐集多個訓練影像120，其中每個訓練影像還具有第i類的標籤。
步驟S630：設定變數j=1。
步驟S641：依據訓練影像120的第i類的標籤對蒐集到的訓練影像120進行第j次的卷積運算，用於產生卷積層和關聯權重。
步驟S643：對卷積運算的結果進行第j次的最大池化運算，用於產生池化層和關聯權重。
步驟S645：判斷變數j是否等於MAX(j)。如果是，流程繼續進行步驟S650的處理；否則，流程繼續進行步驟S647的處理。MAX(j)是一個預設的常數，用來表示卷積運算和最大池化運算的執行次數。
步驟S647：設定變數為j+1。
步驟S649：對最大池化的運算結果進行第j次的卷積運算，用於產生卷積層和關聯權重。
步驟S650：將之前的運算結果(例如，卷積層、池化層、關聯權重等)平化展開以產生第i類的局部偵測卷積神經網路。第i類的局部偵測卷積神經網路只能夠從拍攝照片辨認出第i類的分類結果。
步驟S660：判斷變數i是否等於MAX(i)。如果是，結束整個流程；否則，流程繼續進行步驟S670的處理。MAX(i)是一個預設的常數，用來表示所有類別的數目。
步驟S670：設定變數i為i+1。
換句話說，步驟S620至S670形成一個執行MAX(i)次的外迴圈，而步驟S533至S539形成一個執行MAX(j)次的內迴圈。
處理單元410可執行所屬技術領域人員已知的卷積演算法來完成步驟S531、S539、S641和S649，可執行已知的最大池化演算法來完成步驟S533和S643，還可執行已知的平化展開演算法來完成步驟S550和S650，為求簡明，不再贅述。
在實時判斷階段中，如果平板電腦140的儲存裝置440儲存的是使用圖5的方法所產生的全局偵測卷積神經網路，則平板電腦140中的處理單元410於載入並執行相關程式碼時可執行如圖7所示的基於深度學習的舌診方法，詳細說明如下：
步驟S710：獲取拍攝照片150。
步驟S720：將拍攝照片150輸入全局偵測卷積神經網路以獲取所有類別的分類結果。例如9個類別的分類為{“淡紅”，“中等”，“白”，“薄苔”，“平”，“否”，“否”，“否”，“否”}。
步驟S730：依據分類結果更新舌診應用程式的畫面30中的分類結果360。
在實時判斷階段中，如果平板電腦140的儲存裝置440儲存的是使用圖6的方法所產生的多個局部偵測卷積神經網路，則平板電腦140中的處理單元410於載入並執行相關程式碼時可執行如圖8所示的基於深度學習的舌診方法，詳細說明如下：
步驟S810：獲取拍攝照片150。
步驟S820：設定變數i=1。
步驟S830：將拍攝照片150輸入第i類的局部偵測卷積神經網路以獲取第i類的分類結果。
步驟S840：判斷變數i是否等於MAX(i)。如果是，流程繼續進行步驟S860的處理；否則，流程繼續進行步驟S850的處理。MAX(i)是一個預設的常數，用來表示所有類別的數目。
步驟S850：設定變數i為i+1。
步驟S860：依據分類結果更新舌診應用程式的畫面30中的分類結果 360。
由於訓練和驗證的樣本數目會影響深度學習的正確率和學習時間，在一些實施例中，針對每個局部偵測卷積神經網路中的每個分類結果，訓練影像120、驗證影像125和測試相片的數目比例可設為17：2：1。
參考圖9，有鑒於病毒的傳染力越來越高，為了減少醫生和就診者的接觸，本發明實施例另提出一種遠端舌診系統90，包含遠端舌診電腦910、桌上型電腦930、平板電腦950以及手機970。遠端舌診電腦910可設置於讓醫生進行診治的醫療場所，用於執行遠端舌診應用程式。除了遠端舌診應用程式外，遠端舌診電腦910還可用於完成如上所述的訓練裝置110的功能，執行如圖5或圖6所示的深度學習方法。桌上型電腦930可設置於就診者的住家，平板電腦950以或手機970可被就診者攜帶到住家、餐廳、工作場所、戶外或任意地點。遠端舌診電腦910、桌上型電腦930、平板電腦950以及手機970之間可透過網路900彼此通訊，網路900可為網際網路(Internet)、有線區域網路(wired Local Area Network，LAN)、無線區域網路，或以上的任意組合。桌上型電腦930、平板電腦950以及手機970可稱為客戶端裝置，用於執行遠端看病應用程式。遠端舌診電腦910、桌上型電腦930、平板電腦950以及手機970中之任何一者可使用如圖4所示的硬體架構實現。
參考圖10，客戶端裝置的顯示單元420顯示遠端看病應用程式的畫面1000，包含照片預覽視窗1010、症狀下拉選單1022、症狀文字輸入框1024、用藥情形輸入框1030、按鈕1040至1060。參考圖11，為了讓醫師知道就診者目前的健康狀態，就診者1100可使用電子設備的攝像頭(例如，桌上型電腦930的外接攝像頭、平板電腦950、手機970中的內建攝像頭等)朝自己的舌頭拍照，並且拍攝照片可顯示在照片預覽視窗1010。除了舌頭的照片外，就診者1100還需要提 供就診輔助資訊，包含用藥狀況、症狀等。就診者1100可操作下拉式選單1022以選取預先設定的症狀，而選定的症狀可顯示在症狀文字輸入框1024。就診者1100也可在症狀文字輸入框1024中輸入原來在下拉式選單1022中沒有的症狀。關於用藥狀況的資訊輸入，參考圖12，在一些實施例中，就診者1100可使用電子設備的攝像頭獲取藥物容器上的QR碼1200，並且QR碼1200也會顯示在用藥情形輸入框1030。就診者也可在用藥情形輸入框1030中輸入其他的藥名和劑量。當按下“儲存”按鈕1040時，遠端看病應用程式將照片預覽視窗1010、症狀文字輸入框1024和用藥情形輸入框1030的內容以指定的資料結構儲存到客戶端裝置中的儲存裝置。當按下“上傳”按鈕1050時，遠端看病應用程式將看病請求和看病資訊(例如，照片預覽視窗1010、症狀文字輸入框1024和用藥情形輸入框1030的內容)打包成網路封包，並且通過客戶端裝置中的通訊介面460以指定的通訊協定傳送到遠端舌診電腦910。當按下“離開”按鈕1060時，結束遠端看病應用程式。
參考圖13，遠端舌診電腦910的顯示單元420顯示遠端舌診應用程式的畫面1300，包含預覽視窗1312、綜合分析結果視窗1314、按鈕1322、1324、1326、1328、類別名稱提示1330、分類結果1340、症狀視窗1350、用藥情形視窗1360和醫囑文字輸入框1370。當按下“離開”按鈕1328時，結束遠端舌診應用程式。
如果遠端舌診電腦910的儲存裝置440儲存的是使用圖5的方法所產生的全局偵測卷積神經網路，則遠端舌診電腦910中的處理單元410於載入並執行相關程式碼時可執行如圖14所示的基於深度學習的遠端舌診方法，詳細說明如下：
步驟S1410：通過網路900和遠端舌診電腦910的通訊介面460從客戶端裝置接收看病請求和看病資訊。遠端舌診電腦910中的處理單元410可執行背景程式，用於搜集看病請求和看病資訊，並且儲存至 遠端舌診電腦910中的儲存裝置440。當遠端舌診應用程式偵測到“打開”按鈕1322被按下時，通過遠端舌診電腦910中的顯示單元420顯示選擇畫面，包含多筆的看病請求和看病資訊，讓醫生可以選擇其中的一筆來處理。當醫生選定後，繼續以下步驟的操作。
步驟S1422：從看病資訊中獲取拍攝照片，並且在預覽視窗1312顯示獲取的拍攝照片。
步驟S1424的技術細節類似於步驟S720，不再贅述以求簡明。
步驟S1426：依據分類結果更新遠端舌診應用程式的畫面1300。類別名稱提示1330，例如包含“舌色”、“舌型”、“苔色”、“舌苔”、“津液”、“齒痕舌”、“朱點”、“瘀點”及“裂紋舌”，並且在類別名稱提示1330的下方顯示其分類結果1340。綜合分析結果視窗1314還顯示分類結果1340的綜合分析的文字描述。
步驟S1432：從看病資訊中獲取QR碼，並且在用藥情形視窗1360顯示獲取的QR碼。
步驟S1434：依據QR碼搜索遠端舌診電腦910的儲存裝置440中儲存的藥方(medical prescription)資料庫以獲取關聯的藥方並據以更新遠端舌診應用程式的畫面1300。遠端舌診應用程式可將關聯的藥方顯示在用藥情形視窗1360中的QR碼旁邊。
步驟S1440：從看病資訊中獲取就診者的症狀並據以更新遠端舌診應用程式的畫面1300。遠端舌診應用程式可將獲取的症狀顯示在症狀視窗1350。
步驟S1450：通過網路900和遠端舌診電腦910的通訊介面460回覆醫囑給發出此看病請求的客戶端裝置。關於醫囑的內容，在一些實施例中，醫生可參考遠端舌診應用程式的畫面1300中的更新後資訊，在醫囑文字輸入框1370中輸入給就診者的醫療建議。關於醫囑的內容，在另一些實施例中，除了醫療建議外，醫生還可在醫囑文字輸入框1370提供預約掛號系統的連結，用於通知就診者可到預約掛號 系統進行網路掛號，使得就診者可在適當的時間回診。關於回覆的方式，在一些實施例中，當按下“回覆病患”按鈕1326時，遠端舌診應用程式將醫囑文字輸入框1370中的內容嵌入到特定郵件範本以產生醫囑電子郵件，從遠端舌診電腦910的儲存裝置440中儲存的患者資料庫搜索此看診者的電子郵件地址，並且通過網路900傳送醫囑電子郵件到此看診者的電子郵件地址。關於回覆的方式，在另一些實施例中，當按下“回覆病患”按鈕1326時，遠端舌診應用程式將醫囑文字輸入框1370中的內容嵌入到特定訊息範本以產生醫囑訊息，從遠端舌診電腦910的儲存裝置440中儲存的患者資料庫搜索此看診者的網際網路通訊協定(Internet Protocol，IP)位址，並且通過網路900傳送醫囑訊息到此看診者的IP位址的訊息佇列(message queue)。關於回覆的方式，在另一些實施例中，當按下“回覆病患”按鈕1326時，遠端舌診應用程式將醫囑文字輸入框1370中的內容嵌入到特定訊息範本以產生簡訊，從遠端舌診電腦910的儲存裝置440中儲存的患者資料庫搜索此看診者的手機號碼，並且通過網路900傳送簡訊到此看診者的手機。
此外，當按下“儲存”按鈕1324時，遠端舌診應用程式可將畫面1300中所有的資訊以特定資料結構儲存到遠端舌診電腦910的儲存裝置440。
如果遠端舌診電腦910的儲存裝置440儲存的是使用圖6的方法所產生的多個局部偵測卷積神經網路，則遠端舌診電腦910中的處理單元410於載入並執行相關程式碼時可執行如圖15所示的基於深度學習的遠端舌診方法。圖15和圖14的方法之間的差異在於，在圖15中以步驟S1532至S1538的操作來取代圖14中步驟S1422的操作。步驟S1532至S1538的操作類似於步驟S820至S850的操作，為求簡明不再贅述。
由於卷積神經網路在理論上具有多個面向的分類能力，因此，圖14 所述的技術方案是讓全局偵測卷積神經網路來對就診者的舌頭影像做多維的分類。然而，經過大量的實驗後發現，在舌診的應用場景中，將卷積神經網路的能力改為局部偵測卷積神經網路，用於限縮到只做特定維度(也就是一維，例如，“舌色”、“舌型”、“苔色”、“舌苔”、“津液”、“齒痕舌”、“朱點”、“瘀點”或“裂紋舌”的維度)的分類。然後，再合併針對不同維度的多個局部偵測卷積神經網路的分類結果，其最後的正確率可超過使用全局偵測卷積神經網路來對就診者的舌頭影像做多維的分類結果。
本發明所述的方法中的全部或部份步驟可以電腦指令實現，例如特定程式語言的程式碼等。此外，也可實現於其他類型程式。所屬技術領域人員可將本發明實施例的方法撰寫成電腦指令，為求簡潔不再加以描述。依據本發明實施例方法實施的電腦指令可儲存於適當的電腦可讀取媒體，例如DVD、CD-ROM、USB碟、硬碟，亦可置於可通過網路(例如，網際網路，或其他適當載具)存取的網路伺服器。
雖然圖4中包含了以上描述的元件，但不排除在不違反發明的精神下，使用更多其他的附加元件，已達成更佳的技術效果。此外，雖然圖5至圖8、圖14至圖15的流程圖採用指定的順序來執行，但是在不違反發明精神的情況下，熟習此技藝人士可以在達到相同效果的前提下，修改這些步驟間的順序，所以，本發明並不侷限於僅使用如上所述的順序。此外，熟習此技藝人士亦可以將若干步驟整合為一個步驟，或者是除了這些步驟外，循序或平行地執行更多步驟，本發明亦不因此而侷限。
雖然本發明使用以上實施例進行說明，但需要注意的是，這些描述並非用以限縮本發明。相反地，此發明涵蓋了熟習此技藝人士顯而易見的修改與相似設置。所以，申請權利要求範圍須以最寬廣的方式解釋來包含所有顯而易見的修改與相似設置。
S1410~S1422,S1532~S1538,S1426~S1450:方法步驟

Claims (10)

  1. 一種基於深度學習的遠端舌診方法，由一處理單元執行，包含：通過一網路從一客戶端裝置接收一看病請求和一看病資訊，上述看病資訊包含一拍攝照片；將上述拍攝照片輸入多個局部偵測卷積神經網路以獲取關聯於上述拍攝照片中的舌頭的多個類別的分類結果，其中，上述多個局部偵測卷積神經網路的數目等於上述多個類別的數目，上述每個局部偵測卷積神經網路只用於產生上述一個類別的分類結果；在一顯示單元上顯示一遠端舌診應用程式的一畫面，其中，上述畫面包含上述多個類別的分類結果；獲取相應於上述多個類別的分類結果的一醫囑；以及通過上述網路回覆上述醫囑給上述客戶端裝置。
  2. 如請求項1所述的基於深度學習的遠端舌診方法，其中，相應於第i類的上述局部偵測卷積神經網路的產生包含以下步驟：依據多個訓練影像的一第i類的標籤針對上述多個訓練影像進行多次的卷積運算和池化運算以產生多個卷積層、多個池化層和多個關聯權重；將上述多個卷積層、上述多個池化層和上述多個關聯權重平化展開以產生相應於上述第i類的一待驗證局部偵測卷積神經網路；依據上述待驗證局部偵測卷積神經網對多個驗證影像的上述第i類的分類結果判斷上述待驗證局部偵測卷積神經網是否通過驗證；以及當上述待驗證局部偵測卷積神經網通過驗證時，產生相應於上述第i類的上述局部偵測卷積神經網路。
  3. 如請求項1所述的基於深度學習的遠端舌診方法，其中，上述醫囑的內容包含一預約掛號系統的一連結。
  4. 如請求項1所述的基於深度學習的遠端舌診方法，其中，上述看病資訊包含一QR碼，上述方法包含：根據上述QR碼搜索一藥方資料庫以獲取一藥方；以及更新上述顯示單元上的上述遠端舌診應用程式的上述畫面，其中，上述畫面包含上述藥方。
  5. 一種電腦程式產品，包含一程式碼，當上述程式碼被一處理單元載入並執行時實施如請求項1至4中任一項所述的基於深度學習的遠端舌診方法。
  6. 一種基於深度學習的遠端舌診裝置，包含：一通訊介面；一顯示單元；以及一處理單元，耦接上述通訊介面和上述顯示單元，用於通過上述通訊介面和一網路從一客戶端裝置接收一看病請求和一看病資訊，上述看病資訊包含一拍攝照片；將上述拍攝照片輸入多個局部偵測卷積神經網路以獲取關聯於上述拍攝照片中的舌頭的多個類別的分類結果，其中，上述多個局部偵測卷積神經網路的數目等於上述多個類別的數目，上述每個局部偵測卷積神經網路只用於產生上述一個類別的分類結果；在上述顯示單元上顯示一遠端舌診應用程式的一畫面，其中，上述畫面包含上述多個類別的分類結果；獲取相應於上述多個類別的分類結果的一醫囑；以及通過上述通訊介面和上述網路回覆上述醫囑給上述客戶端裝置。
  7. 如請求項6所述的基於深度學習的遠端舌診裝置，其中，相應於第i類的上述局部偵測卷積神經網路的產生包含以下步驟：依據多個訓練影像的一第i類的標籤針對上述多個訓練影像進行多次的卷積運算和池化運算以產生多個卷積層、多個池化層和多個關聯權重；將上述多個卷積層、上述多個池化層和上述多個關聯權重平化展開以產生相應於上述第i類的一待驗證局部偵測卷積神經網路；依據上述待驗證局部偵測卷積神經網對多個驗證影像的上述第i類的分類結果判斷上述待驗證局部偵測卷積神經網是否通過驗證；以及當上述待驗證局部偵測卷積神經網通過驗證時，產生相應於上述第i類的上述局部偵測卷積神經網路。
  8. 如請求項6所述的基於深度學習的遠端舌診裝置，其中，上述處理單元將上述醫囑嵌入一醫囑電子郵件；以及通過上述通訊介面和上述網路傳送上述醫囑電子郵件到相應於上述看病請求的一電子郵件地址。
  9. 如請求項6所述的基於深度學習的遠端舌診裝置，其中，上述處理單元將上述醫囑嵌入一訊息；以及通過上述通訊介面和上述網路傳送上述訊息到相應於上述客戶端裝置的一訊息佇列。
  10. 如請求項6所述的基於深度學習的遠端舌診裝置，其中，上述處理單元將上述醫囑嵌入一簡訊；以及通過上述通訊介面和上述網路傳送上述簡訊到上述客戶端裝置。
TW110133841A 2020-10-30 2021-09-10 基於深度學習的遠端舌診方法及電腦程式產品以及裝置 TWI806152B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011187504.0 2020-10-30
CN202011187504.0A CN114446463A (zh) 2020-10-30 2020-10-30 计算机可读取存储介质、基于深度学习的舌诊方法及装置

Publications (2)

Publication Number Publication Date
TW202217843A TW202217843A (zh) 2022-05-01
TWI806152B true TWI806152B (zh) 2023-06-21

Family

ID=81357024

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110133841A TWI806152B (zh) 2020-10-30 2021-09-10 基於深度學習的遠端舌診方法及電腦程式產品以及裝置

Country Status (3)

Country Link
US (1) US20220138456A1 (zh)
CN (1) CN114446463A (zh)
TW (1) TWI806152B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605692B1 (ko) * 2020-11-16 2023-11-27 한국전자통신연구원 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법
CN115147372B (zh) * 2022-07-04 2024-05-03 海南榕树家信息科技有限公司 一种基于医学图像分割的中医舌像智能辨治方法及系统
TWI811013B (zh) * 2022-07-12 2023-08-01 林義雄 醫療決策修正方法
CN116186271B (zh) * 2023-04-19 2023-07-25 北京亚信数据有限公司 一种医疗专业名词分类模型训练方法、分类方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
TW201905934A (zh) * 2017-06-20 2019-02-01 蘇志民 協助醫師問診的系統及方法
TW202107485A (zh) * 2019-08-12 2021-02-16 林柏諺 從舌頭分析身體狀況的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461154A (zh) * 2018-11-16 2019-03-12 京东方科技集团股份有限公司 一种舌象检测方法、装置、客户端、服务器及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
TW201905934A (zh) * 2017-06-20 2019-02-01 蘇志民 協助醫師問診的系統及方法
TW202107485A (zh) * 2019-08-12 2021-02-16 林柏諺 從舌頭分析身體狀況的方法

Also Published As

Publication number Publication date
US20220138456A1 (en) 2022-05-05
CN114446463A (zh) 2022-05-06
TW202217843A (zh) 2022-05-01

Similar Documents

Publication Publication Date Title
TWI806152B (zh) 基於深度學習的遠端舌診方法及電腦程式產品以及裝置
US10762450B2 (en) Diagnosis-driven electronic charting
US10474742B2 (en) Automatic creation of a finding centric longitudinal view of patient findings
WO2010082246A1 (ja) 情報処理装置および情報処理方法
KR20210113299A (ko) 대화형 유연한 데이터 제시를 위한 시스템 및 방법
WO2006052620A2 (en) A system and user interface for creating and presenting forms
US20230051436A1 (en) Systems and methods for evaluating health outcomes
WO2018233520A1 (zh) 一种生成预测图像的方法及装置
Dey et al. Human-centered explainability for life sciences, healthcare, and medical informatics
JP2018014058A (ja) 医療情報処理システム、医療情報処理装置及び医療情報処理方法
Schilling et al. Label assistant: A workflow for assisted data annotation in image segmentation tasks
Papandrianos et al. AI-based classification algorithms in SPECT myocardial perfusion imaging for cardiovascular diagnosis: a review
Saini et al. Machine Learning Approaches for Early Identification of Thyroid Disease
US20220138941A1 (en) Method and computer program product and apparatus for remotely diagnosing tongues based on deep learning
TWI744064B (zh) 基於深度學習的舌診方法及電腦程式產品以及裝置
US20230060235A1 (en) Multi-stage workflow processing and analysis platform
Rajathi et al. Named Entity Recognition-based Hospital Recommendation
Huynh et al. Abnormality Bone Detection in X-Ray Images Using Convolutional Neural Network
Cândea et al. ArdoCare–a collaborative medical decision support system
US20240152990A1 (en) Provider search and matching
US20240062896A1 (en) Training and implementing a four-dimensional data object recommendation model
Sonntag et al. Design and implementation of a semantic dialogue system for radiologists
Pallavi et al. Artificial Intelligence: Applications in Healthcare Industry
Yang et al. M-US-EMRs: A Multi-modal Data Fusion Method of Ultrasonic Images and Electronic Medical Records Used for Screening of Coronary Heart Disease
Date et al. Original Research Article Explorative study on potential of machine learning and artificial intelligence for improved healthcare diagnosis and treatment