TW202238618A - 運用於美容醫療之人工智慧輔助評估方法及其輔助評估系統 - Google Patents

運用於美容醫療之人工智慧輔助評估方法及其輔助評估系統 Download PDF

Info

Publication number
TW202238618A
TW202238618A TW111101864A TW111101864A TW202238618A TW 202238618 A TW202238618 A TW 202238618A TW 111101864 A TW111101864 A TW 111101864A TW 111101864 A TW111101864 A TW 111101864A TW 202238618 A TW202238618 A TW 202238618A
Authority
TW
Taiwan
Prior art keywords
facial
artificial intelligence
medical
assisted
program
Prior art date
Application number
TW111101864A
Other languages
English (en)
Inventor
李至偉
Original Assignee
李至偉
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 李至偉 filed Critical 李至偉
Publication of TW202238618A publication Critical patent/TW202238618A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)

Abstract

本發明揭露一種運用於美容醫療之人工智慧輔助評估方法與輔助評估系統，其運用於一人工智慧辨識分析模組。其中，經由執行一人工智慧人臉表情評估模組而產生一受測者之一即時人臉表情評估結果，且輸入該即時人臉表情評估結果至該人工智慧辨識分析模組，並選擇搭配一醫療知識規則模組及一美容醫療輔助評估結果歷史資料庫中之至少一者，以執行一人工智慧辨識分析程序。之後，該人工智慧辨識分析模組產生並輸出一即時美容醫療輔助評估結果。如此一來，便能藉由依據該即時美容醫療輔助評估結果以執行一美容醫療行為，而達到個人化美感的治療成效。

Description

運用於美容醫療之人工智慧輔助評估方法及其輔助評估系統
本發明係關於一種人工智慧(Artificial Intelligence，AI)輔助評估方法與輔助評估系統，尤其係一種以人工智慧技術取得一即時人臉表情評估結果為基礎，並應用於美容醫療的人工智慧輔助評估方法以及運用該方法之人工智慧輔助評估系統。
現今流行的美容醫療風氣，特別是臉部方面的微整型美容醫療，已廣為各齡層的人士所喜愛與接受。
其中，進行臉部微整型美容醫療的治療方式，主要是依靠醫師自身的醫學專業技術與知識，以一般性或常態化的標準程序進行處理，抑或再略加上一些醫師自身執業經驗的個別判斷。
然此等習知作法，因其通常較欠缺深度的客製化考量，以致於時常會出現實際美容後的治療結果與事先預期的治療效果之間存在著或多或少的期待落差；其中，特別是針對臉部的微表情，因屬於長時間的表情習慣所累積形成的肌肉微動作，此種潛在的臉部肌肉變化是很不容易被人的肉眼於短時間內觀察出來，以致常會使得實際美容後的治療結果與事先預期的治療效果之間，存在著不小的差異。
甚且，有部分實際美容醫療後的治療結果，因醫師自身錯誤的個別判斷，而導致術後產生更劣質的治療成效，從而造成更多的醫療治療糾紛與醫療治療上的缺失。
是以，如何針對個人化的美容醫療需求，提出更多與更好的協助處理方法與工具，即為目前美容醫療業界的所欲解決的技術課題；基此，申請人曾以台灣發明專利申請號:TW109115444，提出了一種運用於美容醫療之人工智慧輔助評估方法與輔助評估系統之技術解決方案，以祈達到解決前述習知技術問題的初步目的。
惟，為進一步優化相關技術內容，申請人現至少針對前述技術方案中如何取得即時人臉表情評估結果之過程方法，再予以更進一步地改良，並提出如本案后述之優化解決手段。
本發明之主要目的在於，提供一種可針對個人化的美容醫療需求，提出一種以人工智慧技術取得的即時人臉表情評估結果為基礎之美容醫療的人工智慧(AI)輔助評估方法以及運用該方法之輔助評估系統，以進一步優化前述習知技術。
本案的實施概念，主要是利用人工智慧人臉表情評估模組，先取得個人化的即時人臉表情評估結果，之後，再依據前述個人化的即時人臉表情評估結果，執行人工智慧辨識分析程序，並結合醫療知識規則模組中之功能性醫學解剖規則以及動態性醫學解剖規則與美容醫療輔助評估結果歷史資料庫後，從而提供即時美容醫療輔助評估結果，達到可提供專屬且即時之個人化的美容醫療輔助建議。
為了達到上述目的，於第一較佳實施例，本發明提供一種運用於美容醫療之人工智慧輔助評估方法，其至少包括下列步驟：(a)提供一受測者之一即時人臉表情評估結果；以及(b)因應搭配一醫療知識規則模組及一美容醫療輔助評估結果歷史資料庫中之至少一者，以針對該即時人臉表情評估結果執行一人工智慧美容醫療辨識分析程序，並產生輸出一即時美容醫療輔助評估結果；其中，該步驟(a)至少包括下列步驟：(a1)執行一人工智慧影像偵測程序，以取得該受測者之一即時臉部影像；(a2)因應該即時臉部影像，以執行一人工智慧影像校準與特徵擷取程序，並藉以取得一臉部表面與幾何特徵資訊；(a3)因應該臉部表面與幾何特徵資訊，以執行一人工智慧臉部動作編碼程序，並藉以取得複數臉部動作編碼資訊；以及(a4)因應該些臉部動作編碼資訊，以執行一人工智慧臉部情緒辨識程序，並藉以取得對應於該即時臉部影像之複數情緒指標之比例分布與組合資訊，並形成該即時人臉表情評估結果。
較佳地，其中該步驟(b)之後更包括下列步驟：(c)反饋並儲存該即時美容醫療輔助評估結果至該醫療知識規則模組及該美容醫療輔助評估結果歷史資料庫中之至少一者。
較佳地，其中該即時美容醫療輔助評估結果至少包括：該受測者之一評估治療部位結果的組合與優選順序，抑或該評估治療部位結果的組合與優選順序以及一注射填充劑種類與劑量。
較佳地，其中該醫療知識規則模組更包括一功能性醫學解剖規則以及一動態性醫學解剖規則。
較佳地，其中運用於該人工智慧影像偵測程序的人工智慧機器學習法，包括可為屬於邊界偵測演算法類型之一哈爾特徵(Haar-like features）結合自適應增強的機器學習法，抑或可為以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)配合支援向量機(Support Vector Machine，SVM)的機器學習法。
較佳地，其中於該步驟(a2)中之該人工智慧影像校準與特徵擷取程序至少包括下列步驟：
較佳地，其中(a21)因應該即時臉部影像，以執行一人工智慧臉部關鍵點標識程序，並藉以取得一臉部關鍵點標識資訊；(a22)因應該臉部關鍵點標識資訊，以執行一臉部影像校準程序，並藉以取得一正規化的臉部影像資訊；以及(a23)因應該臉部關鍵點標識資訊與該正規化的臉部影像資訊，以執行一臉部影像特徵擷取程序，並藉以取得該臉部影像表面與幾何特徵資訊。
較佳地，其中於執行該人工智慧臉部關鍵點標識程序之前，先行透過以一定數量的訓練資料集，並以一機器學習(Machine Learning)方式進行該人工智慧臉部關鍵點標識程序中之一臉部關鍵點標識模型的人工智慧訓練。
較佳地，其中該臉部影像校準程序至少包括以一仿射變換技術消除該臉部關鍵點標識資訊中因姿勢不同所帶來的誤差，以及使臉部影像的大小與呈現方式予以統一化，藉以取得該正規化的臉部影像資訊。
較佳地，其中該臉部影像特徵擷取程序至少包括一臉部影像表面特徵擷取程序與一臉部影像幾何特徵擷取程序；其中，該臉部影像表面特徵擷取程序包括執行以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)取得多維度的向量資料，並結合進行一主成分分析(Principal Component Analysis，PCA)以降低向量資料量及保留重要的一臉部影像表面特徵資訊，而該臉部影像幾何特徵擷取程序包括藉由該臉部關鍵點標識資訊，以取得一臉部影像幾何特徵資訊。
較佳地，其中於執行該人工智慧臉部動作編碼程序之前，先行透過以一定數量的訓練資料集與一臉部動作編碼系統(Facial Action Coding System，FACS)，並以一機器學習(Machine Learning)方式進行該人工智慧臉部動作編碼程序中之一臉部動作編碼模型的人工智慧訓練。
較佳地，其中該臉部動作編碼模型的訓練包括在一靜態表情及/或一動態表情之不同情境下的該臉部動作編碼模型的訓練，以分別取得一靜態臉部動作編碼資訊及/或一動態臉部動作編碼資訊。
較佳地，其中於執行該人工智慧臉部情緒辨識程序之前，先行以包括至少以一情緒正負向性(Emotional Valance)、一情緒喚起度(Emotional Arousal)與該些情緒指標等參數，結合該臉部動作編碼系統，並以另一機器學習(Machine Learning)方式進行該人工智慧臉部情緒辨識程序中之一臉部情緒辨識模型的人工智慧訓練。
較佳地，其中該美容醫療輔助評估結果歷史資料庫包括複數歷史美容醫療輔助評估結果；其中，該每一歷史美容醫療輔助評估結果至少包括：歷來的一受測者名稱與一基本資料、一歷史人臉表情評估結果、一個人臉部特徵、該醫療知識規則模組中之一功能性醫學解剖規則以及一動態性醫學解剖規則、一評估治療部位結果的組合與優選順序以及一注射填充劑的種類與劑量。
較佳地，其中該個人臉部特徵包括一習慣表情之靜態紋路特徵、一靜態輪廓線特徵或一膚質特徵。
較佳地，其中於執行該人工智慧美容醫療辨識分析程序之前，先行以該些歷史美容醫療輔助評估結果，並以一人工神經網路演算法及一深度學習演算法中之至少一者，進行該人工智慧美容醫療辨識分析程序的人工智慧訓練。
於第二較佳實施例，本發明提供一種運用如前述之人工智慧輔助評估方法的一電子裝置，該電子裝置至少包括：一人工智慧人臉表情評估模組，用以提供該即時人臉表情評估結果；該人工智慧美容醫療辨識分析模組，包括該人工智慧美容醫療辨識分析程序，該人工智慧美容醫療辨識分析程序接收該即時人臉表情評估結果，並產生該即時美容醫療輔助評估結果；以及一輸入輸出模組，輸出該即時美容醫療輔助評估結果；其中，該人工智慧美容醫療辨識分析模組自該人工智慧人臉表情評估模組以及該輸入輸出模組中之至少一者，接收至少一個人臉部特徵。
較佳地，該電子裝置係以一無線傳輸方式以及一有線傳輸方式中之至少一者連接於該美容醫療輔助評估結果歷史資料庫及該醫療知識規則模組中之至少一者。
較佳地，該電子裝置係為一手持式智慧行動裝置、一個人電腦(PC)或一獨立運作(stand-alone)之智慧裝置。
於第三較佳實施例，本發明提供一種美容醫療之人工智慧輔助評估系統，其至少包括：一人工智慧人臉表情評估模組，提供一受測者之一即時人臉表情評估結果；一人工智慧美容醫療辨識分析模組，連接於該人工智慧人臉表情評估模組；以及一輸出輸入模組，連接於該人工智慧美容醫療辨識分析模組，其用以輸入該受測者之一基本資料及/或一個人臉部特徵，並予以輸出至該人工智慧美容醫療辨識分析模組中；其中，該人工智慧美容醫療辨識分析模組用以接收該受測者之該基本資料及/或該個人臉部特徵中之至少一者，以及該即時人臉表情評估結果，並依據所連接之一醫療知識規則模組及一美容醫療輔助評估結果歷史資料庫中之至少一者，以執行一人工智慧美容醫療辨識分析程序，且適應地產生並輸出一即時美容醫療輔助評估結果至該輸出輸入模組中。
較佳地，其中該人工智慧辨識分析模組反饋並儲存該即時美容輔助評估結果至該醫療知識規則模組及該美容醫療輔助評估結果歷史資料庫中之至少一者。
較佳地，其中該即時美容醫療輔助評估結果至少包括該受測者之一評估治療部位結果的組合與優選順序，抑或該評估治療部位結果的組合與優選順序以及一注射填充劑種類與劑量。
較佳地，其中該醫療知識規則模組更包括一功能性醫學解剖規則以及一動態性醫學解剖規則。
較佳地，其中該人工智慧人臉表情評估模組包括：一人工智慧影像偵測單元，用以執行一人工智慧影像偵測程序，以取得該受測者之一即時臉部影像；一人工智慧影像校準與特徵擷取組合單元，連接於該人工智慧影像偵測單元，該人工智慧影像校準與特徵擷取組合單元，用以因應該即時臉部影像，以執行一人工智慧影像校準與特徵擷取程序，並藉以取得一臉部表面與幾何特徵資訊；一人工智慧臉部動作編碼單元，連接於該人工智慧影像校準與特徵擷取組合單元，該人工智慧臉部動作編碼單元用以因應該臉部表面與幾何特徵資訊，以執行一人工智慧臉部動作編碼程序，並藉以取得複數臉部動作編碼資訊；以及一人工智慧臉部情緒辨識單元，連接於該人工智慧臉部動作編碼單元，該人工智慧臉部情緒辨識單元用以因應該些臉部動作編碼資訊，以執行一人工智慧臉部情緒辨識程序，並藉以取得對應於該即時臉部影像之複數情緒指標之比例分布與組合資訊，並形成該即時人臉表情評估結果。
較佳地，其中運用於該人工智慧影像偵測程序的人工智慧機器學習法，包括可為屬於邊界偵測演算法類型之一哈爾特徵(Haar-like features）結合自適應增強的機器學習法，抑或可為以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)配合支援向量機(Support Vector Machine，SVM)的機器學習法。
較佳地，其中於執行該人工智慧臉部動作編碼程序之前，先行透過以一定數量的訓練資料集與一臉部動作編碼系統(Facial Action Coding System，FACS)，並以一機器學習(Machine Learning)方式進行該人工智慧臉部動作編碼程序中之一臉部動作編碼模型的人工智慧訓練。
較佳地，其中該臉部動作編碼模型的訓練包括在一靜態表情及/或一動態表情之不同情境下的該臉部動作編碼模型的訓練，以分別取得一靜態臉部動作編碼資訊及/或一動態臉部動作編碼資訊。
較佳地，其中於執行該人工智慧臉部情緒辨識程序之前，先行以包括至少以一情緒正負向性(Emotional Valance)、一情緒喚起度(Emotional Arousal)與該些情緒指標等參數，結合該臉部動作編碼系統，並以另一機器學習(Machine Learning)方式進行該人工智慧臉部情緒辨識程序中之一臉部情緒辨識模型的人工智慧訓練。
較佳地，其中該人工智慧影像校準與特徵擷取組合單元包括：一臉部關鍵點標識單元，連接於該人工智慧影像偵測單元，該臉部關鍵點標識單元用以執行一人工智慧臉部關鍵點標識程序，並藉以取得一臉部關鍵點標識資訊；一臉部校準與遮蔽單元，連接於該臉部關鍵點標識單元，該臉部校準與遮蔽單元用以因應該臉部關鍵點標識資訊，以執行一臉部影像校準程序，並藉以取得一正規化的臉部影像資訊；以及一臉部特徵擷取單元，連接於該臉部校準與遮蔽單元，該臉部特徵擷取單元用以因應該臉部關鍵點標識資訊與該正規化的臉部影像資訊，以執行一臉部影像特徵擷取程序，並藉以取得該臉部影像表面與幾何特徵資訊。
較佳地，其中於執行該人工智慧臉部關鍵點標識程序之前，先行透過以一定數量的訓練資料集，並以一機器學習(Machine Learning)方式進行該人工智慧臉部關鍵點標識程序中之一臉部關鍵點標識模型的人工智慧訓練。
較佳地，其中該臉部影像特徵擷取程序至少包括一臉部影像表面特徵擷取程序與一臉部影像幾何特徵擷取程序；其中，該臉部影像表面特徵擷取程序包括執行以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)取得多維度的向量資料，並結合進行一主成分分析(Principal Component Analysis，PCA)以降低向量資料量及保留重要的一臉部影像表面特徵資訊，而該臉部影像幾何特徵擷取程序包括藉由該臉部關鍵點標識資訊，以取得一臉部影像幾何特徵資訊。
較佳地，其中該美容醫療輔助評估結果歷史資料庫包括複數歷史美容醫療輔助評估結果；其中，該每一歷史美容醫療輔助評估結果至少包括：歷來的一受測者名稱與一基本資料、一歷史人臉表情評估結果、一個人臉部特徵、該醫療知識規則模組中之一功能性醫學解剖規則以及一動態性醫學解剖規則、一評估治療部位結果的組合與優選順序以及一注射填充劑的種類與劑量。
較佳地，其中該個人臉部特徵包括一習慣表情之靜態紋路特徵、一靜態輪廓線特徵或一膚質特徵。
較佳地，其中於執行該人工智慧美容醫療辨識分析程序之前，先行以該些歷史美容醫療輔助評估結果，並以一人工神經網路演算法及一深度學習演算法中之至少一者，進行該人工智慧美容醫療辨識分析程序的人工智慧訓練。
較佳地，其中藉由該人工智慧人臉表情評估模組、該人工智慧辨識分析模組以及該輸入輸出模組而組裝形成一電子裝置；其中，該電子裝置係為一手持式智慧行動裝置、一個人電腦或一獨立運作之智慧裝置。
較佳地，其中該電子裝置係以一無線傳輸方式及一有線傳輸方式中之至少一者連接於該美容醫療輔助評估結果歷史資料庫及該醫療知識規則模組中之至少一者。
以下係提出實施例進行詳細說明，實施例僅用以作為範例說明，並不會限縮本發明欲保護之範圍。此外，實施例中之圖式係省略不必要或以通常技術即可完成之元件，以清楚顯示本發明之技術特點。以下，茲以本發明之較佳實施例並配合圖式作進一步說明。
請參閱圖1，其為本案發明概念中之人工智慧輔助評估系統的較佳實施概念圖。
如圖1所示，本案以人臉表情為基礎，並應用於美容醫療之人工智慧輔助評估系統100包括：人工智慧人臉表情評估模組110、人工智慧美容醫療辨識分析模組120、醫療知識規則模組130、美容醫療輔助評估結果歷史資料庫140以及輸出輸入模組150。
其中，人工智慧人臉表情評估模組110至少包括：人工智慧影像偵測單元111、人工智慧影像校準與特徵擷取組合單元112、人工智慧臉部動作編碼單元113以及人工智慧臉部情緒辨識單元114；其中較佳者，人工智慧影像校準與特徵擷取組合單元112更包括：臉部關鍵點標識單元1121、臉部校準與遮蔽單元1122以及臉部特徵擷取單元1123。
另外，醫療知識規則模組130至少包括：功能性醫學解剖規則131以及動態性醫學解剖規則132；其中，功能性醫學解剖規則131以及動態性醫學解剖規132分別包括有多個不同的醫療規則R1、R2，並將於後續圖3中詳述。
至於美容醫療輔助評估結果歷史資料庫140，至少包括多個美容醫療輔助評估結果1-N(141)，亦即，具有美容醫療輔助評估結果歷史資料庫140中具有N筆歷史紀錄之歷史的美容醫療輔助評估結果1-N(141)。
再者，輸出輸入模組150用以接收輸入或輸出多種資訊，例如：接收輸入受測者之基本資料B1-B2及/或個人臉部特徵P1-P3，並予以輸入至人工智慧美容醫療辨識分析模組120中；抑或，輸出自人工智慧美容醫療辨識分析模組120所接收之一即時美容醫療輔助評估結果，且其至少包括有評估治療部位結果的組合與優選順序之優選組合C1-C2，及/或注射填充劑的種類D與注射填充劑的劑量U。
其中，基本資料B1-B2可分別指涉受測者之性別及年齡等參數資訊；個人臉部特徵P1-P3則可用以分別指涉受測者之習慣表情之靜態紋路特徵P1、靜態輪廓線特徵P2或膚質特徵P3等參數資訊；另外，個人臉部特徵P1’-P3’，則為選擇由人工智慧人臉表情評估模組110直接提供受測者之另一個人臉部特徵參數資訊。
當然，前述所揭露之受測者之基本資料B1-B2及/或個人臉部特徵P1-P3(或P1’-P3’)，抑或優選組合C1-C2及/或注射填充劑的種類D與注射填充劑的劑量U，抑或多個醫療規則R1、R2等等各項與美容醫療輔助評估結果相關的參數資訊之數量或類型，皆僅為方便說明後續配合圖3所示該美容醫療輔助評估結果歷史資料庫之一較佳實施概念示意圖而所安排的例示，本案並不以此為限。
再者，人工智慧人臉表情評估模組110、人工智慧美容醫療辨識分析模組120以及輸出輸入模組150可組裝形成為一電子裝置160，電子裝置160可為手持式智慧行動裝置、個人電腦(PC)或獨立運作(stand-alone)之智慧裝置。舉例來說，電子裝置160可為平板電腦、智慧行動裝置、筆記型電腦、桌上型電腦、獨立單獨運作的智慧裝置或獨立單獨運作的智慧模組，其中該智慧裝置或該智慧模組可組裝或分離於一醫療裝置中(圖未示出)。
且，電子裝置160係以無線傳輸方式及/或有線傳輸方式，連接於美容醫療輔助評估結果歷史資料庫140及/或醫療知識規則模組130。舉例來說，美容醫療輔助評估結果歷史資料庫140及/或醫療知識規則模組130可儲存於雲端儲存平台中，而電子裝置160可經由各種區域/廣域網路連接於該雲端儲存平台(圖未示出)。
再請參閱圖1中之人工智慧人臉表情評估模組110，其係為本案的實施重點，並請配合圖2A〜圖2E及圖3所示者；其中，人工智慧影像偵測單元111用以執行一人工智慧影像偵測程序，並於進行一影像擷取動作(例如，以一攝像裝置(圖未示出)進行拍攝)後，即可取得受測者之一即時臉部影像；人工智慧影像校準與特徵擷取組合單元112連接於該人工智慧影像偵測單元111，人工智慧影像校準與特徵擷取組合單元112，用以因應該即時臉部影像，以執行一人工智慧影像校準與特徵擷取程序，並藉以取得一臉部表面與幾何特徵資訊；而人工智慧臉部動作編碼單元113連接於該人工智慧影像校準與特徵擷取組合單元112，人工智慧臉部動作編碼單元113用以因應該臉部表面與幾何特徵資訊，以執行一人工智慧臉部動作編碼程序，並藉以取得相對應的複數臉部動作編碼資訊；以及人工智慧臉部情緒辨識單元114連接於該人工智慧臉部動作編碼單元113，該人工智慧臉部情緒辨識單元114用以因應該些臉部動作編碼資訊(例如，如圖3中標示之靜態臉部動作編碼資訊AU1-AUn，以及動態臉部動作編碼資訊AU1’-AUn’)，以執行一人工智慧臉部情緒辨識程序，並藉以取得對應於該即時臉部影像之複數情緒指標(例如，如圖3中標示之情緒指標A31-A33)之比例分布與組合資訊，並形成該即時人臉表情評估結果A。
其中，運用於該人工智慧影像偵測程序的人工智慧機器學習法，例如包括可為屬於邊界偵測演算法類型之一哈爾特徵(Haar-like features）結合自適應增強的機器學習法，抑或可為以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)配合支援向量機(Support Vector Machine，SVM)的機器學習法，但本案並不以此為限。
請配合參閱圖2A，其係為配合本案圖1中該人工智慧影像偵測單元111之一較佳實施概念示意圖；其中，一矩形(或正方形)方框20，係用以標示圍繞所偵測到的臉部影像，以方便後續人工智慧影像校準與特徵擷取組合單元112可加以進行運用。
另外，於執行該人工智慧臉部動作編碼程序之前，先行透過以一定數量的訓練資料集與一臉部動作編碼系統(Facial Action Coding System，FACS)，並以一機器學習(Machine Learning)方式進行該人工智慧臉部動作編碼程序中之一臉部動作編碼模型的人工智慧訓練；其中該臉部動作編碼模型的訓練包括在一靜態表情及/或一動態表情之不同情境下的該臉部動作編碼模型的訓練，以分別取得一靜態臉部動作編碼資訊(例如，如圖3中標示之靜態臉部動作編碼資訊AU1-AUn)及/或一動態臉部動作編碼資訊(例如，如圖3中標示之動態臉部動作編碼資訊AU1’-AUn’)。
另一較佳做法，於實際執行人工智慧人臉表情評估模組110中之人工智慧臉部動作編碼單元113的過程中，亦可在面對新的受試者時，可要求其分別在一靜態表情及/或一動態表情之不同情境下進行測試，以同步取得該新的受試者之靜態臉部動作編碼資訊AU1-AUn與動態臉部動作編碼資訊AU1’-AUn’，以供後續人工智慧美容醫療辨識分析模組120進行更精確的辨識分析，與可予以儲存至美容醫療輔助評估結果歷史資料庫140。
當然，請配合參閱圖2B，其係為從標記有臉部關鍵點標識資訊之角度21呈現配合本案圖1中該人工智慧臉部動作編碼單元113之一較佳實施概念示意圖，且其中，此圖中的臉部動作編碼資訊係為一呈現笑臉的動態臉部動作編碼資訊21；另外，圖2C則係為從人體解剖角度呈現配合本案圖1中該人工智慧臉部動作編碼單元113之一較佳實施概念示意圖。
例如，如圖2C所示，可將眉頭處之皺眉肌定義為臉部動作編碼資訊AU4(Face Action Unit 4)，抑或將可能使口角下垂之降口角肌(depressor anguli oris)及頦肌(mentails)分別定義為臉部動作編碼資訊AU15(Face Action Unit 15)及臉部動作編碼資訊AU17(Face Action Unit 17)。
再請配合參閱圖2D，其係為在執行本案圖1中該人工智慧臉部動作編碼單元113之前，在一靜態表情及一動態表情之不同情境下針對該臉部動作編碼模型進行人工智慧訓練，以分別取得一靜態臉部動作編碼資訊及/或一動態臉部動作編碼資訊之一較佳實施概念示意圖。
其中，如圖2D的左側圖所示者，係用以觀察受測者處於一靜止狀態下抑或使其臉部處於放鬆的狀態下錄製一段短片時之的多個靜態臉部動作編碼資訊(例如，AU1、AU4、AU15)，此舉係用以察覺及分析出受測者之此些相關聯的特定臉部肌肉群在處於靜止狀態的呈現情況，以及觀察是否在靜止狀態下會不自覺地施力或作動；另外，如圖2D的右側所示者，係為受測者的多個動態臉部動作編碼資訊(例如，AU1’、AU4’、AU15’，但圖未示出)，其可依據不同情緒而動態呈現出不同人臉表情(例如可為：悲傷情緒或更多其他生氣表情、大笑表情等等不同的情緒)，並據以觀察此些相關聯的特定臉部肌肉群的動態變化。
再則，其中於執行人工智慧臉部情緒辨識程序之前，先行以包括至少以一情緒正負向性(Emotional Valance)、一情緒喚起度(Emotional Arousal)與該些情緒指標(例如，如圖3中標示之情緒指標A31-A33)等參數，結合前述臉部動作編碼系統(FACS)，並以另一機器學習(Machine Learning)方式進行該人工智慧臉部情緒辨識程序中之一臉部情緒辨識模型的人工智慧訓練。
請配合參閱圖2E，其係為配合本案圖1中人工智慧臉部情緒辨識單元114，以結合情緒理論進行定量分析每一臉部動作編碼資訊所對應的臉部肌肉群於不同情緒表情時的作動強度之一較佳實施概念示意圖。例如，本案之人工智慧人臉表情評估模組110，係可例如將人臉情緒表情區分為7大類定義，其中除了中性(Neutral)表情之外，還包括：開心(Happy)、悲傷(Sad)、生氣(Angry)、驚訝(Surprise)、恐懼(Fear/Scared)、噁心(Disgusted)等6類表情定義，以形成各種情緒指標，且本案不以此為限。
其中，可應用與結合於人工智慧臉部情緒辨識程序中之情緒理論，至少包括有Lisa Feldman Barrett所提出的「情緒向度理論」（Dimensional Theories of Emotion），抑或由Paul Ekman所提出的「情緒間斷理論」（Discrete Theories of Emotion），本案亦不以此為限。
又，本案前述人工智慧影像校準與特徵擷取組合單元112更可包括：臉部關鍵點標識單元1121連接於人工智慧影像偵測單元111，該臉部關鍵點標識單元1121用以執行一人工智慧臉部關鍵點標識程序，並藉以取得一臉部關鍵點標識資訊；一臉部校準與遮蔽單元1122，連接於該臉部關鍵點標識單元1121，該臉部校準與遮蔽單元1122用以因應該臉部關鍵點標識資訊，以執行一臉部影像校準程序，並藉以取得一正規化的臉部影像資訊；以及一臉部特徵擷取單元1123連接於該臉部校準與遮蔽單元，該臉部特徵擷取單元1123用以因應該臉部關鍵點標識資訊與該正規化的臉部影像資訊，以執行一臉部影像特徵擷取程序，並藉以取得該臉部影像表面與幾何特徵資訊。
較佳者，於執行該人工智慧臉部關鍵點標識程序之前，先行透過以一定數量的訓練資料集，並以一機器學習(Machine Learning)方式進行該人工智慧臉部關鍵點標識程序中之一臉部關鍵點標識模型的人工智慧訓練。
另一較佳作法，其中該臉部影像特徵擷取程序至少包括一臉部影像表面特徵擷取程序與一臉部影像幾何特徵擷取程序；其中，該臉部影像表面特徵擷取程序包括執行以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)取得多維度的向量資料，並結合進行一主成分分析(Principal Component Analysis，PCA)以降低向量資料量及保留重要的一臉部影像表面特徵資訊，而該臉部影像幾何特徵擷取程序包括藉由該臉部關鍵點標識資訊，以取得一臉部影像幾何特徵資訊。
再請參閱圖1，人工智慧美容醫療辨識分析模組120於執行該人工智慧美容醫療辨識分析程序之前，先行以該些歷史美容醫療輔助評估結果1-N(141)，並以一人工神經網路演算法及一深度學習演算法中之至少一者，進行該人工智慧美容醫療辨識分析程序的人工智慧訓練，但本案並不以此為限。
申言之，請參閱圖3，其中該美容醫療輔助評估結果歷史資料庫140包括複數歷史美容醫療輔助評估結果1-N(141)；其中，該每一歷史美容醫療輔助評估結果至少包括：歷來的一受測者名稱與一基本資料B、一歷史人臉表情評估結果A’、一個人臉部特徵P、該醫療知識規則模組130中之一功能性醫學解剖規則131以及一動態性醫學解剖規則132中的多個醫療規則R1、R2、一評估治療部位結果的組合與優選順序之優選組合C1-C2以及一注射填充劑的種類D與劑量U。
於實際應用時，基本資料B可包括性別B1及年齡B2；歷史人臉表情評估結果A’至少包括：靜態臉部動作編碼資訊之組合A1、動態臉部動作編碼資訊之組合A2以及多個情緒指標組合A31-A33；其中，靜態臉部動作編碼資訊之組合A1可為受測者無任何情緒時之多個靜態臉部動作編碼資訊AU1-AUn的各個靜態參數值；動態臉部動作編碼資訊之組合A2可為受測者依據不同情緒而產生之多個動態臉部動作編碼資訊AU1’-AUn’的各個動態參數值，而情緒指標組合A31-A33可例如包括：屬於負面情緒指標之害怕指標A31、生氣指標A32及鄙視指標A33，及/或可包括屬於正面情緒指標之開心指標A31、感動指標A32及滿足指標A33。
再者，個人臉部特徵P可包括習慣表情之靜態紋路特徵P1、靜態輪廓線特徵P2或膚質特徵P3；其中，個人臉部特徵P1-P3可由人臉表情評估模組110及輸入輸出模組150中之至少一者而提供。
至於功能性醫學解剖規則231之醫療規則R1，例如包括各個臉部肌肉群因應不同情緒表情的拉伸程度規則、張力程度規則R11-R14；又，動態性醫學解剖規則232之醫療規則R2，例如包括各個臉部肌肉群之間因應不同情緒表情的連動規則、收縮規則R21-R24。
最後，優選組合C1-C2可例如為受測者欲治療部位之多個靜態臉部動作編碼資訊AU1-AUn(或多個動態臉部動作編碼資訊AU1’-AUn’)中的一者或及其組合；注射填充劑的種類D可包括：水凝膠劑類W、肉毒桿菌素劑類X、透明質酸劑類Y以及膠原蛋白劑類Z。其中，水凝膠劑類W、透明質酸劑類Y以及膠原蛋白劑類Z，除了可減少人臉表情的靜態紋路，從而減少負面情緒指標組合(悲傷指標、生氣指標等)之外，還能增加正面情緒指標組合(開心指標、滿足指標等)。
當然，於本實施例中，前述歷史之美容醫療輔助評估結果1-N(141)可依據實際美容醫療的治療標的需求而調整，不應以本例為限制。且，前述之美容醫療輔助評估結果1-N(141)的內容可為熟悉本技藝之人士進行各種均等的變更或設計，可依據受測者的美容醫療實際需求進而調整設計為適應的實施態樣。
至於圖4，其係為本案發明概念中之人工智慧輔助評估方法之一較佳實施流程步驟概念示意圖，於其中至少包括下列步驟，並請參閱圖1至圖3所示者：
開始；
步驟S1：執行一人工智慧影像偵測程序，以取得一受測者之一即時臉部影像；
步驟S2：因應該即時臉部影像，以執行一人工智慧臉部關鍵點標識程序，並藉以取得一臉部關鍵點標識資訊；
步驟S3：因應該臉部關鍵點標識資訊，以執行一臉部影像校準程序，並藉以取得一正規化的臉部影像資訊；
步驟S4：因應該臉部關鍵點標識資訊與該正規化的臉部影像資訊，以執行一臉部影像特徵擷取程序，並藉以取得該臉部影像表面與幾何特徵資訊；
步驟S5：因應該臉部表面與幾何特徵資訊，以執行一人工智慧臉部動作編碼程序，並藉以取得複數臉部動作編碼資訊；
步驟S6：因應該些臉部動作編碼資訊，以執行一人工智慧臉部情緒辨識程序，並藉以取得對應於該即時臉部影像之複數情緒指標之比例分布與組合資訊，並形成一即時人臉表情評估結果A；
步驟S7：因應搭配一醫療知識規則模組及一美容醫療輔助評估結果歷史資料庫中之至少一者，以針對該即時人臉表情評估結果A執行一人工智慧美容醫療辨識分析程序，並產生輸出一即時美容醫療輔助評估結果；以及
步驟S8：反饋並儲存該即時美容醫療輔助評估結果至該醫療知識規則模組及該美容醫療輔助評估結果歷史資料庫中之至少一者；
結束。
再則，將以後述多個較佳實施概念說明，如何藉由本案之人工智慧輔助評估方法及其系統，而進行美容醫療行為。其中，下列該些較佳實施例之主要治療標的需求為改善受測者1-3之臉部表情的負面情緒指標組合，且藉由減少或改善因應負面表情情緒而造成的負面情緒指標組合，從而提升個人魅力與人際關係。
舉例來說，該些較佳實施例之主要治療目的為減少或改善不自覺的皺眉或嘴角下垂的人臉表情，以減少常給人生氣或嚴肅的感覺，甚至減少負面的微表情，且還可於其他較佳實施例中，進一步於正面情緒指標組合的部分予以加強，而達到更優質、精確且個人化美感的美容醫療效果。
請參閱圖5A至圖5F，其係為應用本案發明概念中之人工智慧輔助評估方法及輔助評估系統的第一較佳實施概念示意圖。
以圖5A至圖5F的內容，並搭配圖1至圖4所示為例，藉由人工智慧人臉表情評估模組110而偵測受測者1之多個靜態臉部動作編碼資訊AU1-AUn，且可依據每一靜態臉部動作編碼資訊AU1-AUn之一偵測結果與另一靜態臉部動作編碼資訊AU1-AUn之另一偵測結果之間的表情變化，而得致動態臉部動作編碼資訊AU1’-AUn’(圖未示出)，並據以形成即時人臉表情評估結果A；亦即，即時人臉表情評估結果A係依據靜態臉部動作編碼資訊之組合A1及動態臉部動作編碼資訊之組合A2而產生之每一情緒指標的比例結果而組合形成。
如圖5A所示，受測者可能會不自覺地皺眉，或是因為老化關係而導致嘴角下垂，將該些靜態臉部動作編碼資訊AU1-AUn所造成的微表情都記錄下來，並綜合形成靜態臉部動作編碼資訊之組合A1。
此外，如圖5B所示，動態臉部動作編碼資訊之組合A2係為受測者1依據不同情緒而呈現出不同人臉表情，例如：生氣表情、大笑表情…等。
接著，人工智慧臉部情緒分析辨識單元114進一步定量分析每一臉部動作編碼資訊的臉部肌肉群於不同情緒表情時的作動強度(包括前述的靜態臉部動作編碼資訊之組合A1與動態臉部動作編碼資訊之組合A2)，而提供更精準的動態參數值，以作為情緒指標組合A31-A33、評估治療部位結果的組合與優選順序之優選組合C1-C2，以及注射填充劑的種類D與填充劑的劑量U的治療參考。
再則，如圖5C及圖5D所示，受測者1之多個情緒指標組合A31-A33分別為悲傷指標為35.2%、生氣指標為14.1%、害怕指標為17.7%，以及依據該些情緒指標組合A31-A33所對應之每一臉部動作編碼資訊AU1-AUn的相關資訊。
另一方面，人臉表情評估模組110還可搭配人臉三維(3D)模擬單元與膚質檢測單元，而進一步提供個人臉部特徵P之習慣表情的靜態紋路特徵P1、靜態輪廓線特徵P2或膚質特徵P3等(圖未示出)。
接續，如圖5E所示，輸入即時人臉表情評估結果A至人工智慧美容醫療辨識分析模組120中，抑或人工智慧美容醫療辨識分析模組120主動接收即時人臉表情評估結果A，並選擇是否搭配醫療知識規則模組130及美容醫療輔助評估結果歷史資料庫140中之至少一者，以執行人工智慧美容醫療辨識分析程序121。之後，產生並輸出受測者1之即時美容醫療輔助評估結果，其中該即時美容醫療輔助評估結果至少包括評估治療部位結果的組合與優選順序之優選組合C1-C2，以及注射填充劑的種類D與填充劑的劑量U。
以此實施例來說，針對臉部動作編碼資訊AU1有關的肌肉群(內側額肌，Inner Frontalis)，施以肉毒桿菌素 Botulinum Toxin 8 s.U.，以及針對臉部動作編碼資訊AU15有關的肌肉群(降口角肌，depressor anguli oris)與臉部動作編碼資訊A17有關的肌肉群(頦肌，mentails)，施以Botulinum Toxin DAO 4 s.U. 與Mentalis 4 s.U的美容醫療輔助評估結果建議。
如此一來，請參閱圖5F所示，比較受測者1的臉部表情在實施治療之前、一周後與三週後的即時人臉表情評估結果，自其中可以發現受測者1臉部之悲傷指標係從35.2%經過至一周治療後直接降至為0%；另外，對於受測者1臉部之生氣指標的變化而言，其自治療前的14.1%經過至一周治療後降至為7.8%，甚且在實施肉毒桿菌治療後三週，臉部之生氣指標將可完全降至0%。
另一方面，針對悲傷指標的美容醫療輔助評估結果建議，透過本案的實施運作係也可給出另一種治療參考指引路徑：例如，當出現悲傷指標佔總情緒指標組合(總表情)之10%以上時，且臉部動作編碼單元中之臉部動作編碼資訊AU1、臉部動作編碼資訊AU4、臉部動作編碼資訊AU15皆出現增強(即佔比提高)時，建議可於相對應的肌肉群位置處注射肉毒桿菌素Botulinum Toxin A type；當然，本案可透過採用更多的個案數據(美容醫療輔助評估結果)與進行多次人工智慧深度學習/訓練程序，而顯然提出更佳的治療建議方案，不以上述的美容醫療輔助評估結果為限。
再者，請參閱圖6，其係為應用本案發明概念中之人工智慧輔助評估方法及輔助評估系統的第二較佳實施概念示意圖。
如圖6所示，藉由人工智慧人臉表情評估模組110而偵測受測者2之多個靜態臉部動作編碼資訊AU1-AUn(及動態臉部動作編碼資訊AU1’-AUn’(圖未示出))，從而提供即時人臉表情評估結果A，依此得知受測者2的多個情緒指標組合中之中性指標為26.3%為最高的，接著悲傷指標為13.9%為次高的，且同時美容醫療輔助評估結果中，其建議優選治療部位的順序為，主要造成悲傷指標的臉部動作編碼資訊AU1，其被歸類於內側眉頭上揚(Inner Brow Raiser)。
基此，再將前述即時人臉表情評估結果A結合醫療知識規則模組130與美容醫療輔助評估結果歷史資料庫140，即可得知，透過功能性醫學解剖規則以及動態性醫學解剖規則能指引出與前述臉部動作編碼資訊AU1高度相關且連動的肌肉群所在位置，之後，便可進一步提供用以進行個人化美容醫療的即時美容醫療輔助評估結果，例如：針對與臉部動作編碼資訊AU1有關的肌肉群(內側額肌，Inner Frontalis)，施以肉毒素Toxin 8 s.U.的治療參考建議。
如此一來，比較受測者2的臉部表情在實施治療之前、一周後與三週後的即時人臉表情評估結果，自其中可以發現受測者2臉部之悲傷指標係從13.9%經過至一周治療後直接降至為8.4%，甚且在實施肉毒桿菌治療後三週，臉部之悲傷指標將可完全降至為0%。簡言之，透過本案運用於美容醫療之人工智慧輔助評估方法及其系統，其所能得到的美容醫療治療成效確實是十分顯著。
之後，請參閱圖7，其係為應用本案發明概念中之人工智慧輔助評估方法及輔助評估系統的第三較佳實施概念示意圖。
如圖7所示，藉由人工智慧人臉表情評估模組110而偵測受測者3之多個臉部動作編碼資訊AU1-AUn(及動態臉部動作編碼資訊AU1’-AUn’(圖未示出))，從而提供即時人臉表情評估結果A，依此可得知，不論是哪一種性別或年齡的人類生氣表情，大致都與前述臉部動作編碼資訊AU15與臉部動作編碼資訊AU17的肌肉群有關；且比較受測者3的臉部表情在實施治療之前、一周後與三週後的人臉表情評估結果，自其中可以發現受測者3臉部之生氣指標，經過三週的治療後已有很明顯的改善。
也就是說，針對生氣指標的美容醫療輔助評估結果建議，透過本案的實施運作係可給出另一種治療參考指引路徑，例如：當出現生氣指標為10%以上，且臉部動作編碼單元中之臉部動作編碼資訊AU15與臉部動作編碼資訊AU17皆出現增強(即佔比提高)時，建議可於相對應的肌肉群(降口角肌與頦肌)位置處注射肉毒桿菌素Botulinum Toxin A type。
然而，針對上述之較佳實施例，並對照於目前習知僅以醫師個人判斷的美容醫療治療建議作法後，即可比較知悉，習知作法確實易受限於醫師個人經驗與刻板印象的影響，以致不能夠全盤客觀的考量，進而存有漏失每個人微表情的差異的重大缺失。
詳細來說，治療標的為減少生氣指標，醫師往往使用肉毒桿菌素去減少皺眉肌的動作，而忽略每個人生氣表情的肌肉動作其實微有差異，少數人可能嘴角同時往下，或下巴肌肉會收縮上揚，也有人抬眉肌內側有些動作，而這些肌肉的牽動有可能只有部分是肉眼可見的，因此易造成肌肉牽動過度細微而不易察覺，從而產生治療上的盲點與誤區，進而造成反效果的醫療成效與不必要的醫療糾紛。
舉例來說，於圖5A至圖5F中之受測者1，如改為以習知醫師個人判斷的美容醫療治療建議為，其主要治療部位將會集中為臉部動作編碼資訊AU15與臉部動作編碼資訊AU17，其中，醫師遺漏生氣指標之臉部動作編碼資訊AU1，而使美容醫療治療效果不佳(圖未示出)。
其次，於圖6中之受測者2，以習知醫師個人判斷的美容醫療治療建議為，通常主要治療部位為臉部動作編碼資訊AU2，其判斷依據為受測者2之眼輪匝肌引起眼睛下垂，而造成悲傷指標。然而，執行美容醫療行為後，比較受測者2的臉部表情在實施治療之前、一周後與三週後的即時人臉表情評估結果，自其中可以發現受測者2臉部的悲傷指標，係從6.8%經過至一周治療後直接降至為5.1%，但在實施肉毒桿菌治療後三週的悲傷指標卻回復至6.7%，其原因在於醫師錯誤判斷受測者2的治療部位，而導致美容醫療治療效果不佳，從而無法有效地改善悲傷指標(圖未示出)。
最後，於圖7中之受測者3，如改以習知醫師個人判斷的美容醫療治療建議為，則通常主要治療部位為於臉部動作編碼資訊AU17處注射肉毒桿菌素abobotulinumtoxin A共4劑量(Units)。然而，執行美容醫療行為後，比較受測者3的臉部表情在實施治療之前、一周後與三週後的即時人臉表情評估結果，自其中可以發現受測者3臉部的生氣指標，係從10.9%經過至一周治療後直接降至為5.9%，但在實施肉毒桿菌治療後三週的生氣指標卻升至13.9%，其原因在於醫師不但遺漏判斷受測者3的治療部位(臉部動作編碼資訊AU15)，且注射肉毒桿菌素abobotulinumtoxin A於臉部動作編碼資訊AU17的劑量亦不足夠，而導致非但無法改善受測者的人臉表情，反而還造成生氣指標提升的反效果(圖未示出)。
是以，相較於本案之運用於美容醫療之人工智慧輔助評估方法及其系統，其藉由人工智慧人臉表情評估模組110提供受測者高品質之即時人臉表情評估結果A，再透過人工智慧美容醫療辨識分析模組120選擇搭配醫療知識規則模組中之複數醫療規則與美容醫療輔助評估結果歷史資料庫，以執行人工智慧辨識分析程序，從而產生並輸出美容醫療輔助評估結果，其中美容醫療輔助評估結果至少包括受測者之評估治療部位結果的組合與優選順序及/或注射填充劑種類與劑量。如此一來，本案不但能精準地分析評估出正確及完整的治療部位，且亦能準確地提供注射填充劑的種類與劑量，從而達到個人化美感的美容醫療治療效果。
除此之外，本案還可進行加強正面情緒指標組合的美容醫療行為，抑或，針對人臉老化的治療部位做預防性改善的美容治療建議，例如：人臉肌肉鬆弛後會造成嘴角下垂，因而可能產生生氣指標的面相等。
另一方面，本案之方法與系統可應用於多種美容醫療或美學領域，還能作為美容醫療手術前後之治療效果的判斷依據，亦可應用於醫療教學領域，作為培訓醫師以進修或改善先前治療時的盲點與誤區。
以上所述僅為本發明之較佳實施例，並非用以限定本發明之申請專利範圍，因此凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含於本案之申請專利範圍內。
100:人工智慧輔助評估系統 110:人工智慧人臉表情評估模組 111:人工智慧影像偵測單元 112:人工智慧影像校準與特徵擷取組合單元 1121:臉部關鍵點標識單元 1122:臉部校準與遮蔽單元 1123:臉部特徵擷取單元 113:人工智慧臉部動作編碼單元 114:人工智慧臉部情緒辨識單元 120:人工智慧美容醫療辨識分析模組 121:人工智慧美容醫療辨識分析程序 130:醫療知識規則模組 131:功能性醫學解剖規則 132:動態性醫學解剖規則 140:美容醫療輔助評估結果歷史資料庫 141:歷史的美容醫療輔助評估結果1-N 150:輸出輸入模組 160:電子裝置 20:矩形(或正方形)方框 21:臉部關鍵點標識資訊 A:即時人臉表情評估結果 A’:歷史人臉表情評估結果 A31-A33:情緒指標組合 AU1-AUn:靜態臉部動作編碼資訊 A1:多個靜態臉部動作編碼資訊之組合 22、AU1’-AUn’:動態臉部動作編碼資訊 A2:多個動態臉部動作編碼資訊之組合 B:基本資料 B1:性別 B2:年齡 C1、C2:評估治療部位結果的組合與優選順序之優選組合 P:個人臉部特徵 P1、P1’:習慣表情之靜態紋路特徵 P2、P2’:靜態輪廓線特徵 P3、P3’:膚質特徵 D:注射填充劑的種類 U:注射填充劑的劑量 R1、R11-R14:功能性醫學解剖規則之複數醫療規則 R2、R21-R24:動態性醫學解剖規則之複數醫療規則 S1-S8:人工智慧輔助評估方法之流程步驟
圖1：係為本案發明概念中之人工智慧輔助評估系統之一較佳實施概念示意圖。
圖2A：係為配合本案圖1中該人工智慧影像偵測單元之一較佳實施概念示意圖。
圖2B：係為從標記有臉部關鍵點標識資訊之角度呈現配合本案圖1中該人工智慧臉部動作編碼單元之一較佳實施概念示意圖。
圖2C：係為從人體解剖角度呈現配合本案圖1中該人工智慧臉部動作編碼單元之一較佳實施概念示意圖。
圖2D：係為在執行本案圖1中該人工智慧臉部動作編碼單元之前，在一靜態表情及一動態表情之不同情境下針對該臉部動作編碼模型進行人工智慧訓練之一較佳實施概念示意圖。
圖2E：係為配合本案圖1中該人工智慧臉部情緒辨識單元，以結合情緒理論進行定量分析每一臉部動作編碼資訊所對應的臉部肌肉群於不同情緒表情時的作動強度之一較佳實施概念示意圖。
圖3：係為配合本案圖1中該美容醫療輔助評估結果歷史資料庫之一較佳實施概念示意圖。
圖4：係為本案發明概念中之人工智慧輔助評估方法之一較佳實施流程步驟概念示意圖。
圖5A至圖5F：係為應用本案發明概念中之人工智慧輔助評估方法及輔助評估系統的第一較佳實施概念示意圖。
圖6：係為應用本案發明概念中之人工智慧輔助評估方法及輔助評估系統的第二較佳實施概念示意圖。
圖7：係為應用本案發明概念中之人工智慧輔助評估方法及輔助評估系統的第三較佳實施概念示意圖。
S1-S8:流程步驟

Claims (32)

  1. 一種運用於美容醫療之人工智慧輔助評估方法，其至少包括下列步驟： 　　(a) 提供一受測者之一即時人臉表情評估結果；以及 　　(b) 因應搭配一醫療知識規則模組及一美容醫療輔助評估結果歷史資料庫中之至少一者，以針對該即時人臉表情評估結果執行一人工智慧美容醫療辨識分析程序，並產生輸出一即時美容醫療輔助評估結果； 　　其中，該步驟(a)至少包括下列步驟： 　　　　(a1) 執行一人工智慧影像偵測程序，以取得該受測者之一即時臉部影像； 　　　　(a2) 因應該即時臉部影像，以執行一人工智慧影像校準與特徵擷取程序，並藉以取得一臉部表面與幾何特徵資訊； 　　　　(a3) 因應該臉部表面與幾何特徵資訊，以執行一人工智慧臉部動作編碼程序，並藉以取得複數臉部動作編碼資訊；以及 　　　　(a4) 因應該些臉部動作編碼資訊，以執行一人工智慧臉部情緒辨識程序，並藉以取得對應於該即時臉部影像之複數情緒指標之比例分布與組合資訊，並形成該即時人臉表情評估結果。
  2. 如申請專利範圍第1項所述之人工智慧輔助評估方法，其中該步驟(b)之後更包括下列步驟： 　　(c) 反饋並儲存該即時美容醫療輔助評估結果至該醫療知識規則模組及該美容醫療輔助評估結果歷史資料庫中之至少一者。
  3. 如申請專利範圍第1項所述之人工智慧輔助評估方法，其中該即時美容醫療輔助評估結果至少包括： 　　該受測者之一評估治療部位結果的組合與優選順序，抑或該評估治療部位結果的組合與優選順序以及一注射填充劑種類與劑量。
  4. 如申請專利範圍第1項所述之人工智慧輔助評估方法，其中該醫療知識規則模組更包括一功能性醫學解剖規則以及一動態性醫學解剖規則。
  5. 申請專利範圍第1項所述之人工智慧輔助評估方法，其中運用於該人工智慧影像偵測程序的人工智慧機器學習法，包括可為屬於邊界偵測演算法類型之一哈爾特徵(Haar-like features）結合自適應增強的機器學習法，抑或可為以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)配合支援向量機(Support Vector Machine，SVM)的機器學習法。
  6. 申請專利範圍第1項所述之人工智慧輔助評估方法，其中於該步驟(a2)中之該人工智慧影像校準與特徵擷取程序至少包括下列步驟： 　　(a21) 因應該即時臉部影像，以執行一人工智慧臉部關鍵點標識程序，並藉以取得一臉部關鍵點標識資訊； 　　(a22) 因應該臉部關鍵點標識資訊，以執行一臉部影像校準程序，並藉以取得一正規化的臉部影像資訊；以及 　　(a23) 因應該臉部關鍵點標識資訊與該正規化的臉部影像資訊，以執行一臉部影像特徵擷取程序，並藉以取得該臉部影像表面與幾何特徵資訊。
  7. 申請專利範圍第6項所述之人工智慧輔助評估方法，其中於執行該人工智慧臉部關鍵點標識程序之前，先行透過以一定數量的訓練資料集，並以一機器學習(Machine Learning)方式進行該人工智慧臉部關鍵點標識程序中之一臉部關鍵點標識模型的人工智慧訓練。
  8. 申請專利範圍第6項所述之人工智慧輔助評估方法，其中該臉部影像校準程序至少包括以一仿射變換技術消除該臉部關鍵點標識資訊中因姿勢不同所帶來的誤差，以及使臉部影像的大小與呈現方式予以統一化，藉以取得該正規化的臉部影像資訊。
  9. 申請專利範圍第6項所述之人工智慧輔助評估方法，其中該臉部影像特徵擷取程序至少包括一臉部影像表面特徵擷取程序與一臉部影像幾何特徵擷取程序；其中，該臉部影像表面特徵擷取程序包括執行以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)取得多維度的向量資料，並結合進行一主成分分析(Principal Component Analysis，PCA)以降低向量資料量及保留重要的一臉部影像表面特徵資訊，而該臉部影像幾何特徵擷取程序包括藉由該臉部關鍵點標識資訊，以取得一臉部影像幾何特徵資訊。
  10. 申請專利範圍第1項所述之人工智慧輔助評估方法，其中於執行該人工智慧臉部動作編碼程序之前，先行透過以一定數量的訓練資料集與一臉部動作編碼系統(Facial Action Coding System，FACS)，並以一機器學習(Machine Learning)方式進行該人工智慧臉部動作編碼程序中之一臉部動作編碼模型的人工智慧訓練。
  11. 如申請專利範圍第10項所述之人工智慧輔助評估方法，其中該臉部動作編碼模型的訓練包括在一靜態表情及/或一動態表情之不同情境下的該臉部動作編碼模型的訓練，以分別取得一靜態臉部動作編碼資訊及/或一動態臉部動作編碼資訊。
  12. 申請專利範圍第10項所述之人工智慧輔助評估方法，其中於執行該人工智慧臉部情緒辨識程序之前，先行以包括至少以一情緒正負向性(Emotional Valance)、一情緒喚起度(Emotional Arousal)與該些情緒指標等參數，結合該臉部動作編碼系統，並以另一機器學習(Machine Learning)方式進行該人工智慧臉部情緒辨識程序中之一臉部情緒辨識模型的人工智慧訓練。
  13. 如申請專利範圍第1項所述之人工智慧輔助評估方法，其中該美容醫療輔助評估結果歷史資料庫包括複數歷史美容醫療輔助評估結果；其中，該每一歷史美容醫療輔助評估結果至少包括：歷來的一受測者名稱與一基本資料、一歷史人臉表情評估結果、一個人臉部特徵、該醫療知識規則模組中之一功能性醫學解剖規則以及一動態性醫學解剖規則、一評估治療部位結果的組合與優選順序以及一注射填充劑的種類與劑量。
  14. 如申請專利範圍第13項所述之人工智慧輔助評估方法，其中該個人臉部特徵包括一習慣表情之靜態紋路特徵、一靜態輪廓線特徵或一膚質特徵。
  15. 如申請專利範圍第13項所述之人工智慧輔助評估方法，其中於執行該人工智慧美容醫療辨識分析程序之前，先行以該些歷史美容醫療輔助評估結果，並以一人工神經網路演算法及一深度學習演算法中之至少一者，進行該人工智慧美容醫療辨識分析程序的人工智慧訓練。
  16. 一種美容醫療之人工智慧輔助評估系統，其至少包括： 　　一人工智慧人臉表情評估模組，提供一受測者之一即時人臉表情評估結果； 　　一人工智慧美容醫療辨識分析模組，連接於該人工智慧人臉表情評估模組；以及 　　一輸出輸入模組，連接於該人工智慧美容醫療辨識分析模組，其用以輸入該受測者之一基本資料及/或一個人臉部特徵，並予以輸出至該人工智慧美容醫療辨識分析模組中； 　　其中，該人工智慧美容醫療辨識分析模組用以接收該受測者之該基本資料及/或該個人臉部特徵中之至少一者，以及該即時人臉表情評估結果，並依據所連接之一醫療知識規則模組及一美容醫療輔助評估結果歷史資料庫中之至少一者，以執行一人工智慧美容醫療辨識分析程序，且適應地產生並輸出一即時美容醫療輔助評估結果至該輸出輸入模組中。
  17. 如申請專利範圍第16項所述之人工智慧輔助評估系統，其中該人工智慧辨識分析模組反饋並儲存該即時美容輔助評估結果至該醫療知識規則模組及該美容醫療輔助評估結果歷史資料庫中之至少一者。
  18. 如申請專利範圍第16項所述之人工智慧輔助評估系統，其中該即時美容醫療輔助評估結果至少包括該受測者之一評估治療部位結果的組合與優選順序，抑或該評估治療部位結果的組合與優選順序以及一注射填充劑種類與劑量。
  19. 如申請專利範圍第16項所述之人工智慧輔助評估系統，其中該醫療知識規則模組更包括一功能性醫學解剖規則以及一動態性醫學解剖規則。
  20. 如申請專利範圍第16項所述之人工智慧輔助評估系統，其中該人工智慧人臉表情評估模組包括： 　　一人工智慧影像偵測單元，用以執行一人工智慧影像偵測程序，以取得該受測者之一即時臉部影像； 　　一人工智慧影像校準與特徵擷取組合單元，連接於該人工智慧影像偵測單元，該人工智慧影像校準與特徵擷取組合單元，用以因應該即時臉部影像，以執行一人工智慧影像校準與特徵擷取程序，並藉以取得一臉部表面與幾何特徵資訊； 　　一人工智慧臉部動作編碼單元，連接於該人工智慧影像校準與特徵擷取組合單元，該人工智慧臉部動作編碼單元用以因應該臉部表面與幾何特徵資訊，以執行一人工智慧臉部動作編碼程序，並藉以取得複數臉部動作編碼資訊；以及 　　一人工智慧臉部情緒辨識單元，連接於該人工智慧臉部動作編碼單元，該人工智慧臉部情緒辨識單元用以因應該些臉部動作編碼資訊，以執行一人工智慧臉部情緒辨識程序，並藉以取得對應於該即時臉部影像之複數情緒指標之比例分布與組合資訊，並形成該即時人臉表情評估結果。
  21. 如申請專利範圍第20項所述之人工智慧輔助評估系統，其中運用於該人工智慧影像偵測程序的人工智慧機器學習法，包括可為屬於邊界偵測演算法類型之一哈爾特徵(Haar-like features）結合自適應增強的機器學習法，抑或可為以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)配合支援向量機(Support Vector Machine，SVM)的機器學習法。
  22. 如申請專利範圍第20項所述之人工智慧輔助評估系統，其中於執行該人工智慧臉部動作編碼程序之前，先行透過以一定數量的訓練資料集與一臉部動作編碼系統(Facial Action Coding System，FACS)，並以一機器學習(Machine Learning)方式進行該人工智慧臉部動作編碼程序中之一臉部動作編碼模型的人工智慧訓練。
  23. 如申請專利範圍第22項所述之人工智慧輔助評估系統，其中該臉部動作編碼模型的訓練包括在一靜態表情及/或一動態表情之不同情境下的該臉部動作編碼模型的訓練，以分別取得一靜態臉部動作編碼資訊及/或一動態臉部動作編碼資訊。
  24. 如申請專利範圍第22項所述之人工智慧輔助評估系統，其中於執行該人工智慧臉部情緒辨識程序之前，先行以包括至少以一情緒正負向性(Emotional Valance)、一情緒喚起度(Emotional Arousal)與該些情緒指標等參數，結合該臉部動作編碼系統，並以另一機器學習(Machine Learning)方式進行該人工智慧臉部情緒辨識程序中之一臉部情緒辨識模型的人工智慧訓練。
  25. 如申請專利範圍第20項所述之人工智慧輔助評估系統，其中該人工智慧影像校準與特徵擷取組合單元包括： 　　一臉部關鍵點標識單元，連接於該人工智慧影像偵測單元，該臉部關鍵點標識單元用以執行一人工智慧臉部關鍵點標識程序，並藉以取得一臉部關鍵點標識資訊； 　　一臉部校準與遮蔽單元，連接於該臉部關鍵點標識單元，該臉部校準與遮蔽單元用以因應該臉部關鍵點標識資訊，以執行一臉部影像校準程序，並藉以取得一正規化的臉部影像資訊；以及 　　一臉部特徵擷取單元，連接於該臉部校準與遮蔽單元，該臉部特徵擷取單元用以因應該臉部關鍵點標識資訊與該正規化的臉部影像資訊，以執行一臉部影像特徵擷取程序，並藉以取得該臉部影像表面與幾何特徵資訊。
  26. 如申請專利範圍第25項所述之人工智慧輔助評估系統，其中於執行該人工智慧臉部關鍵點標識程序之前，先行透過以一定數量的訓練資料集，並以一機器學習(Machine Learning)方式進行該人工智慧臉部關鍵點標識程序中之一臉部關鍵點標識模型的人工智慧訓練。
  27. 如申請專利範圍第25項所述之人工智慧輔助評估系統，其中該臉部影像特徵擷取程序至少包括一臉部影像表面特徵擷取程序與一臉部影像幾何特徵擷取程序；其中，該臉部影像表面特徵擷取程序包括執行以一方向梯度直方圖(Histogram of Oriented Gradients，HOG)取得多維度的向量資料，並結合進行一主成分分析(Principal Component Analysis，PCA)以降低向量資料量及保留重要的一臉部影像表面特徵資訊，而該臉部影像幾何特徵擷取程序包括藉由該臉部關鍵點標識資訊，以取得一臉部影像幾何特徵資訊。
  28. 如申請專利範圍第25項所述之人工智慧輔助評估系統，其中該美容醫療輔助評估結果歷史資料庫包括複數歷史美容醫療輔助評估結果；其中，該每一歷史美容醫療輔助評估結果至少包括：歷來的一受測者名稱與一基本資料、一歷史人臉表情評估結果、一個人臉部特徵、該醫療知識規則模組中之一功能性醫學解剖規則以及一動態性醫學解剖規則、一評估治療部位結果的組合與優選順序以及一注射填充劑的種類與劑量。
  29. 如申請專利範圍第28項所述之人工智慧輔助評估系統，其中該個人臉部特徵包括一習慣表情之靜態紋路特徵、一靜態輪廓線特徵或一膚質特徵。
  30. 如申請專利範圍第28項所述之人工智慧輔助評估系統，其中於執行該人工智慧美容醫療辨識分析程序之前，先行以該些歷史美容醫療輔助評估結果，並以一人工神經網路演算法及一深度學習演算法中之至少一者，進行該人工智慧美容醫療辨識分析程序的人工智慧訓練。
  31. 如申請專利範圍第16項所述之人工智慧輔助評估系統，其中藉由該人工智慧人臉表情評估模組、該人工智慧辨識分析模組以及該輸入輸出模組而組裝形成一電子裝置；其中，該電子裝置係為一手持式智慧行動裝置、一個人電腦或一獨立運作之智慧裝置。
  32. 如申請專利範圍第31項所述之人工智慧輔助評估系統，其中該電子裝置係以一無線傳輸方式及一有線傳輸方式中之至少一者連接於該美容醫療輔助評估結果歷史資料庫及該醫療知識規則模組中之至少一者。
TW111101864A 2021-01-15 2022-01-17 運用於美容醫療之人工智慧輔助評估方法及其輔助評估系統 TW202238618A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163137767P 2021-01-15 2021-01-15
US63/137767 2021-01-15

Publications (1)

Publication Number Publication Date
TW202238618A true TW202238618A (zh) 2022-10-01

Family

ID=82406360

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111101864A TW202238618A (zh) 2021-01-15 2022-01-17 運用於美容醫療之人工智慧輔助評估方法及其輔助評估系統

Country Status (3)

Country Link
US (1) US20220230471A1 (zh)
CN (1) CN114842522A (zh)
TW (1) TW202238618A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024064203A (ja) * 2022-10-27 2024-05-14 Kddi株式会社 情報処理装置、情報処理方法及びプログラム
CN116458945B (zh) * 2023-04-25 2024-01-16 杭州整形医院有限公司 一种儿童面部美容缝合路线的智能引导系统及方法
CN117745732B (zh) * 2024-02-21 2024-05-10 江苏康众数字医疗科技股份有限公司 医疗检查的辅助摆位引导方法及图像脱敏处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2907569B1 (fr) * 2006-10-24 2009-05-29 Jean Marc Robin Procede et dispositif de simulation virtuelle d'une sequence d'images video.
US9579057B2 (en) * 2013-12-09 2017-02-28 Stefan Bradu System for multidimensional analysis, modulation and optimization of facial expressions
US9336268B1 (en) * 2015-04-08 2016-05-10 Pearson Education, Inc. Relativistic sentiment analyzer
US10417483B2 (en) * 2017-01-25 2019-09-17 Imam Abdulrahman Bin Faisal University Facial expression recognition
CN112423669B (zh) * 2018-07-18 2024-07-30 皇家飞利浦有限公司 手持式医学扫描设备中的采集工作流程和状态指标
CN110532971B (zh) * 2019-09-02 2023-04-28 京东方科技集团股份有限公司 图像处理及装置、训练方法以及计算机可读存储介质
US11803996B2 (en) * 2021-07-30 2023-10-31 Lemon Inc. Neural network architecture for face tracking

Also Published As

Publication number Publication date
CN114842522A (zh) 2022-08-02
US20220230471A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
TW202238618A (zh) 運用於美容醫療之人工智慧輔助評估方法及其輔助評估系統
Balas et al. Trustworthiness perception is disrupted in artificial faces
Mathur et al. Navigating a social world with robot partners: A quantitative cartography of the Uncanny Valley
Krumhuber et al. FACSGen 2.0 animation software: generating three-dimensional FACS-valid facial expressions for emotion research.
AU2009214829B2 (en) System and method of cosmetic analysis and treatment diagnosis
US9579057B2 (en) System for multidimensional analysis, modulation and optimization of facial expressions
CN109830280A (zh) 心理辅助分析方法、装置、计算机设备和存储介质
Lai et al. Facial age after-effects show partial identity invariance and transfer from hands to faces
Parvathi et al. Emotion Analysis Using Deep Learning
Moosaei et al. Naturalistic pain synthesis for virtual patients
Wu et al. Recognizing, fast and slow: Complex emotion recognition with facial expression detection and remote physiological measurement
US11227424B2 (en) Method and system to provide a computer-modified visualization of the desired face of a person
Tiwari et al. Classification of Motor Imaginary in EEG using feature Optimization and Machine Learning
Bastanfard et al. Toward E-appearance of human face and hair by age, expression and rejuvenation
Zatarain-Cabada et al. Building a corpus and a local binary pattern recognizer for learning-centered emotions
Jandová et al. Sexual dimorphism in human facial expressions by 3D surface processing
Kolivand et al. Emotion interaction with virtual reality using hybrid emotion classification technique toward brain signals
TWI756681B (zh) 運用於美容醫療之人工智慧輔助評估方法及其系統
Liu Validation Research on the Application of Depth-wise Separable Convolutional AI Facial Expression Recognition in Non-pharmacological Treatment of BPSD
Mazzei et al. Recognition and expression of emotions by a symbiotic android head
Wallraven Touching on face space: Comparing visual and haptic processing of face shapes
TW201945898A (zh) 資訊處理裝置及程式
KR102536648B1 (ko) 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템 및 그 방법
US20230260625A1 (en) Method And System for Recommending Injectables for Cosmetic Treatments
Lai et al. Novel approach to neural network based caricature generation