TW201905851A

TW201905851A - 以ar技術實現穴道視覺化之方法

Info

Publication number: TW201905851A
Application number: TW106120650A
Authority: TW
Inventors: 藍崑展; 胡敏君; 陳奕璋
Original assignee: 國立成功大學
Priority date: 2017-06-20
Filing date: 2017-06-20
Publication date: 2019-02-01
Also published as: TWI629662B

Abstract

一種以AR技術實現穴道視覺化之方法，包括有建立跡於人體部位的三維可形變模型，該模型包括多個第一標記與一穴道位置點；接收一輸入影像，於該輸入影像上標記多個第二標記；根據該該些第一標記與該些第二標記之座標資訊的偏差程度，對該三維可形變模型進行擬合，以調整該些第一標記的分布趨近該些第二標記的分布；根據該三維可形變模型之該些第一標記的座標變化量，調整該至少一穴道位置點的座標，以取得對應預估穴道位置點；附加預估穴道位置點於該輸入影像上，以構成一輸出影像，並顯示該輸出影像以達穴道視覺化效果。

Description

以AR技術實現穴道視覺化之方法

本發明係與提示人體穴道位置的方法有關；特別是指一種以AR技術實現穴道視覺化之方法。

中醫針灸與穴位按摩是中醫常用的療法，根據病患的不同症狀可以針對對應症狀的穴道進行針灸或按摩，藉以治療或緩解病患的不適。

然而，除非經由一段時間的專業訓練，一般人很難找出對應各種症狀的穴道點的位置以及對應的用途，再者，穴道的確切位置點也會根據個人體型上的差異而有所不同，因此，對於一般社會大眾來說，透過按摩穴道來緩解自身的不適，是比較陌生的。

中國專利第104207931B號揭露一種人臉面部穴位精准定位和針灸處方學習方法，其技術手段在於由一致性信息融合算法，結合不同針灸專家穴位定位測量值，得出某穴位點的最佳融合值，以實現針灸穴道位置點客觀化的功能。其中，前述專利所採集的不同針灸專家穴位定位為二維數據值，因此，其執行穴道定位時只能以人臉正面照片來定位。其次，前述專利所執行的臉部匹配，是將待識別臉部與多個臉部模型相比，以求得歐幾里得距離最小者的最接近的臉部模型，然而，倘若所儲存的臉部模型中皆與待識別臉部無法取得最佳匹配，那麼即使以最接近的臉部模型取得的某穴位點融合值，實際上也與待識別臉部的穴道位置點有所差異，而具有有待改進的地方。

更進一步，如何因應不同使用者的體型或身體特徵的差異提供對應的穴道位置點，以精準定位出符合不同使用者的穴道位置點，也是發明人所亟欲解決的問題之一。

有鑑於此，本發明之目的在於提供一種以AR技術實現穴道視覺化之方法，可幫助不同使用者快速並準確定位出對應與其相符的穴道位置。

緣以達成上述目的，本發明提供的一種以AR技術實現穴道視覺化之方法，包括有以下步驟：A、提供一基於人體部位的三維可形變模型（3D Morphable Model），該三維可形變模型包括有依據該人體部位之特徵而遍布的多個第一標記以及至少一穴道位置點；B、接收一輸入影像，並依據該輸入影像上的人體部位特徵於該輸入影像上標記多個第二標記；C、根據該三維可形變模型的該些第一標記與該輸入影像的該些第二標記之座標資訊的偏差程度，對該三維可形變模型進行擬合，以調整該些第一標記的分布趨近該些第二標記的分布；D、根據該三維可形變模型之該些第一標記的座標變化量，調整該至少一穴道位置點的座標，以取得對應的至少一預估穴道位置點；E、附加該至少一預估穴道位置點於該輸入影像上，以構成一輸出影像；以及F、顯示該輸出影像。

本發明之效果在於，透過比對三維可形變模型以及輸入影像間的標記位置差異，取得對應的預估穴道位置點，並將預估穴道位置點附加於使用者提供的輸入影像上，並輸出對應的輸出影像供使用者觀看，藉以達到穴道視覺化的效果。

為能更清楚地說明本發明，茲舉一較佳實施例並配合圖式詳細說明如後。請參圖１所示，為本發明一較佳實施例之以AR技術實現穴道視覺化之方法所應用的一中醫系統1，該中醫系統1包括有一處理單元10、一輸入模組20、一判斷模組30、一影像處理模組40以及一顯示模組50。

該輸入模組20與該處理單元10連接，該輸入模組20包括有一症狀輸入單元22及/或一穴道輸入單元26，以及一影像輸入單元26。其中，該症狀輸入單元22用以接收一症狀之描述，舉例而言，於一實施例中，該症狀輸入單元22可以是一收音單元（如麥克風），用以接收使用者透過語音的方式說明症狀，或者用以接收使用者的一段聲音檔案，並且可透過分析該聲音檔案判斷使用者的症狀；另外，於一實施例中，該症狀輸入單元22可以是例如觸控螢幕、鍵盤等的操作介面，用以供使用者輸入症狀之描述；另外，於一實施例中，所述的症狀輸入單元也可為一相機鏡頭，用以拍攝患者的人體部位影像，並以該影像的特徵作為輸入的症狀之描述，但於其他應用上，並不以此為限。

該穴道輸入單元24用以接收一穴道訊息，舉例而言，於一實施例中，該穴道輸入單元24可以是一收音單元，用以收錄使用者以語音的方式所輸入的穴道訊息，其中所述穴道訊息包括有：穴道名稱、穴道功能等等；另外，於一實施例中，該穴道輸入單元24可以是一以觸控螢幕為例的操作介面，於該觸控螢幕上顯示有多個穴道資訊的選單或按鈕，可供使用者點選，以輸入所選定的穴道訊息。

該影像輸入單元26用以接收一輸入影像，舉例而言，所述的影像輸入單元26可以是一相機、攝影機或是其他配備有鏡頭的手機或是穿戴裝置（如google眼鏡等），使用者可操作該影像輸入單元24對人體部位進行拍攝，藉以取得輸入影像。

該判斷模組30與該處理單元10連接，其包括有一資料庫32以及一判斷單元34。該資料庫32供儲存有多筆病症資料以及多筆與前述病症相關聯的穴道資料，此外，於一實施例中，所述的資料庫32可為中醫醫學集成資料庫，除了儲存有病症、穴道資料外，還可儲存有多種中藥材資訊、病患歷史資訊以及針對各病症所推薦之專門醫院診所等資料，但並不以此為限。

該判斷單元34用以根據前述輸入模組20所接收的症狀之描述或者穴道訊息，與該資料庫32中所儲存的該些病症資料、穴道資料等進行關聯性匹配，以取得對應該症狀之描述或該穴道訊息的穴道資料。

該影像處理模組40與該處理單元10連接，用以將該對應該穴道資料的預估穴道位置點附加於該輸入影像上，以形成一輸出影像，並於該顯示模組50上顯示。

其中，前述的輸入模組20可以是由一筆記型電腦、平板電腦、桌上型電腦、智慧型手機、攜帶式裝置以及穿戴裝置等電子裝置的其中一者所提供，或者是由前述裝置協同運作以提供前述症狀輸入單元22、穴道輸入單元24以及影像輸入單元26之功能，而前述的處理單元10可為前述裝置之處理核心，但不以此為限。所述診斷模組30可見至於前述的電子裝置，但不以此為限，亦可建置於另外的主機上或者是雲端資料庫等伺服器端，並可透過網路或其他無線或是有線通訊方式與前述電子裝置連線。所述影像處理模組40可以是前述電子裝置所提供，或者由伺服器端方面所提供。所述顯示模組50可以是前述電子裝置所提供，或者是由該電子裝置另外連接一顯示裝置，以實現該顯示模組50顯示該輸出影像之功能。

請參圖１及圖２所示，於一使用情境下，中醫系統包括有一以智慧型手機60為例的行動裝置，該智慧型手機60具有該處理單元10、該輸入模組20以及顯示模組50；以及一伺服器端70，該伺服器端70提供有該判斷模組30以及該影像處理模組40。

首先，使用者可操作該智慧型手機60與該伺服器端70進行連線，例如透過行動應用程式與該伺服器端70連結，並可操作該智慧型手機60輸入症狀之描述或穴道訊息，並將症狀之描述或穴道訊息上傳至該伺服器端70，該伺服器端接收到該症狀之描述或該穴道訊息後，並可透過判斷單元34根據該症狀之描述或該穴道訊息與資料庫32中所儲存的該些病症資料及/或該些穴道資料進行關聯性匹配，並取得對應該症狀之描述或該穴道訊息的穴道資料。例如，於進行關聯性匹配後，所得之穴道資料包括迎香穴以及巨髎穴。

接著，接收使用者所提供一二維輸入影像，以作為後續穴道視覺化的目標影像。此外，於一實施例中，伺服器端70可進一步提示使用者提供對應匹配結果之特定人體部位特徵的輸入影像。舉例而言，當該伺服器端70進行匹配確認對應的穴道資料後，可一併取得對應穴道點位置，例如於本實施例中，進行關聯性匹配所得之迎香穴以及巨髎穴皆位於臉部，那麼伺服器端70便可更進一步提示使用者提供臉部影像作為輸入影像，例如將人體模型中的頭部以相異顏色或閃爍方式表示，如此一來，便可有助於提示使用者，以幫助使用者提供對應正確的人體部位輸入影像。

於伺服器端70接收該輸入影像後，便根據經由關聯性匹配後所得之穴道資料將預估穴道位置點附加於該輸入影像上，以形成一輸出影像。例如，於本實施例中，係將迎香穴以及巨髎穴等穴道的預估穴道位置點A1附加於該輸入影像上，以形成該輸出影像O，並回傳給該智慧型手機60，於該智慧型手機60上進行顯示。其中，前述取得輸入影像以及將預估穴道位置點附加於該輸入影像上，以形成輸出影像的步驟可重複執行，如此一來，便可於智慧型手機60上提供使用者即時的穴道視覺化的輸出影像O，使用者便可根據輸出影像O的預估穴道位置點A1按摩自身的穴道，從而達到症狀緩解的效果，或者可供了解與學習特定穴道位置點的效果。

其中，為使得所顯示的預估穴道位置點A1可更準確地符合使用者所提供之輸入影像上的實際穴道位置。請參圖３所示，本實施例之穴道視覺化方法，其包括有：步驟A、提供一基於人體部位的三維可形變模型（3D Morphable Model）M（圖６參照），該三維可形變模型M包括有依據該人體部位之特徵而遍布的多個第一標記L1以及至少一穴道位置點A。於本實施例中，所述的三維可形變模型M係儲存於資料庫32中，且其至少一穴道位置點的數量為複數個，並分別與資料庫32中的穴道資料相關聯。其中，所述的三維可形變模型為事先收集大量的三維人臉掃描模型所建構而成。其中，所述的人體部位可以是臉部、手部、腿部、腳底板等部位但不以此為限。

其中，於一實施例中，該三維可形變模型為基於大量三維人臉掃描模型經過主成份分析(Principal Component Analysis)所做成的，並且可根據不同的參數決定出不同的臉型。該三維可形變模型M係由多個頂點所組成，各個頂點分別具有對應x,y,z的座標資訊，而於該些頂點中包含有根據人體部位特徵遍布的第一標記Ｌ1以及位於該些頂點之間的多個穴道位置點A。其中，於進行該三維可形變模型M的標記時，可一併記錄有第一標記的頂點編號以及穴道點的座標位置以及鄰近的至少三個頂點編號。

舉例而言，假定該三維可形變模型M係由3000個頂點組成，每一個頂點接具有x,y,z的座標資訊，若控制臉型的參數有60個，該三維可形變模型M具有以下函數關係：NewFace(9000*1) = MeanShape(9000*1)+ShapeVector(9000*60)*Coeffs(60*1)。其中，MeanShape為人臉綜合模型，ShapeVector為參數可改變的特徵向量，Coeffs為可改變臉型之參數。藉此，透過給予不同的參數，便可取得不同臉型的三維可形變模型。

於建構有三維可形變模型M後，接著，係可執行步驟B、接收一輸入影像，找到欲標記穴道的人體部位，並依據該輸入影像上的人體部位特徵於該輸入影像上標記多個第二標記。其中，所述的人體部位可以是臉部、手部、腿部、腳底板等部位但不以此為限。舉例而言，請配合圖４及圖５所示，於接收輸入影像I後，包括有透過影像處理模組40對該輸入影像I進行影像偵測，並且根據該輸入影像I上的人體部位特徵於該輸入影像I上標示多個第二標記L2。於本實施例中，所述的輸入影像I為人臉影像，該些第二標記L2如同可形變模型上的第一標記L1皆為根據影像上的眼角、嘴角、鼻樑、鼻翼等特徵點排列。

於一實施例中，所述找到欲標記人體部位的方法可為事先收集大量的人體部位的圖片，並透過特徵檢測法獲得人體部位之特徵，取得該些特徵後，再透過分類器訓練出可分類的模型。其中，所述的特徵檢測法可為方向梯度直方圖（Histogram of Oriented Gradient, HOG）特徵、局部二值模式（Local Binary Pattern, LBP）特徵、Haar-like特徵、Convolutional Neural Network (CNN) 等的其中一者或其組合，但不以此為限；所述的分類器可為支援向量機(Support Vector Machine, SVM)、相關向量機（Relevance vector machine，RVM）等的其中一者或其組合，但不以此為限。例如，於一實施例中，可收集大量的臉部圖片，取HOG特徵得到可表示人臉的特徵，取得並聚合該些特徵後，可透過SVM訓練出可分類的人臉分類器。

接著，執行步驟C、根據該三維可形變模型的該些第一標記與該輸入影像的該些第二標記之座標資訊的偏差程度，對該三維可形變模型進行擬合，以調整該些第一標記的分布趨近該些第二標記的分布。其中，請配合圖６所示，於一實施例中，於步驟C中包括有將先將三維可形變模型M的該些第一標記L1投影至平行於該輸入影像I的二維平面，以於二維平面上調整該些第一標記L1的分布趨近輸入影像I的該些第二標記L2的分布；並儲存變形後之該三維可形變模型M，其中，所述儲存變形後之三維可形變模型M，可以是儲存對應該次變形所使用的參數及/或各頂點編號、座標位置等。

值得一提的是，於一實施例中，由於使用者所提供的輸入影像未必都是正視角的影像，因此，於接收該輸入影像I後，包括有旋轉以三維可形變模型為例可形變模型，使得該三維可形變模型與該輸入影像I的角度一致後，再將該些第一標記L1投影至平行於該輸入影像I的二維平面，再於該二維平面上調整該些第一標記L1的分布趨近該些第二標記L2。其中，於一實施例中，關於調整該些第一標記L1的分布趨近該些第二標記L2的方式，可為將參數套入三維可形變模型中，以取得新的三維可形變模型（新的人臉模型），以及將新的三維可形變模型中決定第一標記L1之特徵相量取出，並將其投影至二維平面後作為奇異值分解(Singular Value Decomposition, SVD)求解以逼近控制臉型參數，判斷此次求解參數的偏差程度是否小於一預定閥值，例如判斷此次求得參數與前次參數距離小於該預定閥值，則三維可形變模型的擬合完成，否則則重新調整該三維可形變模型的參數後，再次執行前次步驟。

其中，為找出屬於變形後的三維可形變模型的穴道點。於步驟C中還包含有將變形後之該三維可形變模型的第一標記以及其至少一穴道位置點的鄰近頂點投影至一二維平面上，以及將初始的三維可形變模型的至少一穴道位置點以及該至少一穴道位置點的鄰近頂點投影至該二維平面上；透過以上兩組的鄰近頂點作為影像變形控制點，調整該初始的三維可形變模型的穴道位置點之座標以取得對應變形後之該三維可形變模型的穴道位置點。舉例而言，請配合圖7A所示，為初始的三維可形變模型投影至二維平面的第一標記L11~L13、穴道位置點A以及鄰近該穴道位置點A的三個頂點v；請配合圖7B所示，為變形後之三維可形變模型的第一標記L11’~L12’、穴道位置點A’以及穴道位置點A’鄰近的三個頂點v’。其中該變形後的三為可形變模型的穴道位置點A’即為根據以上兩組的鄰近頂點v、v’作為影像變形控制點，以調整該初始的三維可形變模型的穴道位置點A之座標以取得對應變形後之該三維可形變模型的穴道位置點A’。其中，關於所述穴道位置點的座標調整量係根據鄰近該至少一穴道位置點的至少三個第一標記及/或至少三個頂點的座標變化量，並根據該穴道位置點分別相距該至少三個第一標記及/或至少三個頂點的距離給予權重比例，調整該至少一穴道位置點的座標。

於後執行步驟D、根據該三維可形變模型之該些第一標記的座標變化量，調整該至少一穴道位置點的座標，以取得對應的至少一預估穴道位置點。其中，為找出屬於輸入影像上的預估穴道點位置，於步驟D中還包含有：將變形後的該三維可形變模型的第一標記以及穴道位置點投影二維平面上，以該輸入影像的該些第二標記做為控制點，調整變形後的該三維可形變模型的第一標記的分布趨近該些第二標記的分布，並依據該些第一標記的變形量，調整該穴道位置點座標，以取得該至少一預估穴道位置點。舉例而言，請參圖８所示，L11’、L12’、L13’為變形後的該三維可形變模型的第一標記，L21、L22、L23為第二標記，由圖式可見，若欲將該些第一標記趨近該些第二標記，則須調整第一標記L13’往右移動，那麼穴道位置點A向右移動後的位置便是該預估穴道位置點A1。

而後，執行步驟E、將該預估穴道位置點A1附加於該輸入影像I上，而形成如圖２中所示的輸出影像O；以及執行步驟F顯示該輸出影像O，藉以實現穴道視覺化的效果。

值得一提的是，前述再次將變形後的三維可形變模型投影至二維平面與輸入影像進行比對的目的在於，輸入影像中的表情可能會有變化，或是因為預估的三維可形變模型的旋轉角度與輸入影像之間的角度預估有誤差，因此，為了消除前述影響，則再次將變形後的三維可形變模型與輸入影像進行比對，以取得預估穴道位置點。

以上所述之各單元與模組之間的連接，泛指透過有線或無線方式進行連線或連結，而並不以直接連接為限。其中，前述三維可形變模型亦可只標記有單一個穴道位置點，而並不以多個穴道位置點為限。以上所述僅為本發明較佳可行實施例而已，舉凡應用本發明說明書及申請專利範圍所為之等效變化，理應包含在本發明之專利範圍內。

［本發明］

1‧‧‧中醫系統

10‧‧‧處理單元

20‧‧‧輸入模組

22‧‧‧症狀輸入單元

24‧‧‧穴道輸入單元

26‧‧‧影像輸入單元

30‧‧‧判斷模組

32‧‧‧資料庫

34‧‧‧判斷單元

40‧‧‧影像處理模組

50‧‧‧顯示模組

60‧‧‧智慧型手機

70‧‧‧伺服器端

A‧‧‧穴道位置點

A’‧‧‧穴道位置點

A1‧‧‧預估穴道位置點

I‧‧‧輸入影像

L1‧‧‧第一標記

L11、L12、L13‧‧‧第一標記

L11’、L12’、L13’‧‧‧第一標記

L2‧‧‧第二標記

L21、L22、L23‧‧‧第二標記

M‧‧‧可形變模型

O‧‧‧輸出影像

v、v’‧‧‧頂點

圖１為本發明一實施例之以AR技術實現穴道視覺化之中醫系統的方塊圖。圖２為本發明一實施例之以AR技術實現穴道視覺化之中醫系統的情境示意圖。

圖３為本發明一實施例之以AR技術實現穴道視覺化之方法流程圖。

圖４及圖５對輸入影像標記第二標記的示意圖。圖６為比對輸入影像與可形變模型之偏差程度的示意圖。圖７A及圖７B分別為初始與變形後的三維可形變模型投影於二維平面的示意圖。圖８為平面座標示意圖，揭示移動穴道位置點以取得預估穴道位置點。

Claims

一種以AR技術實現穴道視覺化方法，包括有以下步驟： A、提供一基於人體部位的三維可形變模型（3D Morphable Model），該三維可形變模型包括有依據該人體部位之特徵而遍布的多個第一標記以及至少一穴道位置點； B、接收一輸入影像，並依據該輸入影像上的人體部位特徵於該輸入影像上標記多個第二標記； C、根據該三維可形變模型的該些第一標記與該輸入影像的該些第二標記之座標資訊的偏差程度，對該三維可形變模型進行擬合，以調整該些第一標記的分布趨近該些第二標記的分布； D、根據該三維可形變模型之該些第一標記的座標變化量，調整該至少一穴道位置點的座標，以取得對應的至少一預估穴道位置點； E、附加該至少一預估穴道位置點於該輸入影像上，以構成一輸出影像；以及 F、顯示該輸出影像。
如請求項1所述的以AR技術實現穴道視覺化方法，其中該輸入影像為二維影像；於步驟C中包括有：先將三維可形變模型的該些第一標記投影至平行於該輸入影像的二維平面，以於二維平面上調整該些第一標記的分布趨近該些第二標記的分布；並儲存變形後之該三維可形變模型。
如請求項2所述的以AR技術實現穴道視覺化方法，其中該三維可形變模型包括有多個頂點，該些頂點中具有該些第一標記，該至少一穴道位置點位於該些頂點之間；於步驟C中包括有：將變形後之該三維可形變模型的第一標記以及其至少一穴道位置點的鄰近頂點投影至一二維平面上，以及將初始的三維可形變模型的至少一穴道位置點以及該至少一穴道位置點的鄰近頂點投影至該二維平面上；透過以上兩組的鄰近頂點作為影像變形控制點，調整該初始的三維可形變模型的穴道位置點之座標以取得對應變形後之該三維可形變模型的穴道位置點。
如請求項3所述的以AR技術實現穴道視覺化方法，其中包括有：將變形後的該三維可形變模型的第一標記以及穴道位置點投影二維平面上，以該輸入影像的該些第二標記做為控制點，調整變形後的該三維可形變模型的第一標記的分布趨近該些第二標記的分布，並依據該些第一標記的變形量，調整該穴道位置點座標，以取得該至少一預估穴道位置點。
如請求項2所述的以AR技術實現穴道視覺化方法，其中於步驟C之前包括有：旋轉該三維可形變模型，使該三維可形變模型與該輸入影像角度一致後，再將該些第一標記的分布投影至二維平面。
如請求項1所述的以AR技術實現穴道視覺化方法，其中於步驟C進行擬合前包括有：比對該偏差程度是否大於一預定閥值，若大於該預定閥值，則重新調整該三維可形變模型的參數後，再次執行步驟C。
如請求項3所述的以AR技術實現穴道視覺化方法，其中於步驟C中，係根據鄰近該至少一穴道位置點的至少三個第一標記的座標變化量，並根據該至少一穴道位置點分別相距該至少三個第一標記的距離給予權重比例，調整該至少一穴道位置點的座標。
如請求項3所述的以AR技術實現穴道視覺化方法，其中該三維可形變模型包括有多個頂點，該些頂點中具有該些第一標記，該至少一穴道位置點位於該些頂點之間；於步驟C中，係根據鄰近該至少一穴道位置點的至少三個頂點的座標變化量，並根據該至少一穴道位置點分別相距該至少三個頂點的距離給予權重比例，調整該至少一穴道位置點的座標。