TWM618266U

TWM618266U - 使用三維面部及身體掃描數據提供即時可視化服務的設備

Info

Publication number: TWM618266U
Application number: TW110207120U
Authority: TW
Inventors: 黃湧智
Original assignee: 黃湧智
Priority date: 2021-06-21
Filing date: 2021-06-21
Publication date: 2021-10-11

Abstract

本創作一種使用三維面部及身體掃描數據提供即時可視化服務的設備，包含：一網路及通過該網路相互連線之至少一使用者終端、一伺服器、至少一3D掃描器及至少一AR眼鏡，該使用者終端設有一使用者介面供使用者操作，該伺服器用以提供即時可視化服務，該3D掃描器用以獲取患者的3D面部或身體掃描數據，該AR提供擷取看見的畫面及顯示接收到的可視化數據，並可將接收到的視化數據重疊於看見的畫面；藉此，俾達可提高治療或手術的精確度，以及更具使用靈活性與方便性。

Description

使用三維面部及身體掃描數據提供即時可視化服務的設備

本創作係有關於一種提供即時可視化服務的設備，尤指一種使用三維面部及身體掃描數據提供即時可視化服務的設備。

圖像配準技術越來越廣泛地應用於各種病變的治療規劃中，簡而言之，它主要用於在一個坐標系中表達各種模態醫學圖像，也用於其他目的，例如運動校正、失真校正、創建多功能圖和圖像排列，在圖像與自動控制裝置之間以及圖像與圖像之間的坐標系匹配過程中也使用了匹配技術，在技術上，它已經從使用解剖指標或人工附件的點對點方法演變為圖像對圖像方法的自動優化方法。

惟，現有技術主要係拍攝某區域的圖像時，以照相機或攝像機將上述區域的三維空間資料通過映射的方式映射到二維圖像空間中，從而形成相應的二維圖像，通過對該二維圖像中的光照資訊和視點資訊等進行人臉的檢測。

然而，由於二維圖像的成像過程涉及從三維物理空間到二維圖像空間的映射，因此會導致三維物體部分資訊的丟失，從而使得二維圖像難以實現對三維物體的精確表示，而且，二維圖像容易受到尺度變化、視點變化以及光照變化等因素影響，從而降低了檢測的準確度。

本創作人有鑑於現有技術具有上述缺點，是以乃思及創作的意念，經多方探討與試作樣品試驗，及多次修正改良後，遂推出本創作。

本創作提供一種使用三維面部及身體掃描數據提供即時可視化服務的設備，包含：一網路及通過該網路相互連線之至少一使用者終端、一伺服器、至少一3D掃描器及至少一AR眼鏡；該使用者終端設有一使用者介面供使用者操作；該伺服器用以提供即時可視化服務，該伺服器包含有一收集單元、一合併單元、一傳輸單元、一追蹤單元、一輸出單元、一提取單元及一儲存單元；該3D掃描器用以獲取患者的3D面部或身體掃描數據；該AR眼鏡用以穿戴於人體頭部，提供擷取看見的畫面及顯示接收到的可視化數據，並可將接收到的視化數據重疊於看見的畫面。

本創作使用三維面部及身體掃描數據提供即時可視化服務的設備之主要目的，在於使用三維面部或身體掃描資料對配合AR眼鏡，將可視化數據重疊於看見的畫面，不會造成延遲，從而提高治療或手術的精確度，以及更具使用靈活性與方便性。

以下茲配合本創作較佳實施例之圖式進一步說明如下，以期能使熟悉本創作相關技術之人士，得依本說明書之陳述據以實施。

首先，請配合參閱第一圖及第二圖所示，本創作使用三維面部及身體掃描數據提供即時可視化服務的設備，包含：一網路10及通過該網路10相互連線之至少一使用者終端20、一伺服器30、至少一3D掃描器40及至少一AR眼鏡50。

該網路10可為有線網路或無線網路。

該使用者終端20設有一使用者介面供使用者操作，該使用者終端可為桌上型電腦、筆記型電腦、平板電腦、智慧型手機等。

該伺服器30用以提供即時可視化服務，該伺服器30包含有一收集單元31、一合併單元32、一傳輸單元33、一追蹤單元34、一輸出單元35、一提取單元36及一儲存單元37。

該3D掃描器40用以獲取患者的3D面部或身體掃描數據，該3D掃描器40可為如第四圖所示之可攜式3D掃描器、如第五圖所示之手持式3D掃描器、如第六圖所示之固定式3D掃描器。

該AR(擴增實境，Augmented Reality)眼鏡50用以穿戴於人體頭部，提供擷取看見的畫面及顯示接收到的可視化數據，並可將接收到的視化數據重疊於看見的畫面。

該收集單元31用以通過3D掃描患者的面部或身體來收集3D面部或身體數據。

該合併單元32可通過重疊至少一可視化數據來合併3D面部數據，該至少一個可視化數據可以是患者信息內容、標記治療或手術部位、驅動3D模擬程序產生的模擬數據和解剖學數據中的任何一種或至少一種組合圖像數據，該圖像數據可以是X-Ray、CT、PET、MRI和牙齒數據。

該傳輸單元33可以將對應於至少一可視化數據的3D資訊傳輸到AR眼鏡50，該3D資訊傳輸係通過該使用者終端20進行操作。

該追蹤單元34在從AR眼鏡50中提取至少一面部特徵點時，可以執行AR面部追蹤。

該輸出單元35可將至少一可視化數據輸出到AR眼鏡50以對應於至少一個特徵點，當輸出至少一可視化數據至AR眼鏡50以對應至少一特徵點時，該輸出單元35會根據至少一特徵點合併至少一可視化數據，以便可以顯示於AR眼鏡50。

該提取單元36可以通過由收集單元31掃描患者的面部來採集3D面部數據，然後從3D面部數據中提取至少一個特徵點，即使上述AR眼鏡50中沒有AR標記，以這種方式提取的至少一個特徵點也起到與AR標記相同的作用。

該儲存單元37可以存儲從AR眼鏡50拍攝並輸出的圖像，以對應於來自輸出單元35的至少一個特徵點或者在向AR眼鏡50輸出至少一個可視化數據，該AR眼鏡50捕獲的圖像可以是過程或手術視頻，並且輸出到AR眼鏡50的圖像可以是至少一個可視化數據。

本創作進行即時可視化服務時，如第三圖至第十四圖所示，包含以下步驟：3D面部掃描S101、3D面部數據處理S102、3D資料傳輸S103、AR面部追蹤S104、AR眼鏡數據可視化S105、面部治療和手術S106及資料儲存S107，在初始手術前拍攝被治療者的3D面部掃描數據，提取特徵點並劃分區域，然後通過模擬控制特徵點來預測手術後的外觀。

這樣模擬結果數據被儲存起來，然後作為比較患者手術後或手術後3D面部掃描數據的參考值，並成為3D資料顯示在AR眼鏡50上，此時，AR眼鏡50在進行面部追蹤時，在臉上輸出約定的治療區域或治療程度等，因此，可以輸出在外表面上看不清楚的內部結構，或根據約定事項輸出角度。

此外，在以往的方法中，重要的神經或血管通過內部時，通常用手觸摸進行檢查及避開。根據本發明的體現，由於相應的可視化數據顯示在患者面部上，因此可以在不接觸位置的情況下避免，並且可以避免可能造成障礙的嚴重損害，使得從業者或外科醫生可以放心地進行手術或治療，患者可以通過結果而不是武斷的評估或主觀判斷來確認約定的事項。

如第四圖至第六圖所示，為即時可視化服務提供伺服器30通過至少一種3D掃描器40接收3D面部掃描數據，如第七圖顯示手術前面部圖像A1與模擬手術後面部圖像A2之比對，如第八圖顯示疊加標有治療或手術資訊B1的面部圖像，如第九圖至第十一圖顯示美容或整形手術疊加3D模擬數據C1、C2、C3的面部圖像。

如第十二圖所示，重疊的3D資料，即可視化數據被傳輸到AR眼鏡50，並且開始AR面部追蹤，AR眼鏡50從與其連接的3D掃描器40接收關於面部的至少一個特徵點的信息，提取時，根據角度旋轉或變換與其對應的姿態估計和可視化數據D1，然後輸出，此時，AR眼鏡50通過從面部特徵點資料中匹配可視化數據D1來合併3D數據。

如第十三圖及第十四圖所示，可以一邊用AR眼鏡50即時檢查手術所需的資料一邊進行手術，甚至在牙科治療的情況下，也可以一邊用AR眼鏡50查看3D牙齒數據一邊進行手術，此外，在填充治療的情況下，可以通過AR眼鏡50即時查看3D模擬數據E1，在肉毒桿菌治療的情況下，可以使用AR眼鏡50即時查看解剖數據，這樣，AR眼鏡50輸出和拍攝的數據存儲在伺服器30中，過程和手術視頻被拍攝和存儲。

本創作實施時，如第十五圖所示，包含以下步驟：通過掃描要進行3D治療的人的面部來收集3D面部數據S201、在3D面部數據上疊加並合併至少一個可視化數據S202、將與至少一個可視化數據對應的3D資料傳輸到AR眼鏡S203、在從AR眼鏡中提取面部的至少一個特徵點時進行AR面部追踪S204、將至少一可視化數據輸出至AR眼鏡與至少一特徵點對應S205。

由上述具體實施例之結構，可得到下述之效益：

本創作使用三維面部及身體掃描數據提供即時可視化服務的設備，其係使用三維面部或身體掃描資料對配合AR眼鏡50，將可視化數據重疊於看見的畫面，不會造成延遲，並且AR眼鏡50輸出和拍攝的數據可存儲在伺服器30中，過程和手術視頻可拍攝和存儲，從而提高治療或手術的精確度，以及更具使用靈活性與方便性。

10:網路 20:使用者終端 30:伺服器 31:收集單元 32:合併單元 33:傳輸單元 34:追蹤單元 35:輸出單元 36:提取單元 37:儲存單元 40:3D掃描器 50:AR眼鏡 S101:3D面部掃描 S102:3D面部數據處理 S103:3D資料傳輸 S104:AR面部追蹤 S105:AR眼鏡數據可視化 S106:面部治療和手術 S107:資料儲存 S201:通過掃描要進行3D治療的人的面部來收集3D面部數據 S202:在3D面部數據上疊加並合併至少一個可視化數據 S203:將與至少一個可視化數據對應的3D資料傳輸到AR眼鏡 S204:在從AR眼鏡中提取面部的至少一個特徵點時進行AR面部追踪 S205:將至少一可視化數據輸出至AR眼鏡與至少一特徵點對應 A1:手術前面部圖像 A2:模擬手術後面部圖像 B1:治療或手術資訊 C1:3D模擬數據 C2:3D模擬數據 C3:3D模擬數據 D1:可視化數據 E1:3D模擬數據

第一圖係本創作之架構示意圖。第二圖係本創作伺服器之組成方塊圖。第三圖係本創作之方塊流程圖。第四圖係本創作3D掃描器對患者進行掃描之示意圖。第五圖係本創作另一3D掃描器對患者進行掃描之示意圖。第六圖係本創作又一3D掃描器對患者進行掃描之示意圖。第七圖係本創作輸入手術所需資訊之示意圖。第八圖係本創作另一輸入手術所需資訊之示意圖。第九圖係本創作重疊手術所需資訊之示意圖。第十圖係本創作另一重疊手術所需資訊之示意圖。第十一圖係本創作又一重疊手術所需資訊之示意圖。第十二圖係本創作可視化數據傳輸至AR眼鏡之使用示意圖。第十三圖係本創作可視化數據傳輸至AR眼鏡之另一使用示意圖。第十四圖係本創作可視化數據傳輸至AR眼鏡之又一使用示意圖。第十五圖係本創作實施例之流程圖。

10:網路

20:使用者終端

30:伺服器

40:3D掃描器

50:AR眼鏡

Claims

一種使用三維面部及身體掃描數據提供即時可視化服務的設備，包含：一網路及通過該網路相互連線之至少一使用者終端、一伺服器、至少一3D掃描器及至少一AR眼鏡；該使用者終端設有一使用者介面供使用者操作；該伺服器用以提供即時可視化服務，該伺服器包含有一收集單元、一合併單元、一傳輸單元、一追蹤單元、一輸出單元、一提取單元及一儲存單元；該3D掃描器用以獲取患者的3D面部或身體掃描數據；該AR眼鏡用以穿戴於人體頭部，提供擷取看見的畫面及顯示接收到的可視化數據，並可將接收到的視化數據重疊於看見的畫面。
如請求項1所述之使用三維面部及身體掃描數據提供即時可視化服務的設備，其中該網路為有線網路或無線網路。
如請求項1所述之使用三維面部及身體掃描數據提供即時可視化服務的設備，其中該使用者終端為桌上型電腦、筆記型電腦、平板電腦或智慧型手機。
如請求項1所述之使用三維面部及身體掃描數據提供即時可視化服務的設備，其中該收集單元用以通過3D掃描患者的面部或身體來收集3D面部或身體數據，該合併單元可通過重疊至少一可視化數據來合併3D面部數據，該傳輸單元可以將對應於至少一可視化數據的3D資訊傳輸到該AR眼鏡，該追蹤單元在從該AR眼鏡中提取至少一面部特徵點時，可以執行AR面部追蹤，該輸出單元可將至少一可視化數據輸出到該AR眼鏡以對應於至少一個特徵點，該提取單元可以通過由收集單元掃描患者的面部來採集3D面部數據，該儲存單元可以存儲從該AR眼鏡拍攝並輸出的圖像。