TWI838050B

TWI838050B - 立體成像串流方法及應用其之電子裝置與伺服裝置

Info

Publication number: TWI838050B
Application number: TW111150414A
Authority: TW
Inventors: 陳品誠; 楊朝光; 林熙
Original assignee: 宏碁股份有限公司
Priority date: 2022-12-28
Filing date: 2022-12-28
Publication date: 2024-04-01

Abstract

一種立體成像串流方法及應用其之電子裝置與伺服裝置。立體成像串流方法包括以下步驟。獲得一物體或一環境之一立體點雲資訊。依據立體點雲資訊，建立一三維模型。依據三維模型，編碼出一二維圖像碼。傳輸二維圖像碼至數個電子裝置。各個電子裝置依據二維圖像碼，解碼出三維模型。於各個電子裝置獲得一觀看角度訊號。於各個電子裝置，依據各個觀看角度訊號及三維模型，成像一特定角度影像。顯示特定角度影像於電子裝置之一顯示單元。

Description

立體成像串流方法及應用其之電子裝置與伺服裝置

本揭露是有關於一種串流方法及應用其之電子裝置與伺服裝置，且特別是有關於一種立體成像串流方法及應用其之電子裝置與伺服裝置。

隨著網路傳輸技術的進步，人們可以在網路上分享影片。尤其在現今人們普遍擁有相機的情況下，隨手即可拍下影片上傳分享。

然而，目前所分享的影片仍然僅為某一拍攝角度的影片。當人們分享一些運動比賽、演唱會、舞台劇、手作教學的影片時，觀看者仍會覺得單一拍攝角度的影片無法滿足觀看需求。

本揭露係有關於一種立體成像串流方法及應用其之電子裝置與伺服裝置，其透過二維圖像碼的傳輸，將三維模型提供給多個電子裝置。電子裝置可以按照其需求，顯示出不同的特定角度影像。舉例來說，人們可以透過伺服裝置分享拍攝的運動比賽、演唱會、舞台劇、或手作教學，觀看者則可透過電子裝置任意調整觀看角度，以達成身歷其境的感受。

根據本揭露之一方面，提出一種立體成像串流方法。立體成像串流方法包括以下步驟。獲得一物體或一環境之一立體點雲資訊。依據立體點雲資訊，建立一三維模型。依據三維模型，編碼出一二維圖像碼。傳輸二維圖像碼至數個電子裝置。各個電子裝置依據二維圖像碼，解碼出三維模型。於各個電子裝置獲得一觀看角度訊號。於各個電子裝置，依據各個觀看角度訊號及三維模型，成像一特定角度影像。顯示特定角度影像於電子裝置之一顯示單元。

根據本揭露之另一方面，提出一種電子裝置。電子裝置包括一通訊單元、一解碼單元、一角度取得單元、一成像單元及一顯示單元。通訊單元用以接收一二維圖像碼。解碼單元用以依據二維圖像碼，解碼出一三維模型。角度取得單元用以獲得一觀看角度訊號。成像單元依據各個觀看角度訊號及三維模型，成像一特定角度影像。顯示單元用以顯示特定角度影像。

根據本揭露之再一方面，提出一種伺服裝置。伺服裝置包括一點雲取得單元、一模型建立單元、一編碼單元及一傳輸單元。點雲取得單元用以獲得一物體或一環境之一立體點雲資訊。模型建立單元用以依據立體點雲資訊，建立一三維模型。編碼單元用以依據三維模型，編碼出一二維圖像碼。傳輸單元用以傳輸二維圖像碼至數個電子裝置。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

請參照第1圖，其示例說明根據一實施例之立體成像串流方法的運作。某一物體OB（或某一環境）經由多個深度攝影機CM（或多個彩色相機）的連續掃描或錄影可以獲得一立體點雲資訊PCL。為方便說明，第1圖以虛線代表點雲。在一實施例中，立體點雲資訊PCL連續地獲得且隨時間不斷變化。伺服裝置100可以將立體點雲資訊PCL轉換為三角網格MS，以獲得三維模型MD。為方便說明，第1圖以交叉網底代表三角網格MS。在一實施例中，三維模型MD連續地獲得且隨時間不斷變化。

伺服裝置100建立了三維模型MD之後，將三維模型MD之內容編碼為一二維圖像碼ICD。二維圖像碼ICD例如是一快速回應矩陣圖碼（Quick Response Code, QR code）、一ArU碼（ArU-Code）、或一幾何影像碼（geometry image）。在一實施例中，二維圖像碼ICD連續地生成且隨時間不斷變化。請參照第2圖，其示例說明連續生成的數個二維圖像碼ICD。連續生成且隨時間不斷變化的二維圖像碼ICD可組成一影片VDc。

二維圖像碼ICD可以透過網路900傳遞至多個電子裝置（例如是電子裝置200_1～200_4）。電子裝置200_1、200_4例如是一筆記型電腦，電子裝置200_2例如是一智慧型手機，電子裝置200_3例如是一頭戴式顯示器。電子裝置200_1接收二維圖像碼ICD後，可以解碼出三維模型MD。按照使用者的需求，電子裝置200_1可以依據正面的觀看角度及三維模型MD，顯示正面之一特定角度影像VDb_1。

同樣地，按照使用者的需求，電子裝置200_2可以依據側轉30度的觀看角度及三維模型MD，顯示側轉30度之一特定角度影像VDb_2。

同樣地，按照使用者的需求，電子裝置200_3可以依據側轉90度的觀看角度及三維模型MD，顯示側轉90度之一特定角度影像VDb_3。

這些電子裝置200_1～200_3接收到相同之二維圖像碼ICD，但可以個別顯示出不完全相同之特定角度影像VDb_1～VDb_3。

電子裝置200_4未配置本揭露技術之功能，故電子裝置200_4僅能顯示不斷變化之二維圖像碼ICD所組成的影片VDc。

根據上述說明，本實施例之立體成像串流方法可以透過二維圖像碼ICD的傳輸，將三維模型MD提供給各個電子裝置200_1～200_3。電子裝置200_1～200_3可以按照其需求，顯示出不同的特定角度影像VDb_1～VDb_3。舉例來說，人們可以透過伺服裝置100分享拍攝的運動比賽、演唱會、舞台劇、或手作教學，觀看者則可透過電子裝置200_1～200_3任意調整觀看角度，以達成身歷其境的感受。

請參照第3圖，其繪示根據一實施例之伺服裝置100與電子裝置200_i之方塊圖。伺服裝置100包括一點雲取得單元110、一模型建立單元120、一編碼單元130及一傳輸單元150。傳輸單元150用以傳輸資料，例如是一有線網路傳輸模組、一無線網路傳輸模組、或一LTE傳輸模組。點雲取得單元110、模型建立單元120、編碼單元130用以執行各種資訊擷取程序、處理程序、控制程序與分析程序，例如是一電路、一晶片、一電路板、一電腦程式產品、或儲存程式碼之儲存裝置。

電子裝置200_i包括一通訊單元210、一解碼單元220、一角度取得單元230、一成像單元240及一顯示單元250。通訊單元210用以傳輸資料，例如是一有線網路傳輸模組、一無線網路傳輸模組、或一LTE傳輸模組。顯示單元250用以顯示畫面，例如是一LCD顯示面板、一OLED顯示面板、一投影裝置、或一頭戴顯示裝置。解碼單元220、角度取得單元230、成像單元240用以執行各種資訊擷取程序、處理程序、控制程序與分析程序，例如是一電路、一晶片、一電路板、一電腦程式產品、或儲存程式碼之儲存裝置。

在本實施例中，伺服裝置100可以將三維模型MD編碼為二維圖像碼ICD。二維圖像碼ICD透過網路900傳輸至電子裝置200_i。電子裝置200_i在接收二維圖像碼ICD後，可以按照其需求，顯示出不同的特定角度影像VDb_i。以下更搭配一流程圖詳細說明上述各項元件之運作。

請參照第4圖，其繪示根據一實施例之立體成像串流方法的流程圖。在步驟S110，如第1圖及第3圖所示，伺服裝置100之點雲取得單元獲得一物體或一環境之一立體點雲資訊PCL。立體點雲資訊PCL例如是經由多個深度攝影機CM（或多個彩色相機）的連續掃描或錄影所獲得。立體點雲資訊PCL可以連續地獲得且隨時間不斷變化。

接著，在步驟S120中，如第1圖及第3圖所示，伺服裝置100之模型建立單元120依據立體點雲資訊PCL，建立三維模型MD。伺服裝置100之模型建立單元120可以將立體點雲資訊PCL轉換為三角網格MS，以獲得三維模型MD。在一實施例中，三維模型MD可以連續地獲得且隨時間不斷變化。

然後，在步驟S130中，如第1圖及第3圖所示，伺服裝置100之編碼單元130依據三維模型MD，編碼出二維圖像碼ICD。在一實施例中，二維圖像碼ICD連續地生成且隨時間不斷變化。連續生成且隨時間不斷變化的二維圖像碼ICD可組成影片VDc。

接著，在步驟S150中，如第1圖及第3圖所示，伺服裝置100之傳輸單元150傳輸二維圖像碼ICD至電子裝置200_i。在此步驟中，伺服裝置100可以透過串流技術（streaming）對二維圖像碼ICD進行壓縮後，連續以資料封包進行傳送，以使二維圖像碼ICD的資料封包像流水一樣傳送。

然後，在步驟S210中，第1圖及第3圖所示，電子裝置200_i之通訊單元210接收二維圖像碼ICD。通訊單元210透過串流技術，像流水一樣持續接收二維圖像碼ICD之資料封包。在本實施例中，二維圖像碼ICD連續地接收且隨時間不斷變化。不同的電子裝置200_i會接收到相同的二維圖像碼ICD。

接著，在步驟S220中，如第1圖及第3圖所示，電子裝置200_i之解碼單元220依據二維圖像碼ICD，解碼出三維模型MD。三維模型MD可以連續地被解碼出來，且隨時間不斷變化。不同的電子裝置200_i會解碼出相同的三維模型MD。

然後，在步驟S230中，如第1圖及第3圖所示，電子裝置200_i之角度取得單元230獲得一觀看角度訊號Sa。觀看角度訊號Sa例如是由頭戴示顯示裝置之陀螺疑惑加速規所產生，或者是由滑鼠在畫面上的拖曳訊號所產生，或者是由智慧型手機之擺動方向所產生。不同的電子裝置200_i可以產生不同的觀看角度訊號Sa。同一電子裝置200_i在不同時間點，也可以產生不同的觀看角度訊號Sa。

然後，在步驟S240中，如第1圖及第3圖所示，電子裝置200_i之成像單元240依據觀看角度訊號Sa及三維模型MD，成像一特定角度影像VDb_i。特定角度影像VDb_i連續地成像且隨時間不斷變化。

接著，在步驟S250中，如第1圖及第3圖所示，電子裝置200_i之顯示單元250特定角度影像VDb_i。特定角度影像VDb_i連續地顯示且隨時間不斷變化。因此，電子裝置200_i可以按照使用者的需求，顯示出特定角度影像VDb_i。特定角度影像VDb_i係為動態播放的影片，且其觀看角度可以任意調整，對使用者來說，明顯有身歷其境的感受。

上述實施例之步驟S110～S130、S150、S210～S250可以重複且不間斷地執行，以達成現場即時直播的效果。

在另一實施例中，本揭露之立體成像串流技術亦可應用於錄播之場景。請參照第5圖及第6圖，第5圖繪示根據另一實施例之伺服裝置100’與電子裝置200_i之方塊圖，第6圖繪示根據另一實施例之立體成像串流方法的流程圖。如第5圖所示，伺服裝置100’更包括一儲存單元140。儲存單元140例如是一記憶體、一硬碟、或一雲端儲存裝置。在步驟S130編碼出二維圖像碼ICD後，流程進入步驟S140。

在步驟S140中，如第1圖及第5圖所示，伺服裝置100’之儲存單元140儲存二維圖像碼ICD。在此步驟中，伺服裝置100’之儲存單元140可以直接儲存二維圖像碼ICD所集成之影片VDc。

接著，在步驟S150’中，如第1圖及第5圖所示，伺服裝置100’之傳輸單元150傳輸二維圖像碼ICD至電子裝置200_i。在此步驟中，伺服裝置100’仍然可以透過串流技術（streaming）對二維圖像碼ICD進行壓縮後，連續以資料封包進行傳送，以使二維圖像碼ICD的資料封包像流水一樣傳送。

透過第5圖及第6圖之實施例，本揭露之立體成像串流技術亦可應用於錄播之場景。

根據上述實施例，伺服裝置100、100’可以透過二維圖像碼ICD的傳輸，將三維模型MD提供給多個電子裝置200_i。電子裝置200_i可以按照其需求，顯示出不同的特定角度影像VDb_i。舉例來說，人們可以透過伺服裝置100、100’分享拍攝的運動比賽、演唱會、舞台劇、或手作教學，觀看者則可透過電子裝置200_i任意調整觀看角度，以達成身歷其境的感受。

綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

100,100’:伺服裝置 110:點雲取得單元 120:模型建立單元 130:編碼單元 140:儲存單元 150:傳輸單元 200_1,200_2,200_3,200_4,200_i:電子裝置 210:通訊單元 220:解碼單元 230:角度取得單元 240:成像單元 250:顯示單元 900:網路 CM:深度攝影機 ICD:二維圖像碼 MD:三維模型 MS:三角網格 OB:物體 PCL:立體點雲資訊 S110,S120,S130,S140,S150,S210,S220,S230,S240,S250:步驟 Sa:觀看角度訊號 VDb_1,VDb_2,VDb_3,VDb_i:特定角度影像 VDc:影片

第1圖示例說明根據一實施例之立體成像串流方法的運作。第2圖示例說明連續生成的數個二維圖像碼。第3圖繪示根據一實施例之伺服裝置與電子裝置之方塊圖。第4圖繪示根據一實施例之立體成像串流方法的流程圖。第5圖繪示根據另一實施例之伺服裝置與電子裝置之方塊圖。第6圖繪示根據另一實施例之立體成像串流方法的流程圖。

100:伺服裝置

200_i:電子裝置

S110,S120,S130,S150,S210,S220,S230,S240,S250:步驟

Claims

一種立體成像串流方法，包括：獲得一物體或一環境之一立體點雲資訊；依據該立體點雲資訊，建立一三維模型；依據該三維模型，編碼出一二維圖像碼；傳輸該二維圖像碼至複數個電子裝置；各該電子裝置依據該二維圖像碼，解碼出該三維模型；於各該電子裝置獲得一觀看角度訊號；於各該電子裝置，依據各該觀看角度訊號及該三維模型，成像一特定角度影像；以及顯示該特定角度影像於該電子裝置之一顯示單元。
如請求項1所述之立體成像串流方法，其中該二維圖像碼係為一快速回應矩陣圖碼（Quick Response Code, QR code）、一ArU碼（ArU-Code）、或一幾何影像碼（geometry image）。
如請求項1所述之立體成像串流方法，其中該立體點雲資訊連續地獲得且隨時間不斷變化，該三維模型連續地建立且隨時間不斷變化，該二維圖像碼連續地生成且隨時間不斷變化。
如請求項3所述之所述之立體成像串流方法，其中隨時間不斷變化之該二維圖像碼係組成一影片。
如請求項1所述之立體成像串流方法，其中該些電子裝置獲得不完全相同之該些觀看角度訊號，以使不完全相同之該些特定角度影像分別顯示於該些電子裝置之該些顯示單元。
如請求項1所述之立體成像串流方法，其中該些電子裝置之種類不完全相同。
如請求項1所述之立體成像串流方法，其中該些電子裝置接收到相同之該二維圖像碼。
一種電子裝置，包括：一通訊單元，用以接收一二維圖像碼；一解碼單元，用以依據該二維圖像碼，解碼出一三維模型；一角度取得單元，用以獲得一觀看角度訊號；一成像單元，依據各該觀看角度訊號及該三維模型，成像一特定角度影像；以及一顯示單元，用以顯示該特定角度影像。
如請求項8所述之電子裝置，其中該二維圖像碼係為一快速回應矩陣圖碼（Quick Response Code, QR code）、一ArU碼（ArU-Code）、或一幾何影像碼（geometry image）。
如請求項8所述之電子裝置，其中該通訊單元隨時間連續地接收不斷變化的該二維圖像碼。
如請求項8所述之電子裝置，其中該通訊單元係接收一影片，該影片含有隨時間不斷變化之該二維圖像碼。
一種伺服裝置，包括：一點雲取得單元，用以獲得一物體或一環境之一立體點雲資訊；一模型建立單元，用以依據該立體點雲資訊，建立一三維模型；一編碼單元，用以依據該三維模型，編碼出一二維圖像碼；以及一傳輸單元，用以傳輸該二維圖像碼至複數個電子裝置。
如請求項12所述之伺服裝置，其中該二維圖像碼係為一快速回應矩陣圖碼（Quick Response Code, QR code）、一ArU碼（ArU-Code）、或一幾何影像碼（geometry image）。
如請求項12所述之伺服裝置，其中該點雲取得單元連續取得隨時間不斷變化的該立體點雲資訊，該模型建立單元連續建立隨時間不斷變化的該三維模型，且該編碼單元連續編碼出隨時間不斷變化的該二維圖像碼。
如請求項14所述之所述伺服裝置，其中該編碼單元更將隨時間不斷變化之該二維圖像碼組成一影片。