TWI652600B - Online integration of augmented reality editing devices and systems - Google Patents

Abstract

一種線上整合擴增實境的編輯裝置與系統，其特徵在於編輯器端可以即時從線上取得與編輯AR暫存文件。本發明的編輯系統包括雲端伺服器、編輯器端與行動通訊裝置。編輯器端可選取雲端伺服器中的AR暫存文件與互動物件，並編輯完畢後儲存為AR目標檔案。編輯器端將AR目標檔案上傳至雲端伺服器。行動裝置端向雲端伺服器取得AR目標檔案，並顯示所取得的AR目標檔案。此外，行動裝置端也可以拍攝各種不同的素材，並將所拍攝的素材輸出為新的AR暫存文件，並將AR暫存文件傳送至雲端伺服器中存儲。

Description

線上整合擴增實境的編輯裝置與系統

本發明係一種媒體編輯裝置與系統，特別有關於一種線上整合擴增實境的編輯裝置與系統。

隨著行動裝置運算能力增長，使得輕薄短小的手機除了可以拍攝影像外也可以播放影片。但是，在先前技術中靜態影像或動態影片只能顯示當時情景，無法與使用者進行任何互動。換言之，使用者僅能單純的觀看影像或影片。為能提供所述影像的互動功能，因此廠商開始加入擴增實境(Augmented Reality，簡稱AR)的功能。AR是一種實時地計算攝影機影像的位置及角度並加上相應圖像、影像、聲音或其他多媒體物件的技術，此種技術的目標是在顯示螢幕上將虛擬的物件套用在現實世界的影像，使用者可以與虛擬物件進行互動。

以往AR的虛擬物件或影像的開發需要由3D美術人員與相關工程師協力開發，因此，需要高額的開發成本與大量的人力。所以AR的入門門檻無法降低，連帶的也影響後續開發者的意願。

本發明提供一種線上整合擴增實境的編輯裝置，其特徵在於編輯器端可以即時從線上取得AR暫存文件，也可以將AR暫存文件套用至所拍攝的環境影片中。編輯器端另可以將編輯完成的AR目標檔案上傳至雲端伺服器，使得AR目標檔案成為雲端伺服器中新的AR暫存文件。

本發明的線上整合擴增實境的編輯裝置包括通訊單元、顯示單元、物件操作單元與處理單元。通訊單元網路連接於雲端伺服器並取得AR目標檔案或互動物件；顯示單元用於顯示環境影像、AR暫存文件、AR目標檔案或互動物件；物件操作單元控制互動物件於顯示單元中的擺放位置與顯示角度；處理單元電性連接通訊單元、顯示單元與物件操作單元，處理單元根據識別資訊驅動通訊單元向雲端伺服器取得相應識別資訊的所述AR暫存文件的索引資訊，並根據索引資訊下載任一AR目標檔案；處理單元根據互動物件與所選的AR目標檔案的編輯過程產生各步驟的AR暫存文件，選擇任一AR暫存文件並生成AR目標檔案，處理單元透過通訊單元將AR目標檔案發送至雲端伺服器。

本發明更提出一種線上整合擴增實境的編輯系統包括雲端伺服器、至少一編輯器端與行動裝置端。

雲端伺服器用於記錄多個AR目標檔案、多個互動物件或使用者資料庫，使用者資料庫記錄每使用者各自的識別資訊；編輯器端網路連接於雲端伺服器，編輯器端包括第一通訊單元、第一儲存單元、第一顯示單元、第一處理單元與物件操作單元，第一處理單元電性連接第一通訊單元、第一儲存單元、第一顯示單元與物件操作單元，第一通訊單元向雲端伺服器取得相應識別資訊的這些AR目標檔案的索引資訊，第一儲存單元用於儲存物件編輯介面、至少一AR暫存文件、互動物件或AR目標檔案，第一顯示單元用於繪製物件編輯介面與所選的互動物件，物件操作單元用於控制第一顯示單元中互動物件的擺放位置與顯示角度並於所述編輯過程中生成相應的AR暫存文件，第一處理單元根據互動物件與所選的AR暫存文件生成AR目標檔案，處理單元透過第一通訊單元將AR目標檔案發送至雲端伺服器。

行動裝置端包括第二處理單元、第二通訊單元、第二顯示單元、影像擷取單元與第二儲存單元，第二處理單元電性連接於第二通訊單元、第二顯示單元、影像擷取單元與第二儲存單元，第二通訊單元網路連接於雲端伺服器，影像擷取單元拍攝待識別目標，第二處單元將待識別目標發送至雲端伺服器，雲端伺服器辨識待識別目標為這些互動物件之任一，雲端伺服器將對應的AR目標檔案發送至行動裝置端，並透過第二顯示單元播放AR目標檔案。

本發明所提供的線上整合擴增實境的編輯裝置與系統可以提供給編輯器端從線上取得不同的AR暫存文件，編輯器端於編輯完成後也可以將AR目標檔案上傳至雲端伺服器。對於不同的編輯器端而言，編輯器端可以交易/交換AR暫存文件中的各項素材，例如互動物件或場景等。行動通訊端除了可以下載現有的AR目標檔案外，也可以透過社群分享將AR目標檔案發送給其他使用者。另外，行動通訊端也可以拍攝不同的物件或影像，使得所拍攝的目標轉換為AR暫存文件的內容。

有關本發明的特徵與實作，茲配合圖式作最佳實施例詳細說明如下。

請參考圖1所示，其係分別為本發明的系統架構與細部示意圖。本發明的線上整合擴增實境的編輯系統100包括雲端伺服器110、至少一編輯器端120與行動裝置端130。編輯器端120與行動裝置端130均可透過網路連接至雲端伺服器110。在本發明中為能區分編輯與執行的兩方，因此將建立或編輯擴增實境的對象定義為編輯器端120，而執行或顯示擴增實境內容的對象為行動裝置端130。

雲端伺服器110記錄多個AR目標檔案112、多個互動物件126或使用者資料庫114。AR暫存文件111係為使用者編輯過程中的各步驟的暫存數據，而所述的各步驟係為互動物件126的編輯過程。使用者可以選擇互動物件126與至少一個AR暫存文件111，用於輸出為AR目標檔案112。使用者資料庫114記錄每一使用者各自的識別資訊115，而每一個使用者可以擁有多個AR暫存文件111或AR目標檔案112。對於不符合設定權限的使用者而言，使用者仍可以下載AR目標檔案112。但該使用者僅能觀看AR目標檔案112，而無法觀看(或編輯) AR目標檔案112所屬的AR暫存文件111。若是符合觀看權限的使用者下載的AR目標檔案時，則使用者除了可以開啟AR目標檔案112也可以編輯AR暫存文件111。

編輯器端120包括第一通訊單元121、第一儲存單元122、第一顯示單元123、第一處理單元124與物件操作單元125。第一處理單元124電性連接於第一通訊單元121、第一儲存單元122、第一顯示單元123與物件操作單元125。行動裝置端130包括第二處理單元131、第二通訊單元132、第二顯示單元133、影像擷取單元134、輸入單元135與第二儲存單元136。第二處理單元131電性連接於第二通訊單元132、第二顯示單元133、影像擷取單元134、輸入單元135與第二儲存單元136。編輯器端120的種類可以是但不限定為個人電腦、筆記型電腦、智慧型手機、平板電腦或穿戴裝置。

第一通訊單元121網路連接於雲端伺服器110，第一通訊單元121用於傳送識別資訊115與AR目標檔案112至雲端伺服器110。第一儲存單元122用於存儲物件編輯介面127、互動物件126、AR目標檔案112或識別資訊115。第一顯示單元123用於繪製物件編輯介面127與所選的互動物件126。使用者可以透過物件操作單元125選擇物件編輯介面127的按鈕、圖像物件、清單、或影像物件，也可以拖曳(或轉動) 互動物件126至物件編輯介面127的任一位置。物件操作單元125除了可以是鍵盤、滑鼠外也可以是觸控螢幕。

編輯器端120登入雲端伺服器110時，雲端伺服器110會確認使用者的識別資訊115。雲端伺服器110完成識別資訊115的驗證後，雲端伺服器110根據識別資訊115傳送對應的索引資訊116。索引資訊116中記錄該使用者可以調用的AR目標檔案112。一般而言，雲端伺服器110中可以存儲公開的索引資訊116與可供個人使用的索引資訊116。若使用者選擇AR目標檔案112後，編輯器端120將會下載所選的AR目標檔案112並於物件編輯介面127上顯示AR目標檔案112的場景內容。一般而言，AR暫存文件111的場景可以是但不限定為靜態影像、節慶賀卡、明信片或動態影片。

在本實施態樣中的物件編輯介面127至少包括AR目標檔案列表、互動物件列表、編輯區、位置資訊、事件列表與動作列表。使用者可以從AR目標檔案列表與互動物件列表中選擇所欲編輯的目標。在物件編輯介面127的編輯區中會載入AR目標檔案112的相關場景或互動物件126。使用者選擇互動物件列表中的任一模型，將於編輯區中會繪製所選的互動物件126。使用者從物件編輯介面127的互動物件列表中選擇至少一互動物件126，或者由外部來源載入新的互動物件126。例如：使用者從編輯器端120的硬碟中載入任一影像、圖片或3D模型，以作為新的互動物件126。

使用者可以透過物件編輯介面127對AR目標檔案112中的場景或物件進行編輯。請參考圖2所示，其係為本發明的AR目標檔案112的編輯過程的示意圖。在本發明中係以車子行進作為AR目標檔案112的說明，但並非僅侷限於此。

首先，使用者在物件編輯介面127中選擇至少一互動物件126，並透過物件操作單元125將互動物件126放置AR目標檔案112的場景中。於此同時，當使用者在編輯互動物件126時，第一處理單元124會將編輯的各步驟過程與互動物件126另記錄為一個AR暫存文件111，請參考圖2與圖3。

在圖2中，使用者從左側的物件編輯介面127拖曳至場景中。舉例來說，第一處理單元124在選擇(或操作)互動物件126後會開始建立一個相應的的AR暫存文件111。當使用者在設定互動物件126在場景中的移動、影像縮放、影像變形、設定物件動作、變更顯示選單或增刪影像時，第一處理單元124會將前述過程一併記錄在AR暫存文件裡，如圖4所示。第一處理單元124均會將互動物件126的各編輯的過程分別記錄為一個新的AR暫存文件111。進一步而言，使用者可以從目前的多個AR暫存文件111中選出至少一個AR暫存文件111，並將所選的AR暫存文件111與互動物件126輸出成新的AR目標檔案112。使用者也可以選擇多個AR暫存文件111，並將所選的多個AR暫存文件111輸出為AR目標檔案112。此外，編輯器端120也可以設定互動物件126被點擊(click)或移動時的觸發動作，例如但不限於跳現動畫、播放聲音、播放影片或開啟新視窗畫面。

在完成互動物件126與AR暫存文件111的編輯後，第一處理單元124將編輯完成的結果輸出為AR目標檔案112。此外，編輯器端120可以針對AR目標檔案112設定存取權限，而存取權限可以是公開使用也可能是限定使用者。AR目標檔案112的存取權限可以被設定但不限於於識別資訊115中。

在設定識別資訊115後，編輯器端120會將互動物件126與所選的AR暫存文件111封裝為AR目標檔案112，並將AR目標檔案112上傳至雲端伺服器110。雲端伺服器110對新進的AR目標檔案112進行索引資訊116的記錄。最後，編輯器端120透過第一通訊單元121將AR目標檔案112傳送至雲端伺服器110，且雲端伺服器110也會同步更新使用者的識別資訊115。

行動裝置端130透過第二通訊單元132網路連接於雲端伺服器110，用於傳輸索引資訊116、識別資訊115與AR目標檔案112。第二顯示單元133用於播放所拍攝的影像或AR目標檔案112。影像擷取單元134用於拍攝環境影像，其中環境影像包括待識別目標151。輸入單元135用於控制行動裝置端130的操作與AR目標檔案112的互動輸入。輸入單元135可以透過觸控螢幕所實現，也可以是按鈕或搖桿等方式。本發明的待識別目標151除了可以是QR二維碼(Quick Response，簡稱QR)外，亦可以是雲端伺服器110所預設的其他圖形(或實體物件)或是由使用者自行上傳之圖形。第二儲存單元136存儲第一影像識別程序141、第二影像識別程序142、社群分享程序143與簡易編輯程序144。

當第二處理單元131運行第一影像識別程序141時，影像擷取單元134將開始拍攝。在影像擷取單元134攝像的過程中，第二處理單元131會即時的判斷所拍攝到的待識別目標151是否具有識別資訊115。而拍攝待識別目標151的過程中，可以由第二處理單元131自動識別識別資訊115。當第二處理單元131偵測待識別目標151具有識別資訊115時，第二處理單元131根據索引資訊116向雲端伺服器110要求下載對應的AR目標檔案112。行動裝置端130下載AR目標檔案112後，第二顯示單元133將播放AR目標檔案112。

使用者可以透過輸入單元135操作AR目標檔案112的互動物件126。以前文中的車子(互動物件126)為例，當影像擷取單元134拍攝具有識別資訊115的待識別目標151時，如圖5所示。第二處理單元131可以從識別資訊115取得相關的AR目標檔案112，再由第二顯示單元133播放AR目標檔案112。

除了第一影像識別程序141外，本發明可以透過第二影像識別程序142載入對應的AR目標檔案112。在第二處理單元131運行第二影像識別程序142時，影像擷取單元134也會攝像。假設拍攝過程中，影像擷取單元134拍攝到待識別目標151。於此同時，第二顯示單元133中會出現相關圖示，如圖6所示。在使用者點選圖示後會出現輸入框。使用者輸入正確的識別碼後，第二處理單元131會從雲端伺服器中下載屬於該識別碼的使用者資訊，轉向對應的辨識圖像進行掃描以產生相對應的AR目標檔案112，並連接至轉向對應AR目標檔案112的相關活動或頁面中。第二處理單元131可以從所述活動(或頁面)中識別有無對應的互動物件126。在前文中所曾述及，識別資訊115中可以針對互動物件126的存取權限。為能滿足非公開的目的，第二影像識別程序142針對待識別目標151的存取做出進一步的保護。

社群分享程序143是依附前述的第一影像識別程序141與第二影像識別程序142中。當使用者完成前述影像識別程序後，使用者可以將AR目標檔案112加入管理頁面中。在管理頁面中，每一個AR目標檔案112會依序排列如圖7所示。使用者可以經由輸入單元135選擇任一AR目標檔案112的項目與社群分享按鈕152。當使用者點選社群分享按鈕152時，第二處理單元131將運行社群分享程序143並在第二顯示單元133上繪製相應各社群圖示153。當使用者選擇任一社群圖示153時，第二處理單元131將會對AR目標檔案112的索引資訊116轉發至所選的社群中。

當第二處理單元136執行簡易編輯程序144時，使用者可以拍攝環境影像或影像物件。在完成拍攝後，第二處理單元136將會把所拍攝的結果以AR暫存文件111的方式上傳至雲端伺服器110。換句話說，使用者可以透過行動裝置端130拍攝任意的物件或影像，以作為AR暫存文件111所需的素材。除此之外，行動通訊端130也可以將外部載入的影片上傳至雲端伺服器110，並將該影片存儲為新的AR暫存文件111。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

編輯系統 100 雲端伺服器 110 AR暫存文件 111 AR目標檔案 112 使用者資料庫 114 識別資訊 115 索引資訊 116 編輯器端 120 第一通訊單元 121 第一儲存單元 122 第一顯示單元 123 第一處理單元 124 物件操作單元 125 互動物件 126 物件編輯介面 127 行動裝置端 130 第二處理單元 131 第二通訊單元 132 第二顯示單元 133 影像擷取單元 134 輸入單元 135 第二儲存單元 136 第一影像識別程序 141 第二影像識別程序 142 社群分享程序 143 簡易編輯程序 144 待識別目標 151 社群分享按鈕 152 社群圖示 153

圖1係為本發明的系統架構與示意圖。 圖2係為本發明的AR暫存文件的編輯過程的示意圖。 圖3係為本發明的物件編輯介面的選擇互動物件的示意圖。 圖4係為本發明的物件編輯介面的選擇AR暫存文件的示意圖。 圖5係為本發明的第二影像識別程序的操作示意圖。 圖6係為本發明的識別碼輸入操作的示意圖。 圖7係為本發明的社群分享的操作示意圖。

Claims (8)

1. 一種線上整合擴增實境的編輯裝置，其係包括：一通訊單元，網路連接於一雲端伺服器並取得一AR目標檔案或一互動物件；一顯示單元，用於顯示一環境影像、一AR暫存文件、該AR目標檔案或該互動物件；一物件操作單元，控制該互動物件於該顯示單元中的擺放位置與顯示角度；以及一處理單元，其係電性連接該通訊單元、該顯示單元與該物件操作單元，該處理單元根據一識別資訊驅動該通訊單元向該雲端伺服器取得相應該識別資訊的該些AR暫存文件的一索引資訊，並根據該索引資訊下載任一該AR目標檔案；其中，該處理單元根據該互動物件與所選的該AR目標檔案的編輯過程產生各步驟的該AR暫存文件，選擇任一該AR暫存文件並生成該AR目標檔案，該處理單元將該識別資訊加入該AR目標檔案後透過該通訊單元將該AR目標檔案發送至該雲端伺服器，該雲端伺服器將該AR目標檔案歸建為新的該AR暫存文件。
2. 如請求項1所述之線上整合擴增實境的編輯裝置，其中更包括一儲存單元，用於儲存該AR暫存文件、該互動物件、一物件編輯介面或該AR目標檔案。
3. 如請求項2所述之線上整合擴增實境的編輯裝置，其中該AR暫存文件用於記錄互動物件在該物件編輯介面中的移動、影像縮放、影像變形、設定物件動作、變更顯示選單或增刪影像。
4. 如請求項3所述之線上整合擴增實境的編輯裝置，其中該處理單元運行該物件編輯介面，由該物件操作單元控制該物件編輯介面，用於編排該AR暫存文件於該環境影像中的位置、播放位置、或播放時間。
5. 如請求項1所述之線上整合擴增實境的編輯裝置，其中該編輯裝置的種類為個人電腦、筆記型電腦、智慧型手機、平板電腦或穿戴裝置。
6. 一種線上整合擴增實境的編輯系統，其係包括：一雲端伺服器，用於記錄多個AR目標檔案、多個互動物件或一使用者資料庫，該使用者資料庫記錄每一該使用者各自的一識別資訊；至少一編輯器端，網路連接於該雲端伺服器，該編輯器端包括一第一通訊單元、一第一儲存單元、一第一顯示單元、一第一處理單元與一物件操作單元，該第一處理單元電性連接該第一通訊單元、該第一儲存單元、該第一顯示單元與該物件操作單元，第一通訊單元向該雲端伺服器取得相應該識別資訊的該些AR目標檔案的一索引資訊，該第一儲存單元用於儲存一物件編輯介面、至少一AR暫存文件、該互動物件或該AR目標檔案，該第一顯示單元用於繪製該物件編輯介面與所選的該互動物件，該物件操作單元用於控制該第一顯示單元中該互動物件的擺放位置與顯示角度並於所述編輯過程中生成相應的一AR暫存文件，該第一處理單元根據該互動物件與所選的該AR暫存文件生成該AR目標檔案，該第一處理單元將該識別資訊加入該AR目標檔案後透過該第一通訊單元將該AR目標檔案發送至該雲端伺服器；以及一行動裝置端，其係包括一第二處理單元、一第二通訊單元、一第二顯示單元、一影像擷取單元與一第二儲存單元，該第二處理單元電性連接於該第二通訊單元、該第二顯示單元、該影像擷取單元與該第二儲存單元，該第二通訊單元網路連接於該雲端伺服器，該影像擷取單元拍 攝一待識別目標，該第二處單元將該待識別目標發送至該雲端伺服器，該雲端伺服器辨識該待識別目標為該些互動物件之任一，該雲端伺服器將對應的該AR目標檔案發送至該行動裝置端，並透過該第二顯示單元播放該AR目標檔案。
7. 如請求項6所述之線上整合擴增實境的編輯系統，其中該行動裝置端輸入一識別碼，該第二處理單元根據該識別碼對該待識別目標進行辨識，並根據該待識別目標向該雲端伺服器要求相應的該AR目標檔案。
8. 如請求項6所述之線上整合擴增實境的編輯系統，其中該行動裝置端運行一社群分享程序，該第二通訊單元連線至該雲端伺服器並選擇一社群網站，該第二處理單元生成該邀請通知並發送至所選的該社群網站。