TWM618616U

TWM618616U - 擴增實境的線上會議系統

Info

Publication number: TWM618616U
Application number: TW110207124U
Authority: TW
Inventors: 陳穎信; 王美純; 許秀珠
Original assignee: 國軍花蓮總醫院
Priority date: 2021-06-21
Filing date: 2021-06-21
Publication date: 2021-10-21

Abstract

一種線上會議系統，包含線上會議伺服器、第一電子裝置及第二電子裝置。當第一電子裝置根據拍攝影像，判斷出拍攝影像含有手勢動作，該第一電子裝置根據該拍攝影像及該拍攝影像中有該手勢動作的影像部分，計算指示出該影像部分位於該拍攝影像中的位置的一相對位置資料。該第一電子裝置根據該拍攝影像中的該手勢動作，產生對應該相對位置資料及該位置資料的一圖像，並將該圖像疊加於該拍攝影像以產生一操作影像，並傳送該操作影像給該線上會議伺服器，供該線上會議伺服器將該操作影像傳送給該第二電子裝置。

Description

擴增實境的線上會議系統

本新型是有關於一種線上會議系統，特別是指一種利用擴增實境的線上會議系統。

有賴於資訊產業及通訊網路的發展，現在有越來越多的即時視訊軟體，供使用者在各自的電腦上執行所述即時視訊軟體就能夠與在遠方的其他使用者進行例如遠距教學、線上會議等。

然而，目前尚未看到有能夠根據使用者的動作即時改變所呈現的畫面的即時視訊軟體。

因此，本新型之目的，即在提供一種新型的線上會議系統。

於是，本新型所提供的線上會議系統，包含一線上會議伺服器、一第一電子裝置、及一第二電子裝置。該第一電子裝置，經由一通訊網路連接該線上會議伺服器，並包括一第一位置感測模組及一第一影像拍攝模組，該第一位置感測模組用於感測該第一電子裝置的位置，以產生位置資料，該第一影像拍攝模組用於拍攝以產生拍攝影像。該第二電子裝置經由該通訊網路連接該線上會議伺服器。當該第一電子裝置根據該拍攝影像，判斷出該拍攝影像並未含有手勢動作，該第一電子裝置將拍攝到的該拍攝影像傳送給該線上會議伺服器，供該線上會議伺服器將該拍攝影像傳送給該第二電子裝置；當該第一電子裝置根據該拍攝影像，判斷出該拍攝影像含有手勢動作，該第一電子裝置根據該拍攝影像及該拍攝影像中有該手勢動作的影像部分，計算指示出該影像部分位於該拍攝影像中的位置的一相對位置資料；該第一電子裝置根據該拍攝影像中的該手勢動作，產生對應該相對位置資料及該位置資料的一圖像，並將該圖像疊加於該拍攝影像以產生一操作影像，並傳送該操作影像給該線上會議伺服器，供該線上會議伺服器將該操作影像傳送給該第二電子裝置。

在一些實施態樣中，該第一電子裝置還根據產生出位置資料的時間及產生出拍攝影像的時間，將該位置資料及對應之拍攝影像建立對應關係，並根據該拍攝影像對應之位置資料及該相對位置資料，產生對應該圖像的一圖像位置資料；該第一電子裝置根據當前的拍攝影像對應之該位置資料產生一影像邊界資料，並判斷該影像邊界資料是否涵蓋該圖像位置資料；當該第一電子裝置判斷出該影像邊界資料涵蓋該圖像位置資料，該第一電子裝置根據該圖像位置資料及當前的該拍攝影像對應之該位置資料，將該圖像疊加於當前的該拍攝影像，以產生一會議影像，並將該會議影像傳送給該線上會議伺服器，供該線上會議伺服器將該會議影像傳送給該第二電子裝置。

在一些實施態樣中，該第一電子裝置在傳送該拍攝影像給該線上會議伺服器之前，該第一電子裝置先傳送與該線上會議伺服器有關的一線上會議網址給該第二電子裝置；該第二電子裝置接收到該線上會議網址後，令該線上會議伺服器傳送與該線上會議網址有關且對應於該第二電子裝置的一確認請求給該第一電子裝置。

在一些實施態樣中，該第一電子裝置還包含用於收音以產生聲音資料的一第一聲音輸入模組，該第一電子裝置還傳送該聲音資料給該線上會議伺服器，供該線上會議伺服器將該聲音資料與該拍攝影像傳送給該第二電子裝置。

本新型之功效在於：藉由該第一電子裝置在判斷出該拍攝影像含有手勢動作時，該第一電子裝置根據該手勢動作，產生該圖像，並將該圖像根據該相對位置資料疊加於該拍攝影像以產生該操作影像，並傳送該操作影像給該線上會議伺服器，此外，當該第一電子裝置所拍攝到的拍攝影像對應之的該影像邊界資料涵蓋該圖像位置資料，該第一電子裝置將該圖像疊加於當前的該拍攝影像，以產生該會議影像，並傳送該會議影像給該線上會議伺服器，如此一來，該線上會議伺服器便能夠將該操作影像及該會議影像傳送給該第二電子裝置，供該第二電子裝置能顯示出含有該圖像的該操作影像及該會議影像。

參閱圖1，本新型之線上會議系統的一實施例，包含一線上會議伺服器10、一第一電子裝置20及一第二電子裝置30。

於此實施例中，該線上會議伺服器10例如為執行一即時視訊軟體的一電腦主機，能供兩個以上的使用者藉由例如為手機、平板電腦、筆記型電腦或個人電腦，並透過視訊的方式進行線上會議。

此實施例中，該第一電子裝置20及該第二電子裝置30分別經由通訊網路200連接該線上會議伺服器10。該第一電子裝置20包括一第一位置感測模組21、一第一影像拍攝模組22、一第一聲音輸入模組23、一第一處理模組24及一第一顯示模組25，更明確地說，該第一位置感測模組21例如包含但不限於陀螺儀、三軸加速器，該第一影像拍攝模組22例如為包含但不限於攝影鏡頭，該第一聲音輸入模組23例如為一麥克風，該第一處理模組24例如包含但不限於一中央處理器(Central Processing Unit，CPU)，該第一顯示模組25例如為一顯示螢幕。在此實施例中，該第一電子裝置20可以是一台手機、平板電腦、筆記型電腦或個人電腦實施，但並不以此為限。應當理解的是，上述第一影像拍攝模組22、第一聲音輸入模組23、第一顯示模組25、第一位置感測模可以是與上述第一處理模組24及第一位置感測模組21整合為一體，也可以是可分離地外接於上述第一處理模組24及第一位置感測模組21，例如個人電腦外接視訊鏡頭作為該第一影像拍攝模組22，外接麥克風作為該第一聲音輸入模組23。

該第二電子裝置30在本實施例中也能夠以手機、平板電腦、筆記型電腦或個人電腦實施，並包含一第二位置感測模組31、一第二影像拍攝模組32、一第二聲音輸入模組33、一第二處理模組34及一第二顯示模組35。該第二位置感測模組31、該第二影像拍攝模組32、該第二聲音輸入模組33、該第二處理模組34及該第二顯示模組35分別與上述第一位置感測模組21、第一影像拍攝模組22、第一聲音輸入模組23、第一處理模組24及第一顯示模組25相類似，遂不再贅述。

參閱圖1及圖2，以下說明本實施例知該第一電子裝置20如何執行之一第一用於線上會議之擴增實境呈現方法，該第一用於線上會議之擴增實境呈現方法包含步驟S21~S26。

首先，在步驟S21中，該第一電子裝置20傳送一線上會議網址給該第二電子裝置30，更明確地說，該第一電子裝置20的使用者於此實施例中例如為線上會議的發起人，該第一電子裝置20經由該發起人的操作登入該線上會議伺服器10，並令該線上會議伺服器10建立一線上會議頁面及產生對應該線上會議頁面的該線上會議網址。該第一電子裝置20在獲取該線上會議網址後，經由該通訊網路200傳送該線上會議網址給該第二電子裝置30，供該第二電子裝置30接收到該線上會議網址後，能根據該線上會議網址顯示該線上會議伺服器10所建立的該線上會議頁面。

更詳細地說，在該第二電子裝置30接收到該線上會議網址後，該第二電子裝置30令該線上會議伺服器10傳送與該線上會議網址有關且對應於該第二電子裝置30的一確認請求給該第一電子裝置20。

於此實施例中，該第一電子裝置20的操作者(也就是線上會議的發起人)例如為授課的講師，而該第二電子裝置30的操作者例如為上課的學員，而所述使用者資訊則例如為學員的名稱。該第一電子裝置20接收到該使用者資訊後，便經由該第一顯示模組25顯示該使用者資訊，供講師確認該使用者資訊是否對應其中一學員。在講師確認使用者資訊對應其中一學員後，該第一電子裝置20便根據使用者的操作，傳送一學員確認通知給該線上會議伺服器10，該線上會議伺服器10根據該學員確認通知傳送該線上會議頁面給該第二電子裝置30，供該第二電子裝置30顯示該線上會議頁面。

接著，在該第二電子裝置30已顯示該顯上會議頁面後，也就是學員已進入課程中，便接著執行步驟S22，該第一電子裝置20的該第一影像拍攝模組22開始拍攝當前的影像以產生拍攝影像，且該第一位置感測模組21感測該第一電子裝置20的位置以產生位置資料，而該第一聲音輸入模組23開始收音以產生聲音資料。

於此實施例中，該第一影像拍攝模組22拍攝的是該講師及該講師所處的環境，因此所述拍攝影像在本實施例中會呈出該講師及/或該講師所處的環境，但不以此為限。而該第一位置感測模組21會在該第一影像拍攝模組22拍攝的過程中同步感測該第一電子裝置20的位置以產生位置資料。更進一步地說，由於該第一位置感測模組21於此實施例中含有陀螺儀、三軸加速器，因此該第一位置感測模組21除了能夠測得該第一電子裝置20於平面座標的位置以外，還能夠測量該第一電子裝置20當前的轉向。

接下來，於步驟S23中，該第一電子裝置20根據該拍攝影像，判斷該拍攝影像是否含有手勢動作。當該第一電子裝置20判斷該拍攝影像並未含有手勢動作，該第一電子裝置20便執行步驟S24，將拍攝到的該拍攝影像及在時間上與該拍攝影像對應之聲音資料傳送給該線上會議伺服器10，供該第二電子裝置30顯示該拍攝影像並輸出該聲音資料。

於此實施例中，上述拍攝影像例如為講課的投影片(圖未示)或黑板(圖未示)的畫面，或例如是講師講課時所需的物品的畫面，例如急救教學所使用的半身甦醒急救假人(圖未示)。

當步驟S23的該判斷結果為是，該第一電子裝置20根據該拍攝影像，判斷出該拍攝影像含有手勢動作，該第一電子裝置20便執行步驟S25，根據該拍攝影像及該拍攝影像中有該手勢動作的影像部分，計算指示出該影像部分位於該拍攝影像中的位置的一相對位置資料，並根據該拍攝影像中的該手勢動作，產生對應該相對位置資料及該位置資料的一圖像，以將該圖像疊加於該拍攝影像以產生一操作影像，並傳送該操作影像及在時間上對應該拍攝影像的聲音資料給該線上會議伺服器10，供該線上會議伺服器10將該操作影像及該聲音資料傳送給該第二電子裝置30。

承接前例，若在影像中，講師呈現出對著上述半身甦醒急救假人的胸部畫圓的手勢，而該第一電子裝置20根據拍攝影像中的手勢動作，產生出的圖像便例如為一圓圈，並將呈現出該圓圈的操作影像傳送給該線上會議伺服器10。如此一來，透過第二電子裝置30上課的學員就能夠除了看到講師所處影像的影像外，還可以看到對應於講師的手勢動作的圖像，進而增進學習的效果。

接著，於步驟S26當中，該第一電子裝置20根據產生出位置資料的時間及產生出拍攝影像的時間，將該位置資料及對應之拍攝影像建立對應關係，並根據該拍攝影像對應之位置資料及該相對位置資料，產生對應該圖像的一圖像位置資料，並儲存該圖像及該圖像位置資料。

更明確地說，該第一影像拍攝模組22例如每秒產生出16個拍攝影像，而該第一位置感測模組21感測該第一電子裝置20的位置以產生位置資料的週期例如為每秒一次，因此在同一秒所產生的該等拍攝影像會對應到相同的位置資料。上述每秒產生的拍攝影像的數量及感測第一電子裝置20的位置的週期皆為舉例說明，並不以上述為限。

在執行上述步驟S21至S26的過程中，該第一電子裝置20可以任意地配合移動，於此實施例中可以是為了配合講師的授課而移動。在移動的過程中或改變位置之後，該第一影像拍攝模組22、該第一位置感測模組21及該第一聲音輸入模組23仍持續地運作，以產生拍攝影像、位置資料及聲音資料，進而使線上會議(教學)能夠持續地進行。

配合參閱步驟圖1及圖3，該第一電子裝置20還能執行一第二用於線上會議之擴增實境呈現方法，該第二用於線上會議之擴增實境呈現方法包含步驟S31~S33。

參閱步驟S31，該第一電子裝置20根據當前的拍攝影像對應之該位置資料產生一影像邊界資料。舉例來說，該影像邊界資料例如為一組座標資料，在這組座標資料所界定的空間內的座標會呈現於該拍攝影像，反之，則不會呈現於該拍攝影像之中。

接著，於步驟S32中，該第一電子裝置20判斷該影像邊界資料是否涵蓋該圖像位置資料，若是，便執行步驟S33，若否，則結束此程序。

於步驟S33中，當該第一電子裝置20判斷出該影像邊界資料涵蓋該圖像位置資料，該第一電子裝置20根據該圖像位置資料及當前的該拍攝影像對應之該位置資料，也就是說當前的拍攝畫面又回到了先前拍攝到該講師做出成圓形的手勢動作的畫面，因此該第一電子裝置20將該圖像疊加於當前的該拍攝影像，以產生一會議影像，並將該會議影像傳送給該線上會議伺服器10，供該線上會議伺服器10將該會議影像傳送給該第二電子裝置30。

如此一來，該第一電子裝置20就能夠藉由當前的拍攝畫面對應之位置資料及所儲存的圖像的該圖像位置資料，判斷該圖像是否為呈現於當前的拍攝畫面的圖像，若是，該第一電子裝置20便產生含有該圖像的會議影像，進而使得該講師先前做過的手勢動作對應的圖像可以再次地呈現於當前的畫面。

應當理解的是，在其他實施態樣中，上述第一用於線上會議之擴增實境呈現方法及第二用於線上會議之擴增實境呈現方法也可以是由第二電子裝置30執行，或在其他實施態樣中，該第一電子裝置20及該第二電子裝置30在線上會議(講座)的過程中，皆執行所述第一用於線上會議之擴增實境呈現方法及所述第二用於線上會議之擴增實境呈現方法。上述實施例中，所述第一電子裝置20及所述第二電子裝置30的數量僅為舉例說明，並不以此為限。在其他實施例中，所述第一電子裝置20的數量及所述第二電子裝置30的數量皆可以是多個，也就是同時可以有多個使用者參與線上會議或是線上課程。

綜上所述，藉由該第一電子裝置20在判斷出該拍攝影像含有手勢動作時，該第一電子裝置20根據該手勢動作，產生該圖像，並將該圖像根據該相對位置資料疊加於該拍攝影像以產生該操作影像，並傳送該操作影像給該線上會議伺服器10，此外，當該第一電子裝置20所拍攝到的拍攝影像對應之的該影像邊界資料涵蓋該圖像位置資料，該第一電子裝置20將該圖像疊加於當前的該拍攝影像，以產生該會議影像，並傳送該會議影像給該線上會議伺服器10，如此一來，該線上會議伺服器10便能夠將該操作影像及該會議影像傳送給該第二電子裝置30，供該第二電子裝置30能顯示出含有該圖像的該操作影像及該會議影像。因此，確實能達成本新型之目的。

惟以上所述者，僅為本新型之實施例而已，當不能以此限定本新型實施之範圍，凡是依本新型申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本新型專利涵蓋之範圍內。

10:線上會議伺服器 20:第一電子裝置 21:第一位置感測模組 22:第一影像拍攝模組 23:第一聲音輸入模組 24:第一處理模組 25:第一顯示模組 30:第二電子裝置 31:第二位置感測模組 32:第二影像拍攝模組 33:第二聲音輸入模組 34:第二處理模組 35:第二顯示模組 200:通訊網路 S21~S26:步驟 S31~S33:步驟

本新型之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，說明本新型的一個實施例的一硬體連接關係；圖2是一流程圖，說明該實施例執行之一第一用於線上會議之擴增實境呈現方法的一流程圖；及圖3是一流程圖，說明該實施例執行之一第二用於線上會議之擴增實境呈現方法的一流程圖。

10:線上會議伺服器

20:第一電子裝置

21:第一位置感測模組

22:第一影像拍攝模組

23:第一聲音輸入模組

24:第一處理模組

25:第一顯示模組

30:第二電子裝置

31:第二位置感測模組

32:第二影像拍攝模組

33:第二聲音輸入模組

34:第二處理模組

35:第二顯示模組

200:通訊網路

Claims

一種擴增實境的線上會議系統，包含：一線上會議伺服器；一第一電子裝置，經由一通訊網路連接該線上會議伺服器，並包括一第一位置感測模組及一第一影像拍攝模組，該第一位置感測模組用於感測該第一電子裝置的位置，以產生位置資料，該第一影像拍攝模組用於拍攝以產生拍攝影像；及一第二電子裝置，經由該通訊網路連接該線上會議伺服器；其中，當該第一電子裝置根據該拍攝影像，判斷出該拍攝影像並未含有手勢動作，該第一電子裝置將拍攝到的該拍攝影像傳送給該線上會議伺服器，供該線上會議伺服器將該拍攝影像傳送給該第二電子裝置；當該第一電子裝置根據該拍攝影像，判斷出該拍攝影像含有手勢動作，該第一電子裝置根據該拍攝影像及該拍攝影像中有該手勢動作的影像部分，計算指示出該影像部分位於該拍攝影像中的位置的一相對位置資料；該第一電子裝置根據該拍攝影像中的該手勢動作，產生對應該相對位置資料及該位置資料的一圖像，並將該圖像疊加於該拍攝影像以產生一操作影像，並傳送該操作影像給該線上會議伺服器，供該線上會議伺服器將該操作影像傳送給該第二電子裝置。
如請求項1所述的擴增實境的線上會議系統，其中，該第一電子裝置還根據產生出位置資料的時間及產生出拍攝影像的時間，將該位置資料及對應之拍攝影像建立對應關係，並根據該拍攝影像對應之位置資料及該相對位置資料，產生對應該圖像的一圖像位置資料；該第一電子裝置根據當前的拍攝影像對應之該位置資料產生一影像邊界資料，並判斷該影像邊界資料是否涵蓋該圖像位置資料；當該第一電子裝置判斷出該影像邊界資料涵蓋該圖像位置資料，該第一電子裝置根據該圖像位置資料及當前的該拍攝影像對應之該位置資料，將該圖像疊加於當前的該拍攝影像，以產生一會議影像，並將該會議影像傳送給該線上會議伺服器，供該線上會議伺服器將該會議影像傳送給該第二電子裝置。
如請求項1所述的擴增實境的線上會議系統，其中，該第一電子裝置在傳送該拍攝影像給該線上會議伺服器之前，該第一電子裝置先傳送與該線上會議伺服器有關的一線上會議網址給該第二電子裝置；該第二電子裝置接收到該線上會議網址後，令該線上會議伺服器傳送與該線上會議網址有關且對應於該第二電子裝置的一確認請求給該第一電子裝置。
如請求項1所述的擴增實境的線上會議系統，其中，該第一電子裝置還包含用於收音以產生聲音資料的一第一聲音輸入模組，該第一電子裝置還傳送該聲音資料給該線上會議伺服器，供該線上會議伺服器將該聲音資料與該拍攝影像傳送給該第二電子裝置。