TWI674799B - 多媒體互動系統及多媒體互動方法 - Google Patents

多媒體互動系統及多媒體互動方法 Download PDF

Info

Publication number
TWI674799B
TWI674799B TW107138840A TW107138840A TWI674799B TW I674799 B TWI674799 B TW I674799B TW 107138840 A TW107138840 A TW 107138840A TW 107138840 A TW107138840 A TW 107138840A TW I674799 B TWI674799 B TW I674799B
Authority
TW
Taiwan
Prior art keywords
display
video
navigation
movie
route
Prior art date
Application number
TW107138840A
Other languages
English (en)
Other versions
TW202019187A (zh
Inventor
蔡貴鈐
鄭育鎔
廖憲正
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW107138840A priority Critical patent/TWI674799B/zh
Priority to CN201811339373.6A priority patent/CN111131900A/zh
Priority to US16/202,112 priority patent/US10628106B1/en
Application granted granted Critical
Publication of TWI674799B publication Critical patent/TWI674799B/zh
Publication of TW202019187A publication Critical patent/TW202019187A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems

Abstract

本揭示文件提供一種多媒體互動系統，包含第一顯示器、第二顯示器以及伺服器。伺服器通訊連接第一顯示器以及第二顯示器。伺服器用以接收第一顯示器回放第一導覽影片之第一即時播放時間；根據第一即時播放時間以獲得第一導覽影片所關聯之無遮蔽區域；取得無遮蔽區域對應之第二導覽影片；以及若第二顯示器正在播放第二導覽影片，則傳送互動資料至第一顯示器以及第二顯示器。

Description

多媒體互動系統及多媒體互動方法
本揭示文件係有關於一種多媒體系統與方法，且特別是有關於一種多媒體互動系統與方法。
空間導覽系統中，一般是透過組合多個影片來形成可導覽的影片集合。因此，需要採用銜接影片的技術來建置虛擬空間系統。對於銜接影片的方式，並沒有建立三圍模型，導致無法直接使用虛擬座標與虛擬視線來計算在不同虛擬位置的使用者是否能交流互動。舉例來說，虛擬空間系統無法判斷使用者之間的空間是否有遮蔽物阻擋，或者互動距離是否過遠等問題。
在現有的虛擬空間系統無法利用影片內容來判斷使用者之間是否能夠互動，據此，在不應用三維影像模型的前提下，利用影片來建立的空間導覽系統中，有必要出可以解決多人互動範圍計算困難的技術問題，來快速確認使用者之間是否處於可以交流互動的虛擬空間。
發明內容旨在提供本揭示內容的簡化摘要，以使閱讀者對本揭示內容具備基本的理解。此發明內容並非本揭示內容的完整概述，且其用意並非在指出本發明實施例的重要/關鍵元件或界定本發明的範圍。
根據本揭示文件之一實施例，揭示一種多媒體互動系統包含第一顯示器、第二顯示器以及伺服器。伺服器通訊連接第一顯示器以及第二顯示器。伺服器用以接收第一顯示器回放第一導覽影片之第一即時播放時間；根據第一即時播放時間以獲得第一導覽影片所關聯之無遮蔽區域；取得無遮蔽區域對應之第二導覽影片；以及若第二顯示器正在播放第二導覽影片，則傳送互動資料至第一顯示器以及第二顯示器。
根據另一實施例，揭示一種多媒體互動方法，包含接收第一顯示器回放第一導覽影片之第一即時播放時間；根據第一即時播放時間以獲得第一導覽影片所關聯之無遮蔽區域；取得無遮蔽區域對應之第二導覽影片；以及若第二顯示器正在播放第二導覽影片，則傳送互動資料至第一顯示器以及第二顯示器。
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下：
100‧‧‧多媒體互動系統
110‧‧‧伺服器
120a、120b~120n‧‧‧顯示器
200‧‧‧地圖資料
211、213、215、217、219‧‧‧端點
211a、211b、211c、211d‧‧‧端點
213a、213b‧‧‧端點
221、223、225、227‧‧‧路線
225a、225b‧‧‧端點
231、233、235‧‧‧遮蔽標註
241、243‧‧‧使用者
A、B、C‧‧‧端點
R1、R2、R3、R4‧‧‧無遮蔽區域
r1、r2‧‧‧視野
S310~S380、S510~560‧‧‧步驟
θ‧‧‧角度
以下詳細描述結合隨附圖式閱讀時，將有利於較佳地理解本揭示文件之態樣。應注意，根 據說明上實務的需求，圖式中各特徵並不一定按比例繪製。實際上，出於論述清晰之目的，可能任意增加或減小各特徵之尺寸。
第1圖繪示根據本揭示文件一些實施例中一種多媒體互動系統之示意圖。
第2圖繪示根據本揭示文件一些實施例中，多媒體互動系統的地圖資料之示意圖。
第3圖繪示根據本揭示文件一些實施例中一種多媒體互動方法之步驟流程圖。
第4圖繪示根據本揭示文件一些實施例中在多媒體互動系統的使用者之間的互動範圍示意圖。
第5圖繪示根據本揭示文件一些實施例中，建立段落資料查找表之步驟流程圖。
以下揭示內容提供許多不同實施例或實例，以便實施本發明之不同特徵。下文描述元件及排列之特定實例以簡化本發明。當然，該等實例僅為示例性且並不欲為限制性。舉例而言，以下描述中在第二特徵上方或第二特徵上形成第一特徵可包括以直接接觸形成第一特徵及第二特徵的實施例，且亦可包括可在第一特徵與第二特徵之間形成額外特徵使得第一特徵及特徵可不處於直接接觸的實施例。另外，本發明可在各實例中重複元件符號及/或字母。此重複係出於簡明性及清 晰之目的，且本身並不指示所論述之各實施例及/或配置之間的關係。
進一步地，為了便於描述，本文可使用空間相對性術語(諸如「之下」、「下方」、「較低」、「上方」、「較高」及類似者)來描述諸圖中所圖示一個元件或特徵與另一元件(或多個元件)或特徵(或多個特徵)之關係。除了諸圖所描繪之定向外，空間相對性術語意欲包含使用或操作中裝置之不同定向。設備可經其他方式定向(旋轉90度或處於其他定向上)且因此可同樣解讀本文所使用之空間相對性描述詞。
請參見第1圖，其繪示根據本揭示文件一些實施例中一種多媒體互動系統100之示意圖。如第1圖所示，多媒體互動系統100包含伺服器110以及複數個顯示器120a~120n。顯示器120a~120n可以為虛擬實境頭戴式裝置、顯示螢幕等。顯示器120a~120n通訊連接伺服器110。在一實施例中，顯示器120a~120n與本地端之主機裝置(未繪示)連線，主機裝置與伺服器110經由有線傳輸通訊或無線傳輸通訊來與伺服器110建立連線，而向伺服器110下載資料或上傳資料至伺服器110。顯示器120a~120n透過主機裝置取得伺服器110的資料。
顯示器120a~120n分別設置在相同或不同地理位置。舉例來說，顯示器120a~120n分別設置在同一棟建築物中的不同房間，以供多個使用者來操作顯示器120a~120n。
伺服器110儲存有複數個導覽影片。顯示器120可顯示下載自伺服器110的導覽影片。導覽影片可以為事先錄製好的實際場景影片，例如是在大英博物館中從不同的路線分別錄製而成。建立導覽影片的說明將於後陳述。
請參見第2圖，其繪示根據本揭示文件一些實施例中，第1圖之多媒體互動系統100的地圖資料200之示意圖。如第2圖所示，地圖資料200包含複數個路線(路線221、223、225、227)、複數個端點211、211d、213、215、217、219、以及遮蔽標註231、233、235。各導覽影片為事先分別沿著路線221、223、225、227所錄製而成。舉例來說，在大英博物館錄製導覽影片，包含沿著大門(Main entrance)至大中庭(Great Court)再轉往第二房間(Room 2)的路線(路線221)所拍攝的導覽影片、沿著大中庭至東樓梯(East stairs)的路線(路線225)所拍攝的導覽影片、沿著大中庭至西樓梯(West stairs)的路線(路線227)所拍攝的導覽影片、沿著大中庭至南樓梯(South stairs)的路線(路線223)所拍攝的導覽影片等。
使用者可自行選擇欲觀看的影片。舉例來說，若使用者欲知道如何從大門走到大中庭，則可選擇觀看對應的導覽影片。值得一提的是，使用者可以選擇第1圖的多媒體互動系統100中的顯示器120a~120n中的任一個來觀看影片。多媒體互動系統100可同時有多個顯示器來播放相同或不同的導覽影片，使得多個使用者 同時在線上觀看影片。舉例來說，第一使用者241透過顯示器120a觀看所選擇的導覽影片，第二使用者243透過顯示器120b觀看所選擇的導覽影片，第三使用者透過顯示器120n觀看所選擇的導覽影片等。
地圖資料200上有遮蔽標註231、遮蔽標註233以及遮蔽標註235。遮蔽標註231表示在路線221與路線223之間有障礙物或者牆壁等。遮蔽標註233表示在路線225與路線227之間有障礙物或者牆壁等。遮蔽標註235表示在路線227與路線223之間有障礙物或者牆壁等。
舉例來說，使用者選擇的導覽影片，第一導覽影片中，可觀看路徑221上依序沿著端點211、端點211a、端點211b、端點211c至端點211d的景色。在端點211、端點211a、端點211b、端點211c及端點211d，分別對應至第一導覽影片之第0分0秒、第2分50秒、第7分50秒、第10分0秒、以及第12分50秒。
使用者另選擇的導覽影片，第二導覽影片中，使用者可觀看路徑223上依序沿著端點213、端點213a、端點213b至端點215的景色。端點213、端點213a、端點213b及端點215，分別對應至第二導覽影片之第0分0秒、第2分0秒、第6分30秒、以及第9分30秒。
使用者另選擇的導覽影片，第三導覽影片中，使用者可觀看路徑225上依序沿著端點225a、端點225b至端點219的景色。端點225a、端點225b及端點219， 分別對應至第三導覽影片之第0分0秒、第3分30秒以及第8分40秒。
在一實施例中，當第一使用者241正在觀看第一導覽影片(路線221)，並且同時，第二使用者243正在觀看第二導覽影片(路線223)，則第一使用者241在某些條件下，可以在第一導覽影片中看到第二使用者243的虛擬人偶(avatar)、人偶動作和/或使用者的聲音等，反之亦然。即，路線221與路線223之間沒有遮蔽物的時候，第一使用者241與第二使用者243可以在導覽影片中看到彼此的虛擬人偶。舉例來說，第一使用者241觀看第一導覽影片且第二使用者243觀看第二導覽影片，若第一導覽影片被播放至第8分32秒(介於端點211b與端點211c之間)且第二導覽影片被播放至第0分50秒(介於端點213與端點213a之間)時，由於路線221與路線223之間沒有遮蔽(如第2圖所示之區域R2)，因此第一使用者241與第二使用者243可以看到彼此的虛擬人偶。
在一實施例中，第一使用者241觀看第一導覽影片且第二使用者觀看第二導覽影片，若第一導覽影片被播放至第5分15秒(介於端點211a與端點211b之間)且第二導覽影片被播放至第5分30秒(介於端點213a與端點213b之間)時，由於路線221與路線223之間有遮蔽(如第2圖所示之遮蔽標註231)，因此第一使用者241與第二使用者243無法看到彼此的虛擬人偶、人偶動作和/或使用者的聲音。
請參見第3圖，其繪示根據本揭示文件一些實施例中一種多媒體互動方法之步驟流程圖。本揭示文件之多媒體互動方法可適用於如第1圖所示之多媒體互動系統100。接下來之說明以第1圖之多媒體互動系統100以及第2圖之地圖資料200為例，本揭示文件不以此地圖資料200為限。在步驟S310中，第一使用者241使用顯示器120a來觀看第一導覽影片。在觀看的過程中，伺服器110可取得顯示器120a目前正在觀看的第一即時播放時間(例如第8分32秒)，即顯示器120a目前正在顯示的第一導覽影片的影片時間。在步驟S320中，伺服器110於段落資料查找表中查詢無遮蔽區域，段落資料查找表如下表一所示。伺服器110查詢第一即時播放時間的時間點，以查詢在此時影片中的場景位置可以看到的其他場景位置。舉例來說，第一導覽影片(Video 1)對應的無遮蔽區域為R1、R2、R3及R4。當第一即時播放時間為8分32秒時，落於起始時間為7分80秒及結束時間為10分0秒的第一期間內，此第一期間對應至無遮蔽區域R2。
在步驟S330中，伺服器110在段落資料查找表中根據前述得到的無遮蔽區域，取得無遮蔽區域對應之第二導覽影片。舉例來說，在前述取得的無遮蔽區域R2，也可同時得知對應無遮蔽區域R2者為第二導覽影片(Video 4)。
在步驟S340中，在一實施例中，第二使用者243使用顯示器120b來觀看第二導覽影片(例如Video 4)。在觀看的過程中，伺服器110可取得顯示器120b目前正在觀看的第二即時播放時間(例如第2分50秒)，即顯示器120b目前正在顯示的第二導覽影片的影片時間。
在步驟S350中，伺服器110判斷第二即時播放時間是否介於第二期間。若第二即時播放時間沒有介於第二期間，則在步驟S352中，伺服器110判斷第一使用者241目前沒有可以互動的使用者。
若第二即時播放時間介於第二期間，則在步驟S360中，則伺服器110計算第一即時播放時間對應之第一位置與第二即時播放時間對應之第二位置之距離。舉例來說，第一導覽影片在端點211、211a、211b、211c的影片時間分別0分0秒、為2分50秒、7分50秒、10 分0秒。在端點211至端點211c的影片長度為10分0秒。當第一即時播放時間為8分32秒時，計算此時至10分0秒的時間長度為1分28秒(即10：00-8：32，10分0秒與8分32秒之差)。端點211至端點211c之間具有虛擬長度L(或者是事先測量好的場景距離)，可以計算出第一即時播放時間的虛擬位置至端點211c的虛擬位置之間的距離為×L。在一實施例中，該等導覽影片是由攝影機以固定的移動速度前進的同時所拍攝。因此，可以透過攝影機的移動速度與影片時間來計算攝影機在路線上的長度L。在另一實施例中，攝影機上設置有慣性量測單元(International Mathematical Union，IMU)，在攝影機一邊移動一邊錄製影片時，可透過慣性量測單元的量測資料而獲得路線的長度L。
在步驟S370中，伺服器判斷110前述計算出的距離是否小於可視長度。可視長度是顯示器120a顯示互動資料之第一視野以及顯示器120b顯示互動資料之第二視野之總和。
請參見第4圖，其繪示根據本揭示文件一些實施例中在第1圖之多媒體互動系統100的使用者之間的互動範圍示意圖。當第一導覽影片播放至端點A時，顯示器120a可以顯示互動資料的第一視野r1。當第二導覽影片播放至端點B時，顯示器120b可以顯示互動資料的第二視野r2。其中，第一視野r1與第二視野r2的長度可以事先進行設定。伺服器110計算端點A與端點B之間 的距離，即。可視長度為第一視野r1與第二視野r2的總和。
若距離小於或等於可視長度r1+r2，則在步驟S380中，伺服器110傳送互動資料至顯示器120a與顯示器120b。互動資料可以為在顯示器120a、120b上顯示的擴增實境(Augmented Reality)虛擬人偶物件。舉例來說，第一使用者241可在第一導覽影片中看到第二使用者243的虛擬人偶、人偶動作和/或使用者的聲音，反之亦然。第一使用者241的操作或動作資訊可透過感測器(未繪示)、麥克風(未繪示)或其他方式被取得，使得第二使用者243可以透過顯示器120b看到第一使用者241的虛擬人偶的動作(例如揮手)或透過揚聲器(未繪示)而聽到第一使用者241的聲音。相似地，第二使用者243的操作或動作資訊也會透過伺服器110傳送給顯示器120a。因此，第一使用者241與第二使用者243可透過顯示器120a、120b來進行互動。
若距離大於可視長度r1+r2，則回到步驟S352，伺服器110判斷第一使用者241目前沒有可以互動的使用者。
在一些實施例中，可由顯示器120a~120n或者是與顯示器120a~120n連接的主機裝置來查詢段落資料查找表，以執行多媒體互動方法。
請參見第5圖，其繪示根據本揭示文件一些實施例中，建立段落資料查找表之步驟流程圖。如第5 圖所示，在步驟S510中，攝影機沿著第一路線(如第2圖之路線221)拍攝第一導覽影片以及沿著第二路線(如第2圖之路線223)拍攝第二導覽影片。攝影機可以為球型攝影機(Speed Dome Camera)。導覽影片可以為具有360度環場全景影像。在步驟S520中，將錄製好的複數個導覽影片傳送至運算裝置(第1圖未繪示)。運算裝置可以為具有影像處理運算之電子裝置。在一實施例中，運算裝置執行影像比對技術來擷取各導覽影片中的起點與終點，以計算出各導覽影片之間的空間關係。舉例來說，請同時參照前述表一，影片Video 1的終點時的影像係分別與影片Video 2、影片Video 3、及影片Video 4的起始時的水平角度影像(如球型攝影機在180度之視角拍攝的影像)的影像相似度高。因此，運算裝置記錄影片Video 1的終點與影片Video 2、影片Video 3、及影片Video 4的起點之間存在關聯性。因此，可透過影片之間的空間關聯性與各路線的長度來建立第2圖的地圖資料200。
接著，在步驟S530中，傳送地圖資料至運算裝置。在步驟S540中，運算裝置建立地圖資料的遮蔽標註。在一實施例中，可透過地圖維護者來手動註記遮蔽區域，或者由運算裝置執行影像比對演算法來計算影像的相似度，於相似度低於門檻值時，判斷在特定位置時的路徑之間存在遮蔽。影像相似度演算法可以但不限於特徵點比對演算法(feature matching)、顏色直方圖演算法(color histogram)、共通資訊演算法(mutual information)、機器學習演算法(machine learning)等。在一實施例中，當導覽影片在不同角度時，則比對其他導覽影片的其他角度的相似度。舉例來說，第一導覽影片在視角0度的影像，與第二導覽影片在視角180度的影像，兩者的相似度參數大於門檻值時，則判定兩導覽影片的影像視角存在對應關係。或者，第一導覽影片在視角180度的影像，與第二導覽影片在視角220度的影像，兩者的相似度參數大於門檻值時，則判定兩導覽影片的影像視角存在對應關係。因此，當導覽影片之間的影像視角存在對應關係時，可以判斷導覽影片的位置之間並無遮蔽物。
在步驟S550中，運算裝置根據遮蔽標註排除導覽影片之間的關係，而取得於第一導覽影片的第一期間以及第二導覽影片的第二期間。舉例來說，在建立導覽影片Video 1與導覽影片Video 4之間的關係時，當導覽影片Video 1在路線211於端點211a至端點211b之間有遮蔽標註，且導覽影片Video 4在路線223於端點213a至端點213b之間有遮蔽標註時，運算裝置記錄導覽影片Video 1於端點211至端點211a與導覽影片Video 4於端點213b至端點215之間存在對應關係(即無遮蔽區域R1)。同理，運算裝置記錄導覽影片Video 1於端點211b至端點211c與導覽影片Video 4於端點213至端點213a之間存在對應關係(即無遮蔽區域R2)。
在步驟S560中，將第一導覽影片之識別符、 第一期間、無遮蔽區域、第二導覽影片之識別符及第二期間，記錄於段落資料查找表。舉例來說，如前述表一之第一欄中，記錄無遮蔽區域R1、導覽影片Video 1之識別符、第一期間、導覽影片Video 4之識別符、以及第二期間。
綜上所述，本揭示文件之多媒體互動系統100及多媒體互動方法，可提供使用者觀看導覽影片的同時，還可以與其他同樣在觀看導覽影片的使用者互動。使用者觀看導覽影片來了解影片中真實的場景，為了讓使用者可以更親歷其境，本揭示文件結合影像辨識與擴增實境，增加使用者在觀看導覽影片時可以看見位於其他場景位置的使用者，並且可與其他使用者互動，例如揮手並詢問所在的位置、交換所體驗的資訊等，使用者可以更快了解影片中的場景，並增加觀看導覽影片的真實性與樂趣。除此之外，本揭示文件可以快速確認使用者之間是否處於可以互動交流的虛擬空間。經過段落資料查找表的比對，可以過濾不需要的資訊，並且透過使用者的虛擬位置來計算彼此之間的虛擬距離，若使用者各自設定有虛擬互動範圍，對於有交集者才提供互動交流，此可降低伺服器處理不必要的運算資料，以及降低傳輸資料的頻寬資源消耗。
上文概述若干實施例之特徵，使得熟習此項技術者可更好地理解本發明之態樣。熟習此項技術者應瞭解，可輕易使用本發明作為設計或修改其他製程及結 構的基礎，以便實施本文所介紹之實施例的相同目的及/或實現相同優勢。熟習此項技術者亦應認識到，此類等效結構並未脫離本發明之精神及範疇，且可在不脫離本發明之精神及範疇的情況下產生本文的各種變化、替代及更改。

Claims (20)

  1. 一種多媒體互動系統，包含：一第一顯示器以及一第二顯示器；一伺服器，通訊連接該第一顯示器以及該第二顯示器，該伺服器用以：接收該第一顯示器回放一第一導覽影片之一第一即時播放時間；根據該第一即時播放時間以獲得該第一導覽影片所關聯之一無遮蔽區域；取得該無遮蔽區域對應之一第二導覽影片；以及若該第二顯示器播放該第二導覽影片，則傳送一互動資料至該第一顯示器以及該第二顯示器。
  2. 如請求項1所述之多媒體互動系統，其中該互動資料包含對應於該第一顯示器之一第一物件及對應於該第二顯示器之一第二物件，其中該伺服器分別用以傳送該第一物件及第二物件至該第一顯示器及該第二顯示器，其中該第一顯示器播放具有該第二物件之該第一導覽影片，以及該第二顯示器播放具有該第一物件之該第二導覽影片。
  3. 如請求項2所述之多媒體互動系統，其中當該第一物件執行一第一操作，且該第一操作透過該伺服器傳送至該第二顯示器時，於該第二顯示器呈現該第一物件之該第一操作，其中當該第二物件執行一第二操作，且該第二操作透過該伺服器傳送至該第一顯示器時，於該第一顯示器呈現該第二物件之該第二操作。
  4. 如請求項1所述之多媒體互動系統，其中該伺服器儲存一段落資料查找表，該段落資料查找表記錄該第一導覽影片、該第一導覽影片對應之該無遮蔽區域、以及該無遮蔽區域對應之該第二導覽影片。
  5. 如請求項4所述之多媒體互動系統，其中該伺服器還用以查詢該段落資料查找表，以當該第一即時播放時間落於該第一導覽影片之一第一期間時，獲得該無遮蔽區域。
  6. 如請求項5所述之多媒體互動系統，該伺服器還用以：當該第二顯示器正在播放該第二導覽影片時，取得一第二即時播放時間；查詢該段落資料查找表，以判斷該第二即時播放時間是否介於該第二導覽影片之一第二期間；以及當該第二即時播放時間介於該第二期間，則計算於該第一導覽影片中之一第一位置以及於該第二導覽影片中之一第二位置之間的一距離，其中該第一位置對應該第一即時播放時間，該第二位置對應該第二即時播放時間。
  7. 如請求項6所述之多媒體互動系統，其中該伺服器還用以判斷該距離是否小於一可視長度，若判定該距離小於該可視長度，則傳送該互動資料至該第一顯示器以及該第二顯示器，其中該可視長度為該第一顯示器顯示該互動資料之一第一視野以及該第二顯示器顯示該互動資料之一第二視野之一總和。
  8. 如請求項7所述之多媒體互動系統，其中該伺服器還用以儲存一地圖資料，該地圖資料包含一第一路線以及一第二路線，其中該第一導覽影片係由一攝影機沿著該第一路線所拍攝，以及該第二導覽影片係由該攝影機沿著該第二路線所拍攝。
  9. 如請求項8所述之多媒體互動系統，其中該地圖資料還包含一遮蔽標註，該遮蔽標註介於該第一路線之一部分與該第二路線之一部分之間。
  10. 如請求項9所述之多媒體互動系統，其中該伺服器還用以：取得該第一導覽影片於該第一路線之該遮蔽標註以外之該第一期間，以及取得該第二導覽影片於該第二路線之該遮蔽標註以外之該第二期間；以及將該第一導覽影片之一識別符及該第一期間、該遮蔽標註以外之該無遮蔽區域、以及該第二導覽影片之一識別符及該第二期間關聯地儲存於該段落資料查找表中。
  11. 一種多媒體互動方法，包含：接收一第一顯示器回放一第一導覽影片之一第一即時播放時間；根據該第一即時播放時間以獲得該第一導覽影片所關聯之一無遮蔽區域；取得該無遮蔽區域對應之一第二導覽影片；以及若一第二顯示器播放該第二導覽影片，則傳送一互動資料至該第一顯示器以及該第二顯示器。
  12. 如請求項11所述之多媒體互動方法，其中該互動資料包含對應於該第一顯示器之一第一物件及對應於該第二顯示器之一第二物件，其中該方法還包含分別傳送該第一物件及該第二物件至該第一顯示器及該第二顯示器，以及藉由該第一顯示器播放具有該第二物件之該第一導覽影片，以及藉由該第二顯示器播放具有該第一物件之該第二導覽影片。
  13. 如請求項12所述之多媒體互動方法，其中該方法還包含當該第一物件執行一第一操作，且該第一操作透過一伺服器傳送至該第二顯示器時，於該第二顯示器呈現該第一物件之該操作，以及當該第二物件執行一第二操作，且該第二操作透過該伺服器傳送至該第一顯示器時，於該第一顯示器呈現該第二物件之該操作。
  14. 如請求項11所述之多媒體互動方法，其中一段落資料查找表記錄該第一導覽影片、該第一導覽影片對應之該無遮蔽區域、以及該無遮蔽區域對應之該第二導覽影片。
  15. 如請求項14所述之多媒體互動方法，還包含查詢該段落資料查找表，以當該第一即時播放時間落於該第一導覽影片之一第一期間時，獲得該無遮蔽區域。
  16. 如請求項15所述之多媒體互動方法，還包含：當該第二顯示器正在播放該第二導覽影片時，取得一第二即時播放時間；查詢該段落資料查找表，以判斷該第二即時播放時間是否介於該第二導覽影片之一第二期間；以及當該第二即時播放時間介於該第二期間，則計算於該第一導覽影片中之一第一位置以及於該第二導覽影片中之一第二位置之間的一距離，其中該第一位置對應該第一即時播放時間，該第二位置對應該第二即時播放時間。
  17. 如請求項16所述之多媒體互動方法，還包含判斷該距離是否小於一可視長度，若判定該距離小於該可視長度，則傳送該互動資料至該第一顯示器以及該第二顯示器，其中該可視長度為該第一顯示器顯示該互動資料之一第一視野以及該第二顯示器顯示該互動資料之一第二視野之一總和。
  18. 如請求項17所述之多媒體互動方法，還包含取得一地圖資料，該地圖資料包含一第一路線以及一第二路線，其中該第一導覽影片係由一攝影機沿著該第一路線所拍攝，以及該第二導覽影片係由該攝影機沿著該第二路線所拍攝。
  19. 如請求項18所述之多媒體互動方法，其中該地圖資料還包含一遮蔽標註，該遮蔽標註介於該第一路線之一部分與該第二路線之一部分之間。
  20. 如請求項19所述之多媒體互動方法，還包含：取得該第一導覽影片於該第一路線之該遮蔽標註以外之該第一期間，以及取得該第二導覽影片於該第二路線之該遮蔽標註以外之該第二期間；以及將該第一導覽影片之一識別符及該第一期間、該遮蔽標註以外之該無遮蔽區域、以及該第二導覽影片之一識別符及該第二期間關聯地儲存於該段落資料查找表中。
TW107138840A 2018-11-01 2018-11-01 多媒體互動系統及多媒體互動方法 TWI674799B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107138840A TWI674799B (zh) 2018-11-01 2018-11-01 多媒體互動系統及多媒體互動方法
CN201811339373.6A CN111131900A (zh) 2018-11-01 2018-11-12 多媒体互动系统及多媒体互动方法
US16/202,112 US10628106B1 (en) 2018-11-01 2018-11-28 Multimedia interacting system and multimedia interacting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107138840A TWI674799B (zh) 2018-11-01 2018-11-01 多媒體互動系統及多媒體互動方法

Publications (2)

Publication Number Publication Date
TWI674799B true TWI674799B (zh) 2019-10-11
TW202019187A TW202019187A (zh) 2020-05-16

Family

ID=69023779

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107138840A TWI674799B (zh) 2018-11-01 2018-11-01 多媒體互動系統及多媒體互動方法

Country Status (3)

Country Link
US (1) US10628106B1 (zh)
CN (1) CN111131900A (zh)
TW (1) TWI674799B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020093541A1 (en) * 1999-04-06 2002-07-18 Rodica Schileru-Key Graph-based visual navigation through spatial environments
TWI339056B (zh) * 2007-06-22 2011-03-11
TWM450794U (zh) * 2012-08-06 2013-04-11 zheng-dao Lin 集成式遊客服務系統
US20130346881A1 (en) * 2009-05-09 2013-12-26 Vivu, Inc. Method and apparatus for capability-based multimedia interactions

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050192025A1 (en) * 2002-04-22 2005-09-01 Kaplan Richard D. Method and apparatus for an interactive tour-guide system
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
US20080109841A1 (en) * 2006-10-23 2008-05-08 Ashley Heather Product information display and product linking
CN101127122A (zh) * 2007-09-13 2008-02-20 复旦大学 一种内容自适应渐进式遮挡分析目标跟踪算法
CN101246546A (zh) * 2008-03-13 2008-08-20 复旦大学 一种视频目标跟踪中的可变掩蔽模板匹配算法
ES2350514T3 (es) * 2008-04-07 2011-01-24 Ntt Docomo, Inc. Sistema de mensajes con reconocimiento de emoción y servidor de almacenamiento de mensajes para el mismo.
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
KR20120070650A (ko) * 2010-12-22 2012-07-02 삼성전자주식회사 클라우드 컴퓨팅 기반 동영상 서비스 및 재생 방법
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
US9927952B2 (en) * 2012-05-23 2018-03-27 Microsoft Technology Licensing, Llc Utilizing a ribbon to access an application user interface
TWI535278B (zh) * 2013-12-19 2016-05-21 仁寶電腦工業股份有限公司 影片播放方法以及系統
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN105894998A (zh) * 2014-11-30 2016-08-24 黄石木信息科技有限公司 一种三维虚拟场景导游导览系统的制作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020093541A1 (en) * 1999-04-06 2002-07-18 Rodica Schileru-Key Graph-based visual navigation through spatial environments
TWI339056B (zh) * 2007-06-22 2011-03-11
US20130346881A1 (en) * 2009-05-09 2013-12-26 Vivu, Inc. Method and apparatus for capability-based multimedia interactions
TWM450794U (zh) * 2012-08-06 2013-04-11 zheng-dao Lin 集成式遊客服務系統

Also Published As

Publication number Publication date
US20200142657A1 (en) 2020-05-07
US10628106B1 (en) 2020-04-21
TW202019187A (zh) 2020-05-16
CN111131900A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
US9268406B2 (en) Virtual spectator experience with a personal audio/visual apparatus
US7796155B1 (en) Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
KR100990416B1 (ko) 표시 장치, 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 기록매체
US20160088286A1 (en) Method and system for an automatic sensing, analysis, composition and direction of a 3d space, scene, object, and equipment
WO2012147363A1 (ja) 画像生成装置
CN107636534A (zh) 一般球面捕获方法
CN103562791A (zh) 用于与移动计算设备一起进行全景视频成像的装置和方法
JP6298563B1 (ja) ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
CN114401414B (zh) 沉浸式直播的信息显示方法及系统、信息推送方法
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
US9906769B1 (en) Methods and apparatus for collaborative multi-view augmented reality video
JP2018033107A (ja) 動画の配信装置及び配信方法
TWI674799B (zh) 多媒體互動系統及多媒體互動方法
KR102200115B1 (ko) 다시점 360도 vr 컨텐츠 제공 시스템
KR102082131B1 (ko) 드론 동영상에 증강현실 정보를 삽입하는 방법
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
US10719977B2 (en) Augmented reality wall with combined viewer and camera tracking
DeHart Directing audience attention: cinematic composition in 360 natural history films
WO2020244576A1 (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
TWI721299B (zh) 影像顯示系統與影像顯示方法
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법