TWI632812B - 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置 - Google Patents

視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置 Download PDF

Info

Publication number
TWI632812B
TWI632812B TW105141828A TW105141828A TWI632812B TW I632812 B TWI632812 B TW I632812B TW 105141828 A TW105141828 A TW 105141828A TW 105141828 A TW105141828 A TW 105141828A TW I632812 B TWI632812 B TW I632812B
Authority
TW
Taiwan
Prior art keywords
video
video stream
time point
registration data
frames
Prior art date
Application number
TW105141828A
Other languages
English (en)
Other versions
TW201824854A (zh
Inventor
郭慧冰
鄭元博
陳國睿
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW105141828A priority Critical patent/TWI632812B/zh
Priority to CN201710069147.XA priority patent/CN108206940B/zh
Priority to US15/695,848 priority patent/US10701122B2/en
Publication of TW201824854A publication Critical patent/TW201824854A/zh
Application granted granted Critical
Publication of TWI632812B publication Critical patent/TWI632812B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1073—Registration or de-registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/102—Gateways
    • H04L65/1023—Media gateways
    • H04L65/103—Media gateways in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置。視訊串流之接合與傳輸方法包括以下步驟：提供數個視訊頁框及數個地理拓樸資料。依據於一第一時間點之部份視訊頁框及於第一時間點之部份地理拓樸資料，獲得第一時間點之一接合註冊資料，並暫存接合註冊資料。依據第一時間點之接合註冊資料，接合於一第二時間點之部份視訊頁框。第二時間點不同於第一時間點。

Description

視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流 觀看裝置
本揭露是有關於一種視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置。
即時的視訊串流目前已經被廣泛地使用於即時監控與智慧型運輸等應用，以提供即時的現場資訊與狀況判斷。近年來無人空拍機的應用與需求快速的增加，例如地貌觀查、污染監測、災難現場搶進回報等應用都大量使用了無人空拍機所取得的影像。在這些應用中，視訊串流的即時回傳可以協助進行第一時間的判斷、修正飛行路線與攝影角度。因此，可以預期即時視訊串流將在這些應用扮演相當重要的角色。
然而，目前既有的視訊串流來源裝置(如監視器、手機或是運動攝影機)等都有其可拍攝範圍的限制。若所需監控 的區域超出一台攝影機的可拍攝範圍時，就需要同時使用多個攝影機或多個空拍機進行監控。因為每台攝影機的拍攝地點、角度皆不同，造成很大的監控難度。透過視訊接合技術(video stitching)，我們可將多個攝影機拍攝的結果彙整成單二視訊串流，簡化了影像收看的操作，透過單一影像即可看到原屬於多個不同視訊源的內容，提高監控成效並節省大量人力。
視訊接合本身是個運算耗費極大的運算。視訊源越多，所需的運算量也越多。當攝影機或空拍機的數量較多時，將會造成大量的時間延遲，嚴重影響視訊串流的即時性。
本揭露係有關於一種視訊串流之接合與傳輸方法、視訊串流閘道裝置(video streaming gateway)與視訊串流觀看裝置(video streaming viewer)。
根據本揭露之一實施例，提出一種視訊串流之接合與傳輸方法。視訊串流之接合與傳輸方法包括以下步驟：提供數個視訊頁框(video frame)及數個地理拓樸資料(geo-topology data)。依據於一第一時間點之部份視訊頁框及於第一時間點之部份地理拓樸資料，獲得第一時間點之一接合註冊資料(registration data)，並暫存接合註冊資料。依據第一時間點之接合註冊資料，接合於一第二時間點之部份視訊頁框。第二時間點不同於第一時間點。
根據本揭露之另一實施例，提出一種視訊串流閘道裝置(video streaming gateway)。視訊串流閘道裝置包括一視訊串流接收單元(video streaming receiving unit)、一地理拓樸資料接收單元(geo-topology data receiving unit)、一視訊接合特徵處理單元(video stitching feature processing unit)、一接合註冊資料暫存單元(registration data cache unit)、一接合註冊資料傳送單元(registration data sending unit)、及一視訊串流傳送單元(video streaming sending unit)。視訊串流接收單元用以接收數個視訊頁框(video frame)。地理拓樸資料接收單元用以接收數個地理拓樸資料(geo-topology data)。視訊接合特徵處理單元用以依據於一第一時間點之部份視訊頁框及於第一時間點之部份地理拓樸資料，獲得第一時間點之一接合註冊資料(registration data)。接合註冊資料暫存單元用以暫存接合註冊資料。接合註冊資料傳送單元用以傳送接合註冊資料。視訊串流傳送單元用以傳送此些視訊頁框至一視訊串流觀看裝置(video streaming viewer)，以使視訊串流觀看裝置依據第一時間點之接合註冊資料，接合於一第二時間點之部份視訊頁框。第二時間點不同於第一時間點。
根據本揭露之另一實施例，提出一種視訊串流觀看裝置(video streaming viewer)。視訊串流觀看裝置包括一視訊串流接收單元(video streaming receiving unit)、一接合註冊資料接收單元(registration data receiving unit)及一視訊接合單元(video stitching unit)。視訊串流接收單元用以接收數個視訊頁框。接合 註冊資料接收單元用以接收於一第一時間點之一接合註冊資料。視訊接合單元用以依據第一時間點之接合註冊資料，接合於一第二時間點之部份視訊頁框。第二時間點不同於第一時間點。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉各種實施例，並配合所附圖式，作詳細說明如下：
100‧‧‧視訊串流來源裝置
200、400‧‧‧網路
300、300’‧‧‧視訊串流閘道裝置
310‧‧‧視訊串流接收單元
320‧‧‧地理拓樸資料接收單元
330‧‧‧視訊接合特徵處理單元
340‧‧‧接合註冊資料暫存單元
350‧‧‧視訊串流傳送單元
360‧‧‧接合註冊資料傳送單元
370‧‧‧地理拓樸資料處理單元
380‧‧‧視訊頁框暫存單元
390‧‧‧控制單元
500、500’‧‧‧視訊串流觀看裝置
510‧‧‧視訊串流接收單元
520‧‧‧接合註冊資料接收單元
530‧‧‧視訊接合單元
540‧‧‧視訊串流來源裝置選擇單元
550‧‧‧重繪單元
560‧‧‧控制單元
1000‧‧‧視訊串流之接合與傳輸系統
GD、GD1、GD2、GD3、GD4、GD5、GD6、GD7、GD8、GD9‧‧‧地理拓樸資料
RD、RD1、RD4、RD7‧‧‧接合註冊資料
S110、S120、S130、S310、S320、S330、S340、S350、S360、S370、S380、S390、S410、S420、S530、S440、S450、S460、S470、S510、S520、S530、S540、S550、S560、S570、S580‧‧‧流程步驟
SVF‧‧‧已接合視訊頁框
T1、T2、T3、T4、T5、T6、T7、T8、T9‧‧‧時間點
VCM‧‧‧觀看控制命令
VF、VF1、VF2、VF3、VF4、VF5、VF6、VF7、VF8、VF9‧‧‧視訊頁框
第1圖繪示根據一實施例之視訊串流之即時接合與傳輸系統的示意圖。
第2A圖繪示根據一實施例之視訊串流閘道裝置之示意圖。
第2B圖繪示根據一實施例之視訊串流觀看裝置之示意圖。
第3圖繪示根據一實施例之視訊串流之接合與傳輸方法的流程圖。
第4圖繪示第3圖之資料時序圖。
第5圖繪示視訊頁框之傳送示意圖。
第6圖繪示根據另一實施例之資料時序圖。
第7A圖繪示根據另一實施例之視訊串流閘道裝置之示意圖。
第7B圖繪示根據另一實施例之視訊串流觀看裝置之示意圖。
第8A圖及第8B圖說明根據另一實施例之視訊串流閘道裝置之運作流程。
第8C圖說明根據另一實施例之視訊串流觀看裝置之運作流程。
請參照第1圖，其繪示根據一實施例之視訊串流之接合與傳輸系統1000的示意圖。視訊串流之接合與傳輸系統1000包括複數個視訊串流來源裝置(video streaming source)100、一視訊串流閘道裝置(video streaming gateway)300及一視訊串流觀看裝置(video streaming viewer)500。視訊串流來源裝置100係為可移動的裝置，具有拍攝視訊並且進行編碼與視訊串流傳輸的功能。視訊串流來源裝置100例如是無人空拍機。視訊串流例如是透過即時串流協定(Real Time Streaming Protocol，RTSP)/實時傳輸協定(Real-time Transport Protocol，RTP)傳輸的H.264編碼視訊串流。
視訊串流閘道裝置300具有視訊串流處理與視訊串流傳輸功能，例如是一晶片、一電腦、一電路板、一伺服器或一路由器。視訊串流觀看裝置500具有人機介面、視訊串流接收與視訊串流處理的功能，例如是一電腦、一智慧型手機、一平板電腦。
眾多的視訊串流來源裝置100可透過近端、短延遲且大傳輸頻寬的網路200與視訊串流閘道裝置300相連接。網路200例如是具有較大頻寬及較低延遲的有線媒介或無線媒介(如WiFi或Local Area Network(LAN))。視訊串流來源裝置100可使用例如攝影機、照相機、紅外線攝影機或熱感應攝影機等獲得 視訊頁框(Video Frame)VF，並透過網路200傳輸視訊頁框VF至視訊串流閘道裝置300。具有較大頻寬與較低延遲的網路200可提供各個視訊串流來源裝置100與視訊串流閘道裝置300之間的快速資料傳輸交換。
視訊串流來源裝置100除了具有即時視訊拍攝、壓縮與傳輸的能力外，也可以偵測其地理拓樸資料(geo-topology data)GD。視訊串流來源裝置100可使用偵測絕對地理座標的感測器(如全球定位系統(Global Positioning System，GPS))來取得絕對的經度、緯度、高度、甚至是移動速度。視訊串流來源裝置100也可以使用加速度感測器來偵測加速度或是震動的狀態。 視訊串流來源裝置100也可以使用陀螺儀或是電子羅盤來偵測朝向與俯/仰角度。上述這些資訊，伴隨其收集到的時間，集合在地理拓樸資料GD中，並透過網路200傳送至視訊串流閘道裝置300。
視訊串流閘道裝置300可以根據視訊頁框VF及地理拓樸資料GD獲得接合註冊資料RD。
視訊串流閘道裝置300透過網路400與視訊串流觀看裝置500相連接。網路400係為遠距離但頻寬限制與傳輸延遲較長的傳輸媒介。網路400可以由一種或多種不同的實體媒介連接而成，包含的媒介例如是ADSL(Asymmetric Digital Subscriber Line)、Fiber、Wi-Fi、GPRS(General Packet Radio Service)、3G或是4G LTE網路。
視訊串流觀看裝置500接收來自視訊串流閘道裝置300的視訊頁框VF及接合註冊資料RD，並且依據接合註冊資料RD將此些視訊頁框VF進行接合後呈現，以供使用者進行觀看與操作。
請參照第2A圖，其繪示根據一實施例之視訊串流閘道裝置300之示意圖。視訊串流閘道裝置300包括一視訊串流接收單元310、一地理拓樸資料接收單元320、一視訊接合特徵處理單元330、一接合註冊資料暫存單元340、一視訊串流傳送單元350及一接合註冊資料傳送單元360。視訊串流接收單元310用以接收視訊頁框VF。地理拓樸資料接收單元320用以接收地理拓樸資料GD。視訊串流接收單元310及地理拓樸資料接收單元320例如是一無線網路模組、一網路線、一訊號線、一天線、一射頻晶片、搭配執行之軟體程式或其組合。視訊接合特徵處理單元330用以產生接合註冊資料RD。視訊接合特徵處理單元330例如是一晶片、一電路、一電路板、儲存數組程式碼之儲存裝置或可由處理器執行之程式碼，處理器可以在視訊串流閘道裝置300中(未繪示)。接合註冊資料暫存單元340用以暫存接合註冊資料RD，接合註冊資料暫存單元340例如是一記憶體、一硬碟、一固態硬碟、一快閃記憶體(flash memory)或一雲端儲存中心。 視訊串流傳送單元350用以傳送視訊頁框VF。接合註冊資料傳送單元360用以傳送接合註冊資料RD。視訊串流傳送單元350及接合註冊資料傳送單元360例如是一無線網路模組、一網路線、 一訊號線、一天線、一射頻晶片、搭配執行之軟體程式或其組合。
請參照第2B圖，其繪示根據一實施例之視訊串流觀看裝置500之示意圖。視訊串流觀看裝置500包括一視訊串流接收單元510、一接合註冊資料接收單元520及一視訊接合單元530。視訊串流接收單元510用以接收視訊頁框VF。接合註冊資料接收單元520用以接收接合註冊資料RD。視訊串流接收單元510及接合註冊資料接收單元520例如是一無線網路模組、一網路線、一訊號線、一天線、一射頻晶片或其組合。視訊接合單元530用以進行視訊接合，例如是一晶片、一電路、一電路板、儲存數組程式碼之儲存裝置、或搭配執行之軟體程式。
請參照第3~4圖，第3圖繪示根據一實施例之視訊串流之接合與傳輸方法的流程圖，第4圖繪示第3圖之資料時序圖。以下流程圖之說明係搭配第1~2B圖之各項元件來作說明。 然而，實現第3圖之流程圖並不以第2A圖之視訊串流閘道裝置300及第2B圖視訊串流觀看裝置500為限。
首先，在步驟S110中，視訊串流來源裝置100提供數個視訊頁框及數個地理拓樸資料。在一實施例中，視訊串流來源裝置100按照時間點T1~T9(繪示於第4圖)依序提供數個視訊頁框VF1~VF9(繪示於第4圖)及數個地理拓樸資料GD1~GD9(繪示於第4圖)。此些視訊頁框VF1~VF9傳送至視訊串流閘道裝置300之視訊串流接收單元310，此些地理拓樸資料GD1~GD9傳送至視訊串流閘道裝置300之地理拓樸資料接收單元 320。在一實施例中，視訊頁框VF1包含由各個視訊串流來源裝置100在時間點T1所提供的各個視訊頁框VF1，因此視訊頁框VF1可以是複數個，地理拓樸資料GD1包含由各個視訊串流來源裝置100在時間點T1所提供的各個地理拓樸資料GD1，地理拓樸資料GD1可以是複數個。同理，視訊頁框VF2~VF9及/或地理拓樸資料GD2~GD9也可以是複數個。
接著，在步驟S120中，視訊串流閘道裝置300依據於一第一時間點之部份視訊頁框及於第一時間點之部份地理拓樸資料，獲得第一時間點之一接合註冊資料，並暫存接合註冊資料。在一實施例中，視訊串流閘道裝置300之視訊接合特徵處理單元330依據於時間點T1之視訊頁框VF1及於時間點T1之地理拓樸資料GD1，獲得時間點T1之接合註冊資料RD1，並暫存接合註冊資料RD1於視訊串流閘道裝置300之接合註冊資料暫存單元340。獲得接合註冊資料RD1的程序需要較多的處理時間，故獲得接合註冊資料RD1可能較晚，例如在時間點T3才能夠將完成的接合註冊資料RD1傳輸給視訊串流觀看裝置500。而視訊頁框VF1~VF9係即時傳送給視訊串流閘道裝置300及視訊串流觀看裝置500，故在時間點T3時，視訊串流觀看裝置500已收到視訊頁框VF1~VF3及接合註冊資料RD1。
然後，在步驟S130中，視訊串流觀看裝置500依據第一時間點之接合註冊資料，接合於第二時間點之部份視訊頁框，第二時間點不同於第一時間點。在一實施例中，視訊串流觀 看裝置500之視訊接合單元530依據時間點T1之接合註冊資料RD1，接合時間點T3之視訊頁框VF3。也就是說，視訊串流觀看裝置500在時間點T3收到視訊頁框VF3之後，即可立即依據已完成的接合註冊資料RD1進行接合程序，無須再去耗費時間來獲得時間點T3的接合註冊資料(未繪示)。依據接合註冊資料RD1接合時間點T3之視訊頁框VF3例如是依據接合註冊資料RD1所提供的資訊將各個視訊串流來源裝置100在時間點T3所提供的各個視訊頁框VF3接合為一個較大範圍之視訊頁框，接合註冊資料RD1所提供的資訊例如是將其中一個視訊串流來源裝置100所提供的(選擇性的旋轉角度/轉置或放大/縮小後)視訊頁框的某些點/像素(pixel)與另一個視訊串流來源裝置100所提供的(選擇性的旋轉角度/轉置或放大/縮小後)視訊頁框的某些點/像素接合。
此外，接合註冊資料RD1係可重複使用。在下一接合註冊資料RD4尚未產生前，視訊接合單元530可以依據時間點T1之接合註冊資料RD1，接合於時間點T4之視訊頁框VF4，以及接合時間點T5之視訊頁框VF5。接合時間點T4之視訊頁框VF4例如是將各個視訊串流來源裝置100在時間點T4所提供的各個視訊頁框VF4接合為一個較大範圍之視訊頁框。接合各個時間點之視訊頁框可以此類推。
當時間點T6產生了時間點T4之接合註冊資料RD4時，視訊接合單元530可以依據時間點T4之接合註冊資料RD4，接合於時間點T6之視訊頁框VF6，並接合時間點T7之視訊頁框 VF7，以及接合時間點T8之視訊頁框VF8。同樣地，當時間點T9產生了時間點T7之接合註冊資料RD7時，視訊接合單元530可以依據時間點T7之接合註冊資料RD7，接合於時間點T9之視訊頁框VF9，依此類推。
也就是說，視訊串流閘道裝置300及視訊串流觀看裝置500採用管線(pipeline)之技術，同步執行產生接合註冊資料RD之動作及接合視訊頁框VF之動作。並且，進行接合視訊頁框VF之動作時，係採用往前時間點的接合註冊資料RD，故省去了產生接合註冊資料RD之動作的延遲。如此一來，視訊串流的接合與傳輸主要為接合視訊頁框VF之動作的延遲，故延遲情況能夠大幅度改善。根據一實驗結果發現，與等待完整視訊頁框接合完成後才傳輸的方法比較，視訊串流之接合與傳輸的延遲可由2.5秒大幅降至0.2秒，可達到即時性的要求。
請參照第5圖，其繪示視訊頁框VF之傳送示意圖。 在本實施例中，為了使產生接合註冊資料RD之動作及接合視訊頁框VF之動作能夠同步執行，視訊頁框VF係同時分送至視訊串流閘道裝置300及視訊串流觀看裝置500。視訊串流觀看裝置500收到接合註冊資料RD之後，即可據以接合視訊頁框VF，並產生已接合視訊頁框SVF。在一實施例中，視訊頁框VF可以透過視訊串流閘道裝置300轉傳至視訊串流觀看裝置500；或者，在另一實施例中，視訊頁框VF可以直接傳送至視訊串流觀看裝置500。
請參照第5圖，視訊串流觀看裝置500可能只需顯示部份區域的畫面，故可以僅將有需要的部份視訊頁框VF傳輸至視訊串流觀看裝置500。接合註冊資料RD之資料量較小，故可完整地傳輸至視訊串流觀看裝置500。如此一來，與將各個視訊源的視訊頁框皆傳送到觀看裝置再進行接合的方式相比，能夠有效減少傳輸時頻寬的競爭。
請參照第6圖，其繪示根據另一實施例之資料時序圖。上述接合視訊頁框VF之動作係採用不同時間點的視訊頁框VF及接合註冊資料RD。在畫面品質的要求下，係可管控已接合視訊頁框SVF之一精準度在一預定水準之上。精準度對應於一誤差時間。進行接合視訊頁框VF之動作時，視訊頁框VF之時間點與接合註冊資料RD之時間點的差距控制在小於誤差時間，即可控制畫面品質在一定水準。以第6圖為例，誤差時間為2個單位時間。若因網路擁塞等因素使得視訊串流觀看裝置500於時間點T6才獲得時間點T1之接合註冊資料RD1時，則視訊串流觀看裝置500可依據時間點T1之接合註冊資料RD1對暫存之時間點T3的視訊頁框VF3進行接合，以避免兩者時間點的差距超過2的單位時間，使得畫面品質能夠維持在一定水準。同樣地，若於時間點T9才獲得時間點T4之接合註冊資料RD4時，則視訊串流觀看裝置500可依據時間點T4之接合註冊資料RD4對暫存之時間點T6的視訊頁框VF6進行接合，以避免兩者時間點的差距超過2的單位時間，使得畫面品質維持在一定水準。
上述精準度可以根據視訊頁框VF之重疊程度、視訊串流來源裝置100的地理位置、視訊串流來源裝置100的運動狀態、或視訊頁框VF之變化程度進行預測，以推估可容忍之誤差時間。
請參照第7A圖，其繪示根據另一實施例之視訊串流閘道裝置300’之示意圖。相較於第2A圖之視訊串流閘道裝置300，第7A圖之視訊串流閘道裝置300’更包括一地理拓樸資料處理單元370、一視訊頁框暫存單元380及一控制單元390。地理拓樸資料處理單元370用以處理地理拓樸資料GD。控制單元390用以執行各種控制程序。地理拓樸資料處理單元370及控制單元390例如是一晶片、一電路、一電路板、儲存數組程式碼之儲存裝置或可由處理器執行之程式碼，。視訊頁框暫存單元380用以儲存視訊頁框VF，例如是一記憶體、一硬碟、一固態硬碟、一快閃記憶體或一雲端儲存中心。
視訊頁框VF會透過視訊串流傳送單元350轉傳至視訊串流觀看裝置500’，也會被送到視訊頁框暫存單元380暫存保留。視訊頁框暫存單元380依照可用空間以及預期視訊頁框的編碼後大小，可以為每個視訊串流來源裝置100個別保留最近T秒或是M張內的視訊頁框VF。保留在視訊頁框暫存單元380的資料包含每張視訊頁框VF的完整資料、每張視訊頁框VF所屬的視訊串流來源裝置100的識別碼以及每張視訊頁框VF所關連的同步資訊(包含但不局限於頁框序號、頁框相對時間戳、頁框 絕對時間及/或頁框速率(Frame Rate)等)。
地理拓樸資料GD及其時間資訊會被送到地理拓樸資料處理單元370。地理拓樸資料處理單元370能夠依照各個視訊串流來源裝置100所屬的地理拓樸資料GD，分析各個訊串流來源裝置100的位置與移動狀態，並持續計算彼此之間的相對位置的變化。地理拓樸資料GD包含的GPS座標、朝向及鏡頭角度可利用正射校正及地面距離，用以計算各個視訊串流來源裝置100彼此相對距離與拍攝涵蓋範圍的變化。
地理拓樸資料處理單元370所得到的相對位置的變化會被視訊頁框暫存單元380拿來作為選擇視訊頁框VF的判斷。在一些實施例中，視訊頁框暫存單元380可以選擇N張之內(N<M)的視訊頁框VF來傳送至視訊接合特徵處理單元330進行運算。在另一些實施例中，則可亦將S秒之內(S<T)的視訊頁框VF送至視訊接合特徵處理單元330進行運算。
當發現各個視訊串流來源裝置100彼此之間相對位置變動較大時，視訊頁框暫存單元380會選擇一個較小的N或是較短的S。若是此時尚未從各個視訊串流來源裝置100都收到滿足此條件的視訊頁框VF，則等待視訊串流接收單元310收到較新的視訊頁框VF提供至視訊接合特徵處理單元330進行運算。而在視訊串流來源裝置100彼此之間的相對位置變動較小時，可以選擇一個較大的N或是較長的S，使視訊頁框暫存單元380使用視訊頁框暫存單元380中找到一組已經暫存的視訊頁框VF來進 行運算。
視訊接合特徵處理單元330取得存有各個視訊頁框VF彼此之間相對位置與疊合區域描述的接合註冊資料RD。這些接合註冊資料RD會暫存於接合註冊資料暫存單元340中，並且提供給接合註冊資料傳送單元360送至視訊串流觀看裝置500’。
接合註冊資料暫存單元340同時會記錄目前每組接合註冊資料RD所參照的視訊頁框VF的序列號碼、相對時間戳或絕對時間，並依據地理拓樸資料處理單元370得到的相對位置變動程度，預測一組對應該組接合註冊資料RD的失效期限，並記錄於接合註冊資料暫存單元340。在不同的實施例中，接合註冊資料暫存單元340中記錄的失效期限可以是頁框序列號、絕對時間、或相對時間戳。
在另外一些實施例中，接合註冊資料暫存單元340檢查到暫存的接合註冊資料RD過期時，可以把該組接合註冊資料RD刪除。在另外一些實施例，當地理拓樸資料處理單元370發現相對位置有明顯變化，或是相對速度超過某一個臨界值時，可以主動送出命令要求接合註冊資料暫存單元340清除暫存的接合註冊資料RD，直到相對位置的變化又再度回到穩定時再送出另外一個命令回復原本接合註冊資料RD失效的判斷。
地理拓樸資料處理單元370持續觀察分析，當發現眾多視訊串流來源裝置100相對位置是處於穩定的狀態時，視訊接合特徵處理單元330可以預先使用暫存於視訊頁框暫存單元 380中庫存較舊的視訊頁框VF進行特徵點尋找的運算，並且可於一定時效內重複利用存放至註冊資料暫存單元340的接合註冊資料RD。因為在影像串流中連續的影像相似程度高，若彼此的相對位置變動小的情況，那麼在影像接合中，即便是用較早之前的頁框所產生的接合註冊資料RD，其特徵點偏移的誤差也是可忽略的，因此我們可以利用此特性，預測一個接合註冊資料RD可重複使用的失效期限以減少運算延遲對於視訊串流之即時性的影響。
在一實施例中，視訊接合特徵處理單元330的運算可能為固定時間間隔；在另一實施例中，可以依照相對位置變動的狀況，改變運算的間隔，藉此改變接合註冊資料暫存單元340的資料更新的間隔，以符合相對位置變動的狀態。
控制單元390可以自網路400接收觀看控制命令(View Control Message)VCM。觀看控制命令VCM包含視訊串流觀看裝置500’在觀看影像接合的即時串流應用所相關的命令，包含但不局限於移動觀看區域的位置縮放觀看區域、方向、縮放觀看區域等等。在一些實施例中，也可能包含控制視訊串流來源裝置100之移動方式的命令。
當控制單元390收到改變觀看區域的控制訊息時，會依照接合註冊資料暫存單元340中暫存的接合註冊資料RD，找出包含該區域的視訊串流來源裝置100並回覆給觀看端。在一些實施例中，回覆的訊息可能包含有相關視訊串流來源裝置100 的識別碼；在另一實施例中，也可以是相關視訊串流來源裝置100的影像串流連線資源，例如是RTSP的URL。在另一實施例中，若其中一些視訊串流來源裝置100並沒有在傳送視訊頁框VF，控制單元390需要送出一個命令來要求視訊串流傳送單元350建立連線的資源。透過這樣的設計，即可達成上述所揭露依照需求僅傳輸部分區域資料之實施方式。
在一些實施例中，視訊串流觀看裝置500’也可以在改變視訊串流來源裝置100的移動狀態時，送出一個特別的控制訊息。當控制單元390收到這一控制訊息時，可以要求接合註冊資料暫存單元340將已被暫存的接合註冊資料RD設為失效並清除。
請參照第7B圖，其繪示根據另一實施例之視訊串流觀看裝置500’之示意圖。相較於第2B圖之視訊串流觀看裝置500，第7B圖之視訊串流觀看裝置500’更包括一視訊串流來源裝置選擇單元540、一重繪單元550及一控制單元560。視訊串流來源裝置選擇單元540用以選擇特定的幾個視訊串流來源裝置100。重繪單元550用以執行重繪程序(render)。控制單元560用以執行各種控制程序。視訊串流來源裝置選擇單元540、重繪單元550及控制單元560例如是一晶片、一電路、一電路板、或儲存數組程式碼之儲存裝置。
視訊串流接收單元510可以同時自視訊串流閘道裝置300’接收多組來自不同的視訊串流來源裝置100的視訊頁框 VF。接收到的視訊頁框VF會暫存在內部的一個小佇列。同時，接合註冊資料接收單元520則從視訊串流閘道裝置300’接收接合註冊資料RD。
視訊接合單元530會取得接合註冊資料接收單元520所接收的接合註冊資料RD。視訊接合單元530會依照接合註冊資料RD的失效期限於視訊串流接收單元510取得所接收到各個視訊串流來源裝置100符合時效期限條件的視訊頁框VF，並暫存於內部的緩衝區。
取得的視訊頁框VF在經過解碼之後，依照接合註冊資料RD的描述，將影像進行變形並依照相對位置重新排列，最後經過混和與校正之後產生已接合視訊頁框SVF。
重繪單元550提供了一個記憶體區塊存放產生出來的已接合視訊頁框SVF，並且呈現在顯示裝置。控制單元560則提供了使用者介面於顯示出來的已接合視訊頁框SVF上進行控制操作，並將對應產生的觀看控制命令VCM傳送至視訊串流閘道裝置300’。在一些實施例上，控制單元560可以取得接合註冊資料RD並依照內容來知悉目前於視訊串流閘道裝置300’可接收但目前尚未被接合於已接合視訊頁框SVF的視訊串流來源裝置100之列表或預期顯示範圍。在另一些實施例中，也可以結合使用者介面，提示觀看者在目前被顯示的已接合視訊頁框SVF可被上下/左右/前後移動以及縮放等操作的方向。
對於觀看控制的操作，如上下/左右/前後移動以及 縮放，會在控制單元560轉換成觀看控制命令VCM，並送至視訊串流閘道裝置300’。對應這些觀看控制命令VCM，視訊串流閘道裝置300’會使用其接合註冊資料RD提供周邊相鄰的其他視訊串流來源裝置100的描述。
在一些實施例中，這些描述可能包含這些視訊串流來源裝置100的識別碼，控制單元560可進一步透過其他觀看控制命令VCM要求視訊串流閘道裝置300’準備並提供這些被要求的視訊串流來源裝置100的連線權限與串流資源。
在另外一些實施例中，若這些視訊串流來源裝置100已處於可串流傳輸的狀態，觀看控制命令VCM提供的描述可直接為串流連線的URL(例如是RTSP的URL)。在另一些實施例，描述中可更進一步告知某些視訊串流來源裝置100的串流連線所需頻寬，供視訊串流觀看裝置500’作為接收能力的評估指標。
上述關於周圍鄰接的視訊串流來源裝置100的描述，會被送到視訊串流來源裝置選擇單元540。此外，視訊串流來源裝置選擇單元540還會綜合視訊接合單元530的運算負載、重繪單元550的顯示大小限制以及視訊串流接收單元510的接收頻寬現況，評估是否有能力或需要接收某一些新的視訊串流來源裝置100。
經過綜合評估後，可能會選擇接收某些新的視訊串流來源裝置100之串流連線，或停止某些舊有的視訊串流來源裝 置100的串流接收。視訊串流來源裝置選擇單元540會將這些變動通知視訊串流接收單元510以準備新連線或停止舊有連線。在一些實施例中，視訊串流來源裝置選擇單元540則需要先透過控制單元560要求某個視訊串流來源裝置100的連線資源並取得連線URL後，才能通知視訊串流接收單元510進行連線。
第8A圖及第8B圖說明了根據另一實施例之視訊串流閘道裝置300’的運作流程。於第8A圖中，於視訊串流閘道裝置300’開始運作之後，執行下述步驟S310~S390。
在步驟S310中，視訊串流閘道裝置300’與視訊串流來源裝置100建立連線並持續開始接受封包。
在步驟S320中，當視訊串流觀看裝置500’開始觀看連線時，決定一個或一組的視訊串流來源裝置100作為開始觀看的群組。
在步驟S330中，對於視訊串流接收單元310所收到來自各個視訊串流來源裝置100的視訊頁框VF，視訊串流傳送單元350將屬於群組的視訊頁框VF直接送給視訊串流觀看裝置500’。
在步驟S340中，檢查接合註冊資料暫存單元340是否有尚未過期可用的接合註冊資料RD。若有，便將接合註冊資料RD透過接合註冊資料傳送單元360送給視訊串流觀看裝置500’。
在步驟S350中，視訊串流接收單元310將收到的視 訊頁框VF暫存於視訊頁框暫存單元380。
在步驟S360中，地理拓樸資料接收單元320接收來自各個視訊串流來源裝置100所送來的地理拓樸資料GD。
在步驟S370中，地理拓樸資料處理單元370分析各個視訊串流來源裝置100所送來的地理拓樸資料GD，以得知視訊串流來源裝置100彼此之間相對位置、速度、拍攝視角的變化。
在步驟S380中，依據觀看控制命令VCM，控制單元390從接合註冊資料暫存單元340取得尚未過期可用的接合註冊資料RD，以提供視訊串流觀看裝置500’查詢視訊串流來源裝置100的相鄰資訊，並且控制單元390接受來自視訊串流觀看裝置500’對於視訊串流來源裝置100增加或移除的觀看控制命令VCM。控制單元390也可以依據某些命令，暫時性地控制接合註冊資料暫存單元340內接合註冊資料RD過期的條件。
在步驟S390中，若有對於視訊串流來源裝置100增加觀看或移除的觀看控制命令VCM，控制單元390通知視訊串流傳送單元350準備連線資源，供視訊串流觀看裝置500’連線觀看，並更新目前的群組。
接著，繼續接收後續的視訊頁框VF，並重複上述步驟S330~S390。
在第8B圖中，於視訊串流閘道裝置300’開始運作之後，經由一計時器控制，於每經過一個時間區間執行下列步驟S410~S470。
在步驟S410中，地理拓樸資料處理單元370計算關於各個視訊串流來源裝置100的相對速度、相對距離與彼此之間拍攝角度的變化，以決定一個頁框數臨界值或時間臨界值。
在步驟S420中，依據決定的頁框數臨界值或時間臨界值，於視訊頁框暫存單元380找尋各個視訊串流來源裝置100滿足頁框數臨界值或時間臨界值的視訊頁框VF，並清除過期的視訊頁框VF且將符合的視訊頁框VF送至視訊接合特徵處理單元330進行接合註冊資料RD的運算。
在步驟S430中，接合註冊資料RD及同步資訊(序列號、時間戳等)送到接合註冊資料暫存單元340暫存。
在步驟S440中，清除已過期的暫存接合註冊資料RD。
在步驟S450中，暫存於接合註冊資料暫存單元340的接合註冊資料RD由接合註冊資料傳送單元360傳送給視訊串流觀看裝置500’。
在步驟S460中，控制單元390從接合註冊資料暫存單元340取得接合註冊資料RD作為各個視訊串流來源裝置100彼此之間的鄰接資訊，並於收到來自視訊串流觀看裝置500’的查詢時，提供給視訊串流觀看裝置500’。
在步驟S470中，參考地理拓樸資料處理單元370的計算結果、失效期限、或頁框數間隔，決定下一次重複此流程的時間間隔，並等待時間間隔到達，以再度執行此流程的步驟 S410。
第8C圖說明視訊串流觀看裝置500’的運作流程。 在視訊串流觀看裝置500’與視訊串流閘道裝置300’建立連線後，執行下述步驟S510~S580。
在步驟S510中，依照一開始選擇觀看的區域或是預先設定的區域，決定一組視訊串流來源裝置100的群組。
在步驟S520中，視訊串流接收單元510接收屬於群組的視訊頁框VF，並送到視訊接合單元530。
在步驟S530中，接合註冊資料接收單元520接收到接合註冊資料RD以及這組接合註冊資料RD的失效期限，並把這些資料送到視訊接合單元530。
在步驟S540中，視訊接合單元530依據失效期限，尋找各個視訊頁框VF及對應的接合註冊資料RD，進行各個視訊頁框VF的編碼，並依據接合註冊資料RD的描述進行接合。在一些實施方式中，此步驟亦可包括亮度的誤差估測與校正。若在此步驟沒有找到正確可用的接合註冊資料RD與視訊頁框VF之組合，則不以接合視訊的方式呈現，而改以單獨顯示某個視訊串流來源裝置100的視訊頁框VF，或暫停接合視訊的更新。
在步驟S550中，將已接合視訊頁框SVF儲存在重繪單元550中，並透過使用者介面顯示出來。
在步驟S560中，控制單元560利用使用者介面於被顯示出來的已接合視訊頁框SVF上提供觀看上的操作，如上下/ 左右/前後移動以及縮放等操作，並將這些操作轉換成觀看控制命令VCM，並送往視訊串流閘道裝置300’。
在步驟S570中，控制單元560收到來自視訊串流閘道裝置300’因應觀看控制命令VCM而回覆的周圍的視訊串流來源裝置100的鄰接資訊。
在步驟S580中，視訊串流來源裝置選擇單元540綜合鄰接資訊、視訊接合單元530的運算負載、重繪單元550的顯示大小限制以及視訊串流接收單元510的接收頻寬現況，決定是否要增加要接收新的視訊串流來源裝置100，或是停止接收一些舊有的視訊串流來源裝置100。
根據上述實施例，進行接合視訊頁框VF之動作時，係採用往前時間點的接合註冊資料RD，故省去了產生接合註冊資料RD之動作的延遲。如此一來，視訊串流的接合與傳輸主要為接合視訊頁框VF之動作的延遲，故延遲情況能夠大幅度改善。 此外，視訊串流觀看裝置500可能只需顯示部份區域的畫面，故可以僅將有需要的部份視訊頁框VF傳輸至視訊串流觀看裝置500。如此一來，能夠有效減少頻寬的競爭。再者，進行接合視訊頁框VF之動作時，視訊頁框VF之時間點與接合註冊資料RD之時間點的差距控制在小於誤差時間，即可控制畫面品質在一定水準。
綜上所述，雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識 者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (24)

  1. 一種視訊串流之接合與傳輸方法，包括：提供複數個視訊頁框(video frame)及複數個地理拓樸資料(geo-topology data)；依據於一第一時間點之部份該些視訊頁框及於該第一時間點之部份之該些地理拓樸資料，獲得該第一時間點之一接合註冊資料(registration data)，並暫存該接合註冊資料；以及依據該第一時間點之該接合註冊資料，接合一第二時間點之部份該些視訊頁框，該第二時間點不同於該第一時間點。
  2. 如申請專利範圍第1項所述之視訊串流之接合與傳輸方法，其中該第二時間點晚於該第一時間點。
  3. 如申請專利範圍第1項所述之視訊串流之接合與傳輸方法，其中獲得該接合註冊資料之步驟及接合該些視訊頁框之步驟係執行於不同裝置。
  4. 如申請專利範圍第1項所述之視訊串流之接合與傳輸方法，其中該些視訊頁框係傳輸至一視訊串流閘道裝置(video streaming gateway)後，轉傳至一視訊串流觀看裝置(video streaming viewer)。
  5. 如申請專利範圍第1項所述之視訊串流之接合與傳輸方法，更包括：依據該第一時間點之該接合註冊資料，接合一第三時間點之部份該些視訊頁框，該第三時間點不同於該第二時間點及該第二時間點。
  6. 如申請專利範圍第1項所述之視訊串流之接合與傳輸方法，其中僅有部份之該些視訊頁框傳輸至一視訊串流觀看裝置(video streaming viewer)，完整之該接合註冊資料係傳輸至該視訊串流觀看裝置。
  7. 如申請專利範圍第1項所述之視訊串流之接合與傳輸方法，其中接合後之該些視訊頁框之一精準度對應於一誤差時間，該第二時間點與該第一時間點之差距小於該誤差時間。
  8. 如申請專利範圍第7項所述之視訊串流之接合與傳輸方法，其中該些視訊頁框係由複數個視訊串流來源裝置(video streaming source)提供，接合後之該些視訊頁框之該精準度係根據該些視訊頁框之重疊程度、該些視訊串流來源裝置的地理位置、該些視訊串流來源裝置的運動狀態、或該些視訊頁框之變化程度進行預測。
  9. 一種視訊串流閘道裝置(video streaming gateway)，包括：一視訊串流接收單元(video streaming receiving unit)，用以接收複數個視訊頁框(video frame)；一地理拓樸資料接收單元(geo-topology data receiving unit)，用以接收複數個地理拓樸資料(geo-topology data)；一視訊接合特徵處理單元(video stitching feature processing unit)，用以依據於一第一時間點之部份該些視訊頁框及於該第一時間點之部份之該些地理拓樸資料，獲得該第一時間點之一接合註冊資料(registration data)；一接合註冊資料暫存單元(registration data cache unit)，用以暫存該接合註冊資料；一接合註冊資料傳送單元(registration data sending unit)，用以傳送該接合註冊資料；以及一視訊串流傳送單元(video streaming sending unit)，用以傳送該些視訊頁框至一視訊串流觀看裝置(video streaming viewer)，以使該視訊串流觀看裝置依據該第一時間點之該接合註冊資料，接合一第二時間點之部份該些視訊頁框，該第二時間點不同於該第一時間點。
  10. 如申請專利範圍第9項所述之視訊串流閘道裝置，其中該第二時間點晚於該第一時間點。
  11. 如申請專利範圍第9項所述之視訊串流閘道裝置，更包括：一視訊串流傳送單元，該些視訊頁框係傳輸至該視訊串流接收單元後，直接透過該視訊串流傳送單元轉傳至一視訊串流觀看裝置(video streaming viewer)。
  12. 如申請專利範圍第9項所述之視訊串流閘道裝置，其中該視訊串流傳送單元僅傳送部份之該些視訊頁框至該視訊串流觀看裝置，該接合註冊資料傳送單元傳送完整之該接合註冊資料係傳輸至該視訊串流觀看裝置。
  13. 如申請專利範圍第9項所述之視訊串流閘道裝置，其中接合後之該些視訊頁框之一精準度對應於一誤差時間，該第二時間點與該第一時間點之差距小於該誤差時間。
  14. 如申請專利範圍第13項所述之視訊串流閘道裝置，其中該些視訊頁框係由複數個視訊串流來源裝置(video streaming source)提供，接合後之該些視訊頁框之該精準度係根據該些視訊頁框之重疊程度、該些視訊串流來源裝置的地理位置、該些視訊串流來源裝置的運動狀態、或該些視訊頁框之變化程度進行預測。
  15. 如申請專利範圍第9項所述之視訊串流閘道裝置，其中 該些視訊頁框係由複數個視訊串流來源裝置(video streaming source)提供，該視訊串流閘道裝置更包括：一控制單元，用以從該接合註冊資料暫存單元取得可用的該接合註冊資料，以提供該視訊串流觀看裝置查詢該些視訊串流來源裝置的相鄰資訊。
  16. 如申請專利範圍第15項所述之視訊串流閘道裝置，其中該控制單元更用以接受來自該視訊串流觀看裝置對於該些視訊串流來源裝置增加或移除的一觀看控制命令。
  17. 如申請專利範圍第9項所述之視訊串流閘道裝置，更包括：一視訊頁框暫存單元，用以依據一頁框數臨界值或一時間臨界值，找尋滿足該頁框數臨界值或該時間臨界值的該些視訊頁框。
  18. 一種視訊串流觀看裝置(video streaming viewer)，包括：一視訊串流接收單元(video streaming receiving unit)，用以接收複數個視訊頁框；一接合註冊資料接收單元(registration data receiving unit)，用以接收於一第一時間點之一接合註冊資料；以及一視訊接合單元(video stitching unit)，用以依據該第一時 間點之該接合註冊資料，接合一第二時間點之部份該些視訊頁框為一已接合視訊頁框，該已接合視訊頁框透過一使用者介面顯示出來，該第二時間點不同於該第一時間點。
  19. 如申請專利範圍第18項所述之視訊串流觀看裝置，其中該第二時間點晚於該第一時間點。
  20. 如申請專利範圍第18項所述之視訊串流觀看裝置，其中該視訊接合單元更依據該第一時間點之該接合註冊資料，接合一第三時間點之部份該些視訊頁框，該第三時間點不同於該第一時間點及該第二時間點。
  21. 如申請專利範圍第18項所述之視訊串流觀看裝置，其中該視訊串流接收單元僅接收部份之該些視訊頁框，該接合註冊資料接收單元接收完整之該接合註冊資料。
  22. 如申請專利範圍第18項所述之視訊串流觀看裝置，其中該接合註冊資料接收單元接收到該接合註冊資料以及該接合註冊資料的一失效期限。
  23. 如申請專利範圍第22項所述之視訊串流觀看裝置，其中該視訊接合單元依據該失效期限，尋找該些視訊頁框及對應的該 些接合註冊資料，且進行各個視訊頁框的編碼，並依據該接合註冊資料的描述進行接合。
  24. 如申請專利範圍第18項所述之視訊串流觀看裝置，更包括：一控制單元，用以接收對於該使用者介面所顯示出來該已接合視訊頁框之一操作，並轉換該操作為一觀看控制命令，該觀看控制命令傳送至一視訊串流閘道裝置。
TW105141828A 2016-12-16 2016-12-16 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置 TWI632812B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105141828A TWI632812B (zh) 2016-12-16 2016-12-16 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置
CN201710069147.XA CN108206940B (zh) 2016-12-16 2017-02-08 视频串流的接合与传输方法、网关装置及观看装置
US15/695,848 US10701122B2 (en) 2016-12-16 2017-09-05 Video streaming stitching and transmitting method, video streaming gateway and video streaming viewer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105141828A TWI632812B (zh) 2016-12-16 2016-12-16 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置

Publications (2)

Publication Number Publication Date
TW201824854A TW201824854A (zh) 2018-07-01
TWI632812B true TWI632812B (zh) 2018-08-11

Family

ID=62562271

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105141828A TWI632812B (zh) 2016-12-16 2016-12-16 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置

Country Status (3)

Country Link
US (1) US10701122B2 (zh)
CN (1) CN108206940B (zh)
TW (1) TWI632812B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10659190B1 (en) * 2019-02-25 2020-05-19 At&T Intellectual Property I, L.P. Optimizing delay-sensitive network-based communications with latency guidance
KR20220018760A (ko) * 2020-08-07 2022-02-15 삼성전자주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100251101A1 (en) * 2009-03-31 2010-09-30 Haussecker Horst W Capture and Display of Digital Images Based on Related Metadata

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7683937B1 (en) * 2003-12-31 2010-03-23 Aol Inc. Presentation of a multimedia experience
TWI298852B (en) 2004-08-12 2008-07-11 Lightuning Tech Inc Sequential fingerprint image capturing device and a processing method thereof
US7460730B2 (en) 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
US8332889B2 (en) 2006-02-10 2012-12-11 Cox Communications, Inc. Generating a personalized video mosaic in a cable services network
TW200907557A (en) 2007-08-08 2009-02-16 Behavior Tech Computer Corp Camera array apparatus and the method for capturing wide-angle video over a network
TWI390966B (zh) 2008-12-12 2013-03-21 Altek Corp 全景影像產生方法
CN101841695A (zh) * 2009-03-19 2010-09-22 新奥特硅谷视频技术有限责任公司 一种全景视频的法庭庭审转播监督系统
CN102256111B (zh) * 2011-07-17 2013-06-12 西安电子科技大学 多通道全景视频实时监控系统及方法
US8863182B1 (en) 2012-02-17 2014-10-14 Google Inc. In-stream video stitching
US20140098185A1 (en) 2012-10-09 2014-04-10 Shahram Davari Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources
CN103793891A (zh) 2012-10-26 2014-05-14 海法科技有限公司 低复杂度的全景影像接合方法
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9172909B2 (en) 2013-10-29 2015-10-27 Cisco Technology, Inc. Panoramic video conference
TWI571806B (zh) 2014-05-27 2017-02-21 Metal Ind Res And Dev Centre Tooth body image joining method
US9900505B2 (en) 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US9363449B1 (en) * 2014-11-13 2016-06-07 Futurewei Technologies, Inc. Parallax tolerant video stitching with spatial-temporal localized warping and seam finding
US9355433B1 (en) * 2015-06-30 2016-05-31 Gopro, Inc. Image stitching in a multi-camera array
CN105306837A (zh) * 2015-10-27 2016-02-03 浙江宇视科技有限公司 多图像拼接方法及装置
TWI543611B (zh) 2015-11-20 2016-07-21 晶睿通訊股份有限公司 影像接合方法及具有影像接合功能的攝影系統

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100251101A1 (en) * 2009-03-31 2010-09-30 Haussecker Horst W Capture and Display of Digital Images Based on Related Metadata

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
引證2：Yu-jing Zhao等所著Video image stitching based on moving object detection and motion prediction compensation Published in: Image and Signal Processing (CISP), 2010 3rd International Congress on Date of Conference: 16-18 Oct. 2010 *
通常知識者技術水準之認定依據： R. Kumar等所著Registration of video to geo-referenced imagery Published in: Pattern Recognition, 1998. Proceedings. Fourteenth International Conference on Date of Conference: 20-20 Aug. 1998 *

Also Published As

Publication number Publication date
CN108206940B (zh) 2020-09-25
US10701122B2 (en) 2020-06-30
CN108206940A (zh) 2018-06-26
US20180176277A1 (en) 2018-06-21
TW201824854A (zh) 2018-07-01

Similar Documents

Publication Publication Date Title
JP6696615B2 (ja) 監視システム、監視方法、及び監視プログラムを記憶する記録媒体
CN1902905B (zh) 无线多记录器系统
US9786144B2 (en) Image processing device and method, image processing system, and image processing program
JP6486744B2 (ja) 地域監視サーバ、提供端末及びそのシステム
TWI400940B (zh) 遠端控制軌道式攝影裝置的手持式裝置及方法
TWI514324B (zh) 影像目標區域追蹤系統與方法及電腦程式產品
CN103607568B (zh) 立体街景视频投影方法及系统
WO2016002130A1 (ja) 撮影方法、撮影システム、端末装置およびサーバ
TWI393376B (zh) 資料傳輸方法
US9398211B2 (en) Multi-device alignment for collaborative media capture
JP2007219948A (ja) ユーザ異常検出装置、及びユーザ異常検出方法
TWI632812B (zh) 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置
CN104426957A (zh) 配置参数发送方法、接收方法及装置
WO2018227329A1 (zh) 一种同步曝光的方法、装置及终端设备
TW201806380A (zh) 動畫分割裝置及監視方法
JP5608490B2 (ja) 画像ネットワークシステム、画像送信システム及び画像取得システム
Chitnis et al. Wireless line sensor network for distributed visual surveillance
JP6952456B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2019086365A (ja) 位置推定システム
WO2019076156A1 (zh) 数据传输方法及摄像机、电子设备
WO2021063070A1 (zh) 一种通信方法及装置
JP2012204843A (ja) ストリーミング中継装置、ストリーミング中継集積回路、ストリーミング中継方法、及びストリーミング中継プログラム
CN115022584A (zh) 一种视频推送方法、装置和移动基站
JP2016082491A (ja) 画像配信システム及びその管理装置
WO2021081933A1 (zh) 控制方法、数据传输装置、拍摄装置、控制系统、云台、可移动平台以及计算机可读存储介质