TWI574547B - 立體影像的無線傳輸系統、方法及其裝置 - Google Patents

立體影像的無線傳輸系統、方法及其裝置 Download PDF

Info

Publication number
TWI574547B
TWI574547B TW104138076A TW104138076A TWI574547B TW I574547 B TWI574547 B TW I574547B TW 104138076 A TW104138076 A TW 104138076A TW 104138076 A TW104138076 A TW 104138076A TW I574547 B TWI574547 B TW I574547B
Authority
TW
Taiwan
Prior art keywords
user
transmission
viewing angles
wireless transmission
video stream
Prior art date
Application number
TW104138076A
Other languages
English (en)
Other versions
TW201720145A (zh
Inventor
林志宗
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW104138076A priority Critical patent/TWI574547B/zh
Priority to CN201510852077.6A priority patent/CN106713958B/zh
Priority to US15/075,204 priority patent/US10412360B2/en
Application granted granted Critical
Publication of TWI574547B publication Critical patent/TWI574547B/zh
Publication of TW201720145A publication Critical patent/TW201720145A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/0008—Modulated-carrier systems arrangements for allowing a transmitter or receiver to use more than one type of modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

立體影像的無線傳輸系統、方法及其裝置
本發明是有關於一種結合無線通訊的影像傳輸技術，且特別是有關於一種立體影像的無線傳輸系統、方法及其裝置。
現今的3D影像呈現技術可讓使用者在立體影像中選擇不同視角來欣賞，以選擇性地欣賞到立體影像中在不同視角的視聽感官效果。例如，在觀看以3D影像呈現的足球節目時，使用者可以選擇許多角度來作為觀賞球賽的視角(例如，相對於足球的前方、後方、左方、右方…等)，藉以享受在不同位置觀看球賽的樂趣。3D影像呈現技術通常會結合特定物件或風景在不同視角上所呈現的多張2D圖像以產生3D立體影像，並透過3D影像之硬體顯示技術以在人眼呈現出立體的物件或風景。
然而，無論是多張2D影像或是3D立體影像所形成的影像串流，皆需佔用較大的網路頻寬來傳輸。當多個使用者裝置皆 希望能夠透過無線通訊技術來呈現同一個但具備不同視角的3D立體影像時，由於每個使用者裝置想要接收不同視角的3D立體影像，雖然可將全部的平面視像全部傳送給使用者，但這樣既浪費頻寬也毫無傳輸效率可言。為了節省頻寬且提升傳輸效率，通常會依據不同視角來對這些使用者裝置提供不同的影像串流。然而，基於無線通訊技術的頻寬限制，當有多台使用者裝置同時在無線網路上接收同一個但具備不同視角的3D立體影像串流時，便有可能發生傳輸延遲。
因此，若想要以無線通訊技術來讓多個使用者裝置同時收看同一個但不同視角的3D立體影像的話，則可能需要解決影像串流占用頻寬的問題，否則難以即時性地讓這些使用者裝置同時呈現立體影像。
本發明提供一種立體影像的無線傳輸系統、方法及其裝置，可在多個使用者裝置同時藉由無線通訊協定觀看特定立體影像串流時能夠減少網路傳輸量，降低在傳輸立體影像串流所佔用的頻寬。
本發明一實施例之立體影像的無線傳輸系統包括無線傳輸裝置以及多個使用者裝置。所述使用者裝置與所述無線傳輸裝置相互通訊。每個使用者裝置用以接收對應使用者視角的立體影像串流，所述立體影像串流由多個視角的多個平面視像所組成。 所述無線傳輸裝置分別獲得每個使用者裝置中所述立體影像串流相對應的所述使用者視角以及調變類型，依據所述使用者裝置的所述使用者視角而從所述視角中選擇多個傳輸視角，並透過調整所述使用者裝置的所述調變類型以分別傳送對應所述傳輸視角的所述立體影像串流至相對應的所述使用者裝置。
在本發明的一實施例中，當所述使用者裝置的所述使用者視角並未屬於這些傳輸視角其中之一時，所述使用者裝置接收與所述使用者視角相鄰的這些傳輸視角所對應的這些立體影像串流，並藉由與所述使用者視角相鄰的這些傳輸視角所對應的這些立體影像串流來進行影像差補，以產生對應所述使用者視角的所述立體影像串流。
本發明一實施例之立體影像的無線傳輸方法包括下列步驟。與多個使用者裝置相互通訊，以分別獲得每個使用者裝置中立體影像串流相對應的使用者視角以及調變類型。每個使用者裝置用以接收對應所述使用者視角的所述立體影像串流，所述立體影像串流由多個視角的多個平面視像所組成。依據所述多個使用者裝置的多個使用者視角而從這些視角中選擇多個傳輸視角。以及，透過調整這些使用者裝置的所述調變類型以分別傳送對應這些傳輸視角的立體影像串流至相對應的使用者裝置。
本發明一實施例之立體影像的無線傳輸裝置包括無線傳輸模組以及控制單元。無線傳輸模組與多個使用者裝置相互通訊。每個使用者裝置用以接收對應使用者視角的立體影像串流， 且所述立體影像串流由多個視角的多個平面視像所組成。控制單元耦接所述無線傳輸模組。所述控制單元透過所述無線傳輸模組以分別獲得每個使用者裝置中立體影像串流相對應的使用者視角以及調變類型，依據這些使用者裝置的這些使用者視角而從這些視角中選擇多個傳輸視角，並透過調整這些使用者裝置的所述調變類型以分別傳送對應這些傳輸視角的所述立體影像串流至相對應的這些使用者裝置。
基於上述，本發明實施例可在多個使用者裝置同時藉由無線通訊協定觀看具有多個視角的特定立體影像串流時，無線傳輸裝置將會統整每個使用者裝置對於此特定立體影像串流的使用者視角以選擇出必須傳輸的傳輸視角及其對應的特定立體影像串流。想要接收傳輸視角(也就是，使用者視角屬於多個傳輸視角其中之一)的使用者裝置可直接接收此傳輸視角相對應的特定立體影像串流，而部份的使用者裝置可接收到相對於其之使用者視角的相鄰視角的特定立體影像串流，並利用影像差補技術來自行產生使用者視角的特定立體影像串流。藉此，本發明實施例所述的立體影像的無線傳輸系統、方法及其裝置可在不影響立體影像串流的解析度的情況下藉由影像差補技術來讓多台使用者裝置皆可獲得所需的立體影像串流，有效地減少網路傳輸量並降低在傳輸立體影像串流所佔用的頻寬。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧立體影像的無線傳輸系統
110‧‧‧無線傳輸裝置
210‧‧‧無線通訊模組
220‧‧‧處理單元
230‧‧‧影像差補模組
240‧‧‧3D影像呈現設備
UE1~UE13‧‧‧使用者裝置
V1~V16‧‧‧視角
VT1~VT6‧‧‧傳輸視角
S510~S530、S610~S690‧‧‧步驟
R1~R3‧‧‧範圍
圖1是依照本發明一實施例的一種立體影像的無線傳輸系統的示意圖。
圖2是依照本發明一實施例中其中一個使用者裝置的功能方塊圖。
圖3是依照本發明一實施例中使用者裝置UE1~UE13欲獲得之立體影像串流的使用者視角以及所採用之調變類型的示意圖。
圖4是依照本發明一實施例中經由無線傳輸裝置調整後提供給使用者裝置UE1~UE13的傳輸視角以及所採用之調變類型的示意圖。
圖5是依照本發明一實施例的立體影像的無線傳輸方法的流程圖。
圖6是依照本發明一實施例的圖5步驟S530的詳細流程圖。
圖7是圖6步驟S690中待分析視角以及已被使用者選擇的視角的示意圖。
圖1是依照本發明一實施例的一種立體影像的無線傳輸系統100的示意圖。無線傳輸系統100可包括無線傳輸裝置110以及多個使用者裝置UE1~UE13。於本實施例中，每個使用者裝置UE1~UE13皆與無線傳輸裝置110相互通訊。無線傳輸裝置110 可以是符合一無線通訊協定的無線基地台，或是位於網路雲端的伺服器設備。此無線通訊協定可以是WIFI協定、ZigBee協定、藍芽協定或是可使單一基地台同時與多台使用者裝置相互通訊的協定。
使用者裝置UE1~UE13可以例如是智慧型行動裝置、平板電腦、筆記型電腦、掌上型遊樂裝置等消費型電子設備，其具備與無線傳輸裝置110相互通訊的功能且同時具有可呈現3D影像之硬體(如穿戴式3D眼鏡、裸視3D技術…等硬體設備)。
於本實施例中，在此假設無線傳輸裝置110可提供有多個視角的立體影像串流。立體影像串流通常由多個視角的多個平面視像(view)所組成。一般來說，由於每個視角所觀賞到的立體影像都會略有差異，因此每個視角的立體影像串流都會分別獨立地傳輸給所需的使用者裝置UE1~UE13，或是將此立體影像串流中每個視角所對應的平面視像全部傳輸給使用者裝置UE1~UE13，以使其自行產生所需視角的立體影像。然而，若是採用上述方法來傳輸立體影像串流，則會導致占用過多的網路頻寬。
本發明實施例認為，相鄰視角的立體影像或是平面視像必定有許多相近似的部分圖像，且使用者裝置可藉由相鄰視角的立體影像/平面視像並透過影像差補技術來獲得所需視角的立體影像。因此，為了減少網路傳輸量且降低在傳輸立體影像串流所佔用的頻寬，本發明實施例可在多個使用者裝置UE1~UE13同時藉由無線通訊協定觀看具有多個視角的特定立體影像串流時，無線 傳輸裝置110將可統整每個使用者裝置UE1~UE13對於此特定立體影像串流的使用者視角以選擇出必須傳輸的傳輸視角及其對應的特定立體影像串流。若使用者裝置想要觀賞的視角位於必須傳輸的多個傳輸視角中時，可直接接收此欲觀賞視角相對應的特定立體影像串流即可呈現立體影像。若使用者裝置想要觀賞的視角並沒有位於必須傳輸的多個傳輸視角中時，則可接收到相對於其之欲觀賞視角的相鄰視角的特定立體影像串流，並利用影像差補技術來自行產生欲觀賞視角的特定立體影像串流。以下提出符合本發明實施例之精神的舉例，應用本實施例者可適度地依照本發明實施例的揭示來實現或延伸其他實施例。
回到圖1，無線傳輸裝置110與使用者裝置UE1~UE13在相互通訊時會依據調變類型依據該無線傳輸裝置與每個使用者裝置之間的距離或無線傳輸干擾程度來決定無線通訊協定的調變類型，藉以減少被無線干擾的機會。此調變類型可依據無線傳輸裝置110與使用者裝置UE1~UE13之間的傳輸頻率來區分。例如，所述調變類型可包括二位元相位偏移調變(Binary phase-shift keying；BPSK)、四位元相位偏移調變(Quadrature phase-shift keying；QPSK)、16位元正交振幅調變(16 Quadrature amplitude modulation；16QAM)以及64位元正交振幅調變(64QAM)中的其中之一。二位元相位偏移調變具備最佳的抗雜訊能力(SNR)，在信號傳送過程中即使發生嚴重失真的情況，在解調時仍可盡量避免信號錯誤。然而，二位元相位偏移調變每次僅能傳送一位元 的信號，也就是每次僅能傳送資料”0”或”1”。因此，便需要最高的傳輸頻率來藉由二位元相位偏移調變進行無線通訊。換句話說，依據傳輸頻率的高低來區分的話，傳輸頻率最高者為BPSK，其次則為QPSK、16QAM以及64QAM(傳輸頻率最低)。本實施例的圖1繪示以無線傳輸裝置110為中心的三個範圍R1、R2及R3來代表使用者裝置UE1~UE13相對於無線傳輸裝置110之間的距離遠近。位於範圍R1之間的使用者裝置UE7、UE8、UE10及UE11較接近無線傳輸裝置110，因此可採用傳輸頻率較低的16QAM來作為調變類型。位於範圍R1與R2之間的使用者裝置UE1、UE6、UE6及UE9距離無線傳輸裝置110較遠，因此可採用QPSK來作為調變類型。位於範圍R2與R3之間的使用者裝置UE1、UE6、UE6及UE9則距離無線傳輸裝置110更遠，因此可採用傳輸頻率最高的BPSK來作為調變類型。
另外，每個使用者裝置UE1~UE13可以接收不小於預設傳輸頻率的調變類型所傳遞的無線信號(在此為立體影像串流)。例如，若使用者裝置UE1的調變類型為QPSK，則使用者裝置UE1便可接收以BPSK及QPSK所傳遞的無線信號；若使用者裝置UE7的調變類型為16QAM，則使用者裝置UE7便可接收以BPSK、QPSK以及16QAM所傳遞的無線信號。也就是說，使用者裝置UE1~UE13除了可透過預先設定的調變類型來接收無線信息以外，還可收到具備較高傳輸頻率之調變類型的無線信息。
圖2是依照本發明一實施例中其中一個使用者裝置UE 的功能方塊圖。本實施例的使用者裝置UE主要包括無線通訊模組210、處理單元220以及3D影像呈現設備240。無線通訊模組210是符合上述無線通訊協定的協作硬體運算設備，其可包括通訊晶片、天線、抗雜訊設備…等。處理單元220透過無線通訊模組210以從圖1的無線傳輸裝置110中獲得無線信號。3D影像呈現設備240可以是穿戴式3D眼鏡、裸視3D模組…等硬體設備。處理單元220可以是中央處理器、繪圖處理器、處理晶片…等。
處理單元220可包括影像差補模組230。影像差補模組230可藉由與所需之視角相鄰的傳輸視角所對應的立體影像串流來進行影像差補，以產生所需之視角的立體影像串流。影像差補模組230可由處理器配合相應軟體或韌體來實現。本實施例的影像差補模組230可透過深度圖像繪圖(depth-image-based rendering；DIBR)技術來實現。假設使用者裝置UE有一個視角的平面視圖沒有接收到，則可以利用此視角的左邊視角與右邊視角相對應的平面視圖來修補因沒有接收到而缺少的視角之平面視圖，藉以繼續呈現立體影像。本實施例之採用DIBR技術的影像差補模組230可讓使用者裝置UE來決定在進行影像差補時可接受的視角範圍。例如，如果視角範圍設定為3的話，就表示若要修補某個視角的平面視圖，則可以使用相距為2(亦即，視角範圍(3)減去1)的左邊視角及右邊視角的平面視圖以共同修補位於這兩個視角之間所遺漏的平面視圖，進而完成立體影像。當視角範圍的數值越大時，例如設定為大於3的4或5，則可能會使差補出來的 平面視圖較為模糊且具備較低解析度。相對地，當視角範圍的數值越小時，例如設定為小於3的2，則可能會使差補出來的平面視圖具備較高的解析度。
在此舉例以詳加說明無線傳輸裝置110如何依據使用者裝置UE1~UE13所需的使用者視角而從多個視角中選擇將要傳輸的傳輸視角。圖3是依照本發明一實施例中使用者裝置UE1~UE13欲獲得之立體影像串流的使用者視角以及所採用之調變類型的示意圖。當使用者裝置UE1~UE13想要獲得不同視角的特定立體影像串流時，便會提出一立體影像獲得需求給無線傳輸裝置110。此立體影像獲得需求中便會具備此使用者裝置UE1的識別碼、特定立體影像串流、與此特定立體影像串流相對應且使用者裝置UE1所需的使用者視角以及無線傳輸裝置110與使用者裝置UE1之間的調變類型。或是，無線傳輸裝置110可能要負責傳送立體影像給在其無線傳輸範圍內的使用者裝置。
為方便說明，本發明實施例利用圖3來說明每個使用者裝置UE1~UE13所需之使用者視角以及其調變類型。本發明實施例的特定立體影像串流多個視角V1~V16來觀賞，這些連續編號的視角V1~V16互為相鄰。換句話說，此立體影像是由16個視角(即，V1~V16)的平面視圖所組成。例如，與視角V2左右相鄰的視角為視角V1及視角V3，與視角V14左右相鄰的視角為視角V13及視角V15，並依此類推。使用者裝置UE1、UE4、UE6、UE9所需的使用者視角分別為V1、V4、V6、V11，且其調變類型為 QPSK；使用者裝置UE2、UE3、UE5、UE12、UE13所需的使用者視角分別為V2、V3、V5、V15、V16，且其調變類型皆為BPSK；使用者裝置UE7、UE8、UE10、UE11所需的使用者視角分別為V7、V10、V13、V14，且其調變類型皆為16QAM。視角V8、V9、V12並未有使用者裝置需要，因此不需傳輸。
於本實施例中，使用者裝置UE1~UE13皆採用DIBR技術來進行影像差補，且其視角範圍設定為3，藉以修補沒有收到之視角的平面視圖。藉由搭配影像差補(DIBR技術)以在使用者裝置UE1~UE13來進行影像差補的限制，本發明實施例的無線傳輸裝置將會逐一判斷這些視角V1~V16是否屬於傳輸視角其中之一，在實作上可利用暴力比對分析或是多變量分析來從這些使用者視角(V8、V9、V12以外的其他視角V1~V16)中找出最佳的傳輸視角組合，並分別傳送對應這些傳輸視角的立體影像串流至相對應的使用者裝置UE1~UE13。藉此，便可使每個使用者裝置UE1~UE13皆能藉由這些傳輸視角的平面視圖或立體影像來產生所需之使用者視角的立體影像。
圖4是依照本發明一實施例中經由無線傳輸裝置110調整後提供給使用者裝置UE1~UE13的傳輸視角以及所採用之調變類型的示意圖。從圖4中可知，被選擇的傳輸視角VT1~VT6分別為原視角V1、V4、V7、V10、V13以及V16。使用者裝置UE1、UE4原先使用調變類型QPSK來接收信號，因此使用者裝置UE1、UE4也可使用具備較高傳輸頻率的BPSK來接收視角V1、V4的 立體影像串流。使用者裝置UE2、UE3皆利用BPSK來接收視角V1、V4的立體影像串流(其內包括視角V1、V4的平面視圖或是立體影像)，並藉由影像差補技術來分別獲得原視角V2、V3的立體影像串流。使用者裝置UE5、UE6皆利用BPSK來接收視角V4、V7的立體影像串流(其內包括視角V4、V7的平面視圖或是立體影像)，並藉由影像差補技術來分別獲得原視角V5、V6的立體影像串流。使用者裝置UE7原先使用調變類型16QAM來接收信號，因此使用者裝置UE7也可使用具備較高傳輸頻率的BPSK來接收視角V7的立體影像串流。使用者裝置UE8原先使用調變類型16QAM來接收信號，因此使用者裝置UE8也可使用具備較高傳輸頻率的QPSK來接收視角V10的立體影像串流。使用者裝置UE9利用QPSK來接收視角V10的立體影像串流，且利用BPSK來接收視角V13的立體影像串流，並藉由影像差補技術來獲得原視角V11的立體影像串流。使用者裝置UE10、UE13使用具備較高傳輸頻率的BPSK來分別接收所需之視角V13、V16的立體影像串流。使用者裝置UE11、UE12皆利用BPSK來接收視角V13、V16的立體影像串流，並藉由影像差補技術來分別獲得原視角V14、V15的立體影像串流。
藉此，無線傳輸裝置110只需藉由無線通訊協定中傳送被選擇的傳輸視角VT1~VT6(也就是原視角V1、V4、V7、V10、V13以及V16)所對應的立體影像串流至對應的使用者裝置UE1~UE13，即可讓使用者裝置UE1~UE13從這些傳輸視角 VT1~VT6所對應的立體影像串流中產生所需之使用者視角的立體影像串流。詳細來說，當使用者裝置(如，UE1、UE4、UE7、UE8、UE10及UE13)的使用者視角(分別為，V1、V4、V7、V10、V13及V16)屬於這些傳輸視角VT1~VT6其中之一時，使用者裝置便可直接透過無線傳輸裝置110以獲得所需之使用者視角的立體影像串流。另一方面，當使用者裝置(如，UE2、UE3、UE5、UE6、UE9、UE11、UE12的使用者視角(分別為，V2、V3、V5、V6、V11、V14及V15)並未屬於這些傳輸視角VT1~VT6其中之一時，使用者裝置便接收與所述使用者視角相鄰的該些輸視角所對應的立體影像串流，並藉由所接收之兩個立體影像串流來進行影像差補，以產生對應所需之使用者視角的該立體影像串流。
圖5是依照本發明一實施例的立體影像的無線傳輸方法的流程圖。請同時參照圖1及圖5，於步驟S510中，無線傳輸裝置110與多個使用者裝置UE1~UE13相互通訊，以分別獲得每個使用者裝置中之立體影像串流相對應的使用者視角以及調變類型。每個使用者裝置UE1~UE13用以接收對應使用者視角的立體影像串流，並且此立體影像串流係由多個視角(如，V1~V16)的多個平面視像所組成。於步驟S520中，無線傳輸裝置110依據這些使用者裝置UE1~UE13的使用者視角而從視角V1~V16中選擇多個傳輸視角(如圖4所示之傳輸視角VT1~VT6)。於步驟S530中，無線傳輸裝置110透過調整這些使用者裝置UE1~UE13的調變類型以分別傳送對應這些傳輸視角的立體影像串流至相對應的 使用者裝置UE1~UE13。藉此，使用者裝置UE1~UE13便可藉由傳輸視角VT1~VT6的立體影像串流來產生出所需之使用者視角的立體影像串流。
圖6是依照本發明一實施例的圖5步驟S530的詳細流程圖。換句話說，圖6中的步驟流程是用以說明圖1中的無線傳輸裝置110如何逐一判斷這些視角是否屬於傳輸視角。請參照圖1與圖6，於步驟S610中，無線傳輸裝置110判斷這些視角當中的其中一個待分析視角是否屬於使用者裝置UE1~UE13所對應的使用者視角其中之一。若步驟S610為否，則表示此視角不需要傳輸，因此進入步驟S620以判定此待分析視角不屬於傳輸視角其中之一。若步驟S610為是，則進入步驟S630以判斷此待分析視角是否為視角的第一個(也就是，視角V1)或最後一個(也就是，視角V16)。若步驟S630為是，表示此待分析視角無法獲得左邊視角或是右邊視角來進行影像差補，則進入步驟S640以判定此待分析視角屬於傳輸視角其中之一。
若步驟S630為否，則進入步驟S650以判斷在待分析視角之前的視角範圍內是否有視角已屬於傳輸視角其中之一。由本實施例可知，視角範圍為3，因此將會判斷待分析視角之前的兩個視角是否已屬於傳輸視角其中之一。若步驟S650為否，表示此待分析視角之前並沒有可參照的視角，使得此待分析視角所對應的立體影像串流需要傳輸，則進入步驟S660以判定此待分析視角屬於傳輸視角其中之一。
若步驟S650為否，則進入步驟S670以判斷在待分析視角之後的視角範圍內是否有視角已屬於這些傳輸視角其中之一。由於視角範圍為3且於步驟S650已知道待分析視角之前已有傳輸視角，且待分析視角之後的視角範圍內已經具備傳輸視角的話(亦即步驟S670為是)，則此分析視角所對應的立體影像串流可以藉由前後傳輸視角所對應的立體影像串流以影像差補方式來獲得，因此進入步驟S680以判定此待分析視角不屬於傳輸視角其中之一。相對地，若步驟S670為否，則進入步驟S690，以判斷在待分析視角以及下一個已被使用者選擇的已選視角之間是否有傳輸視角，而此傳輸視角已位於待分析視角之後的視角範圍內。若步驟S690為是，則表示此待分析視角所對應的立體影像串流可以藉由前後傳輸視角所對應的立體影像串流以影像差補方式來獲得，因此進入步驟S680以判定此待分析視角不屬於傳輸視角其中之一。相對地，若步驟S690為是否，則進入步驟S660以判定此待分析視角屬於傳輸視角其中之一。
在此詳細描述步驟S690中待分析視角以及下一個已被使用者選擇的視角之間的關係。圖7是圖6步驟S690中待分析視角Vi以及已被使用者選擇的已選視角VSLT的示意圖。請參照圖7，本發明實施例的視角範圍VR1設定為3，因此待分析視角Vi的立體影像串流可以利用相距為2以內的左邊視角(如，視角Vi-1及視角Vi-2)及右邊視角(如，視角Vi+1及視角Vi+2)的平面視圖來獲得。已選視角VSLT是已被其他使用者裝置指定要欣賞的視角。 在判斷待分析視角Vi屬於傳輸視角時，如果已選視角VSLT並未位於待分析視角Vi的視角範圍VR當中，則無法直接判斷視角Vi+1是否屬於傳輸視角。為了要判斷判斷視角Vi+1是否屬於傳輸視角，則需進一步地找出在待分析視角Vi之後的下一個已被使用者選擇的已選視角VSLT。然後，考量位於有關於已選視角VSLT之視角範圍VR2內的視角們(如，視角Vi+1以及視角Vi+2)是否位於待分析視角Vi的視角範圍VR1內，且這些視角們是否有被使用者裝置所選擇。
假設視角vi+1同時位於視角範圍VR1以及VR2之內，且視角Vi+1有被使用者裝置所選擇，則步驟S690便會判定此視角Vi+1屬於傳輸視角其中之一，且同時判定此待分析視角Vi不屬於傳輸視角其中之一(因待分析視角Vi的立體影像串流可參考視角Vi+1的平面視圖來進行影像差補而得)。相對地，假設視角Vi+1同時不屬於傳輸視角其中之一，則判定此待分析視角Vi屬於傳輸視角其中之一。
綜上所述，本發明實施例可在多個使用者裝置同時藉由無線通訊協定觀看具有多個視角的特定立體影像串流時，無線傳輸裝置將會統整每個使用者裝置對於此特定立體影像串流的使用者視角以選擇出必須傳輸的傳輸視角及其對應的特定立體影像串流。想要接收傳輸視角(也就是，使用者視角屬於多個傳輸視角其中之一)的使用者裝置可直接接收此傳輸視角相對應的特定立體影像串流，而部份的使用者裝置可接收到相對於其之使用者視 角的相鄰視角的特定立體影像串流，並利用影像差補技術來自行產生使用者視角的特定立體影像串流。藉此，本發明實施例所述的立體影像的無線傳輸系統、方法及其裝置可在不影響立體影像串流的解析度的情況下藉由影像差補技術來讓多台使用者裝置皆可獲得所需的立體影像串流，有效地減少網路傳輸量並降低在傳輸立體影像串流所佔用的頻寬。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧立體影像的無線傳輸系統
110‧‧‧無線傳輸裝置
UE1~UE13‧‧‧使用者裝置
R1~R3‧‧‧範圍

Claims (13)

  1. 一種立體影像的無線傳輸系統，包括：一無線傳輸裝置；以及多個使用者裝置，與該無線傳輸裝置相互通訊，其中每個使用者裝置用以接收對應一使用者視角的一立體影像串流，該立體影像串流由多個視角的多個平面視像所組成，其中該無線傳輸裝置分別獲得每個使用者裝置中該立體影像串流相對應的該使用者視角以及一調變類型，依據該些使用者裝置的該些使用者視角而從該些視角中選擇多個傳輸視角，並透過調整該些使用者裝置的該調變類型以分別傳送對應該些傳輸視角的該立體影像串流至相對應的該些使用者裝置，其中該調變類型依據該無線傳輸裝置與每個使用者裝置之間的距離或無線傳輸干擾程度來決定，該調變類型依據其傳輸頻率來區分，並且每個使用者裝置接收不小於一預設傳輸頻率的該調變類型所傳遞的該立體影像串流。
  2. 如申請專利範圍第1項所述的無線傳輸系統，當該使用者裝置的該使用者視角並未屬於該些傳輸視角其中之一時，該使用者裝置接收與該使用者視角相鄰的該些傳輸視角所對應的該些立體影像串流，並藉由與該使用者視角相鄰的該些傳輸視角所對應的該些立體影像串流來進行影像差補，以產生對應該使用者視角的該立體影像串流。
  3. 如申請專利範圍第1項所述的無線傳輸系統，其中每個使用者裝置包括：3D影像呈現設備，用以顯示該立體影像串流。
  4. 如申請專利範圍第3項所述的無線傳輸系統，其中每個使用者裝置更包括：影像差補模組，藉由與該使用者視角相鄰的該些傳輸視角所對應的該立體影像串流來進行影像差補，以產生對應該使用者視角的該立體影像串流。
  5. 如申請專利範圍第1項所述的無線傳輸系統，其中該調變類型包括二位元相位偏移調變(BPSK)、四位元相位偏移調變(QPSK)、16位元正交振幅調變(16QAM)以及64位元正交振幅調變(64QAM)中的其中之一。
  6. 如申請專利範圍第1項所述的無線傳輸系統，其中該無線傳輸裝置逐一判斷該些視角是否屬於該些傳輸視角其中之一，藉以分別傳送對應該些傳輸視角的該立體影像串流至相對應的該些使用者裝置。
  7. 一種立體影像的無線傳輸方法，包括下列步驟：與多個使用者裝置相互通訊，以分別獲得每個使用者裝置中一立體影像串流相對應的一使用者視角以及一調變類型，其中每個使用者裝置用以接收對應該使用者視角的該立體影像串流，該立體影像串流由該些視角的多個平面視像所組成；依據該些使用者裝置的該些使用者視角而從該些視角中選擇 多個傳輸視角；以及透過調整該些使用者裝置的該調變類型以分別傳送對應該些傳輸視角的該立體影像串流至相對應的該些使用者裝置，其中該調變類型依據與每個使用者裝置之間的距離或無線傳輸干擾程度來決定，該調變類型依據其傳輸頻率來區分，並且每個使用者裝置接收不小於一預設傳輸頻率的該調變類型所傳遞的該立體影像串流。
  8. 如申請專利範圍第7項所述的無線傳輸方法，更包括：當該使用者裝置的該使用者視角並未屬於該些傳輸視角其中之一時，該使用者裝置接收與該使用者視角相鄰的該些傳輸視角所對應的該些立體影像串流，並藉由與該使用者視角相鄰的該些傳輸視角所對應的該些立體影像串流來進行影像差補，以產生對應該使用者視角的該立體影像串流。
  9. 如申請專利範圍第7項所述的無線傳輸方法，其中該調變類型包括二位元相位偏移調變、四位元相位偏移調變、16位元正交振幅調變以及64位元正交振幅調變中的其中之一。
  10. 如申請專利範圍第7項所述的無線傳輸方法，依據該些使用者裝置的該些使用者視角而從該些視角中選擇該些傳輸視角包括下列步驟：判斷該些視角中的一待分析視角是否屬於該些使用者視角其中之一；若為否，則判定該待分析視角不屬於該些傳輸視角其中之一； 判斷該待分析視角是否為該些視角的第一個或最後一個；若為是，則判定該待分析視角屬於該些傳輸視角其中之一；判斷在該待分析視角之前的一視角範圍是否有視角已屬於該些傳輸視角其中之一；若為否，則判定該待分析視角屬於該些傳輸視角其中之一；判斷在該待分析視角之後的該視角範圍內是否有視角已屬於該些傳輸視角其中之一；若為是，則判定該待分析視角不屬於該些傳輸視角其中之一；判斷在該待分析視角以及已選視角之間是否有傳輸視角，且該傳輸視角已位於該待分析視角之後的視角範圍內；若為是，則判定該待分析視角不屬於該些傳輸視角其中之一；若為否，則判定該待分析視角屬於該些傳輸視角其中之一。
  11. 一種立體影像的無線傳輸裝置，包括：無線傳輸模組，與多個使用者裝置相互通訊，其中每個使用者裝置用以接收對應一使用者視角的一立體影像串流，該立體影像串流由多個視角的多個平面視像所組成；以及控制單元，耦接該無線傳輸模組，其中該控制單元透過該無線傳輸模組以分別獲得每個使用者裝置中一立體影像串流相對應的一使用者視角以及一調變類型，依據該些使用者裝置的該些使用者視角而從該些視角中選擇多個傳輸視角，並透過調整該些使用者裝置的該調變類型以分別傳送對應該些傳輸視角的該立體影像串流至相對應的該些使用者裝 置，其中該調變類型依據該無線傳輸裝置與每個使用者裝置之間的距離或無線傳輸干擾程度來決定，該調變類型依據其傳輸頻率來區分，並且每個使用者裝置接收不小於一預設傳輸頻率的該調變類型所傳遞的該立體影像串流。
  12. 如申請專利範圍第11項所述的無線傳輸裝置，其中當該使用者裝置的該使用者視角並未屬於該些傳輸視角其中之一時，該使用者裝置藉由與該使用者視角相鄰的該些傳輸視角所對應的該些立體影像串流來進行影像差補，以產生對應該使用者視角的該立體影像串流。
  13. 如申請專利範圍第11項所述的無線傳輸裝置，其中該調變類型包括二位元相位偏移調變、四位元相位偏移調變、16位元正交振幅調變以及64位元正交振幅調變中的其中之一。
TW104138076A 2015-11-18 2015-11-18 立體影像的無線傳輸系統、方法及其裝置 TWI574547B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104138076A TWI574547B (zh) 2015-11-18 2015-11-18 立體影像的無線傳輸系統、方法及其裝置
CN201510852077.6A CN106713958B (zh) 2015-11-18 2015-11-27 立体影像的无线传输系统、方法及其装置
US15/075,204 US10412360B2 (en) 2015-11-18 2016-03-21 Wireless transmission system, method and device for stereoscopic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104138076A TWI574547B (zh) 2015-11-18 2015-11-18 立體影像的無線傳輸系統、方法及其裝置

Publications (2)

Publication Number Publication Date
TWI574547B true TWI574547B (zh) 2017-03-11
TW201720145A TW201720145A (zh) 2017-06-01

Family

ID=58690639

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104138076A TWI574547B (zh) 2015-11-18 2015-11-18 立體影像的無線傳輸系統、方法及其裝置

Country Status (3)

Country Link
US (1) US10412360B2 (zh)
CN (1) CN106713958B (zh)
TW (1) TWI574547B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116634177B (zh) * 2023-06-16 2024-02-20 北京行者无疆科技有限公司 一种基于hdmi通信设备的视频通信解码处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212579A1 (en) * 2009-10-20 2012-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and Arrangement for Multi-View Video Compression
US20130208975A1 (en) * 2012-02-13 2013-08-15 Himax Technologies Limited Stereo Matching Device and Method for Determining Concave Block and Convex Block
TW201349848A (zh) * 2012-05-22 2013-12-01 Chunghwa Telecom Co Ltd 多視角互動電視之影音串流方法
TW201501510A (zh) * 2013-06-18 2015-01-01 Inst Information Industry 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
TW201501509A (zh) * 2013-05-10 2015-01-01 Koninkl Philips Nv 用於多視角成像裝置的編碼視頻資料信號之方法
TW201517594A (zh) * 2013-10-25 2015-05-01 Univ Nat Cheng Kung 包裝多視角圖框的方法、裝置及儲存包裝圖框之非暫態儲存媒體

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457175B2 (en) * 2008-01-29 2013-06-04 Sony Corporation Systems and methods for securing a digital communications link
EP2562581A4 (en) * 2010-04-21 2014-11-12 Panasonic Ip Corp America 3D VIDEO DISPLAY AND 3D VIDEO DISPLAY
US9716920B2 (en) * 2010-08-05 2017-07-25 Qualcomm Incorporated Signaling attributes for network-streamed video data
US20140036849A1 (en) * 2011-04-14 2014-02-06 Nokia Siemens Network Oy Joint Transmission CoMP with Single Carrier Cell Aggregation
JP5921102B2 (ja) * 2011-07-19 2016-05-24 株式会社東芝 画像処理システム、装置、方法及びプログラム
TWI456526B (zh) * 2011-11-03 2014-10-11 Au Optronics Corp 多視角立體影像產生方法及採用此方法之多視角立體影像產生裝置
JP5362071B2 (ja) * 2012-05-16 2013-12-11 株式会社東芝 映像処理装置、映像表示装置および映像処理方法
JP5942732B2 (ja) * 2012-09-20 2016-06-29 アイコム株式会社 通信機および通信方法
RU2543549C2 (ru) * 2013-07-09 2015-03-10 Сергей Александрович Соболев Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением. система "третий глаз"

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212579A1 (en) * 2009-10-20 2012-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and Arrangement for Multi-View Video Compression
US20130208975A1 (en) * 2012-02-13 2013-08-15 Himax Technologies Limited Stereo Matching Device and Method for Determining Concave Block and Convex Block
TW201349848A (zh) * 2012-05-22 2013-12-01 Chunghwa Telecom Co Ltd 多視角互動電視之影音串流方法
TW201501509A (zh) * 2013-05-10 2015-01-01 Koninkl Philips Nv 用於多視角成像裝置的編碼視頻資料信號之方法
TW201501510A (zh) * 2013-06-18 2015-01-01 Inst Information Industry 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
TW201517594A (zh) * 2013-10-25 2015-05-01 Univ Nat Cheng Kung 包裝多視角圖框的方法、裝置及儲存包裝圖框之非暫態儲存媒體

Also Published As

Publication number Publication date
US20170142388A1 (en) 2017-05-18
TW201720145A (zh) 2017-06-01
CN106713958B (zh) 2019-08-02
CN106713958A (zh) 2017-05-24
US10412360B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
US9600220B2 (en) Multi-device display configuration
CN107852519B (zh) 用于在通信系统中提供视频服务的方法和设备
CN102970569B (zh) 视域调整装置、视频处理装置以及视域调整方法
US9288482B2 (en) Method for processing images in display device outputting 3-dimensional contents and display device using the same
US10721457B2 (en) Methods and apparatus for capturing images of an environment
JP6731482B2 (ja) 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム
EP3591502B1 (en) Virtual reality image sending method and apparatus
US11984952B2 (en) Communication devices and methods
TW202239182A (zh) 用於組合訊框之系統及方法
CN104683787A (zh) 识别视频类型的方法、装置和显示设备及其投影视频方法
TWI574547B (zh) 立體影像的無線傳輸系統、方法及其裝置
US20240033624A1 (en) 5g optimized game rendering
US10482671B2 (en) System and method of providing a virtual environment
JPWO2016027527A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015149547A (ja) 画像処理方法、画像処理装置、及び電子機器
US9532040B2 (en) Virtual viewpoint interval determination sections apparatus and method
KR20120126897A (ko) 전자 장치 및 입체영상 처리 방법
US20240049230A1 (en) Systems and methods of uwb configuration for application types
US20240205421A1 (en) Systems and methods of improving data stream processing according to a field-of-view
US20240072956A1 (en) Systems and methods of configuring reduced repetitions for uwb physical layer headers
US20240063844A1 (en) Systems and methods of configuring uwb physical layer headers
WO2023183450A1 (en) Systems and methods of signaling information for holographic communications
JP2023541570A (ja) エネルギー検出閾値を管理するシステムおよび方法
JP2017050735A (ja) 通信装置、制御方法、及びプログラム
CN104898916B (zh) 一种定位方法及电子设备