TWI566550B - 影像資訊傳送方法以及封包通信系統 - Google Patents

影像資訊傳送方法以及封包通信系統 Download PDF

Info

Publication number
TWI566550B
TWI566550B TW102132535A TW102132535A TWI566550B TW I566550 B TWI566550 B TW I566550B TW 102132535 A TW102132535 A TW 102132535A TW 102132535 A TW102132535 A TW 102132535A TW I566550 B TWI566550 B TW I566550B
Authority
TW
Taiwan
Prior art keywords
packet
packets
image information
image
delay time
Prior art date
Application number
TW102132535A
Other languages
English (en)
Other versions
TW201424300A (zh
Inventor
小澤一範
Original Assignee
日本電氣股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電氣股份有限公司 filed Critical 日本電氣股份有限公司
Publication of TW201424300A publication Critical patent/TW201424300A/zh
Application granted granted Critical
Publication of TWI566550B publication Critical patent/TWI566550B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/121—Shortest path evaluation by minimising delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
    • H04W28/0236—Traffic management, e.g. flow control or congestion control based on communication conditions radio quality, e.g. interference, losses or delay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/52—Allocation or scheduling criteria for wireless resources based on load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/36—Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
    • H04L47/365—Dynamic adaptation of the packet size

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Description

影像資訊傳送方法以及封包通信系統
本發明係關於藉由封包通信的影像資訊的傳送。本發明特別關於至少一部份透過移動體通信網路等的包含無線通信區間的資料通信網路的封包通信所進行的影像資訊的傳送。
將影像資訊編碼並藉由封包通信網傳送時，有時會因為封包通信網的通信量的混雜狀況，而產生封包的延遲。尤其是在行動電話等的移動體通信的情況，通信量的混雜狀況會隨著終端機的位置或時間而大幅變動。
因此，若在通信之前先預估通信量的混雜狀況，事先決定在該混雜狀況下對應於可使用頻帶的資料速率，依該資料速率將聲音資訊編碼、封包化並將之傳送，則未必是適合實際的通信量的混雜狀況的資料速率。實際的通信量比預估的還要混雜時，就會發生封包延遲並損及即時性。相反地，實際的通信量比預估的還要少時，就喪失了可以用應該可以在該通信量中無延遲傳送的高位元率的機會。
近年來，尤其是在公司企業中，為了確保高度的 安全，開始廣為使用精簡客戶端(thin client)。此係為如後述的技術，從終端以彷彿操作實體終端的方式操作伺服器上的虛擬客戶端，在虛擬客戶端驅動應用程式，產生畫面資訊，再將該畫面資訊轉送到終端並在終端的螢幕顯示。因為在終端完全不會留下資料，所以具有如後的優點：即使終端遺失了，也不會讓秘密資訊或企業資訊等洩漏到外部。
先行技術文獻
專利文獻
專利文獻1：日本特開2011-193357號公報
在精簡客戶端中係為，依據從終端側的操作，在伺服側使應用程式作動並產生畫面，將畫面壓縮並透過網路將之轉送給終端，在終端將畫面解碼並將之顯示的方法。在此種精簡客戶端中，在伺服側將畫面壓縮編碼所得到的位元流透過網路轉送至終端。此時，在移動網路或網際網路等中，不但頻域寬比較狹窄，而且能夠使用的頻域寬還會隨著在網路中流動的其他通信量的資料量而在不同時間有變動。因此，若不將在精簡客戶端中轉送的資料量控制在可使用的頻域寬以下，則資料會滯留在網路中，所以，資料到達客戶端的延遲時間變長，畫面更新用的資料到達終端較慢而造成畫面凍結、回應速度變慢的問題。
茲舉出專利文獻1作為記載本發明相關技術的文獻。在專利文獻1中記載一種伺服器裝置，在傳送第1編碼影像 資料之後，將比第1編碼影像資料還要高畫質的第2編碼影像資料傳送到客戶端的情況下，在構成第2編碼影像資料的複數影像資料當中，傳送構成第1編碼影像資料的影像資料相異的部分影像資料。
有鑑於此，本發明所欲解決的課題為，在藉由封包通信網傳送影像資訊時，對應於封包通信網的通信量的時間變動，以不產生延遲的方式傳送更高品質的影像資訊。
為了解決上述課題，本發明之一態樣提供一種封包通信系統，其包括第1節點及第2節點，其中，第1節點包括：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該第1節點之第2節點；其中，第2節點包括：延遲時間測定手段，其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者。
本發明之另一態樣提供一種封包通信裝置，其包括：封包接收手段，其透過封包通信網，接收複數個封包P1,P2,...,Pm，該封包係將欲傳送的影像資訊編碼，各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；延遲時間測定手段， 其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者。
另外，本發明之另一態樣提供一種封包通信裝置，其包括：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該封包通信裝置之對象封包通信裝置；其中該對象封包通信裝置測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者。
另外，本發明之另一態樣提供一種程式，其用以使得電腦作動以作為：封包接收手段，其透過封包通信網，接收複數個封包P1,P2,...,Pm，該封包係將欲傳送的影像資訊編碼，各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；延遲時間測定手段，其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者。
另外，本發明之另一態樣提供一種程式，其用以使得電腦作動以作為：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自 然數)符合q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該封包通信裝置之對象封包通信裝置；其中該對象封包通信裝置測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者。
另外，本發明之另一態樣提供一種影像資訊的傳送方法，在透過封包通信網將影像資訊從第1節點傳送到第2節點時，包含後述階段：封包產生階段，將欲傳送的影像資訊編碼，並在該第1節點產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；封包傳送階段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm從該第1節點傳送至該第2節點；延遲時間測定階段，其在該第2節點測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇階段，在該第2節點，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者。
依據本發明，在傳送端的節點，將一個影像資訊以資料量彼此不同的複數個封包傳送，在接收端的節點，選擇在沒有延遲或在可容許的延遲時間內接收的封包當中資料量最大的封包，並將其影像資訊解碼。因此，在當時封包通信網的擁塞狀況下可以沒有延遲地傳送的範圍內，能夠以更高的位元率傳送影像資訊。
1‧‧‧影像資訊傳送系統
2‧‧‧傳送節點
3‧‧‧接收節點
4‧‧‧影像資訊X
5‧‧‧編碼器
6‧‧‧可變長封包產生部
7‧‧‧封包傳送部
8‧‧‧封包組
9‧‧‧封包接收部
10‧‧‧延遲時間測定部
11‧‧‧封包選擇部
12‧‧‧解碼器
13‧‧‧影像資訊X’
14‧‧‧封包送信部
110‧‧‧伺服器裝置
130‧‧‧雲端網
150‧‧‧移動網路
170‧‧‧行動終端
171‧‧‧客戶端軟體
176‧‧‧第1封包送信部
177‧‧‧第2封包送信部
180‧‧‧影像捕獲部
182‧‧‧操作信號封包受信部
184‧‧‧分割部
185‧‧‧判別部
186‧‧‧影像編碼部
187‧‧‧音訊編碼部
190‧‧‧SGSN/GGSN裝置
194‧‧‧基地局
195‧‧‧RNC裝置
201‧‧‧動作向量算出部
202‧‧‧區域判別部
211‧‧‧虛擬客戶端部
225‧‧‧縮小處理部
227‧‧‧第1影像編碼部
228‧‧‧第2影像編碼部
250‧‧‧第1封包接收/延遲計測/選擇部
251‧‧‧第2封包受信部
252‧‧‧第1影像解碼器
253‧‧‧第2影像解碼器
254‧‧‧放大處理部
255‧‧‧音訊解碼器
256‧‧‧影像顯示部
257‧‧‧操作信號產生部
258‧‧‧封包送信部
270‧‧‧封包受信部
271_1‧‧‧延遲計測部
271_2‧‧‧延遲計測部
272_1‧‧‧選出部
272_2‧‧‧選出部
第1圖顯示用以說明本發明一實施形態的影像資訊傳送系統1的方塊圖。
第2圖顯示本發明第2實施形態的遠端型行動通信系統100的方塊圖。
第3圖為伺服器裝置110的方塊圖。
第4圖為判別部185的方塊圖。
第5圖為影像編碼部186的構成之方塊圖。
第6圖顯示使用小波(wavelet)轉換作為影像編碼器時小波轉換係數的性質的圖。
第7圖為顯示搭載於行動終端170的客戶端軟體171的構成的方塊圖。
第8圖為顯示第1封包受信/延遲計測/選擇部250的構成之方塊圖。
參照第1圖，說明本發明第1實施形態的影像資訊傳送系統1。影像資訊傳送系統1包括傳送節點2及接收節點3。
傳送節點2為封包通信裝置，其將被輸入的影像資訊X4編碼及封包化，並透過封包通信網將之傳送至接收節點3，具體言之，其為進行封包資料通信的無線通信裝置，例如行動電話終端，但也可以是設置在網際網路等的網路上的伺服器裝置、客戶端裝置。傳送節點2包括編碼器5、可變長封包產生部6、封包傳送部7。
編碼器5將影像資訊X4編碼，對應於1個影像資訊X4，產生複數筆資料d1,d2,...,dm(m為2以上的自然數)。此時係產生為，資料d1,d2,...,dm的資料量分別為資料量q1,q2,.....,qm，且符合q1<q2<...<qm的關係。例如，當m等於4時，分別以128kbps、256kbps、512kbps、1Mbps的位元率，將影像資訊X4編碼產生資料d1,d2,...,d4。
可變長封包產生部6產生具有對應於資料量的封包長的可變長封包。對應於資料d1,d2,...,dm，產生封包P1,P2,...,Pm。因為是可變長封包，所以封包P1,P2,...,Pm的資料量的大小關係，直接承襲了資料d1,d2,...,dm的大小關係。
封包傳送部7，將封包P1,P2,...,Pm依序送到封包通信網。將對應於影像資訊X4，且資料量彼此相異的m個封包構成的封包組8，依序資料量從小到大的順序，傳送到接收節點3。被送出的封包的順序關係圖示為封包組8。
接收節點3可以是設置在網際網路等的網路上的伺服器裝置、客戶端裝置。或者，接收節點3也可以是進行封包資料通信的無線通信裝置，例如行動電話終端。在接收節點3，封包接收部9接收了封包組8時，延遲時間測定部10測定每個封包的延遲時間。因為封包傳送部7是依據封包P1,P2,...,Pm的順序傳送，封包接收部9基本上是依據封包P1,P2,...,Pm的順序接收。在此，封包P1,P2,...,Pm個別的延遲時間為t1,t2,...,tm。封包選擇部11依據延遲時間為t1,t2,...,tm和該封包的資料量，在延遲時間可容許的封包當中，選擇資料量最大的並將之輸出。
一般而言，資料量越小的封包在網路中的延遲時 間越短，相反地，資料量越大的封包在網路中的延遲時間越長。有鑑於此，封包選擇部11，依序判別按照封包P1,P2,...,Pm的順序依序接收的封包的延遲時間，當判別某個封包的延遲時間超過容許範圍時，就選擇該封包的之前的封包。在此情況下，對於之後的封包，可以不用進行基於延遲時間的判別，直接將之丟棄。
例如，依據封包P3的延遲時間t3執行判別，當判別封包P3大幅延遲時，封包選擇部11選擇在封包P3的之前接收的封包P2。如上述，資料量越小的封包其延遲時間越短。因此，只要通信量的混雜狀況不急遽變化，在對應於影像資訊X4的封包當中，在先接收的封包P1和封包P2沒有檢出大幅的延遲，而在封包P3檢出大幅延遲，則之後的封包P4,P5,...,Pm可以認定為也會有大幅的延遲。基於此種認定，可以省略在封包P4之後的基於延遲時間的判別，另外，封包本身也可以直接丟棄。
另外，因為是依序資料量從小到大的順序傳送封包P1,P2,...,Pm，所以，在被判別為大幅延遲的封包之前接收的封包，就是低延遲接收的封包當中，資料量最大的一個。例如上述，m等於4，分別以128kbps、256kbps、512kbps、1Mbps的位元率，將影像資訊X4編碼及封包化以傳送資料d1,d2,...,d4。此時，封包選擇部11判別為，儲存m等於3(也就是以512kbPs的資料速率編碼)的資料d3的封包P3的延遲時間t3大幅延遲。此時，在封包P3之前接收的封包P1及封包P2都到達接收節點3且都沒有大幅延遲，但這些封包P1及封包P2當中資料量最大的，是在封包P3前一個接收的封包P2。
如此，封包選擇部11依據延遲時間，選擇封包組8中的任一個封包並將之輸出時，解碼器12將儲存該封包的資料解碼以輸出影像資訊X’13。藉此，相較於僅傳送以單一的資料率產生的封包的情況，在接收節點3中，能夠依據對應於封包通信網的混雜狀況以更大的資料速度編碼的資料，將影像資訊X’13解碼。
或者，接收節點3，也可以透過封包送信部14，將在封包選擇部11選擇的封包轉送到其他的封包通信裝置。在此，接收節點3為一般的封包通信裝置，更具體言之，為執行封包資料通信的無線通信裝置為佳(例如行動電話終端)，不過，也可以是設置在網際網路等的網路上的伺服器裝置、客戶端裝置。第3節點不需要像第2節點那樣進行封包選擇，而將所接收的封包直接解碼。
茲針對作為本發明第2實施形態的遠端型行動通信系統100進行說明。參見第2圖，其顯示在遠端型行動通信系統100中，使用移動網路150作為網路的例子。另外，顯示使用SGSN/GGSN裝置作為封包轉送裝置時的構成。在此，SGSN/GGSN裝置係表示SGSN(Serving GPRS Support Node)裝置和GGSN(Gateway GPRS Support Node)裝置一體化之裝置。另外，在第2圖中顯示，精簡客戶端的伺服器裝置110配置在雲端網130，雲端網130和移動網路150連接的構成，以作為一個例子。
在第2圖中，使用者操作行動終端170，使其和配置於雲端網130的伺服器裝置110的虛擬客戶端連接，並以彷彿 操作實體終端的方式操作該虛擬客戶端。因此，從搭載於行動終端170的客戶端軟體，經過移動網路150上的基地局194、RNC裝置195及SGSN/GGSN裝置190，將儲存了操作信號的封包送出到伺服器裝置110。在此，操作信號為，依據在行動終端170的按鍵操作、對畫面的觸碰操作、文字輸入、捲動等的操作，從行動終端170的客戶端軟體傳送到伺服器裝置110的信號。
從搭載於行動終端170的客戶端軟體中的封包送信部送出的操作信號封包，透過在移動網路150上的基地局194、RNC裝置195及SGSN/GGSN裝置190，到達雲端網130的伺服器裝置110，伺服器裝置110接收上述操作信號。在此，送出該操作信號時的協定可以使用周知的協定，但在此，使用TCP/IP還有其上層的HTTP。另外，除了HTTP以外，還可以使用會話初始化協定(SIP,Session Initiation Protocol)。
第3圖為顯示伺服器裝置110構成的方塊圖。。
操作信號封包受信部182，從行動終端170的客戶端軟體，經由基地局194、RNC裝置195及SGSN/GGSN裝置190，接收儲存了操作信號的封包。操作信號封包受信部182，從已接收的操作信號TCP/IP封包中抽出操作信號，並輸出到虛擬客戶端部211。
虛擬客戶端部211具有對應於各種服務的應用程式、控制部、畫面產生部、快取記憶體等。另外，其係為從伺服器裝置110的外部可以容易地進行該應用程式之更新的構成。另外，雖然在第3圖中並未記載，虛擬客戶端部在主機端OS上建構虛擬環境，並在其上作動客戶端OS，在客戶端OS上 使虛擬客戶端動作。在此，主機端OS或客戶端OS可以使用任意的OS。虛擬客戶端部211解析從操作信號封包受信部182輸入的操作信號，啟動由該操作信號指定的應用程式。以事先設定的畫面解析度產生由應用程式做出的畫面，並輸出至影像捕獲部180。
影像捕獲部180依據事先設定的畫面解析度及事先設定的訊框率捕獲上述畫面，並將之輸出。
可以用影像編碼器將畫面整體壓縮編碼，也可以將畫面分割為複數(例如2)個區域，並在每個區域使用不同的影像編碼器進行壓縮編碼。在此係顯示，將畫面分割為2種區域，並在每個區域使用不同的影像編碼器的例子。在此之一例為，以動畫區域及其以外的區域作為區域。
分割部184，將捕獲到的畫面分割為事先設定尺寸的複數個方塊。在此，方塊的尺寸為，例如16畫素×16行，但也可以用其他的尺寸，例如8畫素×8行。方塊的尺寸越小則判別部的判別精度提高，但是處理量也增加。分割部184將已分割的方塊輸出到判別部185。
判別部185的構成顯示於第4圖。在此，在本實施例中，針對畫面的區域判別為2種類的情況進行說明。在此，所謂的2種係為動畫區域和其他區域。另外，係使用動作向量作為在判別部中所使用的影像特徵量。
在第4圖中，動作向量算出部201，針對每個方塊，算出使得例如後述的式1的Dk最小的動作向量Vk(dx,dy)。
在此，f_n_k(Xi,Yj)、f_n-1(Xi,Yj)分別為，第n個訊框的第k個方塊中的畫素、以及第n-1個訊框的第k個方塊中的畫素。
繼之，動作向量算出/判別部201，針對各方塊，依據後述的式2及式3求出動作向量的大小及方向。
在此，Vk為第k個分塊中的動作向量的大小，而θk表示第k個方塊中的動作向量的角度(方向)。
繼之，區域判別部202，針對複數個連續的方塊調查其Vk和θk，在連續的複數個方塊中，Vk超過事先設定的閾值，而且，θk分散的情況下，判別這些方塊為動畫區域。在此，第1區域係表示動畫區域。
再者，在連續的複數方塊中，Vk超過閾值但θk表示幾乎一樣的角度的情況下，不視為是動畫區域，而判別為由畫面捲動而造成的移動區域。
區域判別部202，將表示是否為動畫區域的判別旗標、以及在動畫區域的情況下的區域的範圍，輸出到第3圖的 影像編碼部186。在此，以整形為矩形區域的區域作為動畫區域，區域的範圍為，該矩形區域的水平方向的畫素數及垂直方向的行數，以及包含於該區域內的方塊的號碼和方塊的尺寸。
繼之，動畫區域以外的其他的區域為，例如，判別為移動區域或靜止區域，將判別旗標和區域的範圍輸出到第3圖的影像編碼部186。
繼之，使用第5圖說明影像編碼部186的構成。在第5圖中，縮小處理部225和第2影像編碼部228從影像捕獲部180接收捕獲影像，從分割部184輸入用以分割的方塊的尺寸，從判別部185輸入判別旗標、動畫區域的範圍以及其他區域(例如移動區域或靜止區域)的範圍。
繼之，縮小處理部225，在有動畫區域的情況下，判斷作為動畫區域的尺寸之水平方向的畫素數及垂直方向的行數是否超過事先設定的尺寸。在此，事先設定的尺寸為，例如QVGA尺寸。如果動畫區域的尺寸超過QVGA尺寸時，對於包含於動畫區域的影像，為使其成為QVGA尺寸，計算縮小濾波器將影像縮小後，將縮小後的影像輸出到第1影像編碼部227。在此情況下，因為已將第1區域的尺寸縮小，所以將變更前的尺寸作為動畫區域的範圍輸出到第1影像編碼部227。如果動畫區域的尺寸沒有超過事先設定的尺寸時，就不執行縮小濾波器的計算，直接將動畫區域的影像輸出到第1影像編碼部227，並直接將動畫區域的尺寸直接輸出到第1影像編碼部227。
繼之，第1影像編碼部227輸入動畫區域的影像信號，使用事先設定的動畫編碼器，壓縮編碼為複數位元率之 後，將複數位元率的位元流輸出到第3圖的第1封包送信部176。在此，複數的位元率可以使用如，依據終端的影像尺寸或使用的網路的種類等的資訊，從事先設定的位元率中選擇，或者，在會話開始時從終端接收上述的資訊並進行選擇等的構成。在此以使用4種位元率(128kbps、256kbps、512kbps、1Mbps)作為一例。另外，在此使用H.264作為事先設定的動畫編碼器，但也可以使用其他的周知的動畫編碼解碼器，例如H.264 SVC(Scalable Codec)、MPEG-4、MPEG-4 SVC(Scalable Codec)等。藉由使用H.264 SVC或MPEG-4 SVC，在執行複數位元率的編碼時能夠減少編碼的處理量。第1影像編碼部227更將動畫區域的資訊輸出到第3圖的第1封包送信部176。
繼之，第2影像編碼部228，輸入其他區域的資訊，在靜止影像的情況下，使用靜止影像編碼解碼器，將影像壓縮編碼為複數位元率，並將該等複數位元率的位元流輸出到第3圖的第1封包送信部176。在此，靜止影像編碼解碼器係使用小波(wavelet)編碼器或JPEG2000，但也可以使用其他的周知的編碼解碼器，例如JPEG等。另外，在使用小波編碼器或JPEG2000的情況下，如第6圖所示，依據所使用的小波變換的性質，對於小波變換後的係數，在低域到高域之間，針對LL、LH、HL、HH之4種的區域中每一者，能夠分別得到B1、B2、B3、B4的壓縮編碼位元流，所以，利用此一性質，能夠以B1、B1+B2、B1+B2+B3、B1+B2+B3+B4的位元流作為4種位元率的位元流，輸出到第2影像編碼部228。這樣的方式是在終端不容易產生畫質劣化的構成。另外，第2影像編碼部228，將 其他區域的資訊也輸出到第3圖的第1封包送信部176。
在移動區域的情況下，將移動前的影像用靜止影像編碼解碼器予以壓縮編碼後的位元流、以及代表的動作向量輸出到1種類的第3圖的第1封包送信部176。再者，將其他區域的資訊也輸出到第3圖的第1封包送信部176。
繼之，在影像還伴隨音訊的情況下，第3圖的音訊編碼部187，從影像捕獲部180輸入伴隨在影像的音訊信號，用音訊編碼器將之壓縮編碼並輸出至第3圖的第2封包送信部177。在此，係使用MPEG-4 AAC作為音訊編碼器，但也可以使用其他周知的音訊編碼器。
回到第3圖，第1封包送信部176從第5圖的第1影像編碼部227和第2影像編碼部228輸入區域資訊，在動畫區域的情況下，從第5圖的第1影像編碼部輸入4種位元率的壓縮編碼位元流，並建構4種的儲存各位元流的封包。亦即，將各位元流資料儲存在事先設定的協定的封包的負載中，在事先設定的時間區間內，將4種類的封包依據事先設定的順序排列，僅相隔短時間間隔，將4種類的封包連續地送出到第2圖的SGSN/GGSN裝置190。在此，所謂的事先設定的時間間隔為，從低位元率到高位元率的順序，在前述的位元率的例子中，為128kbps、256kbps、384kbps、512kbps的順序。
繼之，在其他區域的情況下，從第5圖的第2影像編碼部228輸入例如4種的位元率的位元流，並建構4種的封包。亦即，將各位元流儲存在事先設定的協定的封包的負載中，在事先設定的時間區間內，將4種類的封包依據事先設定 的順序排列，僅相隔短時間間隔，將4種類的封包連續地送出到第2圖的SGSN/GGSN裝置190。在此，所謂的事先設定的時間間隔為，從低位元率到高位元率的順序。
再者，事先設定的協定為，可以使用例如UDP/IP。也可以使用其他的周知的協定，例如RTP/UDP/IP等。另外，事先設定的時間區間可以使用例如數10毫秒到100毫秒的時間區間。另外，短時間間隔可以使用數毫秒到數10毫秒。
另外，區域的資訊可以儲存在RTP標頭部或UDP標頭部，也可以儲存在負載部。
第2封包送信部177，將音訊信號壓縮編碼的位元流儲存在封包的負載中，並依據事先設定的協定建構封包，再將其送出到SGSN/GGSN裝置190。在此，可以使用RTP/UDP/IP、UDP/IP、TCP/IP等周知的協定作為事先設定的協定，不過在此係使用UDP/IP作為一例。
SGSN/GGSN裝置190，將從伺服器裝置110接收的封包依據GTP-U協定穿隧(tunneling)並轉送至RNC裝置195，RNC裝置195通過基地局194藉由無線方式送出到行動終端170。
在本發明中，在行動終端170搭載客戶端軟體171，用以將使用者操作終端時的操作信號送出到伺服器，同時，接收來自伺服器的封包將壓縮編碼位元流解碼並顯示。
首先，在第8圖中顯示第7圖中第1封包接收/延遲計測/選擇部250的構成。在第8圖中，封包受信部270針對各動畫區域及其他區域，接收連續的複數個封包。對於動畫區域，從 位元率低的封包開始依序接收，取出儲存於4種的連續封包中的動畫區域資訊、接收時間R(j)、送信時間S(j)(1j4)，從4個封包的負載中取出位元流資訊，並將其輸出至延遲計測部271_1。
針對各封包，使用S(j)和R(j)，依據後述式4，分別針對4個封包中每一者計算其延遲時間D(j)。
D(j)=R(j)-S(j)…(式4)
在此，D(j)表示第j個封包的延遲時間。將這些延遲時間D(j)和已抽出的4種的位元流和動畫區域資訊輸出到選出部272_1。
選出部272_1執行D(j)的比較，選出延遲時間Dj突然變大之前的封包的位元流。例如，設若D1=100毫秒、D2=120毫秒、D3=118毫秒、D4=250毫秒，則突然變大的延遲時間為第4個封包的D4，所以在其之前的封包為第3個封包，在此例子中為選擇第3個封包，亦即儲存於384kbps的位元率的封包的負載部份的位元流。繼之，將所選擇的位元流及動畫區域資訊輸出到第7圖的第1影像解碼器252。
另一方面，對於其他區域也進行同樣的動作。封包受信部270，對於其他的區域，接收連續的複數封包。對於該其他區域，從位元率低的封包開始依序接收，取出儲存於4種的連續封包中的其他區域資訊、接收時間R’(m)、送信時間S’(m)(1m4)，從4個封包的負載中取出位元流資訊，並將其輸出至延遲計測部271_2。
針對各封包，使用S’(m)和R’(m)，依據後述式5，分別針對4個封包中每一者計算其延遲時間D’(m)。
D'(m)=R'(m)-S'(m)…(式5)
在此，D’(m)表示第m個封包的延遲時間。將這些延遲時間D’(m)和已抽出的4種的位元流和其他區域資訊輸出到選出部272_2。
選出部272_2執行D’(m)的比較，選出延遲時間D’(m)突然變大之前的封包的位元流。繼之，將所選擇的位元流及其他區域資訊輸出到第7圖的第2影像解碼器253。
回到第7圖，第1影像解碼器252，連同動畫區域資訊，輸入在第1封包接收/延遲計測/選擇部250中被選出的位元率的位元流，將該位元流解碼並輸出到放大處理部254。再將動畫區域資訊也輸出到放大處理部254。在此，使用H.264解碼器作為第1影像解碼器，不過，也可以使用其他的周知的影像解碼器，例如，H.264 SVC解碼器、MPEG-4 SVC解碼器、MPEG-4解碼器等。不過，無須特別說明，在此當然是使用相同於在伺服器的第1影像編碼器227同樣的種類。
繼之，放大處理部254，輸入解碼後的影像信號和動畫區域資訊。首先，使用解碼後的影像信號，算出解碼後的影像信號的區域的尺寸(在後文表示為A)，和依據動畫區域資訊的動畫區域的尺寸(在後文中表示為B)比較。在A<B的情況下，依據周知的濾波器演算對於解碼後的影像信號施以放大處理，使得A和B一致，再將成為B的尺寸的影像信號輸出到 影像顯示部256。另外，若兩者一致，則略過放大處理，將解碼的影像信號直接輸出到影像顯示部256。再將動畫區域資訊輸出到影像顯示部256。
第2影像解碼器253，連同其他區域資訊，輸入在第1封包接收/延遲計測/選擇部250中被選出的位元率的位元流，針對該其他區域，將位元流解碼並輸出到影像顯示部256。再將其他區域資訊也輸出到影像顯示部256。
影像顯示部256，從放大處理部254輸入動畫區域資訊和動畫區域中的影像信號，並從第2影像解碼器253輸入其他區域資訊和該其他區域中的影像信號，使用第1區域資訊在第1區域顯示來自放大處理部254的輸出影像，並使用該其他區域資訊，在其他區域中顯示來自第2影像解碼器253的輸出影像，藉此，將各區域的影像信號組合以產生及輸出顯示畫面。
第2封包受信部251，接收封包，取出與儲存於封包中的音訊相關的壓縮編碼位元流，並輸出到音訊解碼器255。
音訊解碼器255，輸入該壓縮編碼位元流並將之解碼後，與其和畫面部分同步並輸出。在此，可以使用MPEG-4AAC作為音訊解碼器，不過，也可以使用其他周知的音訊解碼器。不過，無須特別說明，在此當然是使用相同於在伺服器的音訊編碼器同樣的種類。
操作信號產生部257，檢出使用者對行動終端170輸入的操作(例如，畫面碰觸、畫面捲動、圖標碰觸、文字輸入等)，針對各個操作產生操作信號並輸出到封包送信部258。
封包送信部258，輸入操作信號，依據事先設定的 協定儲存在封包中，並送出至網路。在此，可以使用TCP/IP、UDP/IP等作為事先設定的協定。
依據本實施形態，將透過網路使用精簡客戶端在伺服器端產生的畫面壓縮編碼，並透過網路轉送到終端的情況下，使用實際轉送的複數種類的位元率的位元流，從伺服器轉送封包，對終端所接收的封包算出各個的延遲時間，選擇延遲時間沒有增加的封包的位元流並將之解碼及顯示，因此，即使是在頻域寬比較狹窄的網路中，即使是網路的頻域變動，也能夠在延遲時間不增加且畫面不凍結的情況下，使用精簡客戶端。
上述雖已說明本發明的實施形態，但並不以此為限。
在判別部判別的畫面區域的種類也可以有3種以上。另外，區域判別所使用的影像特徵量也可以使用動作向量以外的特徵量，也可以將複數種類的特徵量組合使用。
另外，為了減少判別處理的處理量等，可以用1種類的區域，並且不進行區域分割或區域的判別，僅使用1種的影像編碼器及影像解碼器。僅有1種類的情況下，可以使用動畫編碼器/解碼器或者靜止影像編碼器/解碼器作為影像編碼器/解碼器。
在第2圖中，移動網路150可以為移動LTE/EPC網路，也可以為WiMax網路或WiFi網路。而且，也可以為固定網路或NGN網路或網際網路。不過，在這些情況下，就不是和行動終端連接，而是和固定終端或個人電腦連接。
在第2圖中，係將伺服器裝置配置在雲端網，不過也可以配置在網際網路。另外，將精簡客戶端的伺服器配置在企業的情況下，可以將伺服器裝置配置在企業網路中。另外，另一構成為，通信事業者自己配置精簡客戶端的伺服器的情況下，可以將伺服器裝置110配置在移動網路150上或固定網路上或NGN網路上。
上述實施形態的一部份或全部也記載如後，但並不以此為限。
(附記1)
一種封包通信系統，其包括第1節點及第2節點，其中，第1節點包括：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該第1節點之第2節點；其中，第2節點包括：延遲時間測定手段，其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者；及解碼手段，其依據該已選擇的封包，將該影像資訊解碼。
(附記2)
如附記1所述之封包通信系統，其中該封包傳送手段依據資料量少到多的順序依序傳送上述複數個封包P1,P2,...,Pm，該封包選擇手段，每當分別接收到上述複數個封包中的各個封包時，依據該封包的該延遲時間執行針對該封包的可否判別，當判別為否的時候，選擇在該封包之前被接收的封包。
(附記3)
如附記1或2所述之封包通信系統，將一張影像分割為複數個影像區域，將一個影像區域作為該影像資訊傳送。
(附記4)
如附記3所述之封包通信系統，依據該影像區域的影像特徵量，將該複數個影像區域分別分類到複數種類中的任一種，將分類為事先設定的種類之影像區域作為該影像資訊傳送。
(附記5)
一種封包通信裝置，其包括：封包接收手段，其透過封包通信網，接收複數個封包P1,P2,...,Pm，該封包係將欲傳送的影像資訊編碼，各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；延遲時間測定手段，其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者；及解碼手段，其依據該已選擇的封包，將該影像資訊解碼。
(附記6)
附記5所述之封包通信裝置，其中該封包接收手段依據資料量少到多的順序依序接收上述複數個封包P1,P2,...,Pm，該封包選擇手段，每當分別接收到上述複數個封包中的各個封包時，依據該封包的該延遲時間執行針對該封包的可否判別，當判別為否的時候，選擇在該封包之前被接收的封包。
(附記7)
如附記5或6中任一項所述之封包通信裝置，將一枚影像分割為複數影像區域，並將一個影像區域作為該影像資訊傳送。
(附記8)
如附記7所述之封包通信裝置，依據該影像區域的影像特徵量，將該複數個影像區域分別分類到複數種類中的任一種，將分類為事先設定的種類之影像區域作為該影像資訊傳送。
(附記9)
一種封包通信裝置，其包括：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該封包通信裝置之對象封包通信裝置；其中該對象封包通信裝置測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者，並依據該已選擇的封 包，將該影像資訊解碼。
(附記10)
附記9所述之封包通信裝置，其中該封包傳送手段依據資料量少到多的順序依序傳送上述複數個封包P1,P2,...,Pm，該對象封包通信裝置，每當分別接收到上述複數個封包中的各個封包時，依據該封包的該延遲時間執行針對該封包的可否判別，當判別為否的時候，選擇在該封包之前被接收的封包。
(附記11)
附記9及10中任一項所述之封包通信裝置，將一張影像分割為複數個影像區域，將一個影像區域作為該影像資訊傳送。
(附記12)
附記11項所述之封包通信裝置，依據該影像區域的影像特徵量，將該複數個影像區域分別分類到複數種類中的任一種，將分類為事先設定的種類之影像區域作為該影像資訊傳送。
(附記13)
一種程式，其用以使得電腦作動以作為：封包接收手段，其透過封包通信網，接收複數個封包P1,P2,...,Pm，該封包係將欲傳送的影像資訊編碼，各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；延遲時間測定手段，其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者；及 解碼手段，其依據該已選擇的封包，將該影像資訊解碼。
(附記14)
附記13記載的程式，其中該封包接收手段依據資料量少到多的順序依序接收上述複數個封包P1,P2,...,Pm，該封包選擇手段，每當分別接收到上述複數個封包中的各個封包時，依據該封包的該延遲時間執行針對該封包的可否判別，當判別為否的時候，選擇在該封包之前被接收的封包。
(附記15)
如附記13及14中任一項所述之程式，將一張影像分割為複數個影像區域，將一個影像區域作為該影像資訊傳送。
(附記16)
附記15記載的程式，依據該影像區域的影像特徵量，將該複數個影像區域分別分類到複數種類中的任一種，將分類為事先設定的種類之影像區域作為該影像資訊傳送。
(附記17)
一種程式，其用以使得電腦作動以作為：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該封包通信裝置之對象封包通信裝置；其中該對象封包通信裝置測定上述複數個封包P1,P2,...,Pm 個別的延遲時間t1,t2,...,tm，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者，並依據該已選擇的封包，將該影像資訊解碼。
(附記18)
如附記17所記載的程式，依據資料量少到多的順序依序傳送上述複數個封包P1,P2,...,Pm，該對象封包通信裝置，每當分別接收到上述複數個封包中的各個封包時，依據該封包的該延遲時間執行針對該封包的可否判別，當判別為否的時候，選擇在該封包之前被接收的封包。
(附記19)
如附記17或附記18所記載的程式，將一張影像分割為複數個影像區域，將一個影像區域作為該影像資訊傳送。
(附記20)
如附記19所記載的程式，依據該影像區域的影像特徵量，將該複數個影像區域分別分類到複數種類中的任一種，將分類為事先設定的種類之影像區域作為該影像資訊傳送。
(附記21)
一種影像資訊的傳送方法，在透過封包通信網將影像資訊從第1節點傳送到第2節點時，包含後述階段：封包產生階段，將欲傳送的影像資訊編碼，並在該第1節點產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；封包傳送階段，其透過封包通信網，將上述複數個封包 P1,P2,...,Pm從該第1節點傳送至該第2節點；延遲時間測定階段，其在該第2節點測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇階段，在該第2節點，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者；及解碼階段，其依據該已選擇的封包，將該影像資訊解碼。
(附記22)
如附記21所記載的方法，在該封包傳送階段中，依據資料量少到多的順序依序傳送上述複數個封包P1,P2,...,Pm，該封包選擇階段中，每當分別接收到上述複數個封包中的各個封包時，依據該封包的該延遲時間執行針對該封包的可否判別，當判別為否的時候，選擇在該封包之前被接收的封包。
(附記23)
如附記21及22中任一項所記載的方法，將一張影像分割為複數個影像區域，將一個影像區域作為該影像資訊傳送。
(附記24)
如附記23所記載的方法，依據該影像區域的影像特徵量，將該複數個影像區域分別分類到複數種類中的任一種，將分類為事先設定的種類之影像區域作為該影像資訊傳送。
本申請以2012年9月27日提出申請的日本專利申請案第2012-214170號為基礎，主張優先權，其揭露的所有內容均納入本案。
1‧‧‧影像資訊傳送系統
2‧‧‧傳送節點
3‧‧‧接收節點
4‧‧‧影像資訊X
5‧‧‧編碼器
6‧‧‧可變長封包產生部
7‧‧‧封包傳送部
8‧‧‧封包組
9‧‧‧封包接收部
10‧‧‧延遲時間測定部
11‧‧‧封包選擇部
12‧‧‧解碼器
13‧‧‧影像資訊X’
14‧‧‧封包送信部

Claims (10)

  1. 一種封包通信系統，其包括第1節點及第2節點，其中，第1節點包括：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該第1節點之第2節點；其中，第2節點包括：延遲時間測定手段，其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者；及解碼手段，其依據該已選擇的封包，將該影像資訊解碼。
  2. 如申請專利範圍第1項所述之封包通信系統，其中該封包傳送手段依據資料量少到多的順序依序傳送上述複數個封包P1,P2,...,Pm，該封包選擇手段，每當分別接收到上述複數個封包中的各個封包時，依據該封包的該延遲時間執行針對該封包的可否判別，當判別為否的時候，選擇在該封包之前被接收的封包。
  3. 如申請專利範圍第1或2項所述之封包通信系統，將一張影像分割為複數個影像區域，將一個影像區域作為該影像資 訊傳送。
  4. 如申請專利範圍第3項所述之封包通信系統，依據該影像區域的影像特徵量，將該複數個影像區域分別分類到複數種類中的任一種，將分類為事先設定的種類之影像區域作為該影像資訊傳送。
  5. 一種封包通信方法，其包括：封包接收手段，其透過封包通信網，接收複數個封包P1,P2,...,Pm，該封包係將欲傳送的影像資訊編碼，各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；延遲時間測定手段，其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者；及解碼手段，其依據該已選擇的封包，將該影像資訊解碼。
  6. 如申請專利範圍第5項所述之封包通信方法，其中該封包接收手段依據資料量少到多的順序依序接收上述複數個封包P1,P2,...,Pm，該封包選擇手段，每當分別接收到上述複數個封包中的各個封包時，依據該封包的該延遲時間執行針對該封包的可否判別，當判別為否的時候，選擇在該封包之前被接收的封包。
  7. 一種封包通信方法，其包括：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個 封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該封包通信裝置之對象封包通信裝置；其中該對象封包通信裝置測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者，並依據該已選擇的封包，將該影像資訊解碼。
  8. 一種電腦程式產品，其用以使得電腦作動以作為：封包接收手段，其透過封包通信網，接收複數個封包P1,P2,...,Pm，該封包係將欲傳送的影像資訊編碼，各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；延遲時間測定手段，其測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇手段，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者；及解碼手段，其依據該已選擇的封包，將該影像資訊解碼。
  9. 一種電腦程式產品，其用以使得電腦作動以作為：封包產生手段，將欲傳送的影像資訊編碼，並產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合 q1<q2<...<qm的關係；及封包傳送手段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm傳送至相異於該封包通信裝置之對象封包通信裝置；其中該對象封包通信裝置測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者，並依據該已選擇的封包，將該影像資訊解碼。
  10. 一種影像資訊的傳送方法，在透過封包通信網將影像資訊從第1節點傳送到第2節點時，包含後述階段：封包產生階段，將欲傳送的影像資訊編碼，並在該第1節點產生複數個封包P1,P2,...,Pm，其中各個封包對應該影像資訊，而且，各個封包的資料量q1,q2,.....,qm(m為2以上的自然數)符合q1<q2<...<qm的關係；封包傳送階段，其透過封包通信網，將上述複數個封包P1,P2,...,Pm從該第1節點傳送至該第2節點；延遲時間測定階段，其在該第2節點測定上述複數個封包P1,P2,...,Pm個別的延遲時間t1,t2,...,tm；封包選擇階段，在該第2節點，依據上述延遲時間t1,t2,...,tm，選擇上述複數個封包P1,P2,...,Pm當中的一者；及解碼階段，其依據該已選擇的封包，將該影像資訊解碼。
TW102132535A 2012-09-27 2013-09-10 影像資訊傳送方法以及封包通信系統 TWI566550B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012214170 2012-09-27

Publications (2)

Publication Number Publication Date
TW201424300A TW201424300A (zh) 2014-06-16
TWI566550B true TWI566550B (zh) 2017-01-11

Family

ID=50387954

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102132535A TWI566550B (zh) 2012-09-27 2013-09-10 影像資訊傳送方法以及封包通信系統

Country Status (7)

Country Link
US (1) US20150256443A1 (zh)
EP (1) EP2903223A4 (zh)
JP (1) JP5854247B2 (zh)
KR (1) KR101640851B1 (zh)
CN (1) CN104685840A (zh)
TW (1) TWI566550B (zh)
WO (1) WO2014050547A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079044A (zh) * 2014-09-25 2017-08-18 交互数字专利控股公司 用于内容感知缓存的过程和用于多点协作传输的无线电资源管理
WO2016099467A1 (en) * 2014-12-16 2016-06-23 Hewlett-Packard Development Company, L.P. Processing data in a thin client terminal
KR102594608B1 (ko) * 2016-12-06 2023-10-26 주식회사 알티캐스트 하이브리드 유저 인터페이스 제공 시스템 및 그 방법
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003084172A1 (en) * 2002-03-27 2003-10-09 British Telecommunications Public Limited Company Data streaming system and method
US6879727B2 (en) * 2000-03-30 2005-04-12 Canon Kabushiki Kaisha Decoding bit-plane-encoded data using different image quality for display
US20050195750A1 (en) * 2000-03-28 2005-09-08 Khiem Le Method and system for transmitting and receiving packets
EP1715692A1 (en) * 2004-01-28 2006-10-25 NEC Corporation Content encoding, distribution, and reception method, device, and system, and program
US20100020682A1 (en) * 2006-09-12 2010-01-28 Yamaha Corporation Communication device, communication method, and recording medium

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03240981A (ja) * 1990-02-15 1991-10-28 Nisshin Steel Co Ltd 鋼板変色防止剤
US6804403B1 (en) * 1998-07-15 2004-10-12 Digital Accelerator Corporation Region-based scalable image coding
US7327761B2 (en) * 2000-02-03 2008-02-05 Bandwiz Inc. Data streaming
US7068683B1 (en) * 2000-10-25 2006-06-27 Qualcomm, Incorporated Method and apparatus for high rate packet data and low delay data transmissions
JP2002135322A (ja) * 2000-10-30 2002-05-10 Nec Corp 音声符号化自動選択器
US7668968B1 (en) * 2002-12-03 2010-02-23 Global Ip Solutions, Inc. Closed-loop voice-over-internet-protocol (VOIP) with sender-controlled bandwidth adjustments prior to onset of packet losses
US20040240390A1 (en) * 2003-05-30 2004-12-02 Vidiator Enterprises Inc. Method and apparatus for dynamic bandwidth adaptation
US7054774B2 (en) * 2003-06-27 2006-05-30 Microsoft Corporation Midstream determination of varying bandwidth availability
EP2415215A1 (en) * 2009-04-02 2012-02-08 Nokia Siemens Networks OY Method and device for data processing in a communication network
JP5538792B2 (ja) * 2009-09-24 2014-07-02 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP5685913B2 (ja) * 2009-12-11 2015-03-18 日本電気株式会社 ネットワーク帯域計測システム、ネットワーク帯域計測方法およびプログラム
JP5434570B2 (ja) * 2009-12-22 2014-03-05 日本電気株式会社 ストリーム配信装置
JP2011193357A (ja) 2010-03-16 2011-09-29 Nec Personal Products Co Ltd サーバ装置、クライアント端末、通信システム、制御方法及びプログラム
JP5686133B2 (ja) * 2010-04-23 2015-03-18 日本電気株式会社 利用可能帯域計測システム、送信装置、利用可能帯域計測方法およびプログラム
CN101888544B (zh) * 2010-06-30 2012-05-30 杭州海康威视数字技术股份有限公司 一种低带宽的视频数据传输方法和硬盘录像机
KR20120058763A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 영상 장치에서 영상 데이터를 송신하기 위한 장치 및 방법
KR101640852B1 (ko) * 2012-09-27 2016-07-19 닛본 덴끼 가부시끼가이샤 음성 정보 전송 방법 및 패킷 통신 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195750A1 (en) * 2000-03-28 2005-09-08 Khiem Le Method and system for transmitting and receiving packets
US6879727B2 (en) * 2000-03-30 2005-04-12 Canon Kabushiki Kaisha Decoding bit-plane-encoded data using different image quality for display
WO2003084172A1 (en) * 2002-03-27 2003-10-09 British Telecommunications Public Limited Company Data streaming system and method
EP1715692A1 (en) * 2004-01-28 2006-10-25 NEC Corporation Content encoding, distribution, and reception method, device, and system, and program
US20100020682A1 (en) * 2006-09-12 2010-01-28 Yamaha Corporation Communication device, communication method, and recording medium

Also Published As

Publication number Publication date
TW201424300A (zh) 2014-06-16
EP2903223A4 (en) 2016-05-04
EP2903223A1 (en) 2015-08-05
JPWO2014050547A1 (ja) 2016-08-22
JP5854247B2 (ja) 2016-02-09
US20150256443A1 (en) 2015-09-10
KR101640851B1 (ko) 2016-07-19
WO2014050547A1 (ja) 2014-04-03
KR20150040942A (ko) 2015-04-15
CN104685840A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
CN108810636B (zh) 视频播放方法、虚拟现实设备、服务器、系统及存储介质
CN106851281B (zh) 实时视频传输的初始带宽估计
KR101667970B1 (ko) 서버 장치, 단말, 씬 클라이언트 시스템, 화면 송신 방법 및 프로그램
CN106973294B (zh) 实时视频传输的初始带宽估计
TWI566550B (zh) 影像資訊傳送方法以及封包通信系統
WO2011142311A1 (ja) リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法
US20170094296A1 (en) Bandwidth Adjustment For Real-time Video Transmission
CN107438187B (zh) 实时视频传输的带宽调整
JP5505507B2 (ja) サーバ装置、映像品質計測システム、映像品質計測方法およびプログラム
KR20150034778A (ko) 리모트 통신 시스템, 서버 장치, 리모트 통신 방법, 및 프로그램
TWI519104B (zh) 聲音資訊傳送方法以及封包通信系統
KR101632012B1 (ko) 통신 시스템, 서버 장치, 서버 장치의 제어 방법 및 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체
WO2013100754A1 (en) A system and method for adaptive media content delivery
WO2014057809A1 (ja) 動画伝送システム及び方法
WO2014042137A1 (ja) 通信システムと方法とサーバ装置及び端末
Boukerche et al. An adaptive rate control algorithm for real-time streaming of 3D image-based rendering over heterogeneous wireless networks
Boukerche et al. Design and Implementation of a Rate Control Mechanism for Image-based Virtual Exploration over Wireless Networks

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees