TW201933867A - 送訊裝置及送訊方法、以及程式 - Google Patents

送訊裝置及送訊方法、以及程式 Download PDF

Info

Publication number
TW201933867A
TW201933867A TW107134598A TW107134598A TW201933867A TW 201933867 A TW201933867 A TW 201933867A TW 107134598 A TW107134598 A TW 107134598A TW 107134598 A TW107134598 A TW 107134598A TW 201933867 A TW201933867 A TW 201933867A
Authority
TW
Taiwan
Prior art keywords
transmission
layer
underflow
processing unit
encoding
Prior art date
Application number
TW107134598A
Other languages
English (en)
Inventor
平尾秀友
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW201933867A publication Critical patent/TW201933867A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本揭露是有關於，能夠較低延遲而被再生地發送動態影像的送訊裝置及送訊方法、以及程式。 　　編碼部，係對動態影像，實施空間可調式編碼，送訊處理部，係將已被編碼部所編碼之每一圖層之圖像，透過網路而予以發送。然後，參照圖層控制處理部，係在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到收訊緩衝區中已經發生下溢之意旨之回饋的情況下，對編碼部進行控制，以把參照圖層限定成中介圖層。本技術係可適用於，例如，將動態影像予以編碼而發送的送訊裝置。

Description

送訊裝置及送訊方法、以及程式
本揭露係有關於送訊裝置及送訊方法、以及程式，尤其是有關於，能夠較低延遲而被再生地發送動態影像的送訊裝置及送訊方法、以及程式。
先前，將動態影像予以編碼並經由網路而發送，在遠端進行再生顯示的這類網路攝影機系統中，例如，為了不間斷地再生動態影像，必需要有某種程度的延遲。然而，該延遲較大的情況下，有時候會對網路攝影機系統所提供之機能帶來不良影響。
例如，將網路攝影機系統，利用於遠端間會進行雙向對話的通訊系統時，想定會因為延遲，導致從發話起到對方回應為止的時間會增大，而難以圓滑地進行對話。又，將網路攝影機系統利用於例如監視遠端之動態影像，隨著遠端之狀況而必需要採取應對的監視攝影機系統的情況下，想定會因為延遲，導致遠端之狀況所相應之應對變慢。
此處，在專利文獻1中係揭露，在使用可調式視訊編解碼器的視訊通訊系統中，例如可提高錯誤耐受性的技術。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本專利第5753341號
[發明所欲解決之課題]
如上述，於網路攝影機系統中，發送動態影像，到該動態影像被再生為止的延遲較大的情況下，由於會有各種不良影響，因此要求盡可能地抑制延遲，並且能無間斷地被再生地發送動態影像。
本揭露係有鑑於此種狀況而研發，其目的在於，能夠較低延遲而被再生地發送動態影像。 [用以解決課題之手段]
本揭露之一側面的送訊裝置，係具備：編碼部，係對動態影像，實施空間可調式編碼；和送訊處理部，係進行將已被前記編碼部所編碼之每一圖層之圖像，透過網路而予以發送之處理；和參照圖層控制處理部，係在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，對前記編碼部進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層。
本揭露之一側面的送訊方法，係含有：由發送動態影像之送訊裝置，對前記動態影像，實施空間可調式編碼之步驟；和進行將已被編碼之每一圖層之圖像，透過網路而予以發送之處理之步驟；和在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層之步驟。
本揭露的一側面或程式係為，用以令發送動態影像之送訊裝置的電腦，執行包含以下之處理：對前記動態影像，實施空間可調式編碼之步驟；和進行將已被編碼之每一圖層之圖像，透過網路而予以發送之處理之步驟；和在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層之步驟。
於本揭露之一側面中，係對動態影像，實施空間可調式編碼，進行將已被編碼之每一圖層之圖像，透過網路而予以發送之處理。然後，在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到收訊緩衝區中已經發生下溢之意旨之回饋的情況下，進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層。 [發明效果]
若依據本揭露之一側面，則可較低延遲而被再生地發送動態影像。
此外，並非一定限定於這裡所記載的效果，亦可為本揭露中所記載之任一效果。
以下針對適用了本技術的具體之實施形態，參照圖式而詳細說明。
＜網路攝影機系統之構成例＞ 　　圖1係適用了本技術的網路攝影機系統之一實施形態之構成例的區塊圖。
如圖1所示，網路攝影機系統11係由攝像裝置21、送訊裝置22、收訊裝置23、及顯示裝置24，透過網路25而被連接所構成。又，送訊裝置22係具備影像處理部31、編碼部32、送訊處理部33、及傳輸控制部34，傳輸控制部34係具有傳輸路徑選擇處理部35及參照圖層控制處理部36。又，收訊裝置23係具備收訊處理部41、解碼部42、及顯示處理部43，收訊處理部41係具有收訊緩衝區44。
攝像裝置21係具有例如CMOS (Complementary Metal Oxide Semiconductor)影像感測器等之攝像元件，會將藉由該攝像元件進行拍攝所得的動態影像，供給至送訊裝置22的影像處理部31。
影像處理部31，係對攝像裝置21所拍攝到的動態影像實施各種影像處理，例如實施將動態影像之位元速率或解析度、畫格速率等予以調整的影像處理，然後供給至編碼部32。
編碼部32，係可對從影像處理部31所被供給之動態影像，實施空間可調式編碼，將動態影像編碼所得之圖像(I圖像或P圖像等)之串流，供給至送訊處理部33。又，編碼部32，係在動態影像進行編碼之際，可依照傳輸控制部34所做的傳輸控制，而將參照圖層限定成中介圖層IL(參照圖7)。
送訊處理部33，係進行將從編碼部32所被供給之圖像之串流，透過網路25而發送至收訊裝置23的送訊處理。此時，送訊處理部33，係可以使用依照傳輸控制部34所做之傳輸控制的傳輸路徑，來發送圖像。
傳輸控制部34，係為了使得網路攝影機系統11中的動態影像之傳輸會是低延遲，而進行傳輸路徑選擇處理部35及參照圖層控制處理部36所做的傳輸控制。
傳輸路徑選擇處理部35，係一直監視著送訊處理部33所做的每一圖像之送出，將傳輸開始以前之延遲量、及傳輸開始後之速率加以取得，算出他們的統計值。然後，傳輸路徑選擇處理部35，係如參照後述圖6所說明，對送訊處理部33進行控制，以使其基於已算出之統計量與圖像之編碼量，選擇被預測為傳輸會較早完成的傳輸路徑，以該傳輸路徑來發送圖像。
參照圖層控制處理部36係例如，在傳輸路徑選擇處理部35基於已算出之統計值，而預測收訊緩衝區44中發生下溢之可能性為較高的情況下，則如參照後述圖7所說明，對編碼部32進行控制以使其將參照圖層限定成中介圖層IL。又，參照圖層控制處理部36，係亦可在從收訊裝置23側，收到收訊緩衝區44中已發生下溢之意旨的回饋的情況下，對編碼部32進行同樣的控制。
收訊處理部41，係將透過網路25而被傳輸過來的圖像予以接收，依序令其被暫時積存在收訊緩衝區44。然後，收訊處理部41，係依照畫格間隔而依序將已經到達顯示時序的圖像，從收訊緩衝區44予以讀出並供給至解碼部42。又，收訊處理部41，係在透過網路25的動態影像之傳輸中有發生延遲而導致顯示時序之圖像之收訊無法完成，收訊緩衝區44中發生下溢的情況下，則進行將該意旨通知給送訊裝置22側之回饋。
解碼部42，係將從收訊處理部41按照畫格間隔而被依序供給之圖像進行解碼所得之動態影像，供給至顯示處理部43。
顯示處理部43，係對從解碼部42所被供給之動態影像進行顯示處理，令顯示裝置24顯示出所被再生之動態影像。
顯示裝置24，係具有例如液晶面板或有機EL (Electro Luminescence)面板等之顯示裝置，會將已被顯示處理部43實施過顯示處理的動態影像予以顯示。
在如此所被構成的網路攝影機系統11中，可依照傳輸控制部34所做的傳輸控制，而降低從送訊裝置22所被發送之動態影像被收訊裝置23進行再生為止的延遲。
此處，在傳輸控制部34所做的傳輸控制的說明前，參照圖2及圖2，說明傳輸控制部34所做的傳輸控制未被進行的，動態影像的一般傳輸。
如圖2所示，在網路攝影機系統11中，編碼部32係將動態影像予以編碼，生成每一畫格間隔Tfr之圖像(I圖像或P圖像)，將這些圖像依序透過網路25而予以傳輸。然後，收訊處理部41，係將透過網路25所接收到的圖像，依序積存在收訊緩衝區44，但隨著各個圖像所被傳輸的傳輸路徑，在網路25上有時候會發生傳輸延遲Tfrn。
於是，透過網路25而將動態影像予以傳輸之際，為了能夠不間斷地再生動態影像，通常在收訊處理部41中，必需要具備有足夠容量的收訊緩衝區44。然後，為了使收訊緩衝區44中不會發生下溢，藉由延遲解碼部42進行解碼的時序、及顯示裝置24顯示動態影像的時序，就可吸收在網路25上所發生的傳輸延遲Tfrn之擺盪。如此，因為令圖像被暫時積存在收訊緩衝區44，就會導致從動態影像被編碼到被解碼而被顯示為止，會發生延遲。
此處，藉由提早解碼部42進行解碼的時序、及顯示裝置24顯示動態影像的時序，就可謀求低延遲化。
然而，如果因為謀求低延遲化，而無法彌補網路25上所發生之最大的傳輸延遲Tfrn，就會導致如圖3所示，在收訊緩衝區44中發生下溢。
其結果為，發生下溢的圖像之解碼結果會變得不正確，不正確影像被顯示的結果，導致顯示裝置24之顯示會變得紊亂。然後，若後續的圖像是使用畫格間(Inter)預測的P圖像的情況下，則不正確影像就會傳播開來。此情況下，會恢復正常的是，下個使用畫格內(Intra)預測的I圖像。因此，隨著I圖像的間隔不同，有時候會導致顯示裝置24之顯示之紊亂會持續較長期間。
於是，在網路攝影機系統11中，傳輸控制部34係進行，抑制如此的顯示裝置24之顯示之紊亂，且使動態影像之傳輸變成低延遲的傳輸控制。
例如，傳輸路徑選擇處理部35，係對送訊處理部33進行控制，以使得將已被編碼部32實施過空間可調式編碼的各圖層的碼，是以相同或個別之傳輸路徑而送出。此時，傳輸路徑選擇處理部35，作為將各圖層的碼予以送出的傳輸路徑，係選擇隨應於編碼量而被預測為傳輸延遲較小的路徑。又，傳輸路徑選擇處理部35，係在如此的傳輸路徑之選擇時，藉由取得傳輸開始以前的延遲量之統計值、及傳輸開始後的速率之統計值，可提升傳輸路徑的選擇精度。
又，參照圖層控制處理部36係可例如，基於傳輸開始以前的延遲量之統計值、及傳輸開始後的速率之統計值，而判斷為上位圖層的碼之傳輸路徑的延遲擺盪為較大的情況下，則判定為收訊緩衝區44中發生下溢之可能性為較高。因此，參照圖層控制處理部36，係在此情況下，對編碼部32進行控制，以使其只會參照來自下位之圖層的放大影像。藉此，即使發生上位圖層之下溢，仍可抑制不正確影像傳播開來。
因此，網路攝影機系統11，係藉由適切地選擇傳輸路徑，就可抑制傳輸延遲，可降低伴隨著提早解碼時刻而來的顯示影像品質降低的風險。藉此，在網路攝影機系統11中，可抑制攝像裝置21所拍攝到的動態影像被顯示裝置24所顯示為止的延遲。
此處，參照圖4，說明網路25之構成、與傳輸路徑選擇處理部35所做的傳輸路徑之選擇。
例如，如圖4所示，網路25上係被連接有複數台送訊裝置22(在圖4的例子中係為2台送訊裝置22-1及22-2)，同時，被連接有複數台收訊裝置23(在圖4的例子中係為2台收訊裝置23-1及23-2)。
網路25，係由切片分配處理部51、和構成邏輯網路的複數切片52所構成，例如可隨著服務事業者的需求而有靈活地提供網路機能。
切片分配處理部51，係與網路25的虛擬化合作，會進行隨應於流量或通訊內容，而把通訊分配成複數切片52之處理。
複數切片52，係為把網路25做虛擬性複數分割而成的虛擬網路，對各個切片52係可附加各式各樣的機能。在圖4所示的例子中，對切片52-1係附加了執行最大努力傳輸之機能，對切片52-2係附加了執行高速傳輸之機能，對切片52-3係附加了執行低延遲傳輸之機能。這些切片52，係可各自將必要之實體資源加以自由組合而構成邏輯網路。
像是如此所被構成的網路25這樣，可以選擇複數傳輸路徑的情況下，傳輸路徑選擇處理部35，係藉由選擇最適合於目的之傳輸路徑，就可進行例如以較低延遲來發送動態影像這類的傳輸控制。
參照圖5及圖6，說明傳輸路徑選擇處理部35所做的傳輸路徑之選擇。
圖5中係圖示了傳輸路徑的延遲模型。
例如，如圖5所示，傳輸路徑上的延遲，以傳輸開始等待時間d與傳輸速率r所致之1次式來表示時，編碼量M之傳輸，係會需要如下式(1)所示的時間T。
[數1]
然後，如圖6所示，在有傳輸開始等待時間d及傳輸速率r為不同的2種類傳輸路徑存在的情況下，被預測為傳輸會較早完成的傳輸路徑(速達路徑)，係會隨著編碼量M而不同。因此，傳輸路徑選擇處理部35，係掌握各個傳輸路徑上的傳輸開始等待時間d及傳輸速率r，就可藉由演算而求出要切換速達路徑的邊際編碼量Mth 。然後，傳輸路徑選擇處理部35，係藉由將編碼結果之編碼量、與邊際編碼量Mth 進行比較，就可選擇速達路徑。
例如，傳輸路徑選擇處理部35，作為傳輸開始等待時間d及傳輸速率r，是分別將實績值加以保存，並算出平均值及標準偏差之統計值，可基於這些統計值來預測速達路徑。亦即，傳輸路徑選擇處理部35，係使用速率之平均值rM、延遲之平均值dM、速率之標準偏差s(r)、延遲之標準偏差s(d)、及預測參數n，就可將預測速率rP及預測延遲dP，藉由演算下式(2)而予以求出。
[數2]
此處，式(2)中所使用的預測參數n越大，就會變成速率越低，且延遲越大的悲觀性預測。
此外，傳輸路徑選擇處理部35在求出統計值時所使用的傳輸開始等待時間d及傳輸速率r之實績值，係亦可積存於送訊裝置22中，亦可從收集複數送訊裝置22之積存資訊的伺服器透過網路25而加以取得。又，傳輸開始等待時間d及傳輸速率r之實績值，係被認為也會依存於時間帶及場所而變，因此可根據每一時刻及位置資訊的實績值而生成地圖，來提高預測精度。
傳輸路徑選擇處理部35，係將如此求出的預測速率rP及預測延遲dP，按照複數傳輸路徑之每一者而分別加以計算，可根據這些，來計算圖6所示的邊際編碼量Mth ，以選擇速達路徑。
例如，圖6所示的邊際編碼量Mth 、與達到邊際編碼量Mth 的時間Tth ，係使用傳輸路徑A之預測速率rPA及預測延遲dPA、以及傳輸路徑B之預測速率rPB及預測延遲dPB，而如下式(3)所示般地求出。
[數3]
然後，傳輸路徑選擇處理部35，係使用邊際編碼量Mth ，在傳輸路徑B之預測速率rPB大於傳輸路徑A之預測速率rPA(rPB＞rPA)，且編碼量M大於邊際編碼量Mth 的情況下(M＞Mth )，選擇傳輸路徑B。另一方面，傳輸路徑選擇處理部35，係在傳輸路徑B之預測速率rPB大於傳輸路徑A之預測速率rPA(rPB＞rPA)，且編碼量M為邊際編碼量Mth 以下的情況下(M≦Mth )，選擇傳輸路徑A。亦即，在圖示的例子中，在達到邊際編碼量Mth 的時間Tth 以前，被預測為透過傳輸路徑A之傳輸會較早完成，而在時間Tth 以後，被預測為透過傳輸路徑B之傳輸會較早完成。
此外，在邊際編碼量Mth 中，亦可放入傳輸成本之要素。例如，傳輸路徑A之位元單價cA是大於傳輸路徑B之位元單價cB的情況下(cA＞cB)，藉由對邊際編碼量Mth 乘算係數(=cB/cA)，就可考慮延遲及傳輸成本而選擇傳輸路徑。
如此，在網路攝影機系統11中，藉由選擇被預測為傳輸會較早完成的傳輸路徑，就可以較低延遲來發送動態影像。
參照圖7，說明參照圖層控制處理部36控制參照圖層之處理。
在送訊裝置22中，編碼部32可在動態影像之編碼時，實施空間可調式編碼。亦即，編碼部32係實施編碼，從已被攝像裝置21所拍攝到的動態影像，生成具有由低解析度之基礎圖層BL及高解析度之增強圖層EL所成之階層結構的串流。
例如，編碼部32係在P圖像之編碼時，針對基礎圖層BL是只參照基礎圖層BL本身之解碼影像而為之，但在增強圖層EL中，除了參照增強圖層EL本身之解碼影像，還可參照把基礎圖層BL之解碼影像予以放大而成的影像也就是中介圖層IL。因此，藉由如此的依存關係，在時間序列上，基礎圖層BL之編碼就會早於增強圖層EL而先進行。
又，編碼部32所生成的串流，係可獨立於基礎圖層BL與增強圖層EL之外而發送。因此，送訊處理部33，係可將基礎圖層BL之送出，早於增強圖層EL而先進行之。
然後，傳輸路徑選擇處理部35，針對基礎圖層BL及增強圖層EL之送出，是基於各個串流之編碼量，而與上述的邊際編碼量Mth 進行比較，藉此就可個別地選擇傳輸路徑。例如，根據解析度之大小關係，編碼量較低的基礎圖層BL係為，低延遲之傳輸路徑(例如圖4的切片52-3)會被選擇的可能性為較高，這樣就可使其比編碼量較高的增強圖層EL，還要降低發生下溢的風險。另一方面，增強圖層EL，係通過延遲擺盪較大的傳輸路徑之可能性會變高。
因此，參照圖層控制處理部36，係基於傳輸路徑選擇處理部35所算出的統計值，而可在延遲之絕對值變得較大時、或擺盪變得較大時，就預測為收訊緩衝區44中發生下溢之可能性為較高。藉此，參照圖層控制處理部36，係對編碼部32進行控制，而把參照圖層限定成中介圖層IL。又，參照圖層控制處理部36，係在從收訊裝置23側收到收訊緩衝區44中已發生下溢之意旨的回饋的情況下，則同樣地，對編碼部32進行控制以將參照圖層限定成中介圖層IL。
此情況下，編碼部32係只參照中介圖層IL，而將增強圖層EL予以編碼。藉此，解碼部42就不會參照不正確影像而進行編碼，因此可以打斷參照因下溢所產生之不正確影像來進行解碼這件事情。其結果為，在收訊裝置23中，進行解碼部42中的解碼、及顯示處理部43令顯示裝置24進行顯示之處理之際，可阻止不正確影像之傳播，使其恢復成正常影像。
如此，在網路攝影機系統11中，即使因為傳輸路徑上發生延遲而導致收訊緩衝區44中發生下溢，仍可防止不正確影像傳播開來。
圖8係送訊裝置22發送動態影像的送訊處理的說明用流程圖。
例如，已被攝像裝置21所拍攝到的動態影像一旦被供給至送訊裝置22，處理就被開始。於步驟S11中，編碼部32係對已經於影像處理部31中實施過影像處理的動態影像，實施空間可調式編碼。藉此，編碼部32，係生成具有由低解析度之基礎圖層BL及高解析度之增強圖層EL所成之階層結構的串流，供給至送訊處理部33。
於步驟S12中，編碼部32，係將步驟S11中所編碼而成的基礎圖層BL及增強圖層EL之編碼量，通知給傳輸控制部34的傳輸路徑選擇處理部35。
於步驟S13中，傳輸路徑選擇處理部35，係進行基礎圖層BL及增強圖層EL之編碼量、與邊際編碼量Mth (參照圖6)之比較，基於該比較結果，來選擇被預測為傳輸會較早完成的傳輸路徑。然後，傳輸路徑選擇處理部35，係對送訊處理部33進行控制，以使用該已選擇之傳輸路徑來進行送訊。
於步驟S14中，送訊處理部33，係將步驟S11中從編碼部32所被供給之基礎圖層BL及增強圖層EL，以步驟S13中已被傳輸路徑選擇處理部35所選擇之傳輸路徑，予以發送。
於步驟S15中，參照圖層控制處理部36係判定，收訊緩衝區44中發生下溢之可能性是否被預測為較高、或是否有從收訊裝置23側收到收訊緩衝區44中已發生下溢之意旨的回饋。
於步驟S15中，若判定為收訊緩衝區44中發生下溢之可能性未被預測為較高的情況、及從收訊裝置23側未收到收訊緩衝區44中已發生下溢之意旨的回饋的情況下，則處理係回到步驟S11，以下重複同樣之處理。
另一方面，於步驟S15中，預測收訊緩衝區44中發生下溢之可能性為高的情況、或從收訊裝置23側收到收訊緩衝區44中已發生下溢之意旨的回饋的情況下，處理係前進至步驟S16。
於步驟S16中，參照圖層控制處理部36，係對編碼部32進行控制，而把參照圖層限定成中介圖層IL後，處理係回到步驟S11。此情況下，只在下個步驟S11中，編碼部32係只參照中介圖層IL，而將增強圖層EL予以編碼。
其後，直到已被攝像裝置21所拍攝到的動態影像之供給被停止以前，都會重複同樣之處理。
如以上，在網路攝影機系統11中，係於送訊裝置22中，傳輸控制部34係可基於傳輸延遲之統計量，適應性地選擇傳輸路徑。藉此，可將傳輸延遲抑制得較低，結果，於收訊裝置23中可以降低收訊緩衝區44中發生下溢之風險。
又，在網路攝影機系統11中，在送訊裝置22中，編碼部32會實施空間可調式編碼。然後，在網路攝影機系統11中，例如隨應於上位圖層的碼的傳輸路徑的延遲擺盪，而適應性地選擇上位圖層之參照圖層，藉此，即使在收訊緩衝區44中發生下溢，仍可防止不正確影像傳播，可抑制顯示裝置24上所被顯示之影像之品質的降低。
如此，在網路攝影機系統11中，可以降低收訊緩衝區44中發生下溢之風險，同時，可防止不正確的影像之傳播，因此可提前解碼部42開始解碼的時序。因此，網路攝影機系統11，係可使得攝像裝置21中所拍攝到的動態影像，以較低延遲而於顯示裝置24上被再生，透過網路25而發送動態影像。
其結果為，網路攝影機系統11，係例如對於視訊通話或監視攝影機等這類透過網路25接收的遠端之影像需要反應或回應的用途上，可提升便利性。
＜電腦之構成例＞ 　　此外，參照上述流程圖所說明的各處理，係並不一定是要按照流程圖所記載的順序而沿著時間序列進行處理，而是包含可平行地或個別地執行之處理(例如平行處理或是物件所致之處理)。又，程式係可被1個CPU所處理，也可被複數CPU分散處理。
又，上述一連串處理(送訊方法)，係可藉由硬體來執行，也可藉由軟體來執行。在將一連串之處理以軟體來執行的時候，構成該軟體的程式，是從記錄有程式的程式記錄媒體來安裝至內嵌有專用硬體的電腦，或是，藉由安裝各種程式，而可執行各種機能的例如泛用之個人電腦等。
圖9係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於電腦中，CPU(Central Processing Unit) 101、ROM(Read Only Memory)102、RAM(Random Access Memory)103，係藉由匯流排104而被彼此連接。
在匯流排104上係還連接有輸出入介面105。輸出入介面105上係連接有：由鍵盤、滑鼠、麥克風等所成之輸入部106、由顯示器、揚聲器等所成之輸出部107、由硬碟或非揮發性記憶體等所成之記憶部108、由網路介面等所成之通訊部109、將磁碟、光碟、光磁碟、或者半導體記憶體等之可移除式媒體111加以驅動的驅動機110。
在如以上構成的電腦中，藉由CPU101而例如將記憶部108中所記憶之程式，透過輸出入介面105及匯流排104，而載入至RAM103裡並加以執行，就可進行上述一連串處理。
電腦(CPU101)所執行之程式係例如，記錄在磁碟(包含軟碟片)、光碟(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)等)、光磁碟、或甚至由半導體記憶體等所成之封裝媒體的可移除式媒體111中，或者，透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體，而被提供。
然後，程式係藉由將可移除式媒體111裝著至驅動機110，就可透過輸出入介面105，安裝至記憶部108。又，程式係可透過有線或無線之傳輸媒體，以通訊部109接收之，安裝至記憶部108。除此以外，程式係可事前安裝在ROM102或記憶部108中。
＜構成之組合例＞ 　　此外，本技術係亦可採取如以下之構成。 (1) 　　一種送訊裝置，係具備： 　　編碼部，係對動態影像，實施空間可調式編碼；和 　　送訊處理部，係進行將已被前記編碼部所編碼之每一圖層之圖像，透過網路而予以發送之處理；和 　　參照圖層控制處理部，係在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，對前記編碼部進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層。 (2) 　　如上記(1)所記載之送訊裝置，其中，還具備： 　　傳輸路徑選擇處理部，係對前記送訊處理部進行控制，以隨應於已被前記編碼部所編碼之每一圖層之圖像之編碼量，而選擇被預測為傳輸會較早完成之傳輸路徑，以該已選擇之傳輸路徑進行送訊。 (3) 　　如上記(2)所記載之送訊裝置，其中， 　　前記傳輸路徑選擇處理部，係基於前記圖像之編碼量、與使用前記送訊處理部中的傳輸開始以前的延遲量之統計值及前記送訊處理部開始傳輸後的速率之統計量所求出的交界編碼量所做的比較，而選擇前記傳輸路徑。 (4) 　　如上記(3)所記載之送訊裝置，其中， 　　前記參照圖層控制處理部，係基於前記延遲量之統計值、及前記速率之統計量，來預測前記收訊緩衝區中發生下溢之可能性是否為高。 (5) 　　如上記(1)至(4)之任一項所記載之送訊裝置，其中， 　　前記網路係由：將該網路全體做虛擬性分割，且被附加有各機能之複數虛擬網路所構成。 (6) 　　一種送訊方法，係含有： 　　由發送動態影像之送訊裝置， 　　對前記動態影像，實施空間可調式編碼之步驟；和 　　進行將已被編碼之每一圖層之圖像，透過網路而予以發送之處理之步驟；和 　　在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層之步驟。 (7) 　　一種程式，係用以令發送動態影像之送訊裝置的電腦，執行包含以下之處理： 　　對前記動態影像，實施空間可調式編碼之步驟；和 　　進行將已被編碼之每一圖層之圖像，透過網路而予以發送之處理之步驟；和 　　在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層之步驟。
此外，本實施形態係不限定於上述實施形態，在不脫離本揭露主旨的範圍內可做各種變更。又，本說明書中所記載之效果僅為例示並非限定，亦可還有其他的效果。
11‧‧‧網路攝影機系統
21‧‧‧攝像裝置
22、22-1～22-2‧‧‧送訊裝置
23、23-1～23-2‧‧‧收訊裝置
24‧‧‧顯示裝置
25‧‧‧網路
31‧‧‧影像處理部
32‧‧‧編碼部
33‧‧‧送訊處理部
34‧‧‧傳輸控制部
35‧‧‧傳輸路徑選擇處理部
36‧‧‧參照圖層控制處理部
41‧‧‧收訊處理部
42‧‧‧解碼部
43‧‧‧顯示處理部
44‧‧‧收訊緩衝區
51‧‧‧切片分配處理部
52-1～52-3‧‧‧切片
101‧‧‧CPU
102‧‧‧ROM
103‧‧‧RAM
104‧‧‧匯流排
105‧‧‧輸出入介面
106‧‧‧輸入部
107‧‧‧輸出部
108‧‧‧記憶部
109‧‧‧通訊部
110‧‧‧驅動機
111‧‧‧可移除式媒體
[圖1] 適用了本技術之網路攝影機系統的一實施形態之構成例的區塊圖。 　　[圖2] 動態影像的一般傳輸的說明圖。 　　[圖3] 發生下溢，不正確影像傳播開來之狀態的說明圖。 　　[圖4] 說明網路之構成例的區塊圖。 　　[圖5] 傳輸路徑之延遲模型的圖示。 　　[圖6] 從2種類的傳輸路徑選擇出速達路徑之處理的說明圖。 　　[圖7] 參照圖層的控制處理的說明圖。 　　[圖8] 將動態影像予以發送之送訊處理的說明用流程圖。 　　[圖9] 適用了本技術之電腦的一實施形態之構成例的區塊圖。

Claims (7)

  1. 一種送訊裝置，係具備： 　　編碼部，係對動態影像，實施空間可調式編碼；和 　　送訊處理部，係進行將已被前記編碼部所編碼之每一圖層之圖像，透過網路而予以發送之處理；和 　　參照圖層控制處理部，係在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，對前記編碼部進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層。
  2. 如請求項1所記載之送訊裝置，其中，還具備： 　　傳輸路徑選擇處理部，係對前記送訊處理部進行控制，以隨應於已被前記編碼部所編碼之每一圖層之圖像之編碼量，而選擇被預測為傳輸會較早完成之傳輸路徑，以該已選擇之傳輸路徑進行送訊。
  3. 如請求項2所記載之送訊裝置，其中， 　　前記傳輸路徑選擇處理部，係基於前記圖像之編碼量、與使用前記送訊處理部中的傳輸開始以前的延遲量之統計值及前記送訊處理部開始傳輸後的速率之統計量所求出的邊際編碼量所做的比較，而選擇前記傳輸路徑。
  4. 如請求項3所記載之送訊裝置，其中， 　　前記參照圖層控制處理部，係基於前記延遲量之統計值、及前記速率之統計量，來預測前記收訊緩衝區中發生下溢之可能性是否為高。
  5. 如請求項1所記載之送訊裝置，其中， 　　前記網路係由：將該網路全體做虛擬性分割，且被附加有各機能之複數虛擬網路所構成。
  6. 一種送訊方法，係含有： 　　由發送動態影像之送訊裝置， 　　對前記動態影像，實施空間可調式編碼之步驟；和 　　進行將已被編碼之每一圖層之圖像，透過網路而予以發送之處理之步驟；和 　　在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層之步驟。
  7. 一種程式，係用以令發送動態影像之送訊裝置的電腦，執行包含以下之處理： 　　對前記動態影像，實施空間可調式編碼之步驟；和 　　進行將已被編碼之每一圖層之圖像，透過網路而予以發送之處理之步驟；和 　　在收訊緩衝區中發生下溢之可能性被預測為較高，或是收到前記收訊緩衝區中已經發生下溢之意旨之回饋的情況下，進行控制，以將上位圖層進行編碼之際所參照之參照圖層，限定成從下位圖層所生成之中間圖層之步驟。
TW107134598A 2017-10-11 2018-10-01 送訊裝置及送訊方法、以及程式 TW201933867A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-197723 2017-10-11
JP2017197723 2017-10-11

Publications (1)

Publication Number Publication Date
TW201933867A true TW201933867A (zh) 2019-08-16

Family

ID=66100712

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107134598A TW201933867A (zh) 2017-10-11 2018-10-01 送訊裝置及送訊方法、以及程式

Country Status (9)

Country Link
US (1) US11070827B2 (zh)
EP (1) EP3678372A4 (zh)
JP (1) JP7173028B2 (zh)
KR (1) KR20200058431A (zh)
CN (1) CN111183640A (zh)
BR (1) BR112020006752A2 (zh)
RU (1) RU2020112245A (zh)
TW (1) TW201933867A (zh)
WO (1) WO2019073802A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4120639B1 (en) * 2020-03-30 2024-02-14 Sony Group Corporation Information processing device and information processing system
US20230136388A1 (en) * 2020-03-31 2023-05-04 Sony Group Corporation Information processing apparatus and information processing method
WO2022185795A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN116033147A (zh) * 2021-10-27 2023-04-28 华为技术有限公司 图像编解码方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE790089A (fr) 1971-10-14 1973-04-13 Ici Ltd Derives de l'imidazole
JP2000236547A (ja) * 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
CN101421936B (zh) 2006-03-03 2016-09-21 维德约股份有限公司 用于在可缩放视频通信中提供差错弹性、随机接入和率控制的系统和方法
RU2534370C2 (ru) * 2010-05-06 2014-11-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ и устройство управления кодированием видео
JP2015019319A (ja) * 2013-07-12 2015-01-29 キヤノン株式会社 符号化装置、符号化方法及びプログラム
JP2016184844A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 画像処理装置および方法
WO2017100769A1 (en) 2015-12-11 2017-06-15 Vid Scale, Inc. Scheduling multiple-layer video segments

Also Published As

Publication number Publication date
JP7173028B2 (ja) 2022-11-16
BR112020006752A2 (pt) 2020-10-06
US11070827B2 (en) 2021-07-20
KR20200058431A (ko) 2020-05-27
RU2020112245A (ru) 2021-09-27
WO2019073802A1 (ja) 2019-04-18
EP3678372A4 (en) 2020-09-09
EP3678372A1 (en) 2020-07-08
JPWO2019073802A1 (ja) 2020-11-12
CN111183640A (zh) 2020-05-19
RU2020112245A3 (zh) 2022-01-21
US20200314439A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
TW201933867A (zh) 送訊裝置及送訊方法、以及程式
US11824912B2 (en) Systems and methods for frame duplication and frame extension in live video encoding and streaming
US9288497B2 (en) Advanced video coding to multiview video coding transcoder
US9445107B2 (en) Low latency rate control system and method
US8675728B2 (en) Transmitting apparatus and method, and receiving apparatus and method
US20170103577A1 (en) Method and apparatus for optimizing video streaming for virtual reality
US20060167987A1 (en) Content delivery system, communicating apparatus, communicating method, and program
KR20180031547A (ko) 서버에서 멀티 비트 레이트 스트림 미디어를 적응적으로 제공하기 위한 방법 및 장치
JP4358215B2 (ja) 動画像符号化装置及びその方法
US8660191B2 (en) Software video decoder display buffer underflow prediction and recovery
US20120281562A1 (en) Apparatus and method for rendering video with retransmission delay
US20130208075A1 (en) Encoding processing for conferencing systems
JP2002077260A (ja) 画像伝送のためのシステムおよび方法
CA2524809C (en) Methods and apparatus for improving video quality in statistical multiplexing
TW512635B (en) System for controlling data output to a network
EP3123730B1 (en) Enhanced distortion signaling for mmt assets and isobmff with improved mmt qos descriptor having multiple qoe operating points
US10135896B1 (en) Systems and methods providing metadata for media streaming
Mizosoe et al. Very Low-Delay H. 264 Codec for Consumer Application
WO2006035438A1 (en) Media player and method for operating a media player
CN116366850A (zh) 一种视频编码控制方法、装置和电子设备
JP2016192658A (ja) 通信システム、通信装置、通信方法および通信制御方法
JP2005151095A (ja) 統計多重装置及び方法
JP2018011312A (ja) 動画像復号装置及び動画像復号方法
JP2016146645A (ja) 動画像符号化復号システム及び動画像符号化復号方法